(转)Pinpoint - 应用性能管理 (APM) 平台实践之部署篇

0.0 前言

国内的APM行业这两年刚刚起步，但是在国外却比较成熟了，并且由于这两年人力成本的快速提高，国内外涌现了几家非常不错的APM企业，例如APPdynamic，Dynamic，NewRelic等。

我们这里不考虑商业化的实现方案，如何能够提供一种免费的开源实现方案呢？

下面给大家介绍一个开源的 APM (Application Performance Management/应用性能管理)工具 - Pinpoint。一个分布式事务跟踪系统的平台，思路基于google Dapper，用于基于java的大规模分布式系统，通过跟踪分布式应用之间的调用来提供解决方案，以帮助分析系统的总体结构和内部模块之间如何相互联系。Pinpoint的目标就是为n(n>=1)层架构开发新的跟踪平台，为n层架构的系统提供解决方案。

0.1 Pinpoint的特点如下:

分布式事务跟踪，跟踪跨分布式应用的消息
自动检测应用拓扑，帮助你搞清楚应用的架构
水平扩展以便支持大规模服务器集群
提供代码级别的可见性以便轻松定位失败点和瓶颈
使用字节码增强技术，添加新功能而无需修改代码
安装探针不需要修改哪怕一行代码及trace server端部署简单，支持hdfs存储
具有简单的阀值触发报警功能
移植性比较强的，会比较讨人喜欢（相比cat）
插件化功能可扩展（https://github.com/naver/pinpoint/wiki/Pinpoint-Plugin-Developer-Guide）

0.2 Pinpoint 架构

1.0 环境准备

为了省事可以直接就到这里(https://get.k8scn.org/packages/others/pinpoint/)下载所需安装包，统一放置在 /root/pp/ 目录下面。


apache-tomcat-8.0.36.tar.gz
hbase-1.0.3-bin.tar.gz
jdk-8u92-linux-x64.rpm
pinpoint-agent-1.5.2.tar.gz
pinpoint-collector-1.5.2.war
pinpoint-web-1.5.2.war
pp-collector
pp-web
zookeeper-3.4.6-10.el6.x86_64.rpm

1.1 部署环境约定


192.168.56.11CentOS6(jdk1.8.0)Pinpoint-collector,Pinpoint-web, zookeeper    # 下面我们将简称pp-collector&pp-web 192.168.56.12CentOS6(jdk1.8.0)Hbase192.168.56.13CentOS6(jdk1.8.0)Pinpoint-agent(demo应用)

1.2 系统环境说明


$ /etc/init.d/iptables stop
$ setenforce 0

这里我们为了不影响模块之间的相互通信，暂时先把几台设备的iptables都关闭了。

2.0 开始部署我们采用rpm方式安装jdk，这里就略过安装过程了，主要说一下Tomcat 和Bbase的安装和配置

2.1 部署和初始化 Hbase


$ vim ~/.bashrc
# Java Environment Variables
export JAVA_HOME=/usr/java/defaultexport PATH=$PATH:$JAVA_HOME/bin
$ source ~/.bashrc
$ tar xf /root/pp/hbase-1.0.3-bin.tar.gz /usr/local/
$ cd /usr/local/hbase-1.0.3/conf
$ vim hbase-env.sh
export JAVA_HOME=/usr/java/default/# 指到自己对应的 JAVA_HOME，默认使用 java6
$ vim hbase-site.xml
<configuration><property><name>hbase.rootdir</name>
<value>file:///data/hbase</value>        # 这里我们指定 Hbase 本地来存储数据，生产环境将数据建议存入 HDFS 中。</property>
</configuration>
$ ../bin/start-hbase.sh        // 启动 Hbase

注意: 这里说明一下，我们是最简方式启动的Hbase，没有单独部署Hbase集群管理的zookeeper，而是直接使用Hbase自带的zk模块。另外，Hbase墙裂建议将数据存入HDFS里面，目前我们是存在Hbase本地的。

2.1.1 验证Hbase是否启动成功


$ jps
8114Jps7820HMaster

2.1.2下载并执行pp的Hbase初始化表语句


$ wget -c https://raw.githubusercontent.com/naver/pinpoint/master/hbase/scripts/hbase-create.hbase -P /root/pp/
$ cd /usr/local/hbase-1.0.3
$ ./bin/hbase shell /root/pp/hbase-create.hbase      #  这里需要大概半分钟时间完成pp的表初始化
$ ./bin/hbase shell
2016-07-1420:57:10,606 WARN  [main] util.NativeCodeLoader:Unable to load native-hadoop library for your platform...using builtin-java classes where applicable
HBaseShell; enter 'help<RETURN>'for list of supported commands.Type"exit<RETURN>" to leave the HBaseShellVersion1.0.3, rf1e1312f9790a7c40f6a4b5a1bab2ea1dd559890,TueJan1919:26:53 PST 2016
hbase(main):001:0> status 'detailed'# 我这里已经初始化pp相关表，所以数据展示比较多
version 1.0.30 regionsInTransition
master coprocessors:[]1 live servers
    c612:467811468494831781
        requestsPerSecond=0.0, numberOfOnlineRegions=194, usedHeapMB=18, maxHeapMB=241, numberOfStores=322, numberOfStorefiles=3, storefileUncompressedSizeMB=0, storefileSizeMB=0, memstoreSizeMB=0, storefileIndexSizeMB=0, readRequestsCount=9272, writeRequestsCount=385, rootIndexSizeKB=2, totalStaticIndexSizeKB=1, totalStaticBloomSizeKB=0, totalCompactingKVs=0, currentCompactedKVs=0, compactionProgressPct=NaN, coprocessors=[MultiRowMutationEndpoint]"AgentEvent,,1468495003477.b13eb3203210fb9d94feb1a445e0ad1b."
            numberOfStores=1, numberOfStorefiles=0, storefileUncompressedSizeMB=0, storefileSizeMB=0, memstoreSizeMB=0, storefileIndexSizeMB=0, readRequestsCount=0, writeRequestsCount=0, rootIndexSizeKB=0, totalStaticIndexSizeKB=0, totalStaticBloomSizeKB=0, totalCompactingKVs=0, currentCompactedKVs=0, compactionProgressPct=NaN, completeSequenceId=-1, dataLocality=0.0"AgentInfo,,1468494998919.fa9d36f7b52b95ee5216a1ec757ad690."...

我们同时可以登录Hbase Web管理控制台来验证相关数据 http://192.168.56.12:16010/master-status

2.2 部署和配置pp-collector和pp-web

2.2.1 这里我们还需要部署一个zookeeper。从pinpoint1.5.0开始，pp-web到pp-agent的request请求直接通过pp-collector来统筹管理，包括一些real-time级别的信息监测，而zookeeper在其中间协调三者之间的通信沟通。如果zookeeper部署在独立的一台设备，这里我就需要修改一下pp-colletor & pp-web的配置文件pinpoint-collector.properties，pinpoint-web.properties，不然会导致俩个模块启动失败。详细描述参见官方文档


$ rpm -ivh /root/pp/zookeeper-3.4.6-10.el6.x86_64.rpm
$ /etc/init.d/zookeeper start     # 保证zookeeper的2181端口起来就可以了

2.2.2 pp-collector的配置

$ mkdir -p /data/service/ $ tar xf /root/pp/apache-tomcat-8.0.35.tar.gz -C /data/service/;cd /data/service/ $ mv apache-tomcat-8.0.35/ pinpoint-collector $ vim /data/service/pinpoint-collector/conf/server.xml # 因为我们的pp-collector和pp-web部署在同台设备，所以请确认tomcat启动端口不会冲突<Server port="8005" shutdown="SHUTDOWN"><Connector port="8085" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443"/># 注释该行

$ rm -rf /data/service/pinpoint-collector/webapps/* $ unzip pinpoint-collector-1.5.2.war -d /data/service/pinpoint-collector/webapps/ROOT/ $ cd /data/service/pinpoint-collector/webapps/ROOT/WEB-INF/classes $ ls -al -rw-rw-r-- 1 root root 15835 Apr 7 14:43 applicationContext-collector.xml -rw-rw-r-- 1 root root 7485 Apr 7 14:43 applicationContext-hbase.xml -rw-rw-r-- 1 root root 757 Apr 7 14:43 hbase.properties -rw-rw-r-- 1 root root 1845 Apr 7 14:43 log4j.xml -rw-rw-r-- 1 root root 1360 Apr 7 14:43 pinpoint-collector.properties # 主要针对 pp-agent 的配置，同时支持 tcp 和 udp 协议数据传输 -rw-rw-r-- 1 root root 3292 Apr 7 14:43 servlet-context.xml ...

这里大概说一下: applicationContext-collector.xml, applicationContext-hbase.xml 这俩个配置文件时collector与agent和Hbase之间通信时需要设定的一些参数，在后续调优的时候需要用到，hbase.properties 主要是设定后端存储的连接配置，log4j.xml那就是log相关了。


$ vim hbase.properties
hbase.client.host=192.168.56.12# 这里我们只修改这一项配置就好，能够让collector将汇报上来的数据存储到Hbase
hbase.client.port=2181

这里tomcat我们就用默认的启动端口了，实际的生产环境可能需要根据实际情况修改tomcat侦听端口。OK，到此，pp-collector我们就基本上配置完成了。接下来我们开始配置pp-web，它与collector很类似。

2.2.3 pp-web的配置

$ cd /data/service/ $ tar xf /root/pp/apache-tomcat-8.0.35.tar.gz -C /data/service/ $ mv apache-tomcat-8.0.35 pinpoint-web $ cd pinpoint-web/webapps/;rm -rf *;mkdir ROOT;cd ROOT/ $ unzip /root/pinpoint-web-1.5.2.war $ vim /data/service/pinpoint-web/conf/server.xml # 因为我们的pp-collector和pp-web部署在同台设备，所以请确认tomcat启动端口不会冲突<Server port="8006" shutdown="SHUTDOWN"><Connector port="8086" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443"/># 注释该行

$ cd /data/service/pinpoint-web/webapps/ROOT/WEB-INF/classes $ vim hbase.properties hbase.client.host=192.168.56.12# 设置 Hbase 数据源 hbase.client.port=2181... $ ls -al total 88-rw-rw-r--1 root root 2164Apr714:43 applicationContext-cache.xml -rw-rw-r--1 root root 3649Apr714:43 applicationContext-dao-config.xml -rw-rw-r--1 root root 1490Apr714:43 applicationContext-datasource.xml -rw-rw-r--1 root root 6680Apr714:43 applicationContext-hbase.xml -rw-rw-r--1 root root 1610Apr714:43 applicationContext-websocket.xml -rw-rw-r--1 root root 6576Apr714:43 applicationContext-web.xml -rw-rw-r--1 root root 106Apr714:43 batch.properties -rw-rw-r--1 root root 682Apr714:43 ehcache.xml -rw-rw-r--1 root root 1005Jul1421:45 hbase.properties -rw-rw-r--1 root root 153Apr714:43 jdbc.properties -rw-rw-r--1 root root 3338Apr714:43 log4j.xml -rw-rw-r--1 root root 1420Apr714:43 mybatis-config.xml -rw-rw-r--1 root root 630Apr714:43 pinpoint-web.properties -rw-rw-r--1 root root 141Apr714:43 project.properties -rw-rw-r--1 root root 3872Apr714:43 servlet-context.xml drwxrwxr-x 2 root root 4096Jul1421:46 sql ...

这里说明一下:

hbase.properties 配置我们pp-web从哪个数据源获取采集数据，这里我们只指定Hbase的zookeeper地址。
jdbc.properties pp-web连接自身Mysql数据库的连接认证配置。
sql目录 pp-web本身有些数据需要存放在MySQL数据库中，这里需要初始化一下表结构。
pinpoint-web.properties 这里pp-web集群的配置文件，如果你需要pp-web集群的话。
applicationContext-*.xml 这些文件在后续的调优工作中会用到。
log4j.xml 日志相关配置。

好了，pp-web终于算是配置完成了。

2.3 到这里，我们就可以启动pp-colletor和pp-web了


$ cp /root/pp/pp-*/etc/init.d/
$ chmod +x /etc/init.d/pp-*
$ /etc/init.d/pp-web restart
$ /etc/init.d/pp-collector restart

3.0 我们这个时候可以部署一个pp-agent试玩一下了，其实也就是很多APM厂商传说中的探针。这里我的探针是部署在自己的应用下面的，就只贴一下跑在tomcat下的探针配置信息了。顺带说明一下部署上的注意点。

以下是pp目前支持埋点的java模块：


JDK 6+Tomcat6/7/8,Jetty8/9Spring,SpringBootApache HTTP Client3.x/4.x, JDK HttpConnector,GoogleHttpClient,OkHttpClient,NingAsyncHttpClientThriftClient,ThriftService, DUBBO PROVIDER, DUBBO CONSUMER
MySQL,Oracle, MSSQL, CUBRID, DBCP, POSTGRESQL, MARIA
Arcus,Memcached,Redis, CASSANDRA
iBATIS,MyBatis
gson,Jackson,JsonLib
log4j,Logback

3.1 部署pp-agent (探针)

我们约定tomcat容器安装位置 /data/projects/service/app_demo，这里我们就将pp-agent解压至 /data/projects/service/下。


$ tar xf /root/pp/pinpoint-agent-1.5.2.tar.gz -C /data/projects/service/
$ cd /data/projects/service/pinpoint-agent-1.5.2/
$ vim pinpoint.config
profiler.collector.ip=192.168.56.11

这里说明一下：我们只要指定pp-colletor的地址就可以了，至于端口如果之前pp-colletor没有变更这里也不需要修改。如果你的生产环境特殊，pinpoint支持还是很丰富的，同时支持tcp和udp协议传输。


$ pwd
/data/projects/service/pinpoint-agent-1.5.2
$ ls -al
total 80
drwxrwxr-x 6 ceph ceph  4096Jul1422:11.
drwxr-xr-x 3 root root  4096Jul1422:08..
drwxrwxr-x 2 ceph ceph  4096Apr713:43 boot
drwxrwxr-x 2 ceph ceph  4096Apr713:43 lib
-rw-rw-r--1 ceph ceph 27603Apr713:42 pinpoint-bootstrap-1.5.2.jar-rw-rw-r--1 ceph ceph 14278Apr713:30 pinpoint.config
-rw-rw-r--1 ceph ceph 11988Apr713:30 pinpoint-real-env-lowoverhead-sample.config
drwxrwxr-x 2 ceph ceph  4096Apr713:43 plugin
drwxrwxr-x 2 ceph ceph  4096Apr713:43 script

此刻，我们开始往我们的应用里部署探针。


$ vim /data/projects/service/app_demo/bin/catalina.sh
AGENT_VERSION="1.5.2"
AGENT_ID="pp201606011442"
APPLICATION_NAME="app-192-168-56-13"
AGENT_PATH="/data/projects/service/pinpoint-agent-1.5.2"
CATALINA_OPTS="$CATALINA_OPTS -javaagent:$AGENT_PATH/pinpoint-bootstrap-${AGENT_VERSION}.jar"
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.agentId=$AGENT_ID"
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.applicationName=$APPLICATION_NAME"

这里说明一下：

探针配置项写到 CATALINA_OPTS 变量下一行即可。
AGENT_ID 命名必须在生产环境里唯一，否则后面将会混乱。
APPLICATION_NAME 配置为一个服务组的ID号，即服务组下的实例ID。
此外参考官方agent文档说明

4.0. 重启被采集端的应用，使探针生效。

5.0. 打开浏览器，访问如下pp-web的页面验证我们的探针部署是否成功。其中，第二个链接是pp的APM主页面可以看到探针汇报上来的信息了。


http://192.168.56.11:8086/stat.html      # pp-agent 信息统计页面，即探针部署情况的统计信息 
http://192.168.56.11:8086/#/main       # pp APM信息主页面

5.1 页面访问效果如下(没有找到一个好的demo应用，这部分后续补齐，所以页面没有信息采集上来)：

6.0. 问题排查

看日志，看日志，看日志。
部署成功调试完成最好把agent端log级别调高一些，少打印日志。讲真，不然在你实时查看日志定位程序问题时，你会发现打印一堆了无效信息，绝对懵B。

7.0. 最后这里我们讲一下如何制作自己的Pinpoint定制版war包

7.1 编译环境要求


maven:3.2+
jdk-6/7/8

7.2 获取pp源代码


$ git clone https://github.com/naver/pinpoint.git
$ git branch -a 
* master
  remotes/origin/1.0.x
  remotes/origin/1.1.x
  remotes/origin/1.5.0-branch
  remotes/origin/1.5.x
  remotes/origin/HEAD -> origin/master
  remotes/origin/master
$ git checkout 1.5.x     // pp v1.6.x属于活跃开发版不建议编译安装，除非你非常熟悉pp的代码

7.3 设置JAVA环境变量为JDK-1.8.0。这里小小解释一下：因为pp同时支持java多版本，这也是pp最可爱的地方，所以我们需要设置一下。


$ export JAVA_6_HOME=/usr/java/default
$ export JAVA_7_HOME=/usr/java/default
$ export JAVA_8_HOME=/usr/java/default
$ export JAVA_HOME=/usr/java/default

7.4 开始war包制作


$ cd pinpoint
$ mvn -f ./pom.xml install -Dmaven.test.skip=true[INFO]Scanningfor projects...[INFO]------------------------------------------------------------------------[INFO]ReactorBuildOrder:[INFO][INFO] pinpoint
[INFO] pinpoint-thrift
[INFO] pinpoint-commons
[INFO] pinpoint-commons-hbase
[INFO] pinpoint-commons-server
[INFO] pinpoint-bootstrap-core
[INFO] pinpoint-bootstrap
[INFO] pinpoint-rpc
[INFO] pinpoint-profiler
...

编译过程可能有些长，尤其在国内的网络环境。结束以后，请到target目录获取相应的pp war包。

7.5 编译过程遇到的问题：


[INFO]--- maven-enforcer-plugin:1.4.1:enforce (enforce-pinpoint-build-requirements)@ pinpoint ---[WARNING]Rule0: org.apache.maven.plugins.enforcer.RequireMavenVersion failed with message:DetectedMavenVersion:3.0.5isnotin the allowed range 3.2.[INFO]---------------------------------------------------------

问题解决：升级的maven版本，需要至少3.2+以上。

好了，今天先写到这，欢迎大家加群讨论(Pinpoint中文社区QQ群563655806)。

参考文档:

https://github.com/naver/pinpoint/blob/master/doc/installation.md
http://hbase.apache.org/book.html#standalone_dist Apache HBase ™ Reference Guide

转自：https://sconts.com/11

(转)Pinpoint - 应用性能管理 (APM) 平台实践之部署篇

相关帖子

SkyWalking 8.3 快速上手教程

(转) pinpoint 安装部署

什么是责任链模式？

源码学习方式

mvn 常用的基本命令

== 和 equals

开源项目分享：JavadocMark - 为 AI 时代重新定义 Java 文档

欢迎来到这里！

近期热议

推荐标签标签

最新标签

(转)Pinpoint - 应用性能管理 (APM) 平台实践之部署篇

相关帖子

SkyWalking 8.3 快速上手教程

(转) pinpoint 安装部署

什么是责任链模式？

源码学习方式

mvn 常用的基本命令

== 和 equals

开源项目分享：JavadocMark - 为 AI 时代重新定义 Java 文档

欢迎来到这里！

近期热议

推荐标签 标签

最新标签

推荐标签标签