Prometheus+Grafana 可视化监控 SpringBoot 项目

原文地址：https://xeblog.cn/articles/7

Prometheus 简介

简史

Prometheus 受启发于 Google 的 Brogmon 监控系统（相似的 Kubernetes 是从 Google 的 Brog 系统演变而来），从 2012 年开始由前 Google 工程师在 Soundcloud 以开源软件的形式进行研发，并且于 2015 年早期对外发布早期版本。2016 年 5 月继 Kubernetes 之后成为第二个正式加入 CNCF 基金会的项目，同年 6 月正式发布 1.0 版本。2017 年底发布了基于全新存储层的 2.0 版本，能更好地与容器平台、云平台配合。

架构

特点

• 多维的数据模型（基于时间序列的 k/v 键值对）。
• 灵活的查询及聚合语句（PromQL）。
• 不依赖分布式存储，节点自治。
• 基于 HTTP 的 pull 模式采集时间序列数据。
• 可以使用 pushgateway（prometheus 的可选中间件）实现 push 模式。
• 可以使用动态服务发现或静态配置采集的目标机器。
• 支持多种图形及仪表盘。

相关概念

数据模型

Prometheus 存储的是时序数据, 即按照相同时序(相同的名字和标签)，以时间维度存储连续的数据的集合。

监控样本

# HELP system_cpu_usage The "recent cpu usage" for the whole system
# TYPE system_cpu_usage gauge
system_cpu_usage 0.23587264544090683
# HELP logback_events_total Number of error level events that made it to the logs
# TYPE logback_events_total counter
logback_events_total{level="error",} 0.0
logback_events_total{level=“info”,} 557.0

• HELP 用于解释当前指标的含义，TYPE 则说明当前指标的数据类型
• system_cpu_usage、 logback_events_total 表示当前指标的名称
• {}中的标签反映了当前样本的一些特征和维度
• 0.23587264544090683、0.0、557.0 表示该监控样本的具体值

时序类型

Prometheus 时序数据分为 Counter, Gauge, Histogram, Summary 四种类型。

Prometheus 的使用

安装

官方下载地址

配置

Pom 依赖

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
	<groupId>io.micrometer</groupId>
	<artifactId>micrometer-registry-prometheus</artifactId>
</dependency>

项目开启监控

management.endpoint.metrics.enabled=true
management.endpoints.web.exposure.include=*
management.endpoint.prometheus.enabled=true
management.metrics.export.prometheus.enabled=true

添加 Job

进入 Prometheus 安装根目录 vim prometheus.yml

新增节点

- job_name: xeblog-api
    metrics_path: /actuator/prometheus
    static_configs:
    - targets: ['127.0.0.1:8080’]

job_name：任务名称
metrics_path： 指标路径
targets：实例地址/项目地址，可配置多个

运行 Prometheus

进入 Prometheus 安装根目录 ./prometheus
运行成功日志

访问地址：localhost:9090

PromQL

匹配过滤

操作符：= != =~ !~

匹配监控任务为 xeblog-api 的非 GET 请求方法的请求数

http_server_requests_seconds_count{job="xeblog-api", method!="GET"}

匹配监控任务为 xeblog-api 的非 GET 请求方法的请求数，且请求路径不为/api/message 和/api/version

http_server_requests_seconds_count{job="xeblog-api", method!="GET", uri !~ "/api/message|/api/version"}

它门的区别主要是，“=~ !~”支持正则匹配

范围查询

查询最近 5 分钟内的所有样本数据：
http_request_total{}[5m]
可选单位：

• s - 秒
• m - 分钟
• h - 小时
• d - 天
• w - 周
• y - 年

时间位移操作(offset)

查询 5 分钟前的样本数据：
http_request_total{} offset 5m

查询昨天 1 天内的样本数据：
http_request_total{}[1d] offset 1d

聚合操作

• sum (求和)
• min (最小值)
• max (最大值)
• avg (平均值)
• stddev (标准差)
• stdvar (标准差异)
• count (计数)
• count_values (对 value 进行计数)
• bottomk (后 n 条时序)
• topk (前 n 条时序)
• quantile (分布统计)
  ...

内置函数

• increase(v range-vector)：获取区间向量中的第一个和最后一个样本并返回其增长量
• rate(v range-vector)：计算区间向量 v 在时间窗口内平均增长速率
• irate(v range-vector)：计算区间向量 v 在时间窗口内平均增长速率（瞬时增长率，基于最后两个数据）
• predict_linear(v range-vector, t scalar)：预测时间序列 v 在 t 秒后的值
• abs(v instant-vector)： 返回输入向量的绝对值
• sort(v instant-vector)： 按升序排列
• sort_desc(v instant-vector)： 按降序排列
  ...

Grafana 可视化

安装

官方下载地址

Mac 下安装启动示例

// 安装
brew install grafana
// 启动
brew services start grafana

启动后访问地址：localhost:3000

登陆：
初始用户名和密码都是 admin

添加 Prometheus 数据源

新增 Dashboard

可以选择自己手动添加或者导入一个已配置好的 Json 文件
Dashboard 分享社区：https://grafana.com/dashboards
这里可以下载别人分享的 Dashboard Json 配置文件

推荐下载：Spring Boot Statistics
下载完后 导入文件就可以看见类似一个这样的监控界面

最上面这一行是模板变量，可以动态选择

点击设置按钮，选择 Variables，点击 New 可以新增变量

点击 title 选择 Edit 可以进行编辑

这里编写 PromQL 语句

监控报警

配置发件邮箱

vim grafana.ini
我的文件路径是/usr/local/etc/grafana/grafana.ini
配置如下：

[smtp]
enabled = true
host = smtp.qq.com:25
user = 你的QQ@qq.com
# If the password contains # or ; you have to wrap it with trippel quotes. Ex """#password;"""
password = 邮箱口令（不是QQ密码）
;cert_file =
;key_file =
;skip_verify = false
from_address = 你的QQ@qq.com
from_name = Grafana
# EHLO identity in SMTP dialog (defaults to instance_name)
;ehlo_identity = dashboard.example.com

这里配置的是 QQ 邮箱，其他邮箱同理

配置完后，重启 Grafana

brew services restart grafana

配置收件人

可以添加多个收件人，以“；”分隔

最后点击 Send Test 可以收到一封测试邮件，配置成功

监控指标

需要注意的是，Prometheus 不支持带有模版变量的监控设置报警，否则会提示“Template variables are not supported in alert queries”

监控示例：
监控 CPU 使用率
PromQL:

system_cpu_usage{instance="实例地址", job="任务名称"}

创建报警

这里配置的是当 CPU 使用率超过 1% 则发出报警

添加报警通知邮箱以及报警的描述信息

保存之后，没过多久就收到了报警通知

感谢阅读，如有错误，望指正！

参考资料

• https://songjiayang.gitbooks.io/prometheus/content/
• https://yunlzheng.gitbook.io/prometheus-book/
• https://prometheus.io/
• https://grafana.com/