ELK 日志系统环境搭建

本贴最后更新于 2017 天前,其中的信息可能已经时移俗易




ZERO

    持续更新 请关注:https://zorkelvll.cn/blogs/zorkelvll/articles/2019/03/20/1553062484473

背景

    近期由于项目需求,需要建立一套日志聚合系统,采用经典的 ELK(logstash =》elasticsearch =》kibana)日志系统架构,本文则是记录相关 elasticsearch\logstash\kibana\filebeat 等环境的安装过程!

说明:

  • 数据流走向:filebeat => logstash => elasticsearch => kibana
  • 组件启动顺序:elasticsearch => logstash => kibana (ELK 名称的来源?) => filebeat
  • elasticsearch-6.6.1 logstash-6.6.2 kibana-6.6.2 filebeat-6.6.2

下载

    在 elk 官网下载安装包 logstash\elasticsearch\kibana 以及 filebeats,其中 elasticsearch 的下载以及安装过程可参见 ElasticSearch 环境搭建

cd /usr/local #root用户

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.2-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-linux-x86_64.tar.gz

tar -zxvf logstash-6.6.2.tar.gz
chown es:es /usr/local/logstash-6.6.2/ -R

tar -zxvf kibana-6.6.2-linux-x86_64.tar.gz
chown es:es /usr/local/kibana-6.6.2-linux-x86_64/ -R

tar -zxvf filebeat-6.6.2-linux-x86_64.tar.gz
chown es:es /usr/local/filebeat-6.6.2-linux-x86_64/ -R

配置

elasticserach

  可参见 ElasticSearch 环境搭建

logstash

cd /usr/local/logstash-6.6.2 #es用户
vim default.conf #创建default.conf文件并添加内容:

# 监听5044端口作为输入
input {
    beats {
        port => "5044"
    }
}
# 数据过滤
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    geoip { source => "clientip" }
}
# 输出配置为本机的9200端口,这是ElasticSerach服务的监听端口
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
    }
}

kibana

cd /usr/local/kibana-6.6.2-linux-x86_64 #es用户
vim config/kibana.yml # 将server.host配置项取消注释并修改(若修改为局域网ip地址则内网访问,此处设为0位可外网访问)为server.host:"0.0.0.0"

filebeat

cd /usr/local/filebeat-6.6.2-linux-x86_64 #es用户

vim filebeat.yml  #配置日志以及日志文件路径(配置如截图,且需要保证es用户具有访问该log目录的权限),如nginx日志为例

vim filebeat.yml #配置elasticsearch日志输出地址或者logstash输出地址,在这里我们将采用filebeat先收集日志到logstash中,然后由logstash再到elasticsearch中,因此注释掉默认的elasticsearch地址并取消默认注释的logstash地址(配置如截图)

image.png

image.png

启动

elasticserach

  可参见 ElasticSearch 环境搭建

logstash

cd /usr/local/logstash-6.6.2 #es用户
nohup bin/logstash -f default.conf --config.reload.automatic & #以后台进程形式启动logstash服务
tail -f nohup.out  #查看启动日志(或者先以bin/logstash -f default.conf -config.reload.automatic命令启动在控台打印启动日志确定可以成功关闭后再以后台形式启动)

kibana

cd /usr/local/kibana-6.6.2-linux-x86_64 #es用户
nohup bin/kibana &     #以后台进程形式启动kibana服务
tail -f nohup.out  #查看启动日志(或者先以bin/kibana命令启动在控台打印启动日志确定可以成功关闭后再以后台形式启动)
浏览器中访问   http://ip:5601  #可以访问页面成功,则kibana启动成功

kibana 关闭:
image.png

filebeat

cd /usr/local/filebeat-6.6.2-linux-x86_64 #es用户
nohup ./filebeat -e -c filebeat.yml -d "publish" &    #以后台进程形式启动filebeat服务
tail -f nohup.out  #查看启动日志(或者先以./filebeat -e -c filebeat.yml -d "publish"命令启动在控台打印启动日志确定可以成功关闭后再以后台形式启动)

确认 kibana 中是否存在 nginx 的日志

浏览器中访问 http://ip:5601 #查看 kibana 中是否有 nginx 日志存在
image.png

TODO:

  • Kibana 界面汉化



  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    148 引用 • 257 回帖
  • ELK
    23 引用 • 18 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • someone
    作者

    正在写的过程中,一不小点了发布就发布出去了,pipeblog 写的文章貌似现在还不能有暂存草稿这个功能 😰

    1 回复
  • 其他回帖
  • alanfans

    hacpai 有的,你关了,还会在,我猜是浏览器缓存,并没有离线缓存 ,其他产品不知道有没有

  • someone
    作者

    嗯嗯

  • alanfans

    没写完???

    1 回复
  • 查看全部回帖