Logstash 是如何工作的

此篇文章翻译于官方文档：https://www.elastic.co/guide/en/logstash/7.10/pipeline.html

Logstash 事件处理管道分为三个阶段：inputs -> filters -> outputs。inputs 生成事件，事件其实是数据的输入，filters 处理输入的数据，outputs 将处理完毕的数据搬运到其他位置。inputs 和 outputs 支持编解码，它可以让你在进入或退出管道时对数据进行编解码，而无需使用单独的 filter。

Inputs

使用 inputs 将数据输送给 Logstash，下面是一些常见的 inputs：

• file：从文件系统读取的文件；
• syslog：从 514 端口获取系统日志，并根据 RFC3164 规范进行解析到 Logstash；
• redis：从 redis 服务器读取，可以通过 redis channel 和 redis list 两个渠道。Redis 通常作为 Logstash 整体流程中的”中间商“，负责将远程的 Logstash ”采集者“的数据进行存储排队；
• beats：通过 beats 将数据发给 Logstash。

更多可用的 inputs 种类查看 Input Plugins。

Filters

Filters 是 Logstash 管道中的中间处理设备。如果数据符合特定条件，可以将 filter 与条件结合起来对数据执行操作。以下是一些常见的 filters：

• grok：可以解析和构造任意文本。Grok 目前是 Logstash 中将非结构化日志数据转换为结构化可查询数据的最佳方式。它将 12 种模式内置于 Logstash，你很可能会找到满足你需求的模式；
• mutate：对数据的字段进行常规转换。可以重命名、删除、替换和修改数据中的字段；
• drop：完全删除一条数据，比如：用作调试的数据；
• clone：制作数据的副本，可能会添加或删除数据；
• geoip：可以添加 IP 地址对应的地理位置数据（同时在 Kibana 也会有很惊艳的图标展示！）。

更多可用的 filters 种类查看 Filter Plugins。

Outputs

outputs 是 Logstash 管道处理的最后阶段。一个数据可以经过多个 output，但是一旦所有的 output 都处理完成，这条数据就算是完成了它的执行。一些常用的 outputs：

• elasticsearch：将数据发送到 Elasticsearch。如果打算以高效、方便且易于查询的格式保存数据，Elasticsearch 是不二之选；
• file：将数据写入到磁盘上的文件中；
• graphite：将数据发送到 Graphite，Graphite 是一种用于存储和绘制指标的流行开源工具。http://graphite.readthedocs.io/en/latest/
• statsd：将数据发送到 statsd，这是一项”监听统计信息，如计数器和计时器，通过 UDP 发送并将数据聚合发送到一个或多个后端服务“的服务。

更多可用的 outputs 种类查看 Output Plugins。

Codecs

Codecs 可以视为在 Inputs 和 Outputs 端运行的流过滤器。编解码器能够轻松的将消息的传输与序列化过程分开。流行的 codecs 包括 json、msgpack 和 plain（文本）。

• json：使用 JSON 的形式进行编解码；
• multiline：将多行文本数据（例如 Java 异常和堆栈信息）合并为一条消息。

更多可用的 codecs 种类查看 Codec Plugins