emq 的部署、使用及维护

本贴最后更新于 1950 天前,其中的信息可能已经物是人非


1、下载 emq 源码

emq 使用 3.0 以上版本(emq 2.X 版本称为 emqttd,3.X 版本称为 emqx),并且自己编译源码(方便做扩展性修改)。git 地址:https://github.com/emqx/emqx-rel.git。

emq 的编译依赖于 Erlang 环境(emqx 依赖于 Erlang R21.2+ 版本,emqttd 依赖于 Erlang R20+ 版本)。Erlang 安装: http://www.erlang.org/

源码下载完成后,进入 emqx-rel 主文件夹,然后直接 make 编译。编译完成后的文件结构如下:
image.png

由于 emq 文件结构过于复杂,因此只介绍需要用到的部分。可执行的命令以及配置文件位于_rel/emqx 中,插件位于 deps 中。

2、emq 配置、运行和部署

进入 emqx-rel/_rel/emqx/bin 文件夹下,用 emqx start 命令即可运行 emq,用 emqx stop 课停止 emq, emqx console 进入控制台运行模式,在此模式下可看见诸多类似设备连接、服务器报错等信息。

emq 的配置文件是 emqx-rel/_rel/emqx/etc/emqx.conf,下面介绍配置文件中比较重要的部分。
node.name=emqx@192.168.4.31 服务器的节点名,需要 emqx@host 的格式,注意 host 中最好使用本机真实 ip,尤其是在集群配置中,否则会出现预期之外的错误。并且,emq 启动之后不要修改此配置,确保 emq 开启和关闭的时候此配置必须相同,否则会出现无法关闭 emqx 的错误(就算一开始写的 127.0.0.1,然后启动之后发现错了,也要先关闭 emqx 再修改配置!)。

listener.tcp.external = 0.0.0.0:1885 : emq 对外监听的 tcp 端口,默认 1883。

listener.ssl.external = 8883 : emq 监听的 ssl 端口,默认 8883。

listener.ssl.external.keyfile = etc/certs/key.pem : 服务器的私钥(关于 ssl 认证的具体介绍见另一篇文档)。

listener.ssl.external.certfile = etc/certs/cert.pem : 服务器的公钥。

listener.ssl.external.cacertfile = etc/certs/cacert.pem : ca 证书。

listener.ssl.external.verify = verify_peer : 开启双向认证。

listener.ssl.external.fail_if_no_peer_cert = true : 如果客户端证书错误,则禁止连接。

如果开启单向认证,只需要配置服务器公钥和私钥,如果开启双向认证,则需要配置 ca、开启双向认证、并禁止客户端无证书连接。

另外,在 emqx-rel/_rel/emqx/etc/acl.conf 中,有一处配置需要注意。

{allow, {user, "dashboard"}, subscribe, ["$SYS/#"]}.

{allow, {ipaddr, "127.0.0.1"}, pubsub, ["$SYS/#", "#"]}.

%%{deny, all, subscribe, ["$SYS/#", {eq, "#"}]}.

{allow, all}.

这里对 emq 客户端的权限作了一些配置,对某些 topic 禁止客户端订阅。我们需要将第三行的配置注释掉,否则客户端无法订阅 $SYS/# 的 topic(具体作用见下文)。

3、emq 集群部署

emq 提供了多种去中心化的集群部署方案:
image.png

emqx-rel/_rel/emqx/etc/emqx.conf 中可以配置集群的创建方式,在此介绍一下手动创建集群的方法。

cluster.discovery = manual : 开启手动创建集群模式。

启动两台 emqx 节点(物理节点,非逻辑节点),假设两个节点分别为 emqx@node1emqx@node2,在任意一台节点(以 node1 为例)上,执行命令:emqx-rel/_rel/emqx/bin/emqx_ctl clsuter join emqx@node2

节点退出集群:mqx-rel/_rel/emqx/bin/emqx_ctl cluster leave

4、emq 的管理和监控

emq 提供了方便用户管理监控的控制台、api 及系统消息。控制台可直接访问 http://{host}:18083,默认用户名 admin,密码 public
image.png

此处是插件功能和 emq 提供的 HTTP API 列表,可直接在控制台中进行配置和插件的开关,emq 支持插件的热加载。

除此之外,emq 提供了一些用于监控 broker 状态的系统主题 $SYS。其中,我们的上下线通知中用到了下列两个 topic:
image.png

但是此处的上线通知流程存在问题,emq broker 会在客户端尝试连接(鉴权)时进行上线通知,而不是连接成功之后通知。还有一种解决方案是用插件进行通知,但这样会使用 http 同步调用,代价较大,因此暂时还是用系统消息进行异步通知。

5、插件的编写

插件位于 emqx-rel/deps 中,其中有若干已经由官方写好的插件,可以直接修改配置文件或直接在控制台中进行配置。

如果需要自己写插件,emq 也提供了插件模板,在 emqx-rel/deps/emqx_plugin_template 中。打开 emqx-rel/deps/emqx_plugin_template/src/emqx_plugin_template.erl,其中可以看到 emq 提供了一些钩子:

    emqx:hook('client.authenticate', fun ?MODULE:on_client_authenticate/2, [Env]),
    emqx:hook('client.check_acl', fun ?MODULE:on_client_check_acl/5, [Env]),
    emqx:hook('client.connected', fun ?MODULE:on_client_connected/4, [Env]),
    emqx:hook('client.disconnected', fun ?MODULE:on_client_disconnected/3, [Env]),
    emqx:hook('client.subscribe', fun ?MODULE:on_client_subscribe/3, [Env]),
    emqx:hook('client.unsubscribe', fun ?MODULE:on_client_unsubscribe/3, [Env]),
    emqx:hook('session.created', fun ?MODULE:on_session_created/3, [Env]),
    emqx:hook('session.resumed', fun ?MODULE:on_session_resumed/3, [Env]),
    emqx:hook('session.subscribed', fun ?MODULE:on_session_subscribed/4, [Env]),
    emqx:hook('session.unsubscribed', fun ?MODULE:on_session_unsubscribed/4, [Env]),
    emqx:hook('session.terminated', fun ?MODULE:on_session_terminated/3, [Env]),
    emqx:hook('message.publish', fun ?MODULE:on_message_publish/2, [Env]),
    emqx:hook('message.deliver', fun ?MODULE:on_message_deliver/3, [Env]),
    emqx:hook('message.acked', fun ?MODULE:on_message_acked/3, [Env]),
    emqx:hook('message.dropped', fun ?MODULE:on_message_dropped/3, [Env]).

当达成这些条件事,会触发钩子函数,用户可以自己定义钩子函数,例如**目前鉴权所用到的:

on_client_authenticate(Credentials = #{client_id := ClientId, password := Password, username := Username}, _Env) ->
    io:format("Client(~s) authenticate, Password:~p ~n, Username:~p ~n", [ClientId, Password, Username]),
   inets:start(),
    {ok, {{Version, 200, ReasonPhrase}, Headers, Body}} = httpc:request(string:join(["http://www.example.com/api/mqtt/authenticate/login?username=",  binary_to_list(base64:encode(binary_to_list(Username))), "&password=",  binary_to_list(Password),  "&clientId=", binary_to_list(base64:encode(binary_to_list(ClientId)))], "")),
		if
			Body == "0" ->
			{stop, Credentials#{auth_result => success}};
		true ->
			{stop, Credentials#{auth_result => fail}}
		end.

插件编写完成后,需要到主目录 emqx-rel 中重新 make。注意,make 之后配置文件会重新生成,因此 make 之前最好备份一下配置文件。然后启动 emq,到控制台中开启插件即可。

6、管理监控 API

emq 提供了一些 api,可以获取服务器的一些信息。
image.png

首先在 App 中新增用户
image.png

image.png

然后通过 http://host:8080/{api} 访问,访问需要 http basic authentication,用刚刚创建的用户可以访问。

7、emq 使用过程中可能遇到的问题及注意事项

1)emqx start 指令后,卡住不动,没有出现 start successfully 的字样,可能是端口被其他进程占用。emq 会占用的端口如下:
image.png

这些端口都可以在配置文件中自己修改,但是只要有一个冲突就无法正常启动。

2)emqx stop 时,显示 emqx@xxx no response 字样,检查配置文件中的节点名是否正确。

3)在开启集群模式时,如果要关闭一个节点,最好先手动让该节点退出集群,否则下一次启动该节点时可能出现无法加入集群的情况(emq 会记住集群信息,重启时会自动恢复之前的集群状态,但这个过程经常会出现一些问题,所以最好的办法就是手动退出集群,然后重启之后再手动加入集群)。

4)emq 重启之后,会自动启动上一次启动过的插件,但是配置会回复初始化(除非修改配置文件)。

5)emq 的启动进程为 beam.smp,守护进程为 epmd,但是 Erlang 的进程结构比较奇怪,所以直接 kill 掉上述进程之后,emq 可能还在运行中。所以最好执行 emqx stop 指令来停止 emq。

8、部署架构
image.png

9、后记

在官方文档中有更为全面的说明和指南,本文只列出了部分实际用到的比较重要的功能。如果后续有扩展或本文中不详细之处,可参加官方文档:https://developer.emqx.io/docs/broker/v3/cn/getstarted.html

另附:插件编写指南 https://www.cnblogs.com/wunaozai/p/8067621.html

官方文档对于部分内容也并不十分详细,本文对实际中遇到的问题和注意事项作了部分补充。

  • emq
    1 引用
  • emqx
    1 引用
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 417 关注
  • OpenSSL
    7 引用 • 1 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    210 引用 • 2036 回帖
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时,提供更无缝的用户体验。

    1 引用 • 2 回帖 • 53 关注
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 402 关注
  • OAuth

    OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是 oAuth 的授权不会使第三方触及到用户的帐号信息(如用户名与密码),即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权,因此 oAuth 是安全的。oAuth 是 Open Authorization 的简写。

    36 引用 • 103 回帖 • 17 关注
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 31 关注
  • CodeMirror
    1 引用 • 2 回帖 • 130 关注
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1063 引用 • 3454 回帖 • 191 关注
  • 知乎

    知乎是网络问答社区,连接各行各业的用户。用户分享着彼此的知识、经验和见解,为中文互联网源源不断地提供多种多样的信息。

    10 引用 • 66 回帖
  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    149 引用 • 257 回帖
  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    117 引用 • 99 回帖 • 209 关注
  • AngularJS

    AngularJS 诞生于 2009 年,由 Misko Hevery 等人创建,后为 Google 所收购。是一款优秀的前端 JS 框架,已经被用于 Google 的多款产品当中。AngularJS 有着诸多特性,最为核心的是:MVC、模块化、自动化双向数据绑定、语义化标签、依赖注入等。2.0 版本后已经改名为 Angular。

    12 引用 • 50 回帖 • 484 关注
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 5 关注
  • Pipe

    Pipe 是一款小而美的开源博客平台。Pipe 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    132 引用 • 1114 回帖 • 125 关注
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖 • 3 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    107 引用 • 153 回帖 • 2 关注
  • 代码片段

    代码片段分为 CSS 与 JS 两种代码,添加在 [设置 - 外观 - 代码片段] 中,这些代码会在思源笔记加载时自动执行,用于改善笔记的样式或功能。

    用户在该标签下分享代码片段时需在帖子标题前添加 [css] [js] 用于区分代码片段类型。

    91 引用 • 578 回帖
  • PostgreSQL

    PostgreSQL 是一款功能强大的企业级数据库系统,在 BSD 开源许可证下发布。

    22 引用 • 22 回帖 • 2 关注
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖
  • Firefox

    Mozilla Firefox 中文俗称“火狐”(正式缩写为 Fx 或 fx,非正式缩写为 FF),是一个开源的网页浏览器,使用 Gecko 排版引擎,支持多种操作系统,如 Windows、OSX 及 Linux 等。

    8 引用 • 30 回帖 • 410 关注
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations,简称 DJI),成立于 2006 年,是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商,客户遍布全球 100 多个国家。通过持续的创新,大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现,服务器端用 Erlang 语言编写,支持多种语言客户端,如:Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 360 关注
  • Chrome

    Chrome 又称 Google 浏览器,是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写,包括 WebKit,目标是提升稳定性、速度和安全性,并创造出简单且有效率的使用者界面。

    62 引用 • 289 回帖 • 1 关注
  • 职场

    找到自己的位置,萌新烦恼少。

    127 引用 • 1706 回帖
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖 • 2 关注
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    93 引用 • 113 回帖 • 1 关注