通过解析 mysql binlog 实现数据异构

开发中经常需要数据异构，mysql 数据变化需要更新 redis、memcache 或 elasticsearch 等外部存储。程序中变更数据，代码耦合度高，不易修改。我们可以利用 mysql 的 binlog 解析，统一规划数据异构的规则进行数据同步更新。

原理

同步服务模拟 mysql-slave 请求 mysql-server,接收到 binlog 中的日志数据。同步服务解析日志数据，处理对应的业务逻辑

mysql 设置

log-bin=mysql-bin #添加这一行就 ok
binlog-format=ROW #选择 row 模式
server_id=1 #配置 id

开源软件

JAVA:(Canal)https://github.com/alibaba/canal
阿里巴巴开源项目

PHP:(php-binlog)https://github.com/bullsoft/php-binlog
PHP 通过 cli 方式运行，读取 binlog

Golang:(go-mysql-elasticsearch) http://github.com/siddontang/go-mysql-elasticsearch
golang 读取 mysql binlog 同步到 es

MySQL 日志（十四）

[图片] MySQL 日志 MySQL 日志记录了 MySQL 数据库日常操作和错误信息。日志简介 MySQL 日志主要分为 4 类，使用这些日志文件，可以查看 MySQL 内部发生的事情。这 4 类日志分别是：错误日志：记录 MySQL 服务的启动、运行或停止 MySQL 服务时出现的问题。查询日志：记录建立的 ..

MySQL 数据备份与恢复（十三）

[图片] 数据备份与恢复保证数据安全最重要的一个措施是确保对数据进行定期备份。如果数据库中的数据丢失或者出现错误，可以使用备份的数据进行恢复，这样就尽可能地降低了意外原因导致的损失。数据备份使用 mysqldump 命令备份 mysqldump 命令执行时，可以将数据库备份成一个文本文件，该文件实际上包含了多个 ..

MySQL 用户管理（十二）

[图片] MySQL 用户管理 MySQL 是一个多用户数据库，可以为不同用户指定允许的权限。权限表 MySQL 服务器通过权限表来控制用户对数据库的访问，权限表存放在 MySQL 数据库中，由 MySQL_install_db 脚本初始化。存储账户权限信息表主要有 user、db、host、tables_priv、 ..

MySQL 触发器（十一）

[图片] MySQL 触发器 MySQL 的触发器和存储过程一样，都是嵌入到 MySQL 的一段程序。触发器由事件来触发某个操作，这些事件包括 INSERT、UPDATE 和 DELETE 语句。创建触发器触发器（trigger）是一个特殊的存储过程，不同的是，执行存储过程要使用 CALL 语句来调用，而触发器的执 ..

MySQL 视图（十）

[图片] 视图数据库中的视图是一个虚拟表。同真实的表一样，视图包含一系列带有名称的行和列数据。行和列数据来自由定义视图查询所引用的表。视图概述在视图中用户可以使用 SELECT 语句查询数据，以及使用 INSERT、UPDATE 和 DELETE 修改记录。视图的含义视图是一个虚拟表，是从数据库中一个或多个表 ..

MySQL 存储过程和函数（九）

[图片] 存储过程和函数存储过程就是一条或者多条 SQL 语句的集合，可视为批文件，但是其作用不仅限于批处理。创建存储过程和函数存储程序可以分为存储过程和函数，MySQL 中创建存储过程和函数使用的语句分别是 CREATE PROCEDURE 和 CREATE FUNCTION。使用 CALL 语句来调用存储过程 ..

MySQL 索引（八）

[图片] 索引索引用于快速找出某列中有一特定值的行。如果表中查询的列有一个索引，MySQL 能快速到达某个位置去搜寻数据文件，而不必查看所有数据。索引简介索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可提高数据库中特定数据的查询速度。索引的含义索引是在存储引擎中实现的，每种存储引擎的索引都不一定 ..

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

关于

原理