最近在做个项目，功能主要是数据同步。
客户有多个系统（OA，AD 域服务器···），各个系统间没有直接连通，这些系统都要用到 HR 系统的员工相关数据（员工信息变更都是在 HR 系统进行），现在要把 HR 系统相关数据同步到其他的系统。不要求实时，但是要求支持增量同步和全量同步，数据量比较多。
请问黑客有没相关方案或者资料可推荐？
多系统，异构数据，大数据量同步的问题
本贴最后更新于 2397 天前，其中的信息可能已经天翻地覆
相关帖子
- 其他回帖
-
@linker @xjtushilei ,昨天问的问题今天整理了两个方案出来，正在实现中（java web），欢迎讨论：
场景
这里对场景进行简化：
- 现在有张表：A 和 B，A B 表通过 id 字段关联（A 表掌握在客户手里，不能随便变更结构和数据）
- 俩表异构，需要自己根据业务做好字段的对应
- 这两张表可能不在同一个数据库
- 用户只对 A 进行人为操作，其中 增删改 操作的结果需要同步到 B 表
- 不要求实时，要求准确可靠，增量更新，并且数据量大
分析
增量更新必须要有相应的字段支持，否则除了行间内容的全量对比（成本高效率低），别无他法。
增量同步的两个先决条件：
- A 表需要一个记录内容的 最后修改时间 的字段，假设该字段名是 modifyTime
- B 表需要一个记录内容的 最后同步时间 的字段，假设该字段名是 syncTime
一些方案
方案一
查询出 B 表的最小 syncTime(minSync) ，分页查出 A 表 modifyTime>=minSync (上次同步完之后进行了修改) 的记录进行同步或者插入，直到所有的 modifyTime<minSync 。
方案二
分页从 A 表取出 id 和 modifyTime，在 B 系统中做关联对比，syncTime<=modifyTime 的记录需要更新，B 表中没有的记录则执行插入。
注意：考虑到不同机器的时间有一些误差，需要做一些处理，避免都写出在临界值的记录没有得到更新，比如：modifyTime>=minSync-N (N 是机器间时间差和其他的时间开销产生的误差)
以上两种方案的优缺点，暂时没有总结整理。
-
-
xjtushilei • • 2 • 3 赞同
全量
全量数据的话用阿里的 datax，官网 https://github.com/alibaba/DataX，应该没有任何问题
增量
这个比较复杂了，要看具体任务具体设计了。不知道符合以下哪种情况。
- 如果有公网 ip 的话可以试试阿里的 dts，不过大概率数据库不会有公网权限的
- 如果有增量的 id，时间戳之类的，自己写脚本去实现增量读取就好。判断源 db 和目标 db 的 id 大小，速度和同步时间都可以自己控制，不影响原来系统业务性能。还能体现出自己的 kpi
- 如果有源 DB 的权限
- 基于 binlog，用类似 flume 或 Logstash 之类的去监测 binlog，然后增量的 binlog 刷到目标 db，目标 db 有压力的话中间搞个 kafka 之类的消息队列来缓冲一下，再用 flume 接上你的目标 db
- 基于触发器，设置 insert，update，delete 的触发器，执行脚本。脚本刷到 kafka 之类的队列里，然后 kafka 再到目标 db（可以再用 flume 来完成这个任务，省去自己写程序）
- 还有一个比较万能的软件，在用 datax 之前了解过，但是没用过，希望对你有用。kettle 据说有很多种方式来满足需求。
1 回复 - 如果有公网 ip 的话可以试试阿里的 dts，不过大概率数据库不会有公网权限的
- 查看全部回帖
欢迎来到这里！
我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。
注册 关于