最近在做个项目，功能主要是数据同步。
客户有多个系统（OA，AD 域服务器···），各个系统间没有直接连通，这些系统都要用到 HR 系统的员工相关数据（员工信息变更都是在 HR 系统进行），现在要把 HR 系统相关数据同步到其他的系统。不要求实时，但是要求支持增量同步和全量同步，数据量比较多。
请问黑客有没相关方案或者资料可推荐？
多系统，异构数据，大数据量同步的问题
本贴最后更新于 2367 天前，其中的信息可能已经天翻地覆
相关帖子
- 其他回帖
-
@linker @xjtushilei ,昨天问的问题今天整理了两个方案出来，正在实现中（java web），欢迎讨论：
场景
这里对场景进行简化：
- 现在有张表：A 和 B，A B 表通过 id 字段关联（A 表掌握在客户手里，不能随便变更结构和数据）
- 俩表异构，需要自己根据业务做好字段的对应
- 这两张表可能不在同一个数据库
- 用户只对 A 进行人为操作，其中 增删改 操作的结果需要同步到 B 表
- 不要求实时，要求准确可靠，增量更新，并且数据量大
分析
增量更新必须要有相应的字段支持，否则除了行间内容的全量对比（成本高效率低），别无他法。
增量同步的两个先决条件：
- A 表需要一个记录内容的 最后修改时间 的字段，假设该字段名是 modifyTime
- B 表需要一个记录内容的 最后同步时间 的字段，假设该字段名是 syncTime
一些方案
方案一
查询出 B 表的最小 syncTime(minSync) ，分页查出 A 表 modifyTime>=minSync (上次同步完之后进行了修改) 的记录进行同步或者插入，直到所有的 modifyTime<minSync 。
方案二
分页从 A 表取出 id 和 modifyTime，在 B 系统中做关联对比，syncTime<=modifyTime 的记录需要更新，B 表中没有的记录则执行插入。
注意：考虑到不同机器的时间有一些误差，需要做一些处理，避免都写出在临界值的记录没有得到更新，比如：modifyTime>=minSync-N (N 是机器间时间差和其他的时间开销产生的误差)
以上两种方案的优缺点，暂时没有总结整理。
- 查看全部回帖
欢迎来到这里！
我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。
注册 关于