增量同步这事儿,听起来技术难度不高,但做起来翻车的案例比比皆是。核心就一句话:必须依赖一个能可靠识别变更的字段,比如 last_update_time。配合上带索引的查询、PreparedStatement 绑定时间参数、分批提交、MERGE 幂等写入,再加上断点续传控制表,才能把同步做成一个可落地的方案。
增量同步必须依赖可识别变更的字段
Oracle 本身不提供全局递增 ID 或自动更新时间戳,所以 Ja va 端做增量同步之前,得先确认源表有没有 last_update_time 或 create_time 这类能反映变更的字段。没有的话,dbms_logmnr 或物化视图日志虽然可行,但运维成本太高,不建议在 JDBC 层硬扛。

常见的错误现象:有人用 ROWNUM 或 ROWID 当增量依据——它们不随业务变更稳定递增,重跑时会漏数据或重复插入。
- 优先选
last_update_time(带索引),查询条件写成WHERE last_update_time > ? - 若只有
create_time,且业务只做 INSERT 不 UPDATE/DELETE,则可用;否则无法捕获修改 - 避免用
SYS_GUID()或序列值做判断,无时间语义,无法排序和断点续传
PreparedStatement + 时间参数绑定是核心写法
每次同步需要记住上一次最大时间点,下次查询就从这个时间点往后取。不能靠“查 MAX(time) 再 +1 秒”这种粗略方式,Oracle 毫秒级时间可能有重复。
关键代码片段:
String sql = "SELECT id, name, value, last_update_time FROM t_user WHERE last_update_time > ?"; PreparedStatement ps = conn_source.prepareStatement(sql); ps.setTimestamp(1, lastSyncTime); // lastSyncTime 是上次同步记录的最大时间 ResultSet rs = ps.executeQuery();
注意:setTimestamp 必须用 ja va.sql.Timestamp,不是 ja va.util.Date;Oracle 对时区敏感,确保 JDBC URL 里加了 serverTimezone=UTC 或显式设置 Calendar 实例。
- 查询结果集建议调用
rs.setFetchSize(5000),减少网络往返次数 - 别用
rs.next()配合Thread.sleep()控速——这是反模式,应由数据库限流或应用层队列控制 - 如果源表没索引在
last_update_time上,全表扫描会拖垮性能,务必补建
批量写入目标库要关自动提交 + 分批提交
目标库插入不设事务边界,轻则锁表,重则 ORA-01555 快照过旧错误。尤其当源数据量大、单次拉取超 10 万行时,必须手动分批。
典型做法:
- 目标连接调用
conn_destination.setAutoCommit(false) - 每 5000 行执行一次
ps_target.executeBatch()+conn_destination.commit() - 捕获
SQLException后,回滚当前批次,记录失败 offset 和时间范围,便于重试 - 避免用
addBatch()堆积百万条再 execute —— 内存溢出风险高,且 Oracle 批处理上限默认是 1000 条/批
断点续传和幂等写入缺一不可
网络抖动、JVM Crash、数据库瞬断都会导致同步中断。只靠“记时间戳”不够,还得在目标表加唯一约束或用 MERGE 语句。
推荐写法:
MERGE INTO t_user_dst t USING (SELECT ? id, ? name, ? value, ? last_update_time FROM dual) s ON (t.id = s.id) WHEN MATCHED THEN UPDATE SET t.name = s.name, t.value = s.value, t.last_update_time = s.last_update_time WHEN NOT MATCHED THEN INSERT (id, name, value, last_update_time) VALUES (s.id, s.name, s.value, s.last_update_time)
这样即使同一批数据重推,也不会报唯一键冲突或丢更新。
- 每次同步成功后,把本次查询到的最大
last_update_time写入一张控制表(如sync_checkpoint),而不是存在内存或文件里 - 不要依赖 JVM shutdown hook 记 checkpoint —— 容器重启或 kill -9 时它不触发
- Oracle 的
MERGE在 10g 及以上都支持,但注意目标列不能为 NULL 约束而源数据为 NULL,否则报 ORA-01400
真正麻烦的从来不是代码怎么写,而是时间字段是否可靠、索引是否生效、目标表是否有主键或唯一键支撑 MERGE。这些不在 Ja va 里,但在 Oracle 里,漏掉任何一个,同步就会变成定时冲击波。
