[alibaba/canal]canal运行期间, 我update了一个有20w数据的表,导致canal数据同步延迟20小时

2023-12-12 581 views
7
Question

canal运行期间, 我update了一个有20w数据的表,导致canal数据同步延迟20小时 同步逻辑是: mysql --> canal --> es, 起因: canal 在运行期间, 我修改了一个20w数据的表其中2w条数据的单个属性; 问题: update完数据后我针对此表做了一个全量同步数据到es, 然而并没有用, canal日志查看到数据还在缓慢的update, 这期间导致一直没有insert , es数据一直没有更新, 持续了近20小时才正常. 目的: 寻求一个解决方案, 求大佬们支招

回答

0

canal这么慢吗?兄弟解决了吗?

3

没解决, 在考虑要不要换个其他方案

4

兄弟,我也遇到慢的问题了,但是感觉是有时候很快,有时候又很慢

1

千万不要一次性大批量的插入更新数据, 只要有必慢

3

canal是日志重放,源库是20W行一起更新,到目标库就是20万条变更记录一个一个提交了。 这场景我也碰到了,估算要跑几天,果断停掉同步,手工更新数据,再把消费的cursor位置跳到新,最后用ETL补中间漏更新的数据。