[alibaba/canal]canal-1.1.5 更改数据不能同步到 es 7

2023-12-18 271 views
1

环境:macos、mysql 8、elasticsearch 7.17.1

canal 配置按教程:https://blog.csdn.net/qq_41028058/article/details/117994183

使用 curl -X POST http://localhost:8081/etl/es7/student.yml 可以全量数据同步。

更改数据时,adapter.log 日志可以看到 adapter.logger 的输出,但是 es 里的数据没有变动。

image

回答

2

@tumobi 我也遇到了这个问题,请问你解决了吗

8

canalAdapters:

  • instance: example # canal instance Name or mq topic name groups:
    • groupId: g1 outerAdapters:
      • name: logger
      • name: es7 hosts: http://127.0.0.1:9200 # 127.0.0.1:9200 for rest mode properties: mode: rest # ransport or rest 用这个方式
5

dataSourceKey: defaultDS destination: example groupId: g1 esMapping: _index: my_index _id: _id sql: "SELECT id as _id, a, b, c from d" etlCondition: "where d.create_time>={}" commitBatch: 3000 自己的yml要这样写

8

@aston-xie 请问可以说一下与原配置教程的区别和要修改的点吗

5

conf/es7/student.yml 更改 destination 的值

destination: example