flinkcdc 读取postgre的分区表不支持debeziumsnapshotmode配置为never
Flink CDC 读取 PostgreSQL 分区表时,目前不支持将 Debezium 的 snapshot.mode 配置为 never。这是因为 Flink CDC 目前不支持从 binlog 中读取分区表的历史数据,而只能读取当前分区的数据。因此,如果将 snapshot.mode 配置为 never,则 Flink CDC 无法获取分区表的当前数据,无法进行增量更新。
如果需要读取 PostgreSQL 分区表的数据,并且配置了 snapshot.mode 为 never,可以考虑使用 Flink 的 StatefulFunction 库或者 Flink SQL 中的动态表函数(Dynamic Table Function)来实现。这两种方法都可以通过自定义 SQL 查询来读取分区表的数据,并将其转换为 Flink 中的数据流进行处理。需要注意的是,这种方式可能会引入较大的延迟,因为需要在 Flink 中进行数据转换和处理。
原文地址: https://www.cveoy.top/t/topic/fItL 著作权归作者所有。请勿转载和采集!