使用flinksql cdc读取postgresql数据库如何配置从最新日志开始读取
在使用 Flink SQL CDC 读取 PostgreSQL 数据库时,可以通过配置以下参数来从最新日志开始读取:
-
设置
startup-mode参数为latest-offset,表示从最新的日志位置开始读取。 -
设置
scan.startup.timestamp-millis参数为当前时间戳,表示从当前时间开始读取。
例如,以下是一个读取 PostgreSQL 数据库的 Flink SQL CDC 配置文件示例:
connector.name=postgresql-cdc
connector.property-version=1
connector.startup-mode=latest-offset
connector.slot.name=my_slot
connector.hostname=localhost
connector.port=5432
connector.database=my_db
connector.username=my_user
connector.password=my_password
scan.startup.timestamp-millis=1618256400000
在这个示例中,startup-mode 参数设置为 latest-offset,scan.startup.timestamp-millis 参数设置为当前时间戳的值。这将使 Flink SQL CDC 从最新的日志位置开始读取
原文地址: https://www.cveoy.top/t/topic/fHuc 著作权归作者所有。请勿转载和采集!