Flink CDC SQL 'scan.startup.mode' = 'initial' 全量、增量参数详解

在 Flink CDC SQL 中，'scan.startup.mode' 参数用于指定 CDC 数据源的启动模式，可以设置为 'initial'（全量）或 'earliest-offset'（增量）。

• 全量模式（'scan.startup.mode' = 'initial'）：在启动时，CDC 数据源会从最早的数据开始读取，即从数据库中的第一条数据开始。这意味着 Flink CDC 会读取整个数据库表的数据，并将其作为初始状态。全量模式适用于需要对整个数据集进行处理或重新处理的情况。

• 增量模式（'scan.startup.mode' = 'earliest-offset'）：在启动时，CDC 数据源会从最早的有效的 offset 开始读取，即从数据库中的最早有效数据开始。这意味着 Flink CDC 会仅读取自上次处理以来发生的新增、更新或删除的数据。增量模式适用于实时数据处理场景，可以避免重复处理已经处理过的数据。

需要注意的是，'scan.startup.mode' 参数仅在启动 Flink 作业时生效，对于正在运行的作业，该参数的更改将不会影响已经启动的作业的行为。