如果 Flink 任务挂了,修复后重新启动,会基于上次的 offset 继续向后消费数据。这是因为 Flink 会将消费的 offset 保存在状态后端中,以保证在任务挂掉后能够从上次的位置继续消费数据。而重新启动的 Flink 任务会根据保存在状态后端中的 checkpoint 信息来恢复任务状态,从而知道该基于哪次的 checkpoint 继续运行。如果状态后端保存的 checkpoint 信息不全,Flink 任务也会根据指定的恢复策略进行数据恢复。

Flink 任务挂掉后重启,如何继续消费数据?

原文地址: https://www.cveoy.top/t/topic/ogaN 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录