如果Flink任务挂了,修复后重新启动,会基于上次的offset继续向后消费数据。这是因为Flink会将消费的offset保存在状态后端中,以保证在任务挂掉后能够从上次的位置继续消费数据。而重新启动的Flink任务会根据保存在状态后端中的checkpoint信息来恢复任务状态,从而知道该基于哪次的checkpoint继续运行。如果状态后端保存的checkpoint信息不全,Flink任务也会根据指定的恢复策略进行数据恢复。

flink挂了修复后重新启动会基于上次的offset继续向后消费数据吗?为什么重新启动的flink任务怎么知道该基于哪次的checkpoint继续运行

原文地址: https://www.cveoy.top/t/topic/frGr 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录