Flink 故障恢复:如何基于 Checkpoint 重新启动
当 Flink 任务意外停止后重新启动时,它会根据配置文件中的参数来确定使用哪个 checkpoint 作为恢复点。这些参数包括:
- 'state.checkpoints.dir':指定 checkpoint 保存的路径。
- 'state.backend':指定使用哪种状态后端,例如 MemoryStateBackend、FsStateBackend 等。
- 'state.backend.fs.checkpointdir':指定 checkpoint 保存的路径,与 'state.checkpoints.dir' 功能相同。
- 'recovery.mode':指定恢复模式,例如 standalone、zookeeper 等。
- 'recovery.zookeeper.quorum':如果使用 zookeeper 作为恢复模式,需要指定 zookeeper 服务器的地址。
在重新启动时,Flink 会根据配置文件中的参数到指定的路径下查找最新的 checkpoint,并基于该 checkpoint 进行恢复。如果找不到任何 checkpoint,则会从头开始重新计算。
原文地址: https://www.cveoy.top/t/topic/ogaZ 著作权归作者所有。请勿转载和采集!