当 Flink 任务意外停止后重新启动时,它会根据配置文件中的参数来确定使用哪个 checkpoint 作为恢复点。这些参数包括:

  1. 'state.checkpoints.dir':指定 checkpoint 保存的路径。
  2. 'state.backend':指定使用哪种状态后端,例如 MemoryStateBackend、FsStateBackend 等。
  3. 'state.backend.fs.checkpointdir':指定 checkpoint 保存的路径,与 'state.checkpoints.dir' 功能相同。
  4. 'recovery.mode':指定恢复模式,例如 standalone、zookeeper 等。
  5. 'recovery.zookeeper.quorum':如果使用 zookeeper 作为恢复模式,需要指定 zookeeper 服务器的地址。

在重新启动时,Flink 会根据配置文件中的参数到指定的路径下查找最新的 checkpoint,并基于该 checkpoint 进行恢复。如果找不到任何 checkpoint,则会从头开始重新计算。

Flink 故障恢复:如何基于 Checkpoint 重新启动

原文地址: https://www.cveoy.top/t/topic/ogaZ 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录