Flink Checkpoint 保存到 HDFS 配置详解

在 Flink 中保存 Checkpoint 到 HDFS 中可以通过配置 flink-conf.yaml 文件中的以下参数来实现：

# State Backend
state.backend: filesystem # 设置状态后端为文件系统
state.backend.fs.checkpointdir: hdfs://<namenode-hostname>:<namenode-port>/flink/checkpoints # 设置Checkpoint保存的目录

# High Availability
high-availability: zookeeper # 设置高可用性为zookeeper
high-availability.zookeeper.quorum: <zookeeper-quorum> # 设置zookeeper集群地址
high-availability.zookeeper.path.root: /flink # 设置zookeeper根节点路径

其中，state.backend.fs.checkpointdir 参数指定了 Checkpoint 保存的目录，<namenode-hostname> 为 HDFS 的 namenode 主机名，<namenode-port> 为 HDFS 的端口号。在 Hadoop 的配置文件 core-site.xml 中可以找到 HDFS 的端口号配置：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://<namenode-hostname>:<namenode-port></value>
</property>

需要将 <namenode-hostname> 和 <namenode-port> 替换为实际的 HDFS 配置。