在Flink中保存Checkpoint到HDFS中可以通过配置flink-conf.yaml文件中的以下参数来实现:

# State Backend
state.backend: filesystem # 设置状态后端为文件系统
state.backend.fs.checkpointdir: hdfs://<namenode-hostname>:<namenode-port>/flink/checkpoints # 设置Checkpoint保存的目录

# High Availability
high-availability: zookeeper # 设置高可用性为zookeeper
high-availability.zookeeper.quorum: <zookeeper-quorum> # 设置zookeeper集群地址
high-availability.zookeeper.path.root: /flink # 设置zookeeper根节点路径

其中,state.backend.fs.checkpointdir参数指定了Checkpoint保存的目录,<namenode-hostname>为HDFS的namenode主机名,<namenode-port>为HDFS的端口号。在Hadoop的配置文件core-site.xml中可以找到HDFS的端口号配置:

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://<namenode-hostname>:<namenode-port></value>
</property>

需要将<namenode-hostname><namenode-port>替换为实际的HDFS配置。

在flink中保存checkpoint到hdfs中怎么做存储到hdfs的端口号在哪里可以查询到

原文地址: https://www.cveoy.top/t/topic/ZOn 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录