假设我们的NameNode的hostname为nn.example.com,端口为9000,集群中还有一个SecondaryNameNode,我们需要在所有节点上进行设置。

  1. 设置fs.default.name

在每一个节点上,打开hadoop配置文件core-site.xml,添加以下内容:

fs.default.name hdfs://nn.example.com:9000/
  1. 设置fs.checkpoint.dir

在SecondaryNameNode上,打开hadoop配置文件hdfs-site.xml,添加以下内容:

fs.checkpoint.dir /path/to/checkpoint/directory

如果有多个文件夹,可以使用逗号分隔。

  1. 设置hadoop.tmp.dir

在所有节点上,打开hadoop配置文件core-site.xml,添加以下内容:

hadoop.tmp.dir /path/to/tmp/directory
  1. 设置fs.trash.interval

在每一个节点上,打开hadoop配置文件core-site.xml,添加以下内容:

fs.trash.interval 1440

这将使删除的文件在一天后被永久删除。

  1. 设置io.file.buffer.size

在每一个节点上,打开hadoop配置文件core-site.xml,添加以下内容:

io.file.buffer.size 65536

这将使读写数据时使用64K的缓存

# 相关参数fsdefaultname– 文件系统的名字。通常是NameNode的hostname与port。– 需要在每一个需要访问集群的机器上指定包括集群中的节点 。– 例如:hdfsyour_namenode9000fscheckpointdir– 以逗号分隔的文件夹列表SecondNameNode用来存储checkpoint image文件 。– 如果多于一个文件夹那么都会被写入数据 。–

原文地址: https://www.cveoy.top/t/topic/goCG 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录