Hadoop 配置文件修改及集群启动详细步骤

Hadoop 配置文件修改及集群启动详细步骤

1. 修改 Hadoop 配置文件

注意： 以下命令需要在 Hadoop 安装目录下执行。

1. 切换到 Hadoop 安装目录下的 etc/hadoop 目录：

cd /usr/local/hadoop-2.9.2/etc/hadoop

2. 修改 hadoop-env.sh 文件：

sudo nano hadoop-env.sh

找到 export JAVA_HOME=${JAVA_HOME} 这一行，将其改为：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

保存并退出。

3. 修改 core-site.xml 文件：

sudo nano core-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

保存并退出。

4. 修改 hdfs-site.xml 文件：

sudo nano hdfs-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

保存并退出。

5. 修改 mapred-site.xml 文件：

sudo nano mapred-site.xml

将 mapreduce.framework.name 属性的值改为 yarn，保存并退出。

2. 进入 Hadoop 安装目录并格式化 NameNode：

1. 进入 Hadoop 安装目录：

cd /usr/local/hadoop-2.9.2

2. 格式化 NameNode：

./bin/hdfs namenode -format

3. 启动 Hadoop 集群：

1. 启动 NameNode 和 DataNode 守护进程：

./sbin/start-dfs.sh

2. 启动 YARN：

./sbin/start-yarn.sh

3. 启动 HistoryServer：

./sbin/mr-jobhistory-daemon.sh start historyserver

4. 查看系统运行情况：

1. 在浏览器中输入 http://localhost:50070/，可以查看 HDFS 的状态。
2. 在浏览器中输入 http://localhost:8088/cluster，可以查看 YARN 的状态。