Hadoop 2.9.2 安装配置教程：从环境变量到集群启动

Hadoop 2.9.2 安装配置教程：从环境变量到集群启动

本文将详细介绍如何在 Ubuntu 系统上安装和配置 Hadoop 2.9.2 集群，并逐步引导您完成从环境变量设置、配置文件修改到集群启动的全过程。

1. 切换到 Hadoop 安装目录下的 etc/hadoop 目录：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/etc/hadoop

2. 修改 hadoop-env.sh 文件：

sudo nano hadoop-env.sh

找到 export JAVA_HOME=${JAVA_HOME} 这一行，将其改为：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

保存并退出。

3. 修改 core-site.xml 文件：

sudo nano core-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

保存并退出。

4. 修改 hdfs-site.xml 文件：

sudo nano hdfs-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

保存并退出。

5. 修改 mapred-site.xml 文件：

sudo nano mapred-site.xml

将 mapreduce.framework.name 属性的值改为 yarn，保存并退出。

6. 格式化 namenode：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/bin && ./hdfs namenode -format

7. 开启 NaneNode 和 DataNode 守护进程：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-dfs.sh

8. 启动 yarn：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-yarn.sh

9. 启动 historyserver：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./mr-jobhistory-daemon.sh start historyserver

10. 进入 http://localhost:50070 和 http://localhost:8088/cluster 查看系统运行情况。

查看内容：

• http://localhost:50070: Hadoop 的 Web UI 管理界面，包含 HDFS 状态、节点信息、数据块信息等。
• http://localhost:8088/cluster: YARN 的 Web UI 管理界面，包含集群资源使用情况、作业运行情况、节点状态等。

注意：

• 以上步骤中，hadoopuser 是您设置的 Hadoop 用户名，请根据实际情况进行修改。
• java-1.8.0-openjdk-amd64 是您的 Java 版本，请根据实际情况进行修改。
• hdfs://localhost:9000 是您的 HDFS 地址，请根据实际情况进行修改。

本教程仅供参考，实际操作过程中可能需要根据您的环境进行调整。