Hadoop 单节点集群安装配置教程：详细步骤和常见问题解答

本教程将引导您在 Ubuntu 系统上安装配置 Hadoop 单节点集群，并提供常见问题的解决方法。

准备工作

确保已安装 Java 8 或更高版本。
安装 SSH 服务。

安装 Hadoop

下载 Hadoop 2.9.2 版本并解压到 /usr/local 目录下。
配置 Hadoop 环境变量
- 切换到 Hadoop 安装目录下的 etc/hadoop 目录：sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/etc/hadoop
- 修改 hadoop-env.sh 文件：sudo nano hadoop-env.sh，找到 export JAVA_HOME=${JAVA_HOME} 这一行，将其改为 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64，保存并退出。
配置核心站点文件 (core-site.xml)
- 修改 core-site.xml 文件：sudo nano core-site.xml，找到 <configuration> 标签下的最后一行，添加以下内容：
```
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>
```
- 保存并退出。
配置 HDFS 站点文件 (hdfs-site.xml)
- 修改 hdfs-site.xml 文件：sudo nano hdfs-site.xml，找到 <configuration> 标签下的最后一行，添加以下内容：
```
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
```
- 保存并退出。
配置 MapReduce 站点文件 (mapred-site.xml)
- 修改 mapred-site.xml 文件：sudo nano mapred-site.xml，将 mapreduce.framework.name 属性的值改为 yarn，保存并退出。
格式化 NameNode
- 执行以下命令：sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/bin && ./hdfs namenode -format
- 常见错误：bash: ./bin/hdfs: no such file or directory
  - **解决方案：**请先确认您的 Hadoop 安装目录下是否存在 bin/hdfs 文件，如果不存在，请检查您的 Hadoop 安装是否正确。如果存在该文件但仍然出现错误，请尝试使用绝对路径执行命令，例如：/usr/local/hadoop-2.9.2/bin/hdfs namenode -format。
启动 NameNode 和 DataNode 守护进程
- 执行以下命令：sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-dfs.sh
启动 YARN
- 执行以下命令：sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-yarn.sh
启动 HistoryServer
- 执行以下命令：sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./mr-jobhistory-daemon.sh start historyserver
验证安装
- 打开浏览器访问 http://localhost:50070 和 http://localhost:8088/cluster 查看系统运行情况。

总结

本教程详细介绍了 Hadoop 单节点集群安装配置的步骤，并提供了常见问题的解决方法。希望本教程能够帮助您快速完成 Hadoop 安装配置。

注意：

以上步骤仅供参考，具体配置可能根据您的环境有所不同。
在进行任何操作之前，请务必备份您的数据。
如果您遇到任何问题，请随时在评论区留言。