Hadoop 安装配置步骤详解及常见错误解决方法

一、安装配置步骤

切换到Hadoop安装目录下的etc/hadoop目录：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/etc/hadoop

2. **修改hadoop-env.sh文件：**
   ```bash
sudo nano hadoop-env.sh

找到 export JAVA_HOME=${JAVA_HOME} 这一行，将其改为：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

保存并退出。 3. 修改core-site.xml文件：

sudo nano core-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:9000</value>
</property>

保存并退出。 4. 修改hdfs-site.xml文件：

sudo nano hdfs-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

保存并退出。 5. 修改mapred-site.xml文件：

sudo nano mapred-site.xml

将 mapreduce.framework.name 属性的值改为 yarn，保存并退出。 6. 格式化namenode：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/bin && ./hdfs namenode -format

开启NaneNode和DataNode守护进程：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-dfs.sh

8. **启动yarn：**
   ```bash
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-yarn.sh

启动historyserver：

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./mr-jobhistory-daemon.sh start historyserver

10. **进入http://localhost:50070和http://localhost:8088/cluster查看系统运行情况。**

**二、常见错误解决方法**

**1. `./bin/hdfs namenode -format` 出现错误 `bash:./bin/hdfs:no such file or directory`**

该错误可能是 Hadoop 安装目录不正确或者没有加入到环境变量中导致的。可以尝试以下步骤：

1. **切换到Hadoop安装目录下的bin目录，如：**
   ```bash
   cd /usr/local/hadoop-2.9.2/bin

执行格式化命令，如：

sudo -i -u hadoopuser && ./hdfs namenode -format

3. **如果仍旧出现错误，可以尝试先执行 `source /etc/profile` 命令，再执行格式化命令。**

**注：** `hadoopuser` 指 Hadoop 的运行用户，可以根据实际情况进行修改。

**三、总结**

本文介绍了 Hadoop 安装配置的步骤以及常见错误的解决方法，希望能够帮助您顺利安装配置 Hadoop。如果您在配置过程中遇到其他问题，请在评论区留言，我们会尽力帮助您解决。