Hadoop 配置文件修改步骤及启动命令详解

Hadoop 配置文件修改步骤及启动命令详解

本文将详细介绍如何修改 Hadoop 配置文件，以及启动 Hadoop 集群的相关命令。

修改配置文件

1. 切换到 Hadoop 安装目录下的 etc/hadoop 目录

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/etc/hadoop

2. **修改 hadoop-env.sh 文件**
   ```bash
sudo nano hadoop-env.sh

找到 export JAVA_HOME=${JAVA_HOME} 这一行，将其改为 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64，保存并退出。 3. 修改 core-site.xml 文件

sudo nano core-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:9000</value>
</property>

保存并退出。 4. 修改 hdfs-site.xml 文件

sudo nano hdfs-site.xml

找到 <configuration> 标签下的最后一行，添加以下内容：

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

保存并退出。 5. 修改 mapred-site.xml 文件

sudo nano mapred-site.xml

将 mapreduce.framework.name 属性的值改为 yarn，保存并退出。

启动 Hadoop

1. 格式化 namenode

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/bin && ./hdfs namenode -format

2. **开启 NameNode 和 DataNode 守护进程**
   ```bash
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-dfs.sh

3. 启动 Yarn

sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-yarn.sh

4. **启动 historyserver**
   ```bash
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./mr-jobhistory-daemon.sh start historyserver

5. 查看系统运行情况 访问 http://localhost:50070 和 http://localhost:8088/cluster 查看 Hadoop 系统运行情况。

注意：

• 以上命令中的 hadoopuser 需替换为实际的 Hadoop 用户名。
• 以上命令中的 /usr/local/hadoop-2.9.2 需替换为实际的 Hadoop 安装目录。

完成以上步骤后，您就成功修改了 Hadoop 配置文件并启动了 Hadoop 集群。