Hadoop 2.9.2 安装配置教程 - 解决 cd 错误并配置环境变量

Hadoop 2.9.2 安装配置教程 - 解决 cd 错误并配置环境变量

本文将详细介绍在 Linux 系统下安装 Hadoop 2.9.2 并配置环境变量，包括解决 cd 错误、配置 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml 等关键步骤。

1. 解压 Hadoop 并切换用户

假设你已将 Hadoop 解压至 /usr/local/hadoop-2.9.2 目录。现在，你需要切换到 hadoop 用户，并进入安装目录下的 /etc/hadoop 目录：

sudo su hadoop
cd /usr/local/hadoop-2.9.2/etc/hadoop/

如果出现 bash: cd: /usr/local/hadoop-2.9.2/etc/hadoop/: not such file or directory 错误， 可能是因为你没有正确解压 Hadoop 文件，或者没有创建 /etc/hadoop 目录。请确保你已将 Hadoop 文件解压至 /usr/local/hadoop-2.9.2 目录，并手动创建 /etc/hadoop 目录：

mkdir /usr/local/hadoop-2.9.2/etc/hadoop

2. 配置 hadoop-env.sh

使用文本编辑器打开 hadoop-env.sh 文件，并添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop-2.9.2

请确保 JAVA_HOME 指向你已安装的 Java 环境路径。

3. 配置 core-site.xml

使用文本编辑器打开 core-site.xml 文件，并添加以下内容：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

4. 配置 hdfs-site.xml

使用文本编辑器打开 hdfs-site.xml 文件，并添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-2.9.2/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-2.9.2/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

5. 配置 mapred-site.xml

使用文本编辑器打开 mapred-site.xml 文件，并添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

6. 配置 yarn-site.xml

使用文本编辑器打开 yarn-site.xml 文件，并添加以下内容：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
  </property>
</configuration>

7. 启动 Hadoop 服务

配置完成后，你可以使用以下命令启动 Hadoop 服务：

start-dfs.sh
start-yarn.sh

总结

本文介绍了在 Linux 系统下安装 Hadoop 2.9.2 并配置环境变量的步骤，并针对 cd 错误进行了说明。请注意，实际配置过程中可能需要根据你的系统环境进行调整。