Hadoop 2.9.2 配置详细步骤

本教程将指导你如何在 Linux 系统上配置 Hadoop 2.9.2,从解压缩到配置完成,并提供每一步的终端命令。

1. 解压文件

命令:

sudo tar -xzvf hadoop-2.9.2.tar.gz -C /usr/local/

2. 切换到 Hadoop 用户

命令:

sudo su hadoop

3. 进入安装目录

命令:

cd /usr/local/hadoop-2.9.2/etc/hadoop/

4. 配置 hadoop-env.sh

命令:

sudo nano hadoop-env.sh

输入以下内容:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.231.x86_64

注意: 替换 JAVA_HOME 的路径为你的 JDK 安装路径。

5. 配置 core-site.xml

命令:

sudo nano core-site.xml

输入以下内容:

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

6. 配置 hdfs-site.xml

命令:

sudo nano hdfs-site.xml

输入以下内容:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  </property>
</configuration>

7. 重命名 mapred-site.xml.template

命令:

sudo mv mapred-site.xml.template mapred-site.xml

8. 配置 mapred-site.xml

命令:

sudo nano mapred-site.xml

输入以下内容:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

9. 退出 Hadoop 用户

命令:

exit

现在,你已经成功配置了 Hadoop 2.9.2。你可以运行 Hadoop 命令并开始使用它了。

注意: 以上配置只是基础配置,你可以根据自己的需求调整相关参数。


原文地址: http://www.cveoy.top/t/topic/nGYA 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录