VMware Centos 虚拟机中下载安装 Hadoop 2.9.2 - 详细步骤

在 VMware Centos 虚拟机中下载安装 Hadoop 2.9.2

本指南将指导您在 VMware Centos 虚拟机中下载、安装和配置 Hadoop 2.9.2。

1. 下载 Hadoop 安装包

使用 wget 命令下载 Hadoop 2.9.2 安装包：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

2. 解压安装包

将安装包解压到自定义路径，例如 /usr/local/hadoop-2.9.2：

tar -zxvf hadoop-2.9.2.tar.gz  -C  /usr/local/hadoop-2.9.2

3. 创建 Hadoop 用户

sudo useradd hadoop
sudo passwd hadoop

4. 切换到 Hadoop 用户

su hadoop

5. 设置环境变量

在 /etc/profile 文件中添加以下环境变量：

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

执行以下命令使修改生效：

source /etc/profile

6. 配置 Hadoop

进入 Hadoop 安装目录：

cd /usr/local/hadoop-2.9.2

a. 配置 Java 环境

进入 etc/hadoop 目录并修改 hadoop-env.sh 文件：

cd etc/hadoop

将 export JAVA_HOME=${JAVA_HOME} 改为：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

b. 配置 core-site.xml

在 core-site.xml 文件中添加以下内容：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

c. 配置 hdfs-site.xml

在 hdfs-site.xml 文件中添加以下内容：

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

d. 配置 mapred-site.xml

在 mapred-site.xml 文件中将 mapreduce.framework.name 属性的值改为 yarn：

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

7. 格式化 HDFS

./bin/hdfs namenode -format

8. 启动 Hadoop

./sbin/start-all.sh

9. 验证 Hadoop 是否正常运行

在浏览器中访问 http://localhost:50070。如果能够看到 Hadoop 的 Web 界面，则表示 Hadoop 已经成功安装和配置。

10. 关闭 Hadoop

./sbin/stop-all.sh

注意：

• 在配置 Hadoop 时，请根据您的实际情况修改相关参数，例如 dfs.replication 和 mapreduce.framework.name 等。
• 以上步骤仅供参考，具体操作步骤可能会有所不同。
• 在安装和配置 Hadoop 之前，请确保您的系统已安装并配置好 Java 环境。
• 请注意，Hadoop 需要大量的系统资源，建议使用性能较高的机器进行安装和配置。