Hadoop单节点集群安装配置指南:详细步骤及常见问题解决

本指南将引导您在单台机器上搭建一个简单的Hadoop单节点集群。

安装步骤

  1. 切换到Hadoop安装目录下的etc/hadoop目录:

    sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/etc/hadoop
    
  2. 修改hadoop-env.sh文件:

    sudo nano hadoop-env.sh
    

    找到export JAVA_HOME=${JAVA_HOME}这一行,将其改为:

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
    

    保存并退出。

  3. 修改core-site.xml文件:

    sudo nano core-site.xml
    

    找到<configuration>标签下的最后一行,添加以下内容:

    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
    </property>
    

    保存并退出。

  4. 修改hdfs-site.xml文件:

    sudo nano hdfs-site.xml
    

    找到<configuration>标签下的最后一行,添加以下内容:

    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
    

    保存并退出。

  5. 修改mapred-site.xml文件:

    sudo nano mapred-site.xml
    

    mapreduce.framework.name属性的值改为yarn,保存并退出。

  6. 格式化namenode:

    sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/bin && ./hdfs namenode -format
    
  7. 开启NaneNode和DataNode守护进程:

    sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-dfs.sh
    
  8. 启动yarn:

    sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-yarn.sh
    
  9. 启动historyserver:

    sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./mr-jobhistory-daemon.sh start historyserver
    
  10. 进入http://localhost:50070和http://localhost:8088/cluster查看系统运行情况。

常见问题解决:localhost已拒绝连接

如果您在电脑的浏览器中输入http://localhost:50070http://localhost:8088/cluster时出现“localhost已拒绝连接”的错误,可能是以下原因导致:

  1. **Hadoop服务未正确启动:**请确保在执行第7到第9步后,所有的Hadoop服务都已经成功启动。您可以通过检查Hadoop服务的日志文件来确定服务是否已经启动。

  2. **防火墙或代理服务器拦截了请求:**请检查您的防火墙或代理服务器设置,确保这些设置不会拦截Hadoop服务的请求。

  3. **网络连接出现问题:**请检查您的网络连接,确保您可以在浏览器中访问其他网站。如果您的网络连接出现问题,可能会导致无法访问Hadoop服务。

如果以上方法仍然无法解决问题,您可以尝试使用不同的浏览器或在其他计算机上尝试访问Hadoop服务,以确定问题的原因。

Hadoop单节点集群安装配置指南:详细步骤及常见问题解决

原文地址: https://www.cveoy.top/t/topic/nKdC 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录