Hadoop单节点集群安装配置指南:详细步骤及常见问题解决
Hadoop单节点集群安装配置指南:详细步骤及常见问题解决
本指南将引导您在单台机器上搭建一个简单的Hadoop单节点集群。
安装步骤
-
切换到Hadoop安装目录下的etc/hadoop目录:
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/etc/hadoop -
修改hadoop-env.sh文件:
sudo nano hadoop-env.sh找到
export JAVA_HOME=${JAVA_HOME}这一行,将其改为:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64保存并退出。
-
修改core-site.xml文件:
sudo nano core-site.xml找到
<configuration>标签下的最后一行,添加以下内容:<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>保存并退出。
-
修改hdfs-site.xml文件:
sudo nano hdfs-site.xml找到
<configuration>标签下的最后一行,添加以下内容:<property> <name>dfs.replication</name> <value>1</value> </property>保存并退出。
-
修改mapred-site.xml文件:
sudo nano mapred-site.xml将
mapreduce.framework.name属性的值改为yarn,保存并退出。 -
格式化namenode:
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/bin && ./hdfs namenode -format -
开启NaneNode和DataNode守护进程:
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-dfs.sh -
启动yarn:
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./start-yarn.sh -
启动historyserver:
sudo -i -u hadoopuser && cd /usr/local/hadoop-2.9.2/sbin && ./mr-jobhistory-daemon.sh start historyserver -
进入http://localhost:50070和http://localhost:8088/cluster查看系统运行情况。
常见问题解决:localhost已拒绝连接
如果您在电脑的浏览器中输入http://localhost:50070和http://localhost:8088/cluster时出现“localhost已拒绝连接”的错误,可能是以下原因导致:
-
**Hadoop服务未正确启动:**请确保在执行第7到第9步后,所有的Hadoop服务都已经成功启动。您可以通过检查Hadoop服务的日志文件来确定服务是否已经启动。
-
**防火墙或代理服务器拦截了请求:**请检查您的防火墙或代理服务器设置,确保这些设置不会拦截Hadoop服务的请求。
-
**网络连接出现问题:**请检查您的网络连接,确保您可以在浏览器中访问其他网站。如果您的网络连接出现问题,可能会导致无法访问Hadoop服务。
如果以上方法仍然无法解决问题,您可以尝试使用不同的浏览器或在其他计算机上尝试访问Hadoop服务,以确定问题的原因。
原文地址: https://www.cveoy.top/t/topic/nKdC 著作权归作者所有。请勿转载和采集!