Hadoop集群的搭建

Hadoop是一个分布式计算框架，可以在多台服务器上并行处理大数据。以下是在Ubuntu系统上搭建Hadoop集群的步骤：

安装Java

Hadoop需要Java环境，可以通过以下命令安装Java：

sudo apt-get install openjdk-8-jdk

下载和解压Hadoop

从Hadoop官网下载最新版本的Hadoop，并解压到一个目录中：

tar -xzvf hadoop-3.3.0.tar.gz

配置Hadoop

进入Hadoop目录并编辑配置文件：

cd hadoop-3.3.0 nano etc/hadoop/hadoop-env.sh

将JAVA_HOME变量设置为Java安装路径：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

接下来编辑core-site.xml文件：

nano etc/hadoop/core-site.xml

添加以下内容：

fs.default.name hdfs://localhost:9000

然后编辑hdfs-site.xml文件：

nano etc/hadoop/hdfs-site.xml

添加以下内容：

dfs.replication 1 dfs.namenode.name.dir file:///home/hadoop/hadoop_data/hdfs/namenode dfs.datanode.data.dir file:///home/hadoop/hadoop_data/hdfs/datanode

最后编辑mapred-site.xml文件：

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml nano etc/hadoop/mapred-site.xml

添加以下内容：

mapreduce.framework.name yarn

配置SSH免密登录

在所有节点上安装openssh-server和openssh-client：

sudo apt-get install openssh-server openssh-client

然后在主节点上生成SSH密钥：

ssh-keygen -t rsa

将公钥复制到所有节点上：

ssh-copy-id username@node1 ssh-copy-id username@node2 ssh-copy-id username@node3

测试是否免密登录成功：

ssh username@node1

启动Hadoop集群

在主节点上启动Hadoop：

sbin/start-dfs.sh sbin/start-yarn.sh

可以通过以下命令查看是否启动成功：

jps

会显示出以下进程：

14588 SecondaryNameNode 14431 NameNode 14678 ResourceManager 14815 Jps 14739 NodeManager

现在Hadoop集群已经搭建完成，可以通过Web界面查看集群状态：

http://localhost:9870/ （NameNode） http://localhost:8088/ （ResourceManager