准备工作 第一步：以NAT的方式配置VMWare的网络设置VNet8网卡的ip设置为19216881将ip和子网掩码截图贴到下方：修改VMWare虚拟机编辑 - 虚拟网络编辑器 - 修改NAT模式的子网IP及DHCP截图贴到下方：第二步：打开VMWare修改Linux虚拟机的网络连接方式为NAT之后逐个启动虚拟机第三步：修改网络参数检查ifcfg-ens33文件如果是静态配置要改为动态分配ip截图

任务1：

1. 将spark-2.3.2-bin-hadoop2.7.tgz上传到主机hadoop01，并解压到/opt目录，解压命令和截图：

解压命令：tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /opt

截图：

2. 添加到系统环境变量，截图：

在/etc/profile文件中加入以下内容：

export SPARK_HOME=/opt/spark-2.3.2-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin

使环境变量立即生效：source /etc/profile

截图：

3. 修改配置文件spark-env.sh和slaves，内容分别截图：

修改spark-env.sh文件中的以下内容：

export SPARK_MASTER_HOST=hadoop01 export SPARK_MASTER_PORT=7077

修改slaves文件，加入以下内容：

hadoop02 hadoop03

截图：

4. 分发文件给hadoop02和hadoop03，命令：

scp -r /opt/spark-2.3.2-bin-hadoop2.7 hadoop02:/opt/ scp -r /opt/spark-2.3.2-bin-hadoop2.7 hadoop03:/opt/

截图：

5. 启动Spark集群，命令和截图：

在主节点hadoop01上启动Spark集群：/opt/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh

截图：

任务2：

1. 启动Hadoop集群，截图：

在主节点hadoop01上启动Hadoop集群：start-all.sh

截图：

2. 使用hadoop fs命令将Linux的本地文件1.txt（如果不存在，提前创建，并编辑一些内容）上传到HDFS文件系统根目录下，上传命令及文件系统截图：

创建并编辑本地文件1.txt：

echo "hello, world" > 1.txt

上传文件到HDFS文件系统根目录下：hadoop fs -put 1.txt /

查看HDFS文件系统根目录下的文件：hadoop fs -ls /

截图：

3. 进入Spark-Shell交互环境，命令及截图：

进入Spark-Shell交互环境：/opt/spark-2.3.2-bin-hadoop2.7/bin/spark-shell

截图：

4. 在Spark-Shell窗口中，使用sc对象，textFile方法读取1.txt文件内容，截图：

使用sc对象，textFile方法读取1.txt文件内容：val textFile = sc.textFile("hdfs://hadoop01:9000/1.txt")

查看文件内容：textFile.collect()

截图：