单机安装 Apache Spark 环境配置教程

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是 UC Berkeley AMP lab (加州大学伯克利分校的 AMP 实验室) 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

你作为某公司运维工程师，需在单机安装 Spark 环境，本环节需要使用 root 用户完成相关配置，具体部署要求如下：

将 jdk、spark 安装包上传到 /opt 文件夹下，查看 /opt 文件夹下的文件，截图并保存结果；
解压 jdk 安装包到 /opt 文件夹下，并配置环境变量，查看 jdk 版本，截图并保存结果；
解压 Spark 安装包到 /opt 文件夹下，并更名为 Spark，截图并保存结果；
修改 spark-env.sh 配置文件，启动本地模式，截图并保存修改内容；
将 Spark 添加到环境变量，截图并保存修改内容；
本地模式启动 spark 自带案例求圆周率，截图并保存结果；
验证是否启动成功，查看 spark 自带案例的运行结果，截图并保存结果。

实施条件

计算机：CPU 奔腾 4 以上，内存 2G 以上，linux 操作系统（ubuntu 或 centos）。每人三台。
交换机与网线：用于组建局域网，100 兆网络及以上。
截图工具：系统自带截图工具。
Hadoop 2.6.0 或以上：选用 hadoop 生产环境稳定版本。
JDK 1.7 及以上：选用 openjdk。
Hbase 1.2 及以上：选用与 hadoop 版本兼容的 hbase。

考核时量

考核时间为 120 分钟。

评分细则

技能要求：
- 文件上传：没有正确上传到指定位置扣 5-10 分。
- Jdk 安装：Jdk 安装不成功扣 10 分。
- Spark 安装包解压：没有正确解压到指定位置扣 5-10 分。
- 配置文件截图：每处错误配置扣 5 分。
- Spark 环境变量截图：每处错误配置扣 5 分。
- 启动 Spark 截图：启动不成功扣 10 分。
- 启动验证截图：每少 1 个进程扣 5 分。
素养要求：
- 项目文档：按题目的考核要求提交考核结果的文档，文件命名和排版规范。
- 职业素养：注重实训场所的安全管理规定，遵守操作规程和考场纪律。