注意事项:

  1. 在 Linux 终端执行命令“initnetwork”,或者双击桌面上名称为“初始化网络”的图标,初始化实训平台网络。
  2. 在 Linux 终端执行命令“wget -P /course/Hive/data http://datasrc.tipdm.net:81/Hunan/module2/2-2/student_data.csv”,下载student_data.csv到Linux本地/course/Hive/data目录。
  3. 启动 Hive 交互式命令行前要先启动 Hadoop 集群和开启 MySQL 服务,再开启 Hive 服务,最后启动 Hive。在 Linux 终端执行命令“$HADOOP_HOME/sbin/start-all.sh”,或者双击桌面上名称为“hadoop”的图标,启动 hadoop 集群;开启 MySQL 和 Hive 服务,点击 Hive 图标启动 Hive。

(1) 任务描述 现有一份数据student_data.csv,该数据为学生的相关信息,具体字段信息说明如下表。

观察该表字段和 Hive 表中的具体数据,完成以下任务。

  1. 正常启动 Hadoop 集群、MySQL 以及 Hive 服务。
  2. 观察上表字段信息,在 Hive 中创建对应字段名及字段类型的表(以","分隔),命名为 student_data,要求提交创建表的代码。
  3. 将 Linux 本地路径/course/Hive/data/下的 student_data.csv 数据导入到 student_data 表,并查看导入数据后的数据表的前 10 行数据。要求提交导入数据的代码和查询数据的结果截图。
  4. 查询成绩大于等于 90 的数据。要求提交查询数据的代码并截取查询数据的结果截图。统计三个班各有多少学生。要求提交查询数据的代码并截取查询数据的结果截图。
  5. 计算学生的平均年龄命名为 avg_age,并计算平均成绩命名为 avg_score。要求提交计算过程代码并截取统计结果截图。
  6. 统计学生中男,女各多少人,并求出相应的平均分数。要求提交计算过程代码并截取统计结果截图。

注:请将以上实现任务的代码及结果截图放入本地 word 中,需注明每小题题号加以区分,文档命名为“姓名+题号”,如“张三+T2-1”。(平台处代码可在平台内部放入一个 txt 文档中进行导出)。

(2) 实施条件 测试所需的软硬件设备见表 2-11-1。 表 2-11-1 考点提供的主要设备及软件 序号 场地、设备、软件名称 规格/技术参数、用途 备注 1 大数据技术实训机房 测试场地 保证参考人员有足够间距 2 计算机 CPU 奔腾 4 以上,内存 2G 以上。Windows7 操作系统 用于软件开发和软件部署,每人一台。 3 虚拟机 Centos6 以上的 Linux 系统 已安装 Jdk、Hadoop、Hive 等环境

(3) 考核时量 考核时间为 120 分钟。

(4) 评分细则 本试题评分细则见表 2-11-2。 表 2-11-2 评分细则 要求类别 序号 评分项 分值 评分细则 技能要求  启动 Hive 集群服务 15 分 正常启动 Hadoop 集群、MySQL 以及 Hive 服务,共 15 分; 未正常启动 Hadoop 集群,扣 5 分; 未正常启动 MySQL 服务,扣 5 分; 未正常启动 Hive 服务,扣 5 分。  创建表语句 15 分 成功创建 Hive 表共 15 分; 类型错误每个扣 1 分。  数据导入及查询代码 15 分 数据导入成功并成功查询共 15 分; 数据导入代码错误,扣 10 分; 数据查询代码错误,扣 5 分; 查询结果显示不全,扣 3 分。  查询语句及结果 15 分 结果截图正确得满分,代码出错依情况扣除 5-15 分。  查询语句及结果 15 分 结果截图正确得满分,代码出错依情况扣除 5-15 分。  查询语句及结果 15 分 结果截图正确得满分,代码出错依情况扣除 5-15 分。 素养要求 项目文档 5 分 按题目的考核要求提交考核结果的文档,文件命名和排版规范。 职业素养 5 分 注重实训场所的安全管理规定,遵守操作规程和考场纪律

注意事项:①在 Linux 终端执行命令initnetwork或者双击桌面上名称为初始化网络 的图标初始化实训平台网络。②在 Linux 终 端 执 行 命 令 wget -P courseHivedata httpdatasrctipdmnet81Hunanmodule22-2student_datacsv下载student_datacsv 到 Linux 本地courseHivedata 目录

原文地址: https://www.cveoy.top/t/topic/hJXz 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录