MapReduce 知识点解析：核心概念、作业流程与关键组件

MapReduce 知识点解析：核心概念、作业流程与关键组件

1. 有关 MapReduce，下面哪个说法是正确的？

C. 它是 Hadoop 数据处理层

2. 在 MapReduce 中，如果将 reduce 数设置为 0 会？

B. 仅有 Map 作业发生

3. 在 MapReduce 中，下面哪个会将输入键值对处理成中间键值对？

A. Mapper

4. 在 MapReduce 中，Map 数取决于什么？

B. 输入数据

5. 关于 MapReduce 中的键值对，下面陈述正确的是？

B. Key 类必须实现 WritableComparable

解析:

1. MapReduce 是 Hadoop 的核心数据处理层，负责对海量数据进行并行处理。
2. 当 reduce 数设置为 0 时，表示没有 reduce 任务，数据只经过 map 任务，最终输出结果即为 mapper 的输出。
3. Mapper 负责将输入键值对转换为中间键值对，并写入到中间文件。
4. Map 任务的个数由输入数据的大小决定，每个 map 任务处理一部分数据。
5. Key 类需要实现 WritableComparable 接口，以便在进行排序和分组操作时可以对键进行比较。