MapReduce 分而治之:哪个函数合并所有键值对?
B、Reducer
MapReduce 采用分而治之的思想,通过将大任务分解成多个小任务进行并行处理。Reducer 函数负责对所有键值对进行合并和归约,最终生成结果。
- Mapper:将原始数据映射成键值对。
- Reducer:对所有键值对进行合并和归约。
- Combiner:在 Mapper 阶段对每个节点上的键值对进行局部归约,减少网络传输数据量。
- Partitioner:将 Mapper 输出的键值对分配给不同的 Reducer。
原文地址: https://www.cveoy.top/t/topic/oMx9 著作权归作者所有。请勿转载和采集!