MapReduce Shuffle 缓冲区大小优化指南

在 MapReduce 中，shuffle 缓冲区的大小由参数 'mapreduce.task.io.sort.mb' 控制。该参数的默认值为 100MB，表示每个 Map 任务在进行 shuffle 操作时可使用的内存大小。如果 Map 输出数据量过大，超出 shuffle 缓冲区的大小，就会发生溢写，将数据写入磁盘。频繁的溢写会显著降低 MapReduce 作业的性能。因此，根据实际情况调整 shuffle 缓冲区的大小至关重要，以优化作业性能。