10、详细说出Spark为什么比mapreduce快 10分

Spark相较于MapReduce具有以下几个方面的优势，使得其具有更高的计算速度：

1. 内存计算：Spark将数据存储在内存中进行计算，而不是像MapReduce一样将数据写入磁盘。内存计算可以大大减少磁盘IO的开销，提高数据处理速度。

2. 数据共享：Spark引入了弹性分布式数据集（RDD）的概念，它是一个可并行计算的数据集合。RDD可以在集群中的多个任务之间共享，避免了MapReduce中需要进行磁盘IO和网络传输的中间结果。

3. DAG执行引擎：Spark使用DAG（有向无环图）执行引擎，将任务划分为多个阶段，每个阶段都有多个任务可以并行执行。而MapReduce只有Map和Reduce两个阶段，无法利用到多个任务的并行性。

4. 运算模型：Spark提供了丰富的运算模型，如Map、Reduce、Filter、Join等，可以在同一个程序中执行多个操作，避免了多次读写数据的开销。

5. 运行模式：Spark支持多种运行模式，如本地模式、单机模式、集群模式等。可以根据任务的规模和需求选择不同的运行模式，提高计算效率。

6. 数据划分：Spark可以将大规模的数据划分为多个小的分区进行并行处理，每个分区可以在不同的计算节点上执行。而MapReduce中的数据划分只能按照输入文件的划分，无法进行更细粒度的划分。

7. 缓存机制：Spark提供了缓存机制，可以将中间结果缓存在内存中，供后续的计算任务复用。而MapReduce每个阶段都需要从磁盘读取数据，无法复用中间结果。

综上所述，通过内存计算、数据共享、DAG执行引擎、丰富的运算模型、多种运行模式、数据划分和缓存机制等优势，使得Spark比MapReduce具有更高的计算速度