scala程序使用mapPartitionsWithIndex

mapPartitionsWithIndex()是Scala中的一个高阶函数，用于对RDD的每个分区进行遍历操作，并且可以获取到分区的索引。

使用mapPartitionsWithIndex()方法，需要传入一个函数作为参数，该函数有两个参数：分区的索引和一个迭代器，迭代器中包含了当前分区的所有元素。该函数的返回值也是一个迭代器，表示对当前分区进行操作后的结果。

下面是一个使用mapPartitionsWithIndex()方法的例子：

val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10), 3)

val result = rdd.mapPartitionsWithIndex((index, iterator) => {
  iterator.map(x => (index, x))
})

result.foreach(println)

在上面的例子中，我们首先创建了一个包含10个元素的RDD，并指定了3个分区。然后，我们使用mapPartitionsWithIndex()方法对RDD进行操作，将每个元素和它所属的分区索引构成一个元组。最后，使用foreach()方法将结果打印出来。

输出结果如下：

(0,1)
(0,2)
(1,3)
(1,4)
(2,5)
(2,6)
(2,7)
(2,8)
(2,9)
(2,10)

可以看到，输出结果中的每个元组都包含了一个分区的索引和该分区元素的值。这证明了mapPartitionsWithIndex()方法可以正确地对每个分区进行操作