Spark RDD 创建及分区示例 - 使用 makeRDD 方法
这段代码创建了一个 RDD(弹性分布式数据集)对象'rdd',其中包含从 1 到 4 的整数,分为 2 个分区。
- 'sc' 是 SparkContext 对象,用于与 Spark 集群进行通信。
- 'makeRDD' 是 SparkContext 的一个方法,用于创建 RDD。它接受两个参数:数据集合和分区数。在这里,数据集合是 1 到 4 的整数,分区数是 2。
因此,这段代码创建了一个包含 1 到 4 的整数的 RDD 对象'rdd',并将其划分为 2 个分区。
原文地址: http://www.cveoy.top/t/topic/pIb7 著作权归作者所有。请勿转载和采集!