Spark RDD 分区数查看方法 | getNumPartitions() 使用指南

如何查看 RDD 的分区数？可以使用 //getNumPartitions()// 方法来查看 RDD 的分区数。具体的操作步骤如下：//n//n1. 首先，创建一个 SparkSession 对象（如果是在 spark-shell 中执行，则可以直接使用已经创建好的 SparkSession 对象）：//n //scala//n val spark = SparkSession.builder()//n .appName(/'RDD Partition Example/')//n .master(/'local[*]/')//n .getOrCreate()//n ////n//n2. 创建一个 RDD：//n //scala//n val data = Array(1, 2, 3, 4, 5)//n val rdd = spark.sparkContext.parallelize(data)//n ////n//n3. 使用 //getNumPartitions()// 方法查看 RDD 的分区数：//n //scala//n val partitionCount = rdd.getNumPartitions()//n println(s/'RDD 的分区数为：/$partitionCount/')//n ////n//n完整的示例代码如下：//n//scala//nimport org.apache.spark.sql.SparkSession//n//nobject RDDPartitionExample {//n def main(args: Array[String]): Unit = {//n // 创建 SparkSession 对象//n val spark = SparkSession.builder()//n .appName(/'RDD Partition Example/')//n .master(/'local[*]/')//n .getOrCreate()//n//n // 创建 RDD//n val data = Array(1, 2, 3, 4, 5)//n val rdd = spark.sparkContext.parallelize(data)//n//n // 获取 RDD 的分区数//n val partitionCount = rdd.getNumPartitions()//n//n // 打印分区数//n println(s/'RDD 的分区数为：/$partitionCount/')//n//n // 关闭 SparkSession 对象//n spark.stop()//n }//n}//n////n//n运行以上代码，将会输出 RDD 的分区数。