Spark 并行度设置：spark.default.parallelism=100 的含义

不，这段代码的意思是将 Spark 的并行度设置为 100。

spark.default.parallelism 是 Spark 中一个重要的配置参数，它控制着 Spark 任务的并行执行程度。默认情况下，Spark 会根据集群中的 CPU 核心数量来设置并行度。

bin/spark-submit --conf spark.default.parallelism=100 这段命令行代码使用 --conf 选项将 spark.default.parallelism 设置为 100，这意味着 Spark 会将任务划分成 100 个并行执行的子任务。

设置并行度需要根据具体应用场景进行调整，过高的并行度会导致任务调度和数据传输的开销增加，降低性能；过低的并行度则无法充分利用集群资源。