在Spark中,可以使用spark.default.parallelism属性来设置并行度。可以通过以下方式将其设置为1:

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("my_app") \
    .config("spark.default.parallelism", "1") \
    .getOrCreate()

这将创建一个SparkSession对象,并将默认并行度设置为1。请注意,这将限制Spark在处理数据时只使用一个核心,这可能会影响性能。因此,如果您想要更好的性能,请使用更高的并行度设置。

sparkSession设置并行度为1

原文地址: http://www.cveoy.top/t/topic/g7ha 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录