sparksession 显示conf配置
您可以使用以下代码来显示SparkSession的配置:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("conf-example").getOrCreate()
# 打印所有配置
print(spark.sparkContext.getConf().getAll())
# 打印特定配置
print(spark.sparkContext.getConf().get("spark.executor.memory"))
第一个print语句将打印所有的配置,而第二个print语句将打印指定配置的值。在这个例子中,我们将打印spark.executor.memory的值。
原文地址: https://www.cveoy.top/t/topic/hrsN 著作权归作者所有。请勿转载和采集!