如何查看 SparkSession 配置信息

您可以使用以下代码来显示 SparkSession 的配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('conf-example').getOrCreate()

# 打印所有配置
print(spark.sparkContext.getConf().getAll())

# 打印特定配置
print(spark.sparkContext.getConf().get('spark.executor.memory'))

第一个print语句将打印所有的配置，而第二个print语句将打印指定配置的值。在这个例子中，我们将打印spark.executor.memory的值。