关闭sparksql 谓词下推功能如何设置
要关闭SparkSQL的谓词下推功能,可以通过设置spark.sql.optimizer.pushPredicateThroughJoin参数为false来实现。
可以使用以下代码来设置该参数:
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("Disable Pushdown") \
.config("spark.sql.optimizer.pushPredicateThroughJoin", "false") \
.getOrCreate()
# 继续进行其他操作...
在这个例子中,spark.sql.optimizer.pushPredicateThroughJoin参数被设置为false,这样就关闭了谓词下推功能。
原文地址: http://www.cveoy.top/t/topic/iSKz 著作权归作者所有。请勿转载和采集!