如何关闭SparkSQL谓词下推功能
要关闭SparkSQL的谓词下推功能,可以通过设置'spark.sql.optimizer.pushPredicateThroughJoin'参数为'false'来实现。
可以使用以下代码来设置该参数:
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName('Disable Pushdown') \
.config('spark.sql.optimizer.pushPredicateThroughJoin', 'false') \
.getOrCreate()
# 继续进行其他操作...
在这个例子中,'spark.sql.optimizer.pushPredicateThroughJoin'参数被设置为'false',这样就关闭了谓词下推功能。
原文地址: https://www.cveoy.top/t/topic/qyJq 著作权归作者所有。请勿转载和采集!