要关闭SparkSQL的谓词下推功能,可以通过设置'spark.sql.optimizer.pushPredicateThroughJoin'参数为'false'来实现。

可以使用以下代码来设置该参数:

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName('Disable Pushdown') \
    .config('spark.sql.optimizer.pushPredicateThroughJoin', 'false') \
    .getOrCreate()

# 继续进行其他操作...

在这个例子中,'spark.sql.optimizer.pushPredicateThroughJoin'参数被设置为'false',这样就关闭了谓词下推功能。

如何关闭SparkSQL谓词下推功能

原文地址: https://www.cveoy.top/t/topic/qyJq 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录