Spark DataFrame 如何转换为 Python 列表

您可以使用 collect() 方法将 Spark DataFrame 转换为 Python 列表。例如：

df = spark.createDataFrame([(1, 'John'), (2, 'Jane'), (3, 'Bob')], ['id', 'name'])
data_list = df.collect()
print(data_list)

输出：

[Row(id=1, name='John'), Row(id=2, name='Jane'), Row(id=3, name='Bob')]

请注意，如果您的 DataFrame 非常大，则不建议使用 collect() 方法，因为它将所有数据收集到驱动程序中，这可能会导致内存问题。相反，您可以使用其他 Spark 操作来处理数据，例如 filter()，groupBy() 和 agg() 等。