spark dataframe 转list

您可以使用collect()方法将Spark DataFrame转换为Python列表。例如：

df = spark.createDataFrame([(1, 'John'), (2, 'Jane'), (3, 'Bob')], ['id', 'name'])
data_list = df.collect()
print(data_list)

输出：

[Row(id=1, name='John'), Row(id=2, name='Jane'), Row(id=3, name='Bob')]

请注意，如果您的DataFrame非常大，则不建议使用collect()方法，因为它将所有数据收集到驱动程序中，这可能会导致内存问题。相反，您可以使用其他Spark操作来处理数据，例如filter()，groupBy()和agg()等。