在Spark中将文件保存在当前目录路径里,可以使用以下代码:

# 导入模块
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("saving_file").getOrCreate()

# 创建DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 将DataFrame保存为CSV文件到当前目录路径
df.write.csv("./output.csv")

在上面的代码中,./output.csv指的是当前目录下的output.csv文件。您可以根据需要更改文件名和文件路径。如果您使用其他文件格式(如JSON、Parquet等),只需将.csv更改为所需的格式即可。

请注意,如果您在分布式环境中运行Spark作业,则当前目录可能不是您期望的目录,因为每个节点都有自己的当前目录。在这种情况下,您应该指定一个绝对路径来保存文件

在spark中如何将文件保存在当前目录的路径里

原文地址: https://www.cveoy.top/t/topic/fiSQ 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录