Python HDFS CSV 文件输出 - 完整指南

使用 Python 在指定 HDFS 路径下输出 CSV 文件内容非常简单。以下代码示例展示了如何将数据写入一个名为 'data.csv' 的文件，并存储到 HDFS 中：

import csv
with open('/tmp/data.csv', 'w') as f:
    writer = csv.writer(f)
    writer.writerows([['a', 'b'], ['c', 'd']])

解释：

• import csv：导入 Python 的 CSV 库，用于处理 CSV 文件操作。
• with open('/tmp/data.csv', 'w') as f：打开名为 'data.csv' 的文件，并使用 'w' 模式写入数据。注意，这里的路径 /tmp/data.csv 应替换为您的实际 HDFS 文件路径。
• writer = csv.writer(f)：创建一个 CSV 写入器对象，以便将数据写入文件。
• writer.writerows([['a', 'b'], ['c', 'd']])：使用 writerows() 方法写入数据。在这个例子中，我们写入了一个包含两行的列表，每行包含两个字符串。

注意：

• 在执行代码之前，确保您已经配置了 HDFS 环境，并且您的程序能够访问指定的 HDFS 路径。
• 可以根据您的需求修改代码，例如，更改输出的文件名、添加更多数据行以及设置其他 CSV 选项。

完整示例：

import csv
import os

# 设置 HDFS 路径
hdfs_path = '/user/your_username/data.csv'

# 创建 HDFS 文件
os.makedirs(os.path.dirname(hdfs_path), exist_ok=True)

# 写入 CSV 数据
with open(hdfs_path, 'w') as f:
    writer = csv.writer(f)
    writer.writerows([['a', 'b'], ['c', 'd']])

通过这些步骤，您就可以轻松地在 HDFS 路径下使用 Python 输出 CSV 文件内容了。