Python 文本去重程序 - 移除重复行

以下是一个使用 Python 编写的文本去重程序，它可以移除文本文件中的重复行。

# 打开文件并读取所有行
with open('input.txt', 'r') as f:
    lines = f.readlines()

# 去重并存储到新列表中
unique_lines = []
for line in lines:
    if line not in unique_lines:
        unique_lines.append(line)

# 将去重后的文本写入新文件
with open('output.txt', 'w') as f:
    for line in unique_lines:
        f.write(line)

该程序假定输入文件名为 'input.txt'，输出文件名为 'output.txt'。程序首先打开输入文件并读取所有行。然后，它使用一个循环来逐行检查文本是否已经存在于一个名为 'unique_lines' 的新列表中。如果没有，该行将添加到该列表中。最后，该程序将去重后的文本写入新文件 'output.txt' 中。

请注意，此程序假定文本是按行分隔的。如果您的文本以不同的方式分隔，请相应地修改该程序。