使用python写一个文本去重的程序

以下是一个使用Python编写的文本去重程序：

# 打开文件并读取所有行
with open('input.txt', 'r') as f:
    lines = f.readlines()

# 去重并存储到新列表中
unique_lines = []
for line in lines:
    if line not in unique_lines:
        unique_lines.append(line)

# 将去重后的文本写入新文件
with open('output.txt', 'w') as f:
    for line in unique_lines:
        f.write(line)

该程序假定输入文件名为“input.txt”，输出文件名为“output.txt”。程序首先打开输入文件并读取所有行。然后，它使用一个循环来逐行检查文本是否已经存在于一个名为“unique_lines”的新列表中。如果没有，该行将添加到该列表中。最后，该程序将去重后的文本写入新文件“output.txt”中。

请注意，此程序假定文本是按行分隔的。如果您的文本以不同的方式分隔，请相应地修改该程序。