Python 去重：如何删除文本文件中的重复行

使用 Python 删除文本文件中的重复行

本教程将演示如何使用 Python 从文本文件中高效地删除重复行，并将结果保存到新文件中。

以下是实现此目标的 Python 代码：

with open('my_dict.txt', 'r') as f:
    lines = f.readlines()

unique_lines = set(lines)

with open('dict.txt', 'w') as f:
    f.writelines(unique_lines)

代码解释:

打开文件: 代码首先使用 open() 函数打开名为 'my_dict.txt' 的文件，并使用 'r' 模式表示以只读方式打开。
读取所有行: readlines() 函数读取文件中的所有行，并将它们存储在一个名为 lines 的列表中。
去除重复行: set() 数据结构用于创建唯一元素的集合。由于集合不允许重复，因此将 lines 列表转换为集合可以有效地删除重复行。
写入新文件: 代码打开一个名为 'dict.txt' 的新文件，并使用 'w' 模式表示以写入模式打开。然后，它使用 writelines() 函数将 unique_lines 集合中的所有行写入新文件。

总结:

这段简洁的 Python 代码提供了一种快速简便的方法，可以从任何文本文件中删除重复行，从而确保输出文件仅包含唯一行。