Python 去除文本文件重复行 | 高效代码示例 - 常规

Python 去除文本文件重复行 - 代码示例

本文提供 Python 代码示例，演示如何快速有效地去除文本文件 'my_dict.txt' 中的重复行，并将结果输出到新的文件 'dict.txt'。

with open('my_dict.txt', 'r') as f:
    lines = f.readlines()

unique_lines = list(set(lines))

with open('dict.txt', 'w') as f:
    f.writelines(unique_lines)

解释：

打开文件 'my_dict.txt' 并读取所有行，存储在变量 'lines' 中。
使用 set() 函数将 'lines' 转换为集合，去除重复行，并将结果转换回列表 'unique_lines'。
打开文件 'dict.txt' 并将 'unique_lines' 写入文件中。注意，writelines() 函数需要传入一个列表作为参数，因此不需要在 'unique_lines' 中添加换行符。