Linux uniq 命令详解：高效去除重复行

Linux uniq 命令详解：高效去除重复行

uniq 是一个强大的命令行工具，用于去除文本文件中的重复行。它在 Linux、Unix 和类 Unix 系统中广泛使用，是文本处理的利器之一。

uniq 命令基础

uniq 命令的基本语法如下：

uniq [选项] [输入文件] [输出文件]

• 如果没有指定输入文件，uniq 会从标准输入读取数据。- 如果没有指定输出文件，uniq 会将结果输出到标准输出。

常用选项

uniq 命令支持多种选项，以下是一些常用的选项：

• -c 或 --count：在每行输出之前，显示该行出现的次数。- -d 或 --repeated：仅显示重复的行。- -i 或 --ignore-case：比较时忽略大小写。- -u 或 --unique：仅显示不重复的行。- -f N 或 --skip-fields=N：比较时跳过前 N 个字段。字段默认以空格或制表符分隔。- -s N 或 --skip-chars=N：比较时跳过每行开头的 N 个字符。

uniq 命令使用示例

1. 去除文件中的重复行，并将结果输出到另一个文件：

   bash uniq input.txt output.txt

2. 统计文件中每行出现的次数：

   bash uniq -c input.txt output.txt

3. 仅显示重复的行：

   bash uniq -d input.txt

4. 忽略大小写进行比较：

   bash uniq -i input.txt output.txt

5. 忽略前两个字段进行比较：

   bash uniq -f 2 input.txt output.txt

6. 忽略前三个字符进行比较：

   bash uniq -s 3 input.txt output.txt

注意事项

• uniq 命令默认只去除 相邻的 重复行。如果要删除文件中所有重复的行，需要先对文件进行排序，可以使用 sort 命令。- 结合其他命令使用 uniq 可以实现更复杂的功能，例如统计文件中不同单词出现的次数：

' | sort | uniq -c ```

总结

uniq 命令是一个简单易用的文本处理工具，可以帮助你快速去除重复行。通过学习本文介绍的常用选项和示例，你可以轻松掌握 uniq 命令的使用方法，并在日常工作中提高效率。

了解更多

想了解更多关于 uniq 命令的用法，请查阅 man uniq 命令的帮助文档。