Linux 查询文件内容重复数 uniq

原文Linux 查询文件内容重复数 uniq_ekliu Blog-CSDN博客https://blog.csdn.net/ekliu/article/details/8931651

用途

报告或删除文件中重复的行。

语法

uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]

　 -c 在输出行前面加上每行在输入文件中出现的次数。

　　-d 仅显示重复行。

　　-f 忽略由 Fields 变量指定的字段数目。如果 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。这个标志和 -Fields 标志是等价的。

　　-u 仅显示不重复的行。

例子：查询一个文件重复最多的前10条记录：

uniq -c file | sort -n -r |head -10

查询2个文件重复的数据

cat file1 file2 |sort|uniq -d