grep awk cut sort uniq sort

最新推荐文章于 2024-03-29 08:52:30 发布
最新推荐文章于 2024-03-29 08:52:30 发布
阅读量993 收藏
点赞数
分类专栏： linux 脚本

Linux 系统中，有很多用于快速处理数据的工具如grep awk cut sort uniq sort，他们非常非常地好用。 如果你熟练掌握他们的使用技巧，他们则可以帮你快速定位问题。

一、sort

Usage: sort [OPTION]... [FILE]...
-o 输出文件
-d 按字典顺序排序
-n 按数据大小输出
-r 按逆序输出排序结果
-k 指定分类是域上的数字分类
-t　域分隔符,用非空格或tab分隔域

sort -k3 -n -r -t: /etc/passwd
sort -d /etc/passwd

二、WC

Usage: wc [OPTION]... [FILE]...
-c 字符数量~
-l 行数~
-w 统计单词数量~
wc /etc/passwd
36   65 1739 /etc/passwd　#36行,65个单词(空格区分),1739个字符

三、diff

diff
Usage: diff [OPTION]... FILES
Compare files line by line.
-q 显示有无差异，不显示详细的信息~
-c 显示全部内文，并标出不同之处~
-b 不检查空格字符的不同~
-B 不检查空白行
-r 比较子目录中的文件~
diff /etc/passwd ./passwd.bak  
2d1
< bin:x:1:1:bin:/bin:/sbin/nologin

四、grep
Usage: grep [OPTION]... PATTERN [FILE] ...
Search for PATTERN in each FILE or standard input.
-c 只打印匹配的行编号数
-i 匹配文本时忽略大小写
-n 在每行前显示其行编号
-v 逆向输出,打印不匹配的行
-f file 要匹配的字符在文件列表中
cat /etc/passwd |grep -n root
1:root:x:0:0:root:/root:/bin/bash
12:operator:x:11:0:operator:/root:/sbin/nologin
#grep '[Tt]his' file.txt
#grep '^[^#]' file.txt
匹配任意字符
grep 'r..t' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

五、sed

sed
Usage: sed [OPTION]... {script-only-if-no-other-script} [input-file]...
S 替代操作
i 插入命令
a 附加命令
d 删除全部匹配行
D 删除首次匹配的行

#sed -n '1,4p' /etc/passwd 打印1~4行,-n　--quiet以免先打印出passwd的全部内容
#sed '/80/D' file.txt
#sed 's/var/usr/g' file.txt 替换file.txt中全部var为usr
#sed '50,$s/help/man/g' file.txt 从50~最后行替换help为man
sed '/done/d' xj_user_p.log 删除done

六、awk

Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] 'program' file ...
        gawk '{ sum += $1 }; END { print sum }' file
        gawk -F: '{ print $1 }' /etc/passwd
NF 当前记录中的字段数。NR 当前记录数。


       
awk -F: '{print NR,$1,$NF}' ./passwd.bak
awk -F: 'NR==5{print NR,$0}' ./passwd.bak 打印出5,15,25...行
5 sync:x:5:0:sync:/sbin:/bin/sync
15 nobody:x:99:99:Nobody:/:/sbin/nologin
25 apache:x:48:48:Apache:/var/www:/sbin/nologin

 

七、uniq

如果要在文件中查找重复的行，uniq命令会很有用，该命令一般格式为：uniq in_file out_file

该格式中，uniq把in_file复制到out_file，处理过程中，去掉其中的重复行，uniq对重复行的定义是完全匹配的连续行。如果不指定out_file，结果就写入标准输出。
-d选项：它告诉uniq把文件中的重复行写入out_file，不管它们在文件中连续出现多少次，这样的连续行只写一次
-c选项：带-c选项后，每行最前面显示该行在输入文件中出现的次数。

$ more test.txt
aaa
ccc
ccc
ccc
ddd
bbb
eee
123
$ uniq test.txt
aaa
ccc
ddd
bbb
eee
123
$ uniq -d test.txt
ccc
$ uniq -c test.txt
     1 aaa
     3 ccc
     1 ddd
     1 bbb
     1 eee
     1 123
$

综合示例：

...
数据处理：
找出上海股票涨幅最大的股票？
sort -n -r -k4 t.txt | sed -n '1p'
涨幅>3的股票？
awk '{if ($1>3) print $0} ' t.txt
涨幅在在4~15之间的股票
awk '{if($4>0&&$4<15){print $0}}' t.txt

 


最近碰到一个案例。 一个项目上数据库系统， ORACLE ，运行在 LINUX 上，报进程数满了。看到这类问题，您不需要去深究什么警告日志，数据库中进程状况啊等等。马上 在操作系统层面上看看有哪些服务器连接到这台数据库服务器上。

(墙内链接: http://mikixiyou.iteye.com/blog/1538828)

这里使用的第一个工具就netstat 。他是系统管理工具，还不能算shell 工具。


通过netstat -ntu ，找出通过tcp 和udp 连接服务器的IP 地址列表。

[root@webdb4 ~]# netstat -ntu|more     

Active Internet connections (w/o servers)

Proto Recv-Q Send-Q Local Address               Foreign Address             State     

tcp        0      0 192.168.15.209:1521         192.168.15.65:37781         ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.65:37783         ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.65:37777         ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.65:37779         ESTABLISHED

tcp        0      0 10.100.15.209:49895         10.100.15.207:26069         ESTABLISHED

tcp        0      0 10.100.15.209:49898         10.100.15.213:6092          ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.65:37785         ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.181:21869        ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.181:21870        ESTABLISHED

tcp        1      0 192.168.15.209:26781        192.168.15.89:1521          CLOSE_WAIT 

tcp        0      0 192.168.15.209:10332        192.168.15.211:6200         ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.181:21875        ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.65:37766         ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.181:21874        ESTABLISHED

tcp        0      0 192.168.15.209:1521         192.168.15.65:37761         ESTABLISHED

 

下面略掉，太多了，没法显示全。

 

这是所有与数据库服务器连接的外部IP 信息列表。

 

可以看到第五列是所有的外部IP 信息。根据这些信息，找出数目那个IP 是什么？或者根据IP数目做一个排序。

第一步，使用grep 将tcp 过滤出来，也可以使用egrep 过滤多个条件

netstat -ntu|grep 'tcp'

netstat -ntu|egrep 'tcp|udp'

 

第二步，使用awk 将第五列单独截出来

netstat -ntu|grep 'tcp'|awk '{print $5}'

操作如下：

[root@webdb4 ~]# netstat -ntu|grep 'tcp'|awk '{print $5}'|more

192.168.15.65:37781

192.168.15.61:34281

192.168.15.65:37783

192.168.15.61:34282

192.168.15.65:37777

192.168.15.65:37779

10.100.15.207:26069

192.168.15.61:34275

10.100.15.213:6092

 

第三步，使用cut 将列信息以":" 为分隔符再分成不同的列, 显示第一个field

netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1

 

第四步，使用sort 默认字符顺序将字段值排序

netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort

sort 有很多选项，可以man sort 去看。

 

第五步，使用uniq 将已经排序好的字段计算不同值的数目

netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort|uniq -c

uniq -c 根据相近的值计算和，因此之前需要排序好。

 

第六步，使用sort -n 数字升序方式再排一下结果

netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n

使用sort -nr ，可以按照数字降序排。

netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -nr

 

第七步，使用head 或tail 取头部几行或尾部几行

取尾部10 行

netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n|tail -10

 

取头部10 行

netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -nr|head -10

 

[root@webdb4 ~]# netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n|tail -10

      8 192.168.15.133

      8 192.168.15.62

     10 192.168.15.181

     11 192.168.15.61

     12 192.168.15.204

     15 192.168.15.63

     17 192.168.15.100

     18 192.168.15.92

     30 192.168.15.65

     32 192.168.15.146

 

[root@webdb4 ~]# netstat -ntu|grep 'tcp'|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -nr|head -10

     32 192.168.15.146

     30 192.168.15.65

     18 192.168.15.92

     17 192.168.15.100

     15 192.168.15.63

     12 192.168.15.204

     11 192.168.15.61

     10 192.168.15.181

      8 192.168.15.62

      8 192.168.15.133 

 

这就得到我们要的结果。

这个结果中，我们可以看出各个服务器在数据库服务器上的网络连接数。

根据连接数，发现特别大的，肯定有问题。通常都应用服务端打开连接不关闭，或者出现异常无法关闭。


统计出每天使用命令的玩家数量
  www.2cto.com  
gzip -c -d nohup.out.`date +%Y%m%d`*.gz |grep /web/api/logic/logicDispatcher|awk '{FS="&";print $2;}'|awk '{FS="=";print $2;}'|cut -d ' ' -f3 | cut -d '/' -f2 | sort | uniq|wc -l
 
解析:
 
gzip -c -d nohup.out.`date +%Y%m%d`*.gz 解压zip文件,但是保留zip文件,输出到控制台
 
grep /web/api/logic/logicDispatcher 查找带有关键字的行
 
awk '{FS="&";print $2;}' 以根据格式 &分离出帐号
 
awk '{FS="=";print $2;}' 以根据格式 =分离出帐号
 
'|cut -d ' ' -f3 | cut -d '/' -f2 | sort |  分别取出帐号前2，3个字符排序
 
uniq|wc -l 取出唯一的，然后统计数量
 
查询FA和FB使用数量
gzip -c -d nohup.out.`date +%Y%m%d`*.gz|grep cmd=fa|wc -l
gzip -c -d nohup.out.`date +%Y%m%d`*.gz|grep cmd=fb|wc -l
查询FB消耗的游戏币量
grep ___23___ logs/logclient.log_201211*|awk '{FS="_";all+=$12-$15;print $5,$12,$15,$12-$15,all;}'
 
查询掉落物品总量和种类
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep consume.refreshtavern.1|wc -l
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep hero.reset.1|wc -l
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep consume.1.a|wc -l
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep player.box.gambling.3|wc -l
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep player.queue.building|wc -l
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep equipment.tech.upgrade.book1|wc -l
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep enhanced.star.1|wc -l
grep logGiftItemBymobile logs/logclient.log_`date +%Y%m%d`.log|grep enhanced.star.2|wc -l
 

awk & sort & cut & tr:实例
mzhan017的博客
12-22 494
awk里的数组，是关联性的数组，什么意思：就是和其他语言的数组使用索引来访问，索引和值之间没有强关联性。这句话的整体含义：将shell的第一个参数放到search变量里，用awk分裂文件acronyms行，得到的第一个域要和search变量相等才打印。cat perl* | awk -F’ ’ ‘{print $2}’ |sort |uniq -c # -F 后面跟着分割字符串。-b, --ignore-leading-blanks, 忽略前面的空格。是一行内容里的所有字段的个数，已分隔符分割的字段。
Shell编程三剑客之Awk，和sort、uniq、tr三种工具的运用
m0_47219942的博客
07-27 677
hell编程三剑客之Awk，和sort、uniq、tr三种工具的运用一：AWK工具1.1：awk常见用法1.2:awk 包含的几个特殊的内建变量（可直接用）1.3：awk用法示例1.3.1：按行输出文本1.3.2：按字段输出文本1.3.3：通过管道、双引号调用 Shell 命令二：Awk命令总结三：sort工具、uniq工具和tr工具3.1：sort工具3.1.1：sort命令常用选项3.1.2：sort命令示例3.2：uniq工具3.2.1：uniq命令常用选项3.2.2：uniq命令示例3.3：tr工具
Shell——awk、sort、uniq工具命令详解
ML908的博客
12-06 1776
文章目录awk工具awk 包含几个特殊的内建变量（可直接用）如下所示：1、按行输出文本2、按字段输出文本3、通过管道、双引号调用Shell命令sort工具 （排序）uniq工具 （去重） awk工具 awk 所使用的命令格式，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。 awk 选项 ‘模式或条件 {...
linux命令-awk，sort,uniq
dd1234562014的博客
09-12 131
学习地址：http://man.linuxde.net/awk#awk的工作原理 awk 选项参数说明： -F fs or --field-separator fs 指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。 -v var=value or --asign var=value 赋值一个用户定义变量。 -f scripfile or ...
shell的awk,sort,uniq使用
锦瑟的专栏
06-19 1756
昨天为了处理一堆日志，重温了awk和sort等shell命令，研究了半天其实就一条语句：awk -F @ {print(substr($1,112,6)"/t"substr($1,19,4))} pullbiz.log.2007-06-1*|sort +0 +1|uniq -c-F @指用@作分隔符，因为日志里面每个字段都是靠右对齐、左补空格，没有办法用空格来分段了，只好找了一个不会出
Shell脚本正则表达式之——awk、sort、uniq
石头城云计算的博客
10-09 637
awk工具 在Linux/UNIX系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以再无交互的情况下实现相当复杂的文本操作，被广泛应用于Shell脚本，完成各种自动化配置任务。 1.awk常见用法： 通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk ...
使用awk+sort+uniq进行文本分析
weixin_34344403的博客
11-26 168
1、uniq命令uniq - report or omit repeated lines介绍：uniq对指定的ASCII文件或标准输入进行唯一性检查，以判断文本文件中重复出现的行。常用于系统排查及日志分析命令格式：uniq [OPTION]... [File1 [File2]]uniq从已经排序好的文本文件File1中删除重复的行，输出到标准标准输出或File2。常作为过滤器...
awk,sed,grep,cut,uniq,sort,tr,wc,head,tail的常见用法
cqslpxzzp的专栏
03-03 4336
awk awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。   调用awk的三种方式 1.命令行方式 awk [-F field-separator]  'commands' input-file(s) 其中，command
正则表达式 awk sed grep 及小工具cun sort uniq tr paste
m0_62948770的博客
08-04 2048
正则表达式
windows上可直接使用的awk、sed、grep等文本处理命令和彩色显示echo命令(from.Cygwin).zip
02-11
包含命令：awk、cat、cut、diff、echo、gawk、grep、head、sed、sort、tac、tail、tr、uniq、wc 可以在windows上cmd窗口显示彩色文字，用法：echo.exe -e "\033[32;1mGREEN\033[0m
netstat -ntu | grep tcp | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr解释
02-17
netstat -ntu | grep tcp | awk '{print $5}' | cut -f1 | sort | uniq -c | sort -nr 是一个用于查看当前系统中TCP连接的命令行指令。下面是对该指令的解释： 1. `netstat -ntu`：这个部分是使用netstat命令来列出...
awk sed grep sort uniq find 命令详解
YFHCSDN的博客
10-25 329
linux基础命令
正则表达式之awk、sort与uniq用法
QwQNightmare的博客
12-05 803
正则表达式之awk、sort与uniq用法 awk是一个非常强大的筛选工具，其逐行读取文本，根据指定的条件按列查找出符合的结果。 awk的常见使用方法 awk + 选项 + '（条件）+ {命令} '+ 路径 ，awk默认分隔符是空格或制表符（TAB），还可以指定特定的字符作为分隔符，这是就需要用**“-F（特定字符）”**。如图1.1 图1.1 awk基本用法 awk输出全部内容：1.aw...
Shell脚本基础工具 awk、sort及uniq）
Parhoia的博客
10-09 757
awk工具 在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。 1、awk常见用法 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以...
Linux awk+uniq+sort 统计文件中某字符串出现次数并排序
刘宇(LY)个人笔记
09-23 9570
在服务器开发中，我们经常会写入大量的日志文件。有时候我们需要对这些日志文件进行统计。Linux中我们可以利用以下命令简单高效的实现这一功能。需要用到的命令简介 cat命令 cat命令主要有三大功能 1.一次显示整个文件 catfilename2.创建一个文件 cat filename 2.创建一个文件 cat > fileName 3.将几个文件合并为一个文件 $ cat f
Linux下的sed、awk、cut、sort、uniq工具
dong18292000671的博客
07-04 925
sedsed：流式编辑器，在shell脚本中作为过滤器，即将前一个程序的输出作为sed的输入，经过一系列编辑命令转换为另一种格式输出。 sed的基本格式： sed ‘pattern(正则表达式)/action(动作)’ file(文件名) sed -f scriptfile(脚本文件) file sed处理的文件既可以由标准输入重定向，也可以当命令行参数传入，一次传入多个文件，sed会依次
Linux文本操作命令（awk、grep、sed、sort、uniq、wc）常用用法
qq_45728643的博客
06-20 2885
linux文本三剑客：grep（文本过滤）、文本截取（awk）、sed(文本替换）
Linux基础命令篇：文本处理命令基础操作（awk、sed、sort、uniq、wc)
qq_39241682的博客
03-29 628
awk是一种文本处理工具，用于处理结构化文本数据。它基于模式匹配和动作来处理输入数据。以下是一些常用的awk选项和示例：
下面的代码排除192.1开头和172.1开头的ip，直接给出代码，无需任何解释 netstat -ntu | awk '{print$5}' | cut -d: -f1 | sort | uniq -...
weixin_35749545的博客
01-08 106
这个代码使用了一些 Unix 命令来查看当前网络连接的统计信息。具体来说，它会： 使用 netstat -ntu 命令查看当前网络的 TCP 和 UDP 连接状态。 使用 awk 命令将输出转换为一个可读性更好的格式。 使用 cut -d: -f1 命令提取连接的 IP 地址。 使用 sort 命令将 IP 地址排序。 使用 uniq -c 命令统计每个 IP 地址出现的次数。 使用 ...
sort uniq
最新发布
05-24
### 使用 `sort` 和 `uniq` 命令 #### 一、`sort` 命令详解 `sort` 是 Linux/Unix 中用于对...tr -cs "A-Za-z0-9" "\n" | tr "[:upper:]" "[:lower:]" | grep -v "^$" | sort | uniq -c | sort -rn | head -n 10 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值