Linux awk 命令詳解(一) 詳情 - awk,linux,centos Bigyong 博客

一、awk簡介及常見用法

awk編程語言/數據處理引擎

創造者: Aho、Weinberger、Kernighan awk的名稱取自三位創造者的名字的首字符
基於模式匹配檢查輸入文本,逐行處理並輸出
通常用在Shell腳本中,獲取指定的數據
單獨用時,可對文本數據做統計
awk默認支持擴展正則

命令格式

格式1:前置命令 | awk [選項] '[條件]{指令}'
格式2:前置命令 | awk [選項] '[條件]{指令}' 文件

常用的選擇

選項 -F 可指定分隔符,可省略 (默認awk分隔符為空格和tab鍵)
選項 -v 賦值一個用户定義變量。

常用的條件可省略 (默認輸入顯示全部匹配項)

可使用正則來限定範圍, awk默認支持擴展正則

awk常用內置變量

FS 保存或設置字段分隔符,例如FS= ":" 與-F功能一樣
RS：Record Separator，記錄分隔符
ORS：Output Record Separate，輸出當前記錄分隔符(行分隔符)
OFS：Out of Field Separator，輸出字段分隔符物，其中解釋了縮寫的含義
$n 指定分隔的第n個字段,如 $1、$2分別表示文本的第1列、第2列依此類推
$0 文本當前行的全部內容
NR 文件當前行的行號
NF 文件當前行的列數（有幾列）

常用的指令

print 是最常用的編輯指令；若有多條編輯指令，可用分號分隔。

案例 1
1）awk過濾數據時支持僅打印某一列，如第2列、第5列等。
處理文本時，若未指定分隔符，則默認將空格、製表符等作為分隔符。

[root@case100 ~]# cat awk.txt
hello the world
welcome to beijing
[root@case100 ~]# awk '{print $1,$3}' awk.txt     //打印文檔第1列和第3列
hello world
welcome beijing

結合管道過濾命令輸出：

[root@case100 ~]# df -h|awk '{print $4}'     //打印磁盤的剩餘空間

2）選項 -F 可指定分隔符

輸出passwd文件中以分號分隔的第1、7個字段，顯示的不同字段之間以逗號隔開，操作如下：

[root@bigyong ~]# awk -F: '{print $1","$7 }' /etc/passwd
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
… …

3）利用awk提取本機的網絡流量、根分區剩餘容量、獲取遠程失敗的IP地址
提取IP地址
分步實現的思路及操作參考如下——
通過ifconfig eth0查看網卡信息，其中包括網卡流量：

[root@case100 ~]# ifconfig eth0
eth0flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.4.100  netmask 255.255.255.0  broadcast 192.168.4.255
        ether 52:54:00:af:e6:6a  txqueuelen 1000  (Ethernet)
        RX packets 106729  bytes 5769307 (5.5 MiB)
        RX errors 0  dropped 100380  overruns 0  frame 0
        TX packets 4678  bytes 736178 (718.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

RX為接收的數據量，TX為發送的數據量。packets以數據包的數量為單位，bytes以字節為單位：

[root@case100 ~]# ifconfig eth0 |awk '/RX p/{print $5}'    //過濾接收數據的流量
5797165
[root@case100 ~]# ifconfig eth0 |awk '/TX p/{print $5}'   //過濾發送數據的流量
761006

4）提取根分區剩餘容量
分步實現的思路及操作參考如下——
通過df命令查看根分區的使用情況，其中包括剩餘容量：

[root@case100 ~]# df -h /
文件系統        容量  已用  可用 已用% 掛載點
/dev/vda1        20G  8.8G   12G   44% /

輸出上述結果中最後一行的第4列：直接在awk中使用正則：

[root@case100 ~]# df -h /|awk '/\/$/{print $3}'
8.8G

5）選項 -v 賦值一個用户定義變量

[root@case100 ~]# echo  '1 2 3 4 5'|awk -v istor=100 '{if(istor=100){print $0}}'
1 2 3 4 5

6) 輸出前4列

[root@case100 ~]# awk -F: '{NF=4}1' /etc/passwd

7) 定義輸出格式輸出:1和4列分隔符為= 行分格符為 *(默認為回車)

ORS：Output Record Separate，輸出當前記錄分隔符(行分隔符)
OFS：Out of Field Separator，輸出字段分隔符物，其中解釋了縮寫的含義

[root@k8s-node2 ~]# awk  -F: 'BEGIN{OFS="=";ORS="*"} {print $1,$4;}' /etc/passwd
root=0*bin=1*daemon=2*adm=4*lp=7*sync=0*shutdown=0*halt=0*mail=12*operator=0*games=100*ftp=50*nobody=99*systemd-bus-proxy=998*systemd-network=192*dbus=81*polkitd=997*tss=59*sshd=74*postfix=89*chrony=995*guanzj=0*zabbix=994*ng

#輸出分隔符為*號
[root@k8s-node2 ~]# awk  -F: 'BEGIN{OFS="*"} {print $1,$4;}' /etc/passwd
root*0
bin*1
daemon*2
adm*4
lp*7
sync*0
shutdown*0

二、awk的過濾的時機BEGIN{ }END{ }指令

awk的過濾的時機
awk會逐行處理文本，支持在處理第一行之前做一些準備工作，以及在處理完最後一行之後做一些總結性質的工作。在命令格式上分別體現如下：

awk [選項]'[條件]{指令}' 文件
awk [選項]' BEGIN{指令} {指令} END{指令}' 文件
BEGIN{ } 行前處理，讀取文件內容前執行，指令執行1次
{ } 逐行處理，讀取文件過程中執行，指令執行n次
END{ } 行後處理，讀取文件結束後執行，指令執行1次

[root@case100 ~]# awk 'BEGIN{A=22;print A}'
22
[root@case100 ~]# awk 'BEGIN{print x+1}'    #x可以不定義，直接用，默認值位0
1
[root@case100 ~]# awk 'BEGIN{print 3.2+3.5}'
6.7

案例2
1）統計系統中使用bash作為登錄Shell的用户總個數：
a.預處理時賦值變量x=0
b.然後逐行讀入/etc/passwd文件，如果發現登錄Shell是/bin/bash則x加1
c.全部處理完畢後，輸出x的值即可。相關操作及結果如下：

[root@case100 ~]# awk 'BEGIN{x=0}/bash$/{x++} END{print x}' /etc/passwd
5

2）格式化輸出/etc/passwd文件
要求: 格式化輸出passwd文件內容時，要求第一行為列表標題，中間打印用户的名稱、UID、家目錄信息，最後一行提示一共已處理文本的總行數，如圖-1所示

3）根據實現思路編寫、驗證awk過濾語句
輸出信息時，可以使用“\t”顯示Tab製表位：

[root@case100 ~]# awk -F: 'BEGIN{print "USER\tUID\tHome"}    \
> {print $1 "\t" $3 "\t" $6}   \
> END{print "Total",NR,"lines."}' /etc/passwd

USER    UID    Home
root    0    /root
bin    1    /bin
daemon    2    /sbin
adm    3    /var/adm
lp    4    /var/spool/lpd
sync    5    /sbin
shutdown    6    /sbin
halt    7    /sbin
mail    8    /var/spool/mail
operator    11    /root
games    12    /usr/games
ftp    14    /var/ftp
nobody    99    /
systemd-network    192    /

案例3
1）使用正則設置條件
輸出其中以bash結尾的完整記錄：

[root@case100 ~]# awk -F: '/bash$/{print}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
nginx:x:1000:1000::/home/nginx:/bin/bash

2）輸出包含root的行數據：

[root@case100 ~]# awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

3）輸出root或adm賬户的用户名和UID信息：

[root@case100 ~]# awk -F: '/^(root|adm)/{print $1,$3}' /etc/passwd
root 0
adm 3

4）輸出賬户名稱包含root的基本信息（第1列包含root）：

[root@case100 ~]# awk -F: '$1~/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

5）輸出其中登錄Shell不以nologin結尾（對第7個字段做!~反向匹配）的用户名、登錄Shell信息：

[root@case100 ~]# awk -F: '$7!~/nologin$/{print $1,$3}' /etc/passwd
root 0
sync 5
shutdown 6
halt 7
nginx 1000
... ...

三、awk數值/字符串比較/邏輯比較設置條件

使用數值/字符串比較設置條件

比較符號：==(等於) !=（不等於） >（大於）
\>=（大於等於） <（小於） <=（小於等於)

使用邏輯比較設置條件

&& 邏輯與:期望多個條件都成立
|| 邏輯或:只要有一個條件成立即滿足要求

1）輸出第3行（行號NR等於3）的用户記錄：

[root@case100 ~]# awk -F:  'NR==3{print}'  /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin

2）輸出賬户UID小於10的賬户名稱和UID信息：

[root@case100 ~]# awk -F:  '$3<10{print $1,$3}'  /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
... ...

3）輸出賬户UID大於等於1000的賬户名稱和UID信息：

[root@case100 ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
nginx 1000
bigyong 1001
kaka5 1002
harry 1003

4）輸出用户名為“root”的行：

[root@case100 ~]# awk -F: '$1=="root"' /etc/passwd
root:x:0:0:root:/root:/bin/bash

5）邏輯測試條件
輸出賬户UID大於10並且小於20的賬户信息：

[root@case100 ~]# awk -F: '$3>10 && $3<20 {print $1,$3}' /etc/passwd
operator 11
games 12
ftp 14

6）輸出賬户UID大於1000或者賬户UID小於10的賬户信息：

[root@case100 ~]# awk -F: '$3>100 || $3<1000{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
... ...

7）數學運算

[root@case100 ~]# awk 'BEGIN{x++;print x}'
1
[root@case100 ~]# awk 'BEGIN{x=10;print x+=20}'
30
[root@case100 ~]# awk 'BEGIN{print 7+3}'
10
[root@case100 ~]# awk 'BEGIN{print 3+4}'
7
[root@case100 ~]# awk 'BEGIN{print 3*4}'
12
[root@case100 ~]# awk 'BEGIN{print 50%3}'
2
[root@case100 ~]# awk 'BEGIN{print 20/3}'
6.66667
[root@case100 ~]# seq 200|awk '\$1%3==0'   //找200以內3的倍數
3
6
9
12
15
... ...

8）列出UID間於1~1000的用户詳細信息：

[root@case100 ~]# awk -F: '\$3>=1 && $3<=1000' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
... ...

9）輸出/etc/hosts映射文件內以127或者192開頭的記錄：

[root@case100 ~]# awk '/^(127|192)/' /etc/hosts
127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.4.200  nginx01.test.com

10）列出100以內整數中7的倍數或是含7的數：

[root@case100 ~]# seq 100|awk '$1%7==0||$1~/7/'

7
14
17
21
27
28
... ...

4 案例4：awk綜合腳本應用
編寫腳本的任務要求如下：
分析出使用bash作登錄Shell的本地用户
列出這些用户的shadow密碼記錄
按每行“用户名 -- 密碼記錄”保存結果
步驟一：根據實現思路編寫腳本

[root@case100 ~]# cat awk-user.sh 
#!/bin/bash
A=$(awk -F: '/bash$/{print $1}' /etc/passwd)
for i in $A
do
    grep $i /etc/shadow | awk -F: '{print $1,"-->",$2}'
done

步驟二：驗證、測試腳本

[root@case100 ~]# ./getuser-awk.sh 
root --> $6$SAyc777Q$DgGi7Pnln0or.Ds04oyL6Y.QnVlMgZDRHMKKICJhiUAHBy4lvziPAZoW0MJz81xYonskLozvzhvNa4H59ngSl1
nginx --> !!
bigyong --> !!
kaka5 --> $6$uyZDpbUl$.CjkBefPZHXrRTcKc1csv7ZbbhHMMD4oQmum9lajJ1ot9at6fmIey5AE4kmUSoaWE/ofmFxyP2Dc6PAcczXdw0
harry --> !!

Bigyong 博客

Bigyong 博客

博客 / 詳情