E

EdwardWong

V1

2022/12/06阅读:30主题:姹紫

Linux文件处理之三剑客

grep命令

有时候我们不需要列出文件的全部内容,而是从文件中找出包含指定信息的那些行,要实现这个目的,可以使用grep命令。

grep命令能够在一个或多个文件中,搜索某一特定的字符模型(也就是正则表达式),此模式可以是单一的字符、字符串、单词或句子。

正则表达式是描述一组字符串的一个模式,正则表达式的构成模仿了数学表达式,通过使用操作符将较小的表达式组合成一个新的表达式。正则表达式可以是一些纯文本文字,也可以是用来产生模式的一些特殊字符,为了进一步定义一个搜索模式,grep命令支持下表所示的这几种正则表达式的元字符

需要注意的是,在基本的正则表达式中,如通配符*+{|()等,已经失去了他们基本的含义,而若要恢复它们原本的含义,则要在之前添加反斜杠\,如\*\+\{\|\(\).

grep命令是用来在每一个文件或中(或特定输出上)搜索特定的模式,当使用grep时,包括指定字符模式的每一行内容,都会被打印到屏幕上,但是使用grep命令并不改变文件中的内容

grep命令的基本格式如下:

grep [选项] 模式 文件名

这里的模式,要么是字符(串),要么是正则表达式。

如果是搜索多个文件,grep命令的搜索结果只显示文件中发现匹配模式的文件名,而如果搜索单个文件,grep命令的结果将显示每一个包含匹配模式的行。

grep -c -->仅列出文件中包含模式的行数

grep -i --> 忽略模式中的字母大小写

grep -l --> 列出带有匹配行的文件名

grep -n --> 在每一行的最前面列出行号

grep -v -->列出没有匹配模式的行

grep -w --> 把表达式当作一个完整的单字符来索索,忽略那些部分匹配的行

假设有一份emp.data员工清单,现在要搜索此文件,找出职位为CLERK的所有员工,则执行命令如下:

grep CLERK emp.data

如果想要知道职位为CLERK的员工的人数,可以使用-c选项,可以使用:

grep -c CLERK emp.data

搜素emp.data文件,使用正则表达式找出以78开头的数据行,执行命令如下:

grep ^78 emp.data

sed命令

sed命令采用的流编辑模式,最显著的特点是,在sed处理数据之前,需要预先提供一组规则,sed会按照此规则编辑数据。

sed会根据脚本命令来处理文本文件中的数据,这些命令要么从命令行中输入,要么存储在一个文本文件中,此命令执行数据的顺序如下:

  1. 每次仅读取一行内容

  2. 根据提供的规则命令匹配并修改数据。注意**sed默认不会直接修改源文件数据,而是会将数据复制到缓冲区,修改也仅限于缓冲区中的数据**

  3. 将执行结果输出

当一行数据匹配完成后,它会继续读取下一行数据,并重复这个过程,直到将文件中所有数据处理完毕。

sed命令的基本格式如下:

sed [选项][脚本命令] 文件名

sed s替换脚本命令

[address]s/pattern/replacement/flags

其中address表示指定要操作的具体行,pattern指的是需要替换的内容,replacement指的是要替代的新内容。

可以指定sed用新文本替换第几处模式匹配的地方:

sed 's/test/trial/2' data4.txt

其中data4.txt中的内容是:

This is a test of the test script

This is the second test of the trial script

经过sed 's/test/trial/g'之后,结果会变为

使用数字2作为标记的结果就是sed编辑器只替换每行中第2次出现的匹配模式。

-n选项会禁止sed输出,但p标记会输出修改过的行,将两者匹配使用的效果就是只输出被替换命令修改过的行:

# cat data5.txt

This is a test line

This is a different line.

# sed -n 's/test/trial/p' data5.txt

This is a trial line

w标记会将匹配后的结果保存到指定的文件中,比如:

其中data5.txt中的内容为:

This is a test line

This is a different line

# sed `s/test/trial/w test.txt` data5.txt

This is a trail line

This is a different line

# cat test.txt

This is a trail line

在使用s脚本命令时,替换类似文件路径的字符串比较麻烦,需要将路径中的正斜线进行转义,例如:

sed `s/\/bin\/bash/\/bin\/csh/` /etc/passwd

sed d替换脚本命令

[address]d

如果需要删除文本中的特定行,可以用d脚本命令,它会删除指定行中的所有内容,但使用该命令时要特别小心,如果忘记指定具体行的话,文件中所有内容都会被删除

# cat data1.txt
The quick brown fox jumps over the lazy dog
The quick brown fox jumps over the lazy dog
The quick brown fox jumps over the lazy dog
The quick brown fox jumps over the lazy dog

# sed 'd' data1.txt //如果不指定具体行的话,所有内容会被删除

  • 通过行号指定,比如删除data6,txt文件内容中的第3
# cat data6.txt

This is line number 1
This is line number 2
This is line number 3
This is line number 4

# sed `3d` data6.txt

This is line number 1
This is line number 2
This is line number 3
  • 通过特定行区间指定,比如删除data6.txt文件内容中的第2、3行:
# sed `2,3d` data6.txt   // 删除第二行到第三行之间的内容

This is line number 1.

This is line number 2

  • 也可以使用两个文本模式来删除某个区间内的行,但这么做要小心,你指定的第一个模式会打开行删除功能,第二个模式会关闭行删除功能,因此sed会删除两个指定行之间的所有行(包含指定的行)
# sed `/1/,/3/d` data6.txt   //删除第1~3行的文本数据

This is line number 4.

  • 可以通过特殊的文件结尾字符,比如删除data6.txt文件内容中第3行开始的所有内容
# sed `3,$d` data6.txt

This is line number 1.

This is line number 2.

sed a 和i脚本命令

a命令表示在指定行的后面附加一行i命令表示在指定行的前面插入一行sed -ased -i 的基本格式完全相同。

[address]a(或i) \新文本内部

# sed `3i\
This is an inserted line.` data6.txt
`

输出结果为:

将一个新行附加到数据流中第三行后,执行命令如下:

sed `3a\This is an appended line.` data6.txt 

如果想将多行数据添加到数据流中,只需对要插入或附加的文本中的每一行末尾(除最后一行)添加反斜线即可

# sed `1i\
This is one line of new text.\
This is another line of new text.` data6.txt

sed c替换脚本命令

c命令表示将指定行中的所有内容,替换成该选项后面的字符串。 命令的基本格式为:

[address]c\用于替换的新文本

# sed `3c\
This is a changed line of text.` data6.txt

上述也可以使用以下代码实现:

sed `/number 3/c\
This is a changed line of text.` data6.txt

sed y转换脚本命令

y转换命令是唯一可以处理单个字符的sed脚本命令,其基本格式如下:

[address]y/inchars/outchars/

转换命令会对incharsoutchars值进行一对一的映射,即inchars中的第一个字符会被转换为outchars中的第一个字符,第二个字符会被转换成outchars中的第二个字符。这个映射过程会一直持续到处理完指定字符。如果incharsoutchars的长度不同,则sed会产生一条错误信息。

# sed `y/123/789/` data8.txt

转换命令是一个全局命令, 也就是说,它会对文本行中找到的所有指定字符自动进行转换,而不会考虑他们出现的位置。

# echo "This 1 is a test of 1 try." |sed `y/123/456/`

sed转换了在文本行中匹配到的字符1的两个实例,无法限定只转换在特定地方出现的字符。

sed p打印脚本命令

p命令表示搜索符号条件的行,并输出该行的内容。

[address]p

p命令常见的用法是打印包含匹配文本模式的行。

# cat data6.txt

This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.

# sed -n `/number 3/p` data6.txt

This is line number 3

可以看到,-n-p命令配合使用,可以禁止输出其他行,只打印包含匹配文本模式的行。

如果需要在修改之前查看行,也可以使用打印命令,比如与替换或修改命令一起使用。可以创建一个脚本在修改行之前显示该行。

sed -n  `/3/{
>p
>s/line/test/p
>}` data6.txt
}

sed命令会查找包含数字3的行,然后执行两条命令:

  • 脚本用p命令来打印出原始行

  • s命令来替换文本,并用p标记打印出替换结果

输出同时显示了原来的行文本和新的行文本。

sed w脚本命令

w命令用来将文本中指定行的内容写入文件中

[address]w filename

这里的filename表示文件名,可以写成相对路径或绝对路径,但不管是哪种,运行sed命令的用户都需要文件的写权限

# sed `1,2w test.txt` data6.txt  //将第一行第二行写进text.txt文件
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.

# cat test.txt
This is line number 1.
This is line number 2.

如果不想让行直接输出,可以用-n选项,,一般使用sed命令会直接在屏幕上输出文本,再举个例子:

# cat data11.txt

# sed -n `/Browncoat/w Browncoats.txt` data11.txt
//将包含Browncoat的行写入Browncoats.txt文件

sed r脚本命令

r命令用于将一个独立文件的数据插入到当前数据流的指定位置,基本格式为:

[address] r filename

sed命令会将filename文件中的内容插入到address指定行的后面。

# cat data12.txt
This is an added line.
This is the second added line.

# sed `3r data12.txt` data6.txt

This is line number 1.
This is line number 2.
This is line number 3.
This is an added line.
This is the second added line.
This is line number 4.

如果想将指定文件中的数据插入到数据流的末尾,可以使用$地址符。

# sed `$r data12.txt` data6.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
This is an added line.
This is the second added line.

sed q退出脚本命令

q命令的作用是使sed命令在第一次匹配任务结束后,退出sed程序,不在进行后续数据的处理。

# sed `2q` test.txt
This is line number 1.
This is line number 2.

可以看出在打印输出第2行之后,就停止了,是q命令造成的。

# sed '/number 1/{ s/number 1/number 0/;q; }' test.txt

This is line number 0.

使用q命令之后,sed命令会匹配到number 1时,将其替换成number 0,然后直接退出。

sed脚本命令的寻址方式

默认情况下,sed命令会作用于文本数据的所有行,如果只想将命令作用于特定行某些行,则需要说明address部分,表示的方式有以下2种:

  • 以数字形式指定行区间

  • 用文本模式指定具体行区间

[address]脚本命令

或者

address {
多个脚本命令
}

以数字形式指定行区间

  1. 指定行号
[root@localhost ~]#sed '2s/dog/cat/' data1.txt
The quick brown fox jumps over the lazy dog
The quick brown fox jumps over the lazy cat
The quick brown fox jumps over the lazy dog
The quick brown fox jumps over the lazy dog
  1. 使用行地址区间
[root@localhost ~]# sed '2,3s/dog/cat/' data1.txt
The quick brown fox jumps over the lazy dog
The quick brown fox jumps over the lazy cat
The quick brown fox jumps over the lazy cat
The quick brown fox jumps over the lazy dog

  1. 将命令作用到文本中从某行开始的所有行
[root@localhost ~]# sed '2,$s/dog/cat/' data1.txt
The quick brown fox jumps over the lazy dog
The quick brown fox jumps over the lazy cat
The quick brown fox jumps over the lazy cat
The quick brown fox jumps over the lazy cat

用文本模式指定行区间

sed允许指定文本模式来过滤出命令要作用的行

/pattern/command

注意,必须用正斜线将要指定的pattern封起来,sed会将该命令作用到包含指定文本模式的行上。

比如只修改用户demo的默认shell,可以使用sed命令。

# grep demo /etc/passwd
demo:x:502:502::/home/Samantha:/bin/bash
sed '/demo/s/bash/csh/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
...
demo:x:502:502::/home/demo:/bin/csh
...

虽然使用固定文本模式能帮你过滤出特定的值,就跟上面这个用户名的例子一样,但其作用难免有限,因此,sed 允许在文本模式使用正则表达式指明作用的具体行。正则表达式允许创建高级文本模式匹配表达式来匹配各种数据.

[root@localhost ~]# cat test.txt
<html>
<title>First Wed</title>
<body>
h1Helloh1
h2Helloh2
h3Helloh3
</body>
</html>


//使用正则表达式给所有第一个的`h1`、`h2`、`h3`添加<>,给第二个`h1`、`h2`、`h3`添加`</>`
[root@localhost ~]# cat sed.sh
/h[0-9]/{
s//\<&\>/1
s//\<\/&\>/2
}

[root@localhost ~]# sed -f sed.sh test.txt //会将其后文件中的脚本命令添加到已有的命令中

<h1>Hello</h1>
<h2>Hello</h2>
<h3>Hello</h3>

sed多行命令

所有的sed命令都只是针对单行数据执行操作,在sed命令读取缓冲区中的文本数据时,它会基于换行符的位置,将数据分成行,**sed会根据定义好的脚本命令一次处理一行数据**。

但是,有时我们需要对跨多行的数据执行特定操作。比如说,在文本中查找一串字符串"http://c.biancheng.net",它很有可能出现在两行中,每行各包含其中一部分。这时,如果用普通的 sed 编辑器命令来处理文本,就不可能发现这种被分开的情况。

sed命令包含了三个可用来处理多行文本的特殊命令,分别是:

  1. Next命令(N): 将数据流的下一行加进来创建一个多行组来处理

  2. Delete(D): 删除多行组中的一行

  3. Print(P): 打印多行组中的一行

N多行操作命令

N命令会将下一行文本内容添加到缓冲区已有数据之后(之间用换行符分隔),从而使前后两个文本行同时位于缓冲区中,sed命令会将两行数据当成一行来处理。

# cat data2.txt
This is the header line.
This is the first data line.
This is the second data line.
This is the last line.

# sed `/first/{N;s/\n//}` data2.txt
This is the header line.
This is the first data line. This is the second data line.
This is the last line.

在这个例子中,sed命令查找含有单词first的那行文本。找到该行后,它会用N命令将下一行合并到那行,然后用替换命令s将换行符\n替换成空格,结果是,文本文件中的两行在sed的输出中成了一行。

如果要在数据文件中查找一个可能会散在两行中的文本短语

# cat data3.txt
On Tuesday, the Linux System
Administrator's group meeting will be held.
All System Administrators should attend.
Thank you for your attendance.

# sed `N; s/System Administor/Desktop User/` data3.txt

On Tuesday, the Linux Desktop User's group meeting will be held.
All Desktop Users should attend.
Thank you for your attendance.

替换命令在 SystemAdministrator之间用了通配符(.)匹配空格和换行符这两种情况。但当它匹配了换行符时,它就从字符串中删掉了换行符,导致两行合并成一行。这可能不是你想要的。

[root@localhost ~]# sed `N
> s/System\nAdministrator/Desktop\nUser/
> s/System Administrator/Desktop User/
> ` data3.txt
On Tuesday, the Linux Desktop
User's group meeting will be held.
All Desktop Users should attend.
Thank you for your attendance.

第一个替换命令专门查找两个单词间的换行符,并将它放在了替换字符串中。这样就能在第一个替换命令专门在两个检索词之间寻找换行符,并将其纳入替换字符串。这样就允许在新文本的同样位置添加换行符了。

但这个脚本中仍有个小问题,即它总是在执行 sed 命令前将下一行文本读入到缓冲区中,当它到了后一行文本时,就没有下一行可读了,此时 N 命令会叫 sed 程序停止,这就导致,如果要匹配的文本正好在最后一行中,sed 命令将不会发现要匹配的数据。

[root@localhost ~]# sed '
> s/System\nAdministrator/Desktop\nUser/
> N
> s/System Administrator/Desktop User/
> ' data3.txt
On Tuesday, the Linux Desktop
User's group meeting will be held.
All Desktop Users should attend.
Thank you for your attendance.

nN的不同

sed在正常情况下,将处理的行读入模式空间(pattern space),脚本中的sed-commandsed命令)就一条接着一条进行处理,直到脚本执行完毕。然后该行被输出,模式(pattern space)被清空;接着,在重复执行刚才的动作,文件中的新的一行被读入,直到文件处理完毕。

命令n:读取下一行到pattern space。由于pattern space中有按照正常流程读取的内容,使用n命令后,pattern space中又有了一行,此时,pattern space中有2行内容,但是先读取的那一行不会被取代、覆盖或删除;当n命令后,还有其他命令p的时候,此时打印出的结果是n命令读取的那一行的内容。

N命令:将下一行添加到pattern space中。将当前读入行和用N命令添加的下一行看成“一行”。

多行删除命令

sed不仅提供了单行删除命令(d),也提供了多行删除命令D,其作用是只删除缓冲区中的第一行,也就是说D命令将缓冲区中第一个换行符(包含换行符)之前的内容删除掉。

[root@localhost ~]# cat data4.txt
On Tuesday, the Linux System
Administrator's group meeting will be held.
All System Administrators should attend.
[root@localhost ~]# sed 'N ; /System\nAdministrator/D' data4.txt
Administrator's group meeting will be held.
All System Administrators should attend.

文本的第二行被 N 命令加到了缓冲区,因此 sed 命令第一次匹配就是成功,而 D命令会将缓冲区中第一个换行符之前(也就是第一行)的数据删除.

删除数据流中出现第一行前的空白行

[root@localhost ~]# cat data5.txt

This is the header line.
This is a data line.

This is the last line.
[root@localhost ~]# sed `/^$/{N ; /header/D}` data5.txt
This is the header line.
This is a data line.

This is the last line.

sed会查找空白行,然后用 N 命令来将下一文本行添加到缓冲区。此时如果缓冲区的内容中含有单词 header,则 D 命令会删除缓冲区中的第一行。

P多行打印命令

P(大写)命令和单行打印命令 p(小写)不同,对于具有多行数据的缓冲区来说,它只会打印缓冲区中的第一行,也就是首个换行符之前的所有内容。

test.txt文件中的内容如下:

[root@localhost ~]# cat test.txt
aaa
bbb
ccc
ddd
eee
fff

第一个 sed 命令,每次都使用 N 将下一行内容追加到缓冲区内容的后面(用换行符间隔),也就是说,第一次时缓冲区中的内容为 aaa\nbbb,但**P(大写) 命令的作用的打印换行符之前的内容**,也就是 aaa,之后则是 sed 在自动输出功能输出 aaabbbsed 命令会自动将 \n 输出为换行),依次类推,就输出了所看到的结果。

第二个 sed 命令,使用的是 p (小写)单行打印命令,它会将缓冲区中的所有内容全部打印出来(\n 会自动输出为换行),因此,出现了看到的结果。

sed保持空间

sed 命令处理的是缓冲区中的内容,其实这里的缓冲区,应称为模式空间。值得一提的是,模式空间并不是 sed 命令保存文件的唯一空间。**sed 还有另一块称为保持空间的缓冲区域,它可以用来临时存储一些数据**。

在使用 hH 命令将字符串移动到保持空间后,最终还要用 gGx命令将保存的字符串移回模式空间。保持空间最直接的作用是,一旦我们将模式空间中所有的文件复制到保持空间中,就可以清空模式空间来加载其他要处理的文本内容

[root@localhost ~]# cat data2.txt
This is the header line.
This is the first data line.
This is the second data line.
This is the last line.
[root@localhost ~]# sed -n '/first/ {h ; p ; n ; p ; g ; p }' data2.txt
This is the first data line.
This is the second data line.
This is the first data line.

上述例子的执行过程如下:

  • sed脚本命令用正则表达式过滤出含有单词first的行

  • 当含有单词 first 的行出现时,h 命令将该行放到保持空间;

  • p 命令打印模式空间也就是第一个数据行的内容;

  • n 命令提取数据流中的下一行(This is the second data line),并将它放到模式空间;

  • p 命令打印模式空间的内容,现在是第二个数据行;

  • g命令将保持空间的内容放回到模式空间,替换当前文本

  • p命令打印模式空间的当前内容

sed改变指定流程

b分支命令

通常,sed 程序的执行过程会从第一个脚本命令开始,一直执行到最后一个脚本命令(D 命令是个例外,它会强制 sed 返回到脚本的顶部,而不读取新的行)。sed 提供了 b 分支命令来改变命令脚本的执行流程,其结果与结构化编程类似。

b分支命令基本格式为:

[address]b[label]

其中,address 参数决定了哪些行的数据会触发分支命令,label 参数定义了要跳转到的位置,如果未指明label,会直接跳到最后一行。

[root@localhost ~]# cat data2.txt
This is the header line.
This is the first data line.
This is the second data line.
This is the last line.
[root@localhost ~]# sed '{2,3b ; s/This is/Is this/ ; s/line./test?/}' data2.txt
Is this the header test?
This is the first data line.
This is the second data line.
Is this the last test?

因此可以看到,因为b命令未指定label参数,因此数据流中的第2行和第3行并没有执行那两个替换命令。

[root@localhost ~]# sed '{/first/b jump1 ; s/This is the/No jump on/
> :jump1
> s/This is the/Jump here on/}' data2.txt
No jump on header line
Jump here on first data line
No jump on second data line
No jump on last line

如果文本行出现了first,程序的执行会直接跳到jump1标签之后的脚本行。如果分支命令的模式没有匹配,sed会继续执行所有的脚本命令。

b分支命令除了可以向后跳转,还可以向前跳转,例如:

[root@localhost ~]# echo "This, is, a, test, to, remove, commas." | sed -n '{
> :start
> s/,//1p
> /,/b start
> }'
This is, a, test, to, remove, commas.
This is a, test, to, remove, commas.
This is a test, to, remove, commas.
This is a test to, remove, commas.
This is a test to remove, commas.
This is a test to remove commas.

当缓冲区中的行内容中有逗号时,脚本命令就会一直循环执行,每次迭代都会删除文本中的第一个逗号,并打印字符串,直至内容中没有逗号

t测试命令(相当于continue)

类似于b分支命令,t命令也可以用来改变sed脚本的执行流程。t测试命令会根据s替换命令的结果,如果匹配并替换成功,则脚本的执行会跳转到指定的标签,反之,t命令无效。

[address]t [label]

跟分支命令b一样,在没有指定标签的情况下,如果 s 命令替换成功,sed 会跳转到脚本的结尾(相当于不执行任何脚本命令)

[root@localhost ~]# sed '{
> s/first/matched/
> t
> s/This is the/No match on/
> }' data2.txt
No match on header line
This is the matched data line
No match on second data line
No match on last line

第一个替换命令会查找模式文本first,如果匹配并替换成功,命令会直接跳过后面的替换命令;反之,如果第一个替换命令未能匹配成功,第二个替换命令就会被执行。

[root@localhost ~]#  echo "This, is, a, test, to, remove, commas. " | sed -n '{
> :start
> s/,//1p
> t start
> }'
This is, a, test, to, remove, commas.
This is a, test, to, remove, commas.
This is a test, to, remove, commas.
This is a test to, remove, commas.
This is a test to remove, commas.
This is a test to remove commas.

awk命令详解

sed命令类似,awk命令也是逐行扫描文件(从第一行到最后一行),寻找含有目标文件的行,如果匹配成功,则会在该行上执行用户想要的操作,反之则不对行做任何处理。

awk命令的基本格式为:

awk [选项] 脚本命令 文件名

awk强大之处在于脚本命令,脚本命令由两部分组成,分别为匹配规则和执行命令。

匹配规则{执行命令}

这里的匹配规则,和 sed 命令中的 address 部分作用相同,用来指定脚本命令可以作用到文本内容中的具体行,可以使用字符串(比如 /demo/,表示查看含有 demo 字符串的行)或者正则表达式指定。另外需要注意的是,整个脚本命令是用单引号('')括起,而其中的执行命令部分需要用大括号({})括起来。

awk 程序执行时,如果没有指定执行命令,则默认会把匹配的行输出如果不指定匹配规则,则默认匹配文本中所有的行

awk '/^$/ {print "Blank line"}' test.txt

在此命令中,/^$/ 是一个正则表达式,功能是匹配文本中的空白行,同时可以看到,执行命令使用的是 print 命令,此命令经常会使用,它的作用很简单,就是将指定的文本进行输出。因此,整个命令的功能是,如果 test.txtN 个空白行,那么执行此命令会输出 NBlank line

awk使用数据字段变量

awk 的主要特性之一是其处理文本文件中数据的能力,它会自动给一行中的每个数据元素分配一个变量

awk 会将如下变量分配给它在文本行中发现的数据字段:

  • $0代表整个文本行
  • $1代表文本行中的第1个数据字段
  • $2代表文本行中的第2个数据字段
  • $n 代表文本行中的第 n 个数据字段。

awk 中,默认的字段分隔符是任意的空白字符(例如空格或制表符)在文本行中,每个数据字段都是通过字段分隔符划分的awk 在读取一行文本时,会用预定义的字段分隔符划分每个数据字段。

[root@localhost ~]# cat data2.txt
One line of test text.
Two lines of test text.
Three lines of test text.
[root@localhost ~]# awk '{print $1}' data2.txt
One
Two
Three

该程序用 $1 字段变量来表示“仅显示每行文本的第 1 个数据字段”。当然,如果你要读取采用了其他字段分隔符的文件,可以用 -F 选项手动指定。

awk脚本命令使用多个命令

awk 允许将多条命令组合成一个正常的程序。要在命令行上的程序脚本中使用多条命令,只要在命令之间放个分号即可.

# echo "My name is Rich" | awk `{$4="Christine"; print $0}`
My name is Christine

第一条命令会给字段变量 $4 赋值。第二条命令会打印整个数据字段。可以看到,awk 程序在输出中已经将原文本中的第四个数据字段替换成了新值。

注意,此例中因为没有在命令行中指定文件名,awk 程序需要用户输入获得数据,因此当运行这个程序的时候,它会一直等着用户输入文本,此时如果要退出程序,只需按下 Ctrl+D 组合键即可。

awk从文件中读取程序

sed一样,awk允许将脚本命令存储在文件中,然后在命令中引用。

# cat awk.sh

{print $1 "'s home directory is" $6}

# awk -F: -f awk.sh /etc/passwd
root's home directory is /root
bin's home directory is /bin
daemon's home directory is /sbin
adm's home directory is /var/adm
lp's home directory is /var/spool/lpd
...
Christine's home directory is /home/Christine
Samantha's home directory is /home/Samantha
Timothy's home directory is /home/Timothy

awk.sh 脚本文件会使用 print 命令打印 /etc/passwd 文件的主目录数据字段(字段变量 $6),以及 userid 数据字段(字段变量 $1)。注意,在程序文件中,也可以指定多条命令,只要一条命令放一行即可,之间不需要用分号

awk``BEGIN关键字

awk中还可以指定脚本命令的运行时机,默认情况下,awk会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但又是可能需要在处理数据前运行一些脚本命令,这就需要BEGIN关键字。

BEGIN会强制awk读取数据前执行该关键字后指定的脚本命令

[root@localhost ~]# cat data3.txt
Line 1
Line 2
Line 3
[root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"}
> {print $0}' data3.txt
The data3 File Contents:
Line 1
Line 2
Line 3

这里的脚本命令中分为 2 部分,BEGIN 部分的脚本指令会在 awk 命令处理数据前运行,而真正用来处理数据的是第二段脚本命令。

awk``END关键字

BEGIN关键字相对应,END关键字允许我们指定一些脚本命令,awk会在读完数据后执行它们。

[root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"}
> {print $0}
> END {print "End of File"}' data3.txt
The data3 File Contents:
Line 1
Line 2
Line 3
End of File

awk使用变量

awk 的脚本程序中,支持使用变量来存取值。awk 支持两种不同类型的变量:

  • 内建变量: awk 本身就创建好,用户可以直接拿来用的变量,这些变量用来存放处理数据文件中的某些字段和记录的信息。

  • 自定义变量: awk支持用户自己创建的变量。

内建变量

awk程序使用内建变量来引用程序数据中的一些特殊功能。

FSOFS定义了awk如何处理数据流中的数据字段,FS变量定义记录中的字段分隔符,OFS具备相同的功能,只不过用在print命令的输出。

[root@localhost ~]# cat data1
data11,data12,data13,data14,data15
data21,data22,data23,data24,data25
data31,data32,data33,data34,data35
[root@localhost ~]# awk 'BEGIN{FS=","; OFS="-"} {print $1,$2,$3}' data1
data11-data12-data13
data21-data22-data23
data31-data32-data33
[root@localhost ~]# awk 'BEGIN{FS=","; OFS="--"} {print $1,$2,$3}' data1
data11--data12--data13
data21--data22--data23
data31--data32--data33

FIELDWIDTHS 变量允许用户不依靠字段分隔符来读取记录。在一些应用程序中,数据并没有使用字段分隔符,而是被放置在了记录中的特定列,这种情况下,必须设定 FIELDWIDTHS 变量来匹配数据在记录中的位置

一旦设置了 FIELDWIDTH 变量,awk 就会忽略 FS 变量,并根据提供的字段宽度来计算字段.

[root@localhost ~]# cat data1b
1005.3247596.37
115-2.349194.00
05810.1298100.1
[root@localhost ~]# awk 'BEGIN{FIELDWIDTHS="3 5 2 5"}{print $1,$2,$3,$4}' data1b
100 5.324 75 96.37
115 -2.34 91 94.00
058 10.12 98 100.1

变量 RSORS 定义了 awk 程序如何处理数据流中的字段,默认情况下,awkRSORS 设为换行符默认的 RS 值表明,输入数据流中的每行新文本就是一条新纪录。 有时,你会在数据流中碰到占据多行的字段。典型的例子是包含地址和电话号码的数据,其中地址和电话号码各占一行.

Riley Mullen
123 Main Street
Chicago, IL 60601
(312)555-1234

如果你用默认的 FS(字段分隔符) 和 RS(记录分隔符) 变量值来读取这组数据,awk 就会把每行作为一条单独的记录来读取,并将记录中的空格当作字段分隔符,这并不是用户想要的。

要解决这个问题,只需把 FS 变量设置成换行符(默认是空白符),这就表明数据流中的每行都是一个单独的字段,每行上的所有数据都属于同一个字段;与此同时,RS 变量设置成空字符串(默认是换行符),然后在数据记录间留一个空白行,awk 会把每个空白行当作一个记录分隔符。

[root@localhost ~]# cat data2
Riley Mullen
123 Main Street
Chicago, IL 60601
(312)555-1234

Frank Williams
456 Oak Street
Indianapolis, IN 46201
(317)555-9876

Haley Snell
4231 Elm Street
Detroit, MI 48201
(313)555-4938
[root@localhost ~]# awk 'BEGIN{FS="\n"; RS=""} {print $1,$4}' data2
Riley Mullen (312)555-1234
Frank Williams (317)555-9876
Haley Snell (313)555-4938

其中,FNRNR 变量虽然类似,但又略有不同。FNR 变量含有当前数据文件中已处理过的记录数NR 变量则含有已处理过的记录总数

[root@localhost ~]# cat data1
data11,data12,data13,data14,data15
data21,data22,data23,data24,data25
data31,data32,data33,data34,data35
[root@localhost ~]# awk '
> BEGIN {FS=","}
> {print $1,"FNR="FNR,"NR="NR}
> END{print "There were",NR,"records processed"}' data1 data1
data11 FNR=1 NR=1
data21 FNR=2 NR=2
data31 FNR=3 NR=3
data11 FNR=1 NR=4
data21 FNR=2 NR=5
data31 FNR=3 NR=6
There were 6 records processed

当只使用一个数据文件作为输入时,FNRNR 的值是相同的;如果使用多个数据文件作为输入,FNR 的值会在处理每个数据文件时被重置,而 NR 的值则会继续计数直到处理完所有的数据文件。

自定义变量

和其他典型的编程语言一样,awk 允许用户定义自己的变量在脚本程序中使用。awk 自定义变量名可以是任意数目的字母、数字和下划线,但不能以数字开头。更重要的是,awk 变量名区分大小写

[root@localhost ~]# awk '
> BEGIN{
> testing="This is a test"
> print testing
> testing=45
> print testing
> }'
This is a test
45

也可以用 awk 命令行来给程序中的变量赋值,这允许我们在正常的代码之外赋值,即时改变变量的值

[root@localhost ~]# cat script1
BEGIN{FS=","} {print $n}
[root@localhost ~]# awk -f script1 n=2 data1
data12
data22
data32
[root@localhost ~]# awk -f script1 n=3 data1
data13
data23
data33

使用命令行参数来定义变量值会有一个问题,即设置了变量后,这个值在代码的 BEGIN 部分不可用.

[root@localhost ~]# cat script2
BEGIN{print "The starting value is",n; FS=","}
{print $n}
[root@localhost ~]# awk -f script2 n=3 data1
The starting value is //n=3是无法传入到begin里面的
data13
data23
data33

解决这个问题,可以用 -v 命令行参数,它可以实现在 BEGIN 代码之前设定变量。在命令行上,-v 命令行参数必须放在脚本代码之前,如下所示:

[root@localhost ~]# awk -v n=3 -f script2 data1
The starting value is 3
data13
data23
data33

awk使用数组

为了在单个变量中存储多个值,许多编程语言都提供数组,awk 使用关联数组提供数组功能。

关联数组跟数字数组不同之处在于,它的索引值可以是任意文本字符串。用户不需要用连续的数字来标识数组中的数据元素;相反,关联数组用各种字符串来引用值。每个索引字符串都必须能够唯一地标识出赋给它的数据元素(索引值唯一)。

关联数组的定义和使用

awk脚本程序中,定义一个数组变量可以使用标准复制语句。

var[index]=element

其中,var 是数组名,index 是关联数组的索引值,element 是数据元素值。

capital["Illinois"] = "Springfield"
capital["Indiana"] = "Indianapolis"
capital["Ohio"] = "Columbus"

在引用数组变量时,必须用索引值(index)来提取相应的数据元素值,例如:

[root@localhost ~]# awk 'BEGIN{
> capital["Illinois"] = "Springfield"
> print capital["Illinois"]
> }'
Springfield

数组变量也是变量,也可以使用其进行基本的算术运算。

[root@localhost ~]# awk 'BEGIN{
> var[1] = 34
> var[2] = 3
> total = var[1] + var[2]
> print total
> }'
37

关联数组的遍历

awk 中遍历关联数组,可以用 for 语句的一种特殊形式:

for (var in array)  // var是数组的索引值,而不是数组元素的值
{
statements
}

这个 for 语句会在每次循环时将关联数组 array 的下一个索引值赋给变量 var,然后执行一遍 statements

再次强调,整个遍历过程中,传给 var 的都是每个数组元素的索引值(也就是 index),不是数组元素的值

[root@localhost ~]# awk 'BEGIN{
> var["a"] = 1
> var["g"] = 2
> var["m"] = 3
> var["u"] = 4
> for (test in var)
> {
> print "Index:",test," - Value:",var[test]
> }
> }'
Index: u - Value: 4
Index: m - Value: 3
Index: a - Value: 1
Index: g - Value: 2

删除数组变量

delete array[index]

[root@localhost ~]# awk 'BEGIN{
> var["a"] = 1
> var["g"] = 2
> for (test in var)
> {
> print "Index:",test," - Value:",var[test]
> }
> delete var["g"]
> print "---"
> for (test in var)
> {
> print "Index:",test," - Value:",var[test]
> }
> }'
Index: a - Value: 1
Index: g - Value: 2
---
Index: a - Value: 1

awk使用分支结构

awk 支持标准的 if-then-else 格式的 if 语句,其基本格式为:

if (condition)
statement1
else
statements

或者 if(condition) statement1; else statement2
[root@localhost ~]# cat data4
10
5
13
50
34
[root@localhost ~]# awk '{if ($1 > 20) print $1 * 2; else print $1 / 2}' data4
5
2.5
6.5
100
68

awk使用循环结构

awk 脚本程序中,可以使用 whiledo-whilefor3 种循环结构.

awk的循环结构和c语言的循环结构非常相似,同时awk还支持continuebreak等关键字。

awk内置函数

自定义函数

function 函数名(参数1,参数2,...)
{
运行代码;
}

函数还能用 return 语句返回值.

function myrand(limit) {
return int(limit * rand())
}

需要注意的是,在定义函数时,它必须出现在所有代码块之前(包括 BEGINEND代码块)

创建函数库

awk 提供了一种途径来将多个函数放到一个库文件中,这样用户就能在所有的 awk 脚本程序中使用了。

[root@localhost ~]# cat funclib
function myprint() {
printf "%-16s - %s\n", $1, $4
}
function myrand(limit)
{
return int(limit * rand())
}
function printthird()
{
print $3
}

要想让 awk 成功读取 funclib 函数库文件,就需要使用 -f 选项,但此选项无法和 awk 脚本程序同时放到命令行中一起使用。因此,要使用库函数文件,只能再创建一个脚本程序文件,例如:

[root@localhost ~]# cat script4
BEGIN{ FS="\n"; RS=""}
{
myprint()
}
[root@localhost ~]# awk -f funclib -f script4 data2
Riley Mullen - (312)555-1234
Frank Williams - (317)555-9876
Haley Snell - (313)555-4938

分类:

后端

标签:

运维部署

作者介绍

E
EdwardWong
V1