《Linux运维实战:sed命令高级用法详解》

  • Post author:
  • Post category:linux






一、工作原理




sed是一种流编辑器,它是文本处理中非常强大的工具,能够完美的配合正则表达式使用,用法简单实用,非常灵活。





工作原理:sed命令处理文本时,把当前处理的行存储在一个临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。





在sed高级编辑命令中,还会调用另一个临时缓冲区,称为“保持空间”(hold space),在模式空间中为处理完的行可以临时存储在保持空间中,在临时空间接着处理下一行,然后在将保持空间中的行重新存储在临时空间中做后续处理,这样就使得sed命令变的功能得更为强大。





sed命令不仅可以查看,筛选文本内容,还可以对一个或多个文本进行编辑,更改,简化对文件的反复操作。




在这里插入图片描述





二、语法选项





三、正则表达式





Sed 命令详解 正则表达式元字符







四、基本用法

[root@k8s-master-11 pkgs]# cat passwd.txt
1root:x:0:0:root:/root:/bin/bash
hello world
1root:x:0:0:root:/root:/bin/bash
1hello world
2hello world
3root:x:0:0:root:/root:/bin/bash
1root:x:0:0:root:/root:/bin/bash
oot:x:0:0:root:/root:/bin/bash
2admin:x:0:0:root:/root:/bin/bash
admin123456
2root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
1admin:x:0:0:root:/root:/bin/bash
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
1admin:x:0:0:admin:/admin:/bin/bash
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin




4.1、删除行

#删除passwd.txt文件以root开头的行
sed -i '/root/d' passwd.txt

#删除所有
sed -i 'd' passwd.txt

#删除文件的最后一行
sed -i '$d' passwd.txt

#删除所有空行
sed -i '/^$/d' passwd.txt

#删除第1行
sed -i '1d' passwd.txt

#删除passwd.txt文件第1行和第2行
sed -i '1,2d' passwd.txt

#删除第5、7、9行
sed -i '5d;7d;9d' passwd.txt

#删除不包含hello的行,!符号表示取反
sed -i '/hello/!d' passwd.txt

#删除文件中每行的第二个、最后一个字符
sed -i 's/.//2;s/.$//' b.txt
说明:分两次替换操作,第一次替换掉第2个字符,第二次替换掉最后一个字符




4.2、新增行

新增行
#在passwd.txt文件的第2行后面添加一行,内容是hello world
sed -i '2a hello world' passwd.txt

#在admin123456开头的行下一行添加“19890626”
sed "/^admin123456/a19890626" passwd.txt

#在passwd.txt文件的第2行上面添加一行,内容是hello world
sed -i '2i hello world' passwd.txt

#在第4~7行的第一行前添加文本行“19890626”
sed -i "4,7i19890626" passwd.txt

#在匹配行后面追加字符串(&代表查找串)	
sed -i "/hello/s/.*/&19890626/" b.txt




4.3、替换整行

替换整行
#将passwd.txt文件中行首是root的整行内容替换为admin
sed -i '/^root/c admin123456' passwd.txt




4.4、替换行内部分内容

替换行内部分内容
#将passwd.txt文件中的每行匹配到的第一个root字符串全部替换为admin
sed -i 's/root/admin/' passwd.txt

#将passwd.txt文件中的每行匹配到的所有root字符串全部替换为admin
sed -i 's/root/admin/g' passwd.txt

#将passwd.txt文件中从第2行到最后一行匹配到的所有root字符串全部替换为admin
sed -i '2,$s/root/admin/g' passwd.txt

#将passwd.txt文件中以0~9数字开头的行包含root字符串全部替换为admin
sed -i '/^[0-9]/s/root/admin/g' passwd.txt

#将passwd.txt文件中的/bin/bash全部替换为/sbin/sh
sed -i "s/\/bin\/bash/\/sbin\/sh/" passwd.txt
sed -i "s#/bin/bash#/sbin/sh#"  passwd.txt

#将98979替换为9849989
sed -i "s9\98\97\99\984\9\98\99g" a.txt
sed 's/98979/9849989/g' a.txt
sed -i 's#98979#9849989#g' a.txt
说明:在这里9是特殊符号,加\屏蔽特殊含义

#将每行中第1个xml替换为XML
sed -i 's/xml/XML/' a.txt   

#将第4行中的xml替换为XML
sed -i '4s/xml/XML/' a.txt	

#将每行中第3个xml替换为XML
sed -i 's/xml/XML/3' a.txt  

#将第2行中第3个xml替换为XML
sed -i '2s/xml/XML/3' a.txt  

#将所有的xml都替换为XML  
sed -i 's/xml/XML/g' a.txt   

#将所有的xml都删除(替换为空字符串) 
sed -i 's/xml//g' a.txt  

#将所有的doc都替换为docs,&代表查找串      
sed -i 's/doc/&s/g' a.txt  

#将第4~7行注释掉(行首加#号)   
sed -i '4,7s/^/#/' a.txt    

#解除文件第3~5行的注释(去掉开头的 # )   
sed  -i '3,5s/^#//' a.txt 

#解除所有以#an开头的行的注释(去除行首的#号)   
sed 's/^#an/an/' a.txt 

#删除所有的“xml”、所有的“XML”、所有的字母e,或者的关系用转义方式 \| 来表示      
sed 's/xml\|XML\|e//g' a.txt  




4.5、搜索并输出行内容

搜索并输出行内容
#打印passwd.txt文件的第2行的内容
sed -n '2p' passwd.txt

#打印passwd.txt文件的第2行到第5行的内容
sed -n '2,5p' passwd.txt

#打印passwd.txt文件的第2行和第5行的内容
sed -n '2p;5p' passwd.txt

#打印passwd.txt文件的第2行至最后一行的内容
sed -n '2p;$p' passwd.txt

#输出奇数行,n表示读入下一行文本(隔行)next
sed -n 'p;n' a.txt  

#输出偶数行,n表示读入下一行文本(隔行)
sed -n 'n;p' a.txt  

#输出文件的行数,wc -l返回行数及文件名
sed -n '$=' a.txt   

#输出以local结尾的行
sed -n '/local$/p' a.txt

#输出开头为admin和开头为root的行
sed -n '/^admin/p;/^root/p' passwd.txt




4.6、输出匹配字符的行及其后若干行




如下所示:


输出匹配字符的行及其后若干行
提取行首为root后面的2行
sed -n '/root/,+2p' passwd.txt

提取1admin后面的1行,bash后面的2行
sed -n '/^1hello/,+1p; /3root/,+2p' passwd.txt




五、高级用法

[root@k8s-master-11 pkgs]# cat passwd.txt
1root:x:0:0:root:/root:/bin/bash
hello world
1root:x:0:0:root:/root:/bin/bash
hello world
3root:x:0:0:root:/root:/bin/bash
1root:x:0:0:root:/root:/bin/bash
oot:x:0:0:root:/root:/bin/bash
2admin:x:0:0:root:/root:/bin/bash
2admin:x:0:0:root:/root:/bin/bash
admin123456
2root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
root:x:11:12:root:/root:/bin/bash
1admin:x:0:0:root:/root:/bin/bash
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
1admin:x:0:0:admin:/admin:/bin/bash
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin




5.1、提取两特定字符串间的多行字符




1、只取出匹配root的第一行


#方法一:
sed -n '/root/{p;q}' passwd.txt
#方法二:
awk '/root/{print;exit}' passwd.txt
说明:上面两行代码都是第一次遇到匹配/root/的行就对其打印后立马退出程序




如下图所示:




在这里插入图片描述





2、只打印匹配root的最后一行


sed -n '/root/{h};${x;p}' passwd.txt




说明:一旦匹配/root/就把这一行复制到hold space中。h的作用就是如果hold的space中有内容,就给起替换掉。直到文件最后一行通过x将hold space中的内容copy回pattern space中,打印输出结果就是匹配到/root/的最后一行了。







如下图所示:




在这里插入图片描述





3、打印匹配1root的第一行到配匹配2admin的第一行


sed -n '/1root/,/2admin/{p}' passwd.txt




如下图所示:




在这里插入图片描述





4、打印匹配1root第一行到匹配2admin最后一行


sed -n '/^1root/{:a;N;${s/\(.*2admin[^\n]*\).*/\1/p};Ta}' passwd.txt




如下图所示:




在这里插入图片描述





5、打印匹配1root的最后一行到匹配admin的第一行


sed -n \
'/1root/ {
:a
H
n
/admin/ {
H
x
s/.*\(1root.*\)/\1/g
p
b
}
b a
}' passwd.txt




如下图所示:




在这里插入图片描述





6、打印匹配行首为root的最后一行到匹配admin的最后一行


#1.获取最后一行行数
awk '{if($0~/^root/)a=FNR;if($0~/admin/)b=FNR}END{print a,b}' passwd.txt
13 16
#2.用sed打印
sed -n '13,16p' passwd.txt




如下图所示:




在这里插入图片描述





7、打印匹配sshd的行到passwd.txt文件最后一行的内容


sed -n '/sshd/,$p' passwd.txt




如下图所示:




在这里插入图片描述





总结:整理不易,如果对你有帮助,可否点赞关注一下?




更多详细内容请参考:

Linux运维实战总结





版权声明:本文为m0_37814112原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。