一.正則表達式概述

1.正則表達式定義

1.1 定義

• 使用字符串描述、匹配一系列符合某個規(guī)則的字符串

1.2 了解

• 普通字符： 大小寫字母、數(shù)字、標點符號及一些其它符號
• 元字符： 在正則表達式中具有特殊意義的專用字符

1.3 層次分類

• 基礎(chǔ)正則表達式
• 擴展正則表達式
• 編程語言支持的高級正則表達式

1.4 linux三劍客（grep  sed  awk）支持的正則表達式

• shell是不支持正則表達式的（shell支持的是通配符）。shell中的正則表達式只有個別命令支持的，一般常用的是Linux三劍客

2.基礎(chǔ)正則表達式的元字符

基礎(chǔ)正則表達式是常用的正則表達式部分

2.1 轉(zhuǎn)義字符的運用

2.1.1 將特殊含義的字符轉(zhuǎn)換為普通字符的含義

2.1.2 將普通字符轉(zhuǎn)換為特殊作用的字符

2.1.3 中括號表達式

普通中括號包圍的字符組，表示某個單個字符匹配中括號內(nèi)的任意字符即匹配成功

• x[abc]z ： 可以匹配包含“xaz”、“xbz”、“xcz”的字符串
• 取反表示法： 中括號內(nèi)開頭使用 ^ ,表示只要不是中括號內(nèi)的字符就匹配   

                x[ ^abc]z ： 可以匹配包含 “xdz”、“xez” 等字符串，但不能匹配包含“xaz”、“xbz”、“xcz”的字符串 

特殊元字符在中括號中匹配

• 想要在中括號中匹配： ^ ，需要將其放在 中括號非開頭的位置 ，如：[a^]
• 想要在中括號中匹配： - ，需要將其放在 開頭位置或結(jié)尾位置 ，如：[abc-]、[-abc]
• 想要在中括號中匹配： ] ，需要將其放在 開頭位置 ，如：[]abc]

2.1.4 位置匹配

只匹配字符，不匹配字符

• ^ ： 匹配行首
• $ ： 匹配行尾
• \b   匹配單詞邊界處的位置（開頭和結(jié)尾） \bword\b 等價于 \<word\>
• \<   匹配單詞開頭處的位置
• \>   匹配單詞結(jié)尾處的位置
• \B   匹配非單詞邊界處的位置

2.1.5 字符類

2.1.6 量詞

\{m\} ： 表示匹配前一個字符或前一個子表達式m次

• \{m，n\} ： （m<n）表示匹配前一個字符或前一個字表達式最少m次，最多n次

• \{m，\} ： 表示匹配前一個字符或前一個子表達式至少m次

• \{，n\} ： 表示匹配前一個字符或前一個字表達式最多n次（匹配0次也算是成功）

• *  表示前一個字符或前一個子表達式匹配0次或多次，等價于：{0，}

• .*   匹配任意長度的任意字符

3.擴展正則表達式的元字符

支持awk和egrep使用，如果grep和sed想要正常使用（grep -E  sed -r）

3.1 擴展常用的量詞

• +  表示匹配前一個字符或前一個子表達式1或多次，即至少一次 等價于 {1, }
• ?  表示匹配前一個字符或前一個子表達式0或1次，等價于 {0,1} 等價于 {,1}

3.2 分組捕獲和反向引用

使用小括號（）包圍一部分正則表達式，這部分正則表達式即成為一個分組整體，也稱為一個子表達式。

分組后可以使用 \N 來反向引用對應(yīng)的分組匹配結(jié)果，N是1-9的正整數(shù)，\1表示第一個分組表達式的匹配結(jié)果，\2表達第二個分組表達式的匹配結(jié)果。

注意：反向引用引用的是分組匹配后的結(jié)果，不是分組表達式

例如：正則表達式：(abc|def) and \1xyz 可以匹配字符串“abc and abcxyz ” 或“def and defxyz”，但是不能匹配“abc and defxyz” 或 “def and abcxyz”

二.grep 命令

1.命令簡介

grep 是一種強大的文本搜索工具，它能使用正則表達式，并把匹配的行打印出來

格式：

grep  [options]  pattern   [file]

options表示：選項;    pattern 表示：匹配的的表達式;   file 表示：文件名

例如：grep  -i  "root" /etc/passwd

2.常用選項

操作：

-m

-i

-n

-c

-o

-q

-A  -B  -C

-e

-w

-E

擴展正則中這些元字符可直接使用： ? 、 + 、 { 、 } 、 | 、 ( 和 ) 。

基礎(chǔ)正則中這些元字符前需要加反斜線轉(zhuǎn)義： \? 、 \+ 、 \{ 、 \} 、 \| 、 \( 和 \) 。

grep sed  默認使用基礎(chǔ)正則表達式

grep -E 、 sed -r 、 egrep 、 awk 擴展正則表達式

-r

3.操作

① 統(tǒng)計當(dāng)前主機的連接狀態(tài)

② 統(tǒng)計當(dāng)前連接主機數(shù)

③ 匹配QQ號

④ 匹配電話號碼

⑤  匹配郵箱

⑥ 統(tǒng)計 /etc/fstab 下面有多少單詞

三.sed命令

1.關(guān)于sed

1.1 簡介

sed 是從文件或管道中讀取一行，處理一行，輸出一行；再讀取一行，再處理一行，再輸出一行，直到最后一行。每當(dāng)處理一行時，把當(dāng)前處理的行存儲在臨時緩沖區(qū)中，稱為模式空間（PatternSpace），接著用 sed 命令處理緩沖區(qū)中的內(nèi)容，處理完成后，把緩沖區(qū)的內(nèi)容送往屏幕。接著處理下一行，這樣不斷重復(fù)，直到文件末尾。一次處理一行的設(shè)計模式使得 sed 性能很高，sed 在讀取大文件時不會出現(xiàn)卡頓的現(xiàn)象。如果使用 vi 命令打開幾十M上百M的文件，明顯會出現(xiàn)有卡頓的現(xiàn)象，這是因為 vi 命令打開文件是一次性將文件加載到內(nèi)存，然后再打開。sed 就避免了這種情況，一行一行的處理，打開速度非?？?，執(zhí)行速度也很快。

1.2 sed 編輯器的工作過程

sed 的工作流程主要包括讀取、執(zhí)行和顯示三個過程：

• 讀取： sed 從輸入流 (文件、管道、標準輸入) 中讀取一行內(nèi)容并存儲到臨時的緩沖區(qū)中（又稱模式空間，pattern space )。
• 執(zhí)行： 默認情況下，所有的 sed 命令都在模式空間中順序地執(zhí)行，除非指定了行的地址，否則 sed 命令將會在所有的行上依次執(zhí)行。
• 顯示： 發(fā)送修改后的內(nèi)容到輸出流。在發(fā)送數(shù)據(jù)后，模式空間將會被清空。在所有的文件內(nèi)容都被處理完成之前，上述過程將重復(fù)執(zhí)行， 直至所有內(nèi)容被處理完。

注意：默認情況下所有的 sed 命令都是在模式空間內(nèi)執(zhí)行的，因此輸入的文件并不會發(fā)生任何變化，除非使用 "sed -i" 修改源文件、或使用重定向輸出到新的文件中。

1.3 瑪瑪哈哈

怎么解決 sed 命令處理容量過大，或內(nèi)容過多而導(dǎo)致執(zhí)行效率緩慢的問題？

方案一：

使用 split 命令進行文件分割（如果文件是百萬行的，那么我們就創(chuàng)建一個單獨的目錄，將文件分割為一百個一萬行的文本），再使用 sed 命令進行處理，除了使用 split 分割，也可以使用一個遍歷分割shell腳本進行執(zhí)行。

方案二：

cat  文件名 | sed  處理    （這個方案只能針對中型的文件文本，如果文本量過大，處理效果不好）

2.sed 命令與選項操作符

1. 格式

sed [option]... 'script;script;...' [input  file...]
     選項         自身腳本語法         支持標準輸入管道

2.常用選項

3.操作符

“操作”用于指定文件對操作的動作行為，也就是 sed 的命令。

通常情況下是采用的 “[n1[,n2]]” 操作參數(shù)的格式。n1、n2是可選的，代表選擇進行操作的行數(shù)，如操作需要在5~20行之間進行，則表示為 “5,20 動作行為” 

操作：

顯示第二行內(nèi)容

4.腳本格式

由 ‘地址+命令’ 組成

• ① 不給地址  對全文進行處理
• ② 單地址  

  數(shù)字    指定的數(shù)字行

  $        最后一行

• ③ 地址范圍

x,x    從第x行到第x行     3，6  從第3行到第6行

x,+x   從x行到+x行      3，+4   從3行到第7行

/pat1/,/pat2/     第一個正則表達式和第二個正則表達式之間的行

• ④ 步進  ~

1~2  奇數(shù)行

2~2  偶數(shù)行

n;打印下一行

操作：

小問題：

如何打印一段時間間的日志

5.搜索替代

s/pattern/string/修飾符 查找替換,支持使用其它分隔符，可以是其它形式：s@@@，s###

替換修飾符：
g 行內(nèi)全局替換
p 顯示替換成功的行
w   /PATH/FILE 將替換成功的行保存至文件中

& 指代之前找到的內(nèi)容

指代變量

分組替換

sed  -nr  's/正則匹配/\1/p'

還可以變換順序

操作：

取ip

①

② 

或者

提取版本號

提取0644

6.變量

修改端口

修改網(wǎng)卡名

總結(jié) 

到此這篇關(guān)于shell正則表達式、grep命令和sed命令舉例詳解的文章就介紹到這了,更多相關(guān)shell正則表達式grep命令和sed命令內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論