使用正則表達(dá)式找出不包含特定字符串的條目
做日志分析工作的經(jīng)常需要跟成千上萬的日志條目打交道,為了在龐大的數(shù)據(jù)量中找到特定模式的數(shù)據(jù),常常需要編寫很多復(fù)雜的正則表達(dá)式。例如枚舉出日志文件中不包含某個(gè)特定字符串的條目,找出不以某個(gè)特定字符串打頭的條目,等等。
使用否定式前瞻
正則表達(dá)式中有前瞻(Lookahead)和后顧(Lookbehind)的概念,這兩個(gè)術(shù)語非常形象的描述了正則引擎的匹配行為。需要注意一點(diǎn),正則表達(dá)式中的前和后和我們一般理解的前后有點(diǎn)不同。一段文本,我們一般習(xí)慣把文本開頭的方向稱作“前面”,文本末尾方向稱為“后面”。但是對(duì)于正則表達(dá)式引擎來說,因?yàn)樗菑奈谋绢^部向尾部開始解析的(可以通過正則選項(xiàng)控制解析方向),因此對(duì)于文本尾部方向,稱為“前”,因?yàn)檫@個(gè)時(shí)候,正則引擎還沒走到那塊,而對(duì)文本頭部方向,則稱為“后”,因?yàn)檎齽t引擎已經(jīng)走過了那一塊地方。如下圖所示:
所謂的前瞻就是在正則表達(dá)式匹配到某個(gè)字符的時(shí)候,往“尚未解析過的文本”預(yù)先看一下,看是不是符合/不符合匹配模式,而后顧,就是在正則引擎已經(jīng)匹配過的文本看看是不是符合/不符合匹配模式。符合和不符合特定匹配模式我們又稱為肯定式匹配和否定式匹配。
現(xiàn)代高級(jí)正則表達(dá)式引擎一般都支持都支持前瞻,對(duì)于后顧支持并不是很廣泛,因此我們這里采用否定式前瞻來實(shí)現(xiàn)我們的需求。
實(shí)現(xiàn)
測(cè)試數(shù)據(jù):
2009-07-07 04:38:44 127.0.0.1 GET /robots.txt
2009-07-07 04:38:44 127.0.0.1 GET /posts/robotfile.txt
2009-07-08 04:38:44 127.0.0.1 GET /
例如上面這幾條簡(jiǎn)單的日志條目,我們想實(shí)現(xiàn)兩個(gè)目標(biāo):
1. 把8號(hào)的數(shù)據(jù)過濾掉
2. 把那些不包含robots.txt字符串的條目給找出來(只要Url中包含robots.txt的都給過濾掉)。
前瞻的語法是:
(?!匹配模式)我們先來實(shí)現(xiàn)第一個(gè)目標(biāo)——匹配不以特定字符串開頭的條目。
這里我們因?yàn)橐懦欢芜B續(xù)的字符串,因此匹配模式非常簡(jiǎn)單,就是2009-07-08。實(shí)現(xiàn)如下:
^(?!2009-07-08).*?$
用Expresso我們可以看到結(jié)果確實(shí)過濾掉8號(hào)的數(shù)據(jù)。
接下來,我們來實(shí)現(xiàn)第二個(gè)目標(biāo)——排除包含特定字符串的條目。
按照我們上面寫法,我照葫蘆畫瓢了一下:
^.*?(?!robots\.txt).*?$
這段正則用大白話描述就是:開頭任意字符,然后后面不要跟著robots.txt連續(xù)字符串,然后再跟著任意個(gè)字符,字符串結(jié)尾。
運(yùn)行測(cè)試,結(jié)果發(fā)現(xiàn):
沒有達(dá)到我們想要的效果。這是為什么呢?我們給上面的正則表達(dá)式加上兩個(gè)捕獲分組調(diào)試一下:
^(.*?)(?!robots\.txt)(.*?)$
測(cè)試結(jié)果:
我們看到,第一個(gè)分組啥都沒有匹配到,而第二個(gè)分組卻匹配了整個(gè)字符串。再回過頭來好好分析一下剛才那個(gè)正則表達(dá)式。實(shí)際上,當(dāng)正則引擎解析到A區(qū)域的時(shí)候,就已經(jīng)開始執(zhí)行B區(qū)域的前瞻工作。這個(gè)時(shí)候發(fā)現(xiàn)當(dāng)A區(qū)域?yàn)镹ull的時(shí)候匹配成功——.*本來就允許匹配空字符,前瞻條件又滿足,A區(qū)域后面緊跟著的是“2009”字符串,而并不是robots。因此整個(gè)匹配過程成功匹配到所有條目。
分析出原因之后我們對(duì)上述的正則進(jìn)行修正,將.*?移入前瞻表達(dá)式,如下:
^(?!.*?robots).*$
測(cè)試結(jié)果:
完成
php中用正則實(shí)現(xiàn)不包括某個(gè)字符串的實(shí)現(xiàn)方法
preg_match("/^((?!abc).)*$/is", $str);
完整代碼示例
$str = "dfadfadf765577abc55fd";
$pattern_url = "/^((?!abc).)*$/is";
if (preg_match($pattern_url, $str))
{
echo "不含有abc!";
}
else
{
echo "含有abc!";
}
結(jié)果為:false,含有abc!
同時(shí)匹配,包含字符串 "abc",而且不包含字符串 "xyz"的正則表達(dá)式:
preg_match("/(abc)[^((?!xyz).)*$]/is", $str);
該方法有效,本人使用方法如下:
(?:(?!<\/div>).|\n)*? //匹配不含</div>的一個(gè)字符串
但最終使用中結(jié)果是發(fā)現(xiàn),該方法效率極其低下,在處理非常短文字(要匹配該正則式的相同部分的有十幾個(gè)字,或者最多幾十個(gè))時(shí)間可以考慮使用,但當(dāng)用于大篇幅文章解析或多處需要改種匹配時(shí)間應(yīng)不使用,考慮用其他方法替代(如:先解析出要匹配該段正則式的文字,然后驗(yàn)證其中是否存在某段文字),正則表達(dá)式對(duì)于匹配不含特定字符串的文字段時(shí)并不是非常有效的方法.
相關(guān)文章
java正則表達(dá)式四種常用的處理方式(匹配、分割、替代、獲?。?/a>
這篇文章主要為大家詳細(xì)介紹了java正則表達(dá)式四種常用的處理方式,包括匹配、分割、替代、獲取四種,感興趣的小伙伴們可以參考一下2016-06-06javascript正則表達(dá)式標(biāo)記中/g /i /m的用法,以及實(shí)例
正則的思想都是一樣的,但是具體的寫法會(huì)有所不同,在這里提到的/g,/i,/m在其他的地方也許就不能用了,需要的朋友可以參考下2020-02-02javascript用正則表達(dá)式把1234567890替換為abcdefghij
javascript用正則表達(dá)式把1234567890替換為abcdefghij...2007-06-06向大家推薦一個(gè)收集整理正則表達(dá)式的網(wǎng)站
向大家推薦一個(gè)收集整理正則表達(dá)式的網(wǎng)站...2007-04-04正則表達(dá)式替換字符串并保留其中部分任意內(nèi)容(最新推薦)
我們都知道可以用正則表達(dá)式,即regex,來進(jìn)行字符串的匹配,替換,今天小編給大家分享如何用正則表達(dá)式替換字符串并保留其中部分任意內(nèi)容,感興趣的朋友跟隨小編一起看看吧2023-04-04