隨著搜索經(jīng)濟的崛起，人們開始越加關注全球各大搜索引擎的性能、技術和日流量。作為企業(yè)，會根據(jù)搜索引擎的知名度以及日流量來選擇是否要投放廣告等；作為普通網(wǎng)民，會根據(jù)搜索引擎的性能和技術來選擇自己喜歡的引擎查找資料；作為技術人員，會把有代表性的搜索引擎作為研究對象. 搜索引擎經(jīng)濟的崛起，又一次向人們證明了網(wǎng)絡所蘊藏的巨大商機。網(wǎng)絡離開了搜索將只剩下空洞雜亂的數(shù)據(jù)，以及大量等待去費力挖掘。 
但是,如何設計一個高效的搜索引擎?我們可以以百度所采取的技術手段來探討如何設計一個實用的搜索引擎.搜索引擎涉及到許多技術點,比如查詢處理,排序算法,頁面抓取算法,CACHE機制,ANTI-SPAM等等.這些技術細節(jié),作為商業(yè)公司的搜索引擎服務提供商比如百度,GOOGLE等是不會公之于眾的.我們可以將現(xiàn)有的搜索引擎看作一個黑盒,通過向黑盒提交輸入,判斷黑盒返回的輸出大致判斷黑盒里面不為人知的技術細節(jié).

查詢處理與分詞是一個中文搜索引擎必不可少的工作,而百度作為一個典型的中文搜索引擎一直強調其”中文處理”方面具有其它搜索引擎所不具有的關鍵技術和優(yōu)勢.那么我們就來看看百度到底采用了哪些所謂的核心技術.

我們分兩個部分來講述:查詢處理/中文分詞.

一. 查詢處理

用戶向搜索引擎提交查詢,搜索引擎一般在接受到用戶查詢后要做一些處理,然后在索引數(shù)據(jù)庫里面提取相關的信息.那么百度在接受到用戶查詢后做了些什么工作呢?

1. 假設用戶提交了不只一個查詢串,比如”信息檢索 理論 工具”.那么搜索引擎首先做的是根據(jù)分隔符比如空格,標點符號,將查詢串分割成若干子查詢串,比如上面的查詢就會被解析為:<信息檢索,理論,工具>三個子字符串;這個道理簡單,我們接著往下看.

2. 假設提交的查詢有重復的內(nèi)容,搜索引擎怎么處理呢?比如查詢”理論 工具 理論”,百度是將重復的字符串當作只出現(xiàn)過一次,也就是處理成等價的”理論 工具”,而GOOGLE顯然是沒有進行歸并,而是將重復查詢子串的權重增大進行處理.那么是如何得出這個結論的呢?我們可以將”理論 工具”提交給百度,返回341,000篇文檔,大致看看第一頁的返回內(nèi)容.OK.繼續(xù),我們提交查詢”理論 工具 理論”,在看看返回結果,仍然是那么多返回文檔,當然這個不能說明太多問題,那看看第一頁返回結果的排序,看出來了嗎?順序完全沒有變化,而GOOGLE則排序有些變動,這說明百度是將重復的查詢歸并成一個處理的,而且字符串之間的先后出現(xiàn)順序基本不予考慮(GOOGLE是考慮了這個順序關系的).

3. 假設提交的中文查詢包含英文單詞,搜索引擎是怎么處理的?比如查詢”電影BT下載”,百度的方法是將中文字符串中的英文當作一個整體保留,并以此為斷點將中文切分開,這樣上述的查詢就切為<電影,BT,下載>,不論中間的英文是否一個字典里能查到的單詞也好,還是隨機的字符也好,都會當作一個整體來對待.至于為什么,你用查詢” 電影dfdfdf下載”看看結果就知道了.當然如果查詢中包含數(shù)字,也是如此辦理.

到目前為止,一切很簡單,也很清楚,百度怎么處理用戶查詢的呢?歸納如下:首先根據(jù)分割符號將查詢分開,然后看看是否有重復的字符串,如果有,就拋棄多余的,只保留一個,接著判斷是否有英文或者數(shù)字,如果有的話,把英文或者數(shù)字當作一個整體保留并把前后的中文切開.

接著該干什么呢?該考慮分詞的問題了.

  
中文分詞首先,講講百度的分詞時機或者條件問題,是否是個中文字符串百度就拿來切一下呢?非也,要想被百度的分詞程序榮幸的切割一下也是要講條件的,哪能是個字符串就切割啊?你當百度是賣鋸條的么? 那么什么樣的字符串才滿足被切割的條件呢?簡單說來,如果字符串只包含小于等于3個中文字符的話,那就保留不動,當字符串長度大于4個中文字符的時候,百度的分詞程序才出馬大干快上,把這個字符串肢解掉. 怎么證明呢?我們向百度提交”電影下載”,看看返回結果中標為紅字的地方,不難看出來,查詢已經(jīng)被切割成<電影,下載>兩個單詞了,說明分詞程序已經(jīng)開工了,如果是比4個中文字符更長的字符串,那分詞程序就更不客氣了,一定大卸八塊而后快.我們來看看三個字符的情況,提交查詢”當然擇”,看起來這個查詢不倫不類,那是因為我希望看到這個字符串被切分為<當然,擇>,返回結果365篇相關頁面,翻到最后一頁,發(fā)現(xiàn)標紅的關鍵字都是”當然擇”連續(xù)出現(xiàn)的情況,好像沒有切分,但是還不確定,那么再提交人工分好的查詢”當然擇”看看,返回結果1,090,000篇,基本上可以確定沒有進行分詞了,當然另外一種解釋是:對于三個字符先切分,然后將切分后的結果當作一個短語查詢,這樣看到的效果和沒有切分是相似的.但是我傾向于判斷百度對于少于3個字符的串沒有切分,奧卡姆不是說了么”如無必要,勿增實體”,干嗎做無用功呢.那么如果沒有切分,會有一個隨之而來的問題,怎么從索引庫里面提取未切分的字符串呢?這牽扯到索引的問題,我覺得百度應該采取了兩套索引機制,一種是按照單詞索引,一種是按照N-GRAM索引,至于索引的具體問題,以后在詳細論述. OK,看到這里可能頭已經(jīng)有些暈了,最后總結一下百度的分詞算法,當然里面還是有猜測的成分,算法如下: 首先查詢專用詞典(人名,部分地名等),將專有名稱切出,剩下的部分采取雙向分詞策略,如果兩者切分結果相同,說明沒有歧義,直接輸出分詞結果

最新評論