腳本之家服務(wù)器常用軟件

快捷導航

PHP中文分詞代碼 v1.0 UTF-8

投訴報錯

源碼大?。?span>2.3MB
源碼語言：簡體中文
源碼類型：國產(chǎn)軟件
源碼授權(quán)：免費軟件
源碼類別：搜索鏈接
應(yīng)用平臺：php
更新時間：2011-11-22
網(wǎng)友評分：

360通過騰訊通過金山通過

2.3MB

詳情介紹

PHP中文分詞代碼使用居于unicode的詞庫，使用反向匹配模式分詞，理論上兼容編碼更廣泛，并且對utf-8編碼尤為方便。由于PhpanAlysis是無組件的系統(tǒng)，因此速度會比有組件的稍慢，不過在大量分詞中，由于邊分詞邊完成詞庫載入，因此內(nèi)容越多，反而會覺得速度越快，這是正?，F(xiàn)象，對于支持PHP-APC的服務(wù)器，本程序支持對詞典進行緩存，這樣做之后理論的速度并不慢于那些帶組件的分詞程序了。
分詞系統(tǒng)是基于字符串匹配的分詞方法，這種方法又叫做機械分詞方法，它是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行配，若在詞典中找到某個字符串，則匹配成功（識別出一個詞）。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配；按照不同長度優(yōu)先匹配的情況，可以分為最大（最長）匹配和最小（最短）匹配；按照是否與詞性標注過程相結(jié)合，又可以分為單純分詞方法和分詞與標注相結(jié)合的一體化方法。常用的幾種機械分詞方法如下：
　　 1）正向最大匹配法（由左到右的方向）；
　　 2）逆向最大匹配法（由右到左的方向）；
　　 3）最少切分（使每一句中切出的詞數(shù)最?。?。
　　還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法。由于漢語單字成詞的特點，正向最小匹配和逆向最小匹配一般很少使用。一般說來，逆向匹配的切分精度略高于正向匹配，遇到的歧義現(xiàn)象也較少。統(tǒng)計結(jié)果表明，單純使用正向最大匹配的錯誤率為1/169，單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統(tǒng)，都是把機械分詞作為一種初分手段，還需通過利用各種其它的語言信息來進一步提高切分的準確率。
　　一種方法是改進掃描方式，稱為特征掃描或標志切分，優(yōu)先在待分析字符串中識別和切分出一些帶有明顯特征的詞，以這些詞作為斷點，可將原字符串分為較小的串再來進機械分詞，從而減少匹配的錯誤率。另一種方法是將分詞和詞類標注結(jié)合起來，利用豐富的詞類信息對分詞決策提供幫助，并且在標注過程中又反過來對分詞結(jié)果進行檢驗、調(diào)整，從而極大地提高切分的準確率。

中文代碼

下載地址

下載錯誤？【投訴報錯】