1. 前言

中文分詞≠自然語言處理！

Hanlp

HanLP是由一系列模型與算法組成的Java工具包，目標(biāo)是普及自然語言處理在生產(chǎn)環(huán)境中的應(yīng)用。HanLP具備功能完善、性能高效、架構(gòu)清晰、語料時(shí)新、可自定義的特點(diǎn)。

功能：中文分詞 詞性標(biāo)注 命名實(shí)體識(shí)別 依存句法分析 關(guān)鍵詞提取新詞發(fā)現(xiàn) 短語提取 自動(dòng)摘要 文本分類 拼音簡繁

中文分詞只是第一步；HanLP從中文分詞開始，覆蓋詞性標(biāo)注、命名實(shí)體識(shí)別、句法分析、文本分類等常用任務(wù)，提供了豐富的API。

不同于一些簡陋的分詞類庫，HanLP精心優(yōu)化了內(nèi)部數(shù)據(jù)結(jié)構(gòu)和IO接口，做到了毫秒級(jí)的冷啟動(dòng)、千萬字符每秒的處理速度，而內(nèi)存最低僅需120MB。無論是移動(dòng)設(shè)備還是大型集群，都能獲得良好的體驗(yàn)。

不同于市面上的商業(yè)工具，HanLP提供訓(xùn)練模塊，可以在用戶的語料上訓(xùn)練模型并替換默認(rèn)模型，以適應(yīng)不同的領(lǐng)域。項(xiàng)目主頁上提供了詳細(xì)的文檔，以及在一些開源語料上訓(xùn)練的模型。

HanLP希望兼顧學(xué)術(shù)界的精準(zhǔn)與工業(yè)界的效率，在兩者之間取一個(gè)平衡，真正將自然語言處理普及到生產(chǎn)環(huán)境中去。

我們使用的pyhanlp是用python包裝了HanLp的java接口。

2. pyhanlp的安裝和使用

2.1 python下安裝pyhanlp

pip安裝

sudo pip3 install pyhanlp

第一次import pyhanlp會(huì)下載一個(gè)比較大的數(shù)據(jù)集，需要耐心等待下，后面再import就不會(huì)有了。

from pyhanlp import *

詳情請見pyhanlp官方文檔

2.2 pyhanlp簡單使用方法

分詞使用

from pyhanlp import *
print(HanLP.segment("今天開心了嗎？"))
>>> [今天/t, 開心/a, 了/ule, 嗎/y, ？/w]

依存分析使用

from pyhanlp import *
print(HanLP.parseDependency("今天開心了嗎？"))
>>> 1  今天 今天 nt t  _  2  狀中結(jié)構(gòu)  _  _
>>> 2  開心 開心 a  a  _  0  核心關(guān)系  _  _
>>> 3  了  了  e  y  _  2  右附加關(guān)系  _  _
>>> 4  嗎  嗎  e  y  _  2  右附加關(guān)系  _  _
>>> 5  ？  ？  wp w  _  2  標(biāo)點(diǎn)符號(hào)  _  _

2.3 pyhanlp可視化

如果大家看不太清楚上面的輸出，pyhanlp提供了一個(gè)很好的展示交付界面，只要一句命令就能啟動(dòng)一個(gè)web服務(wù)

hanlp serve

登錄http://localhost:8765就能看下可視化界面，能看到分詞結(jié)果和依存關(guān)系的結(jié)果，是不是很直觀。這個(gè)網(wǎng)頁上還有安裝說明、源碼鏈接、文檔鏈接、常見的問題（FAQ）。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論