對Python中g(shù)ensim庫word2vec的使用詳解
pip install gensim安裝好庫后，即可導(dǎo)入使用：
1、訓(xùn)練模型定義
from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
參數(shù)解釋：
1.sg=1是skip-gram算法，對低頻詞敏感；默認(rèn)sg=0為CBOW算法。
2.size是輸出詞向量的維數(shù)，值太小會(huì)導(dǎo)致詞映射因?yàn)闆_突而影響結(jié)果，值太大則會(huì)耗內(nèi)存并使算法計(jì)算變慢，一般值取為100到200之間。
3.window是句子中當(dāng)前詞與目標(biāo)詞之間的最大距離，3表示在目標(biāo)詞前看3-b個(gè)詞，后面看b個(gè)詞（b在0-3之間隨機(jī)）。
4.min_count是對詞進(jìn)行過濾，頻率小于min-count的單詞則會(huì)被忽視，默認(rèn)值為5。
5.negative和sample可根據(jù)訓(xùn)練結(jié)果進(jìn)行微調(diào)，sample表示更高頻率的詞被隨機(jī)下采樣到所設(shè)置的閾值，默認(rèn)值為1e-3。
6.hs=1表示層級(jí)softmax將會(huì)被使用，默認(rèn)hs=0且negative不為0，則負(fù)采樣將會(huì)被選擇使用。
7.workers控制訓(xùn)練的并行，此參數(shù)只有在安裝了Cpython后才有效，否則只能使用單核。
詳細(xì)參數(shù)說明可查看word2vec源代碼。
2、訓(xùn)練后的模型保存與加載
model.save(fname) model = Word2Vec.load(fname)
3、模型使用（詞語相似度計(jì)算等）
model.most_similar(positive=['woman', 'king'], negative=['man'])
#輸出[('queen', 0.50882536), ...]
model.doesnt_match("breakfast cereal dinner lunch".split())
#輸出'cereal'
model.similarity('woman', 'man')
#輸出0.73723527
model['computer'] # raw numpy vector of a word
#輸出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)
其它內(nèi)容不再贅述，詳細(xì)請參考gensim的word2vec的官方說明，里面講的很詳細(xì)。
以上這篇對Python中g(shù)ensim庫word2vec的使用詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- Python word2vec訓(xùn)練詞向量實(shí)例分析講解
- Python機(jī)器學(xué)習(xí)NLP自然語言處理Word2vec電影影評(píng)建模
- python使用Word2Vec進(jìn)行情感分析解析
- python初步實(shí)現(xiàn)word2vec操作
- 在python下實(shí)現(xiàn)word2vec詞向量訓(xùn)練與加載實(shí)例
- Python實(shí)現(xiàn)word2Vec model過程解析
- python gensim使用word2vec詞向量處理中文語料的方法
- python+Word2Vec實(shí)現(xiàn)中文聊天機(jī)器人的示例代碼
相關(guān)文章
這篇文章主要介紹了Python代碼注釋規(guī)范代碼實(shí)例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
tensorflow模型文件(ckpt)轉(zhuǎn)pb文件的方法（不知道輸出節(jié)點(diǎn)名）
這篇文章主要介紹了tensorflow模型文件(ckpt)轉(zhuǎn)pb文件（不知道輸出節(jié)點(diǎn)名），本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-04-04
python字典中g(shù)et()函數(shù)的基本用法實(shí)例
在字典內(nèi)置的方法中,想說的方法為get,這個(gè)方法是通過鍵來獲取相應(yīng)的值,但是如果相應(yīng)的鍵不存在則返回None,這篇文章主要給大家介紹了關(guān)于python字典中g(shù)et()函數(shù)的基本用法,需要的朋友可以參考下2022-03-03
Python和Java進(jìn)行DES加密和解密的實(shí)例
下面小編就為大家分享一篇Python和Java進(jìn)行DES加密和解密的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-01-01
python安裝和pycharm環(huán)境搭建設(shè)置方法
這篇文章主要介紹了python安裝和pycharm環(huán)境搭建和設(shè)置方法，本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下 ，2020-05-05
這篇文章主要介紹了深入理解Python的jieba模塊,英語單詞之間是通過空格分隔的,但是中文卻不存在空格的概念,因此需要一個(gè)模塊來解決中文的分詞問題,jieba模塊是一個(gè)python第三方中文分詞模塊,可以用于將語句中的中文詞語分離出來,需要的朋友可以參考下2023-11-11
200 行python 代碼實(shí)現(xiàn) 2048 游戲
2048這個(gè)小游戲大家都不陌生，應(yīng)該都玩過，之前已經(jīng)在網(wǎng)上見過各個(gè)版本的2048實(shí)現(xiàn)了，有JAVA、HTML5等，今天我就給大家來一個(gè)我200 行python 代碼實(shí)現(xiàn)的2048 游戲，感興趣的朋友一起看看吧2018-01-01
這篇文章主要為大家詳細(xì)介紹了python做量化投資系列之比特幣初始配置，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
Python技法之如何用re模塊實(shí)現(xiàn)簡易tokenizer
當(dāng)我們在Python中開始新的東西時(shí),我通常首先看一些模塊或庫來使用,下面這篇文章主要給大家介紹了關(guān)于Python技法之如何用re模塊實(shí)現(xiàn)簡易tokenizer的相關(guān)資料,需要的朋友可以參考下2022-05-05
這篇文章主要為大家介紹了Python 馬氏距離求取函數(shù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-11-11