對Python中g(shù)ensim庫word2vec的使用詳解
pip install gensim安裝好庫后，即可導(dǎo)入使用：
1、訓(xùn)練模型定義
from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
參數(shù)解釋：
1.sg=1是skip-gram算法，對低頻詞敏感；默認(rèn)sg=0為CBOW算法。
2.size是輸出詞向量的維數(shù)，值太小會導(dǎo)致詞映射因為沖突而影響結(jié)果，值太大則會耗內(nèi)存并使算法計算變慢，一般值取為100到200之間。
3.window是句子中當(dāng)前詞與目標(biāo)詞之間的最大距離，3表示在目標(biāo)詞前看3-b個詞，后面看b個詞（b在0-3之間隨機）。
4.min_count是對詞進(jìn)行過濾，頻率小于min-count的單詞則會被忽視，默認(rèn)值為5。
5.negative和sample可根據(jù)訓(xùn)練結(jié)果進(jìn)行微調(diào)，sample表示更高頻率的詞被隨機下采樣到所設(shè)置的閾值，默認(rèn)值為1e-3。
6.hs=1表示層級softmax將會被使用，默認(rèn)hs=0且negative不為0，則負(fù)采樣將會被選擇使用。
7.workers控制訓(xùn)練的并行，此參數(shù)只有在安裝了Cpython后才有效，否則只能使用單核。
詳細(xì)參數(shù)說明可查看word2vec源代碼。
2、訓(xùn)練后的模型保存與加載
model.save(fname) model = Word2Vec.load(fname)
3、模型使用（詞語相似度計算等）
model.most_similar(positive=['woman', 'king'], negative=['man'])
#輸出[('queen', 0.50882536), ...]
model.doesnt_match("breakfast cereal dinner lunch".split())
#輸出'cereal'
model.similarity('woman', 'man')
#輸出0.73723527
model['computer'] # raw numpy vector of a word
#輸出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)
其它內(nèi)容不再贅述，詳細(xì)請參考gensim的word2vec的官方說明，里面講的很詳細(xì)。
以上這篇對Python中g(shù)ensim庫word2vec的使用詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python代碼注釋規(guī)范代碼實例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08
tensorflow模型文件(ckpt)轉(zhuǎn)pb文件的方法（不知道輸出節(jié)點名）
這篇文章主要介紹了tensorflow模型文件(ckpt)轉(zhuǎn)pb文件（不知道輸出節(jié)點名），本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-04-04
python字典中g(shù)et()函數(shù)的基本用法實例
在字典內(nèi)置的方法中,想說的方法為get,這個方法是通過鍵來獲取相應(yīng)的值,但是如果相應(yīng)的鍵不存在則返回None,這篇文章主要給大家介紹了關(guān)于python字典中g(shù)et()函數(shù)的基本用法,需要的朋友可以參考下2022-03-03
下面小編就為大家分享一篇Python和Java進(jìn)行DES加密和解密的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-01-01
python安裝和pycharm環(huán)境搭建設(shè)置方法
這篇文章主要介紹了python安裝和pycharm環(huán)境搭建和設(shè)置方法，本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下 ，2020-05-05
這篇文章主要介紹了深入理解Python的jieba模塊,英語單詞之間是通過空格分隔的,但是中文卻不存在空格的概念,因此需要一個模塊來解決中文的分詞問題,jieba模塊是一個python第三方中文分詞模塊,可以用于將語句中的中文詞語分離出來,需要的朋友可以參考下2023-11-11
200 行python 代碼實現(xiàn) 2048 游戲
2048這個小游戲大家都不陌生，應(yīng)該都玩過，之前已經(jīng)在網(wǎng)上見過各個版本的2048實現(xiàn)了，有JAVA、HTML5等，今天我就給大家來一個我200 行python 代碼實現(xiàn)的2048 游戲，感興趣的朋友一起看看吧2018-01-01
這篇文章主要為大家詳細(xì)介紹了python做量化投資系列之比特幣初始配置，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
Python技法之如何用re模塊實現(xiàn)簡易tokenizer
當(dāng)我們在Python中開始新的東西時,我通常首先看一些模塊或庫來使用,下面這篇文章主要給大家介紹了關(guān)于Python技法之如何用re模塊實現(xiàn)簡易tokenizer的相關(guān)資料,需要的朋友可以參考下2022-05-05
這篇文章主要為大家介紹了Python 馬氏距離求取函數(shù)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-11-11