Python實現(xiàn)word2Vec model過程解析
這篇文章主要介紹了Python實現(xiàn)word2Vec model過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
import gensim, logging, os logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) import nltk corpus = nltk.corpus.brown.sents() fname = 'brown_skipgram.model' if os.path.exists(fname): # load the file if it has already been trained, to save repeating the slow training step below model = gensim.models.Word2Vec.load(fname) else: # can take a few minutes, grab a cuppa model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50) model.save(fname) words = "woman women man girl boy green blue".split() for w1 in words: for w2 in words: print(w1, w2, model.similarity(w1, w2)) print(model.most_similar(positive=['woman', ''], topn=1)) print(model.similarity('woman', 'girl'))girl
在gensim模塊中已經(jīng)封裝了13年提出的model--word2vec,所以我們直接開始建立模型
這是建立模型的過程,最后會出現(xiàn)saving Word2vec的語句,代表已經(jīng)成功建立了模型
這是輸入了 gorvement和news關(guān)鍵詞后 所反饋的詞語 --- administration, 他們之間的相關(guān)性是0.508
當我在輸入 women 和 man ,他們顯示的相關(guān)性的0.638 ,已經(jīng)是非常高的一個數(shù)字。
值得一提的是,我用的語料庫是直接從nltk里的brown語料庫。其中大概包括了一些新聞之類的數(shù)據(jù)。
大家如果感興趣的話,可以自己建立該模型,通過傳入不同的語料庫,來calc 一些term的 相關(guān)性噢
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
linux系統(tǒng)使用python監(jiān)測網(wǎng)絡(luò)接口獲取網(wǎng)絡(luò)的輸入輸出
這篇文章主要介紹了linux系統(tǒng)使用python監(jiān)測網(wǎng)絡(luò)接口獲取網(wǎng)絡(luò)的輸入輸出信息,大家參考使用吧2014-01-01Python環(huán)境Pillow( PIL )圖像處理工具使用解析
這篇文章主要介紹了Python環(huán)境Pillow( PIL )圖像處理工具使用解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09使用Python的Twisted框架實現(xiàn)一個簡單的服務(wù)器
這篇文章主要介紹了使用Python的Twisted框架實現(xiàn)一個簡單的服務(wù)器,翻譯自Twisted的文檔,需要的朋友可以參考下2015-04-04pandas時間序列之如何將int轉(zhuǎn)換成datetime格式
這篇文章主要介紹了pandas時間序列之如何將int轉(zhuǎn)換成datetime格式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-07-07python基于gevent實現(xiàn)并發(fā)下載器代碼實例
這篇文章主要介紹了python基于gevent實現(xiàn)并發(fā)下載器代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11Python即時網(wǎng)絡(luò)爬蟲項目啟動說明詳解
這篇文章主要為大家詳細介紹了Python即時網(wǎng)絡(luò)爬蟲項目啟動說明,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-02-02