import jieba
key_word = "你叫什么名字" # 定義一句話,基于這句話進(jìn)行分詞
cut_word = jieba.cut(key_word) # 使用結(jié)巴分詞中的cut方法對"你叫什么名字" 進(jìn)行分詞
print(cut_word) # <generator object Tokenizer.cut at 0x03676390> 不懂生成器的話,就忽略這里
cut_word_list = list(cut_word) # 如果不明白生成器的話,這里要記得把生成器對象做成列表
print(cut_word_list) # ['你', '叫', '什么', '名字']

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities
l1 = ["你的名字是什么", "你今年幾歲了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"
all_doc_list = []
for doc in l1:
 doc_list = [word for word in jieba.cut(doc)]
 all_doc_list.append(doc_list)
print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]
# 制作語料庫
dictionary = corpora.Dictionary(all_doc_list) # 制作詞袋
# 詞袋的理解
# 詞袋就是將很多很多的詞,進(jìn)行排列形成一個 詞(key) 與一個 標(biāo)志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '幾歲': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是做什么用的,帶著問題往下看
print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))
corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 語料庫:
# 這里是將all_doc_list 中的每一個列表中的詞語 與 dictionary 中的Key進(jìn)行匹配
# 得到一個匹配后的結(jié)果,例如['你', '今年', '幾歲', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出現(xiàn)一次, 5代表的是 了 1代表出現(xiàn)了一次, 以此類推 6 = 今年 , 7 = 幾歲
print("corpus", corpus, type(corpus))
# 將需要尋找相似度的分詞列表 做成 語料庫 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))
# 將corpus語料庫(初識語料庫) 使用Lsi模型進(jìn)行訓(xùn)練
lsi = models.LsiModel(corpus)
# 這里的只是需要學(xué)習(xí)Lsi模型來了解的,這里不做闡述
print("lsi", lsi, type(lsi))
# 語料庫corpus的訓(xùn)練結(jié)果
print("lsi[corpus]", lsi[corpus])
# 獲得語料庫doc_test_vec 在 語料庫corpus的訓(xùn)練結(jié)果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])
# 文本相似度
# 稀疏矩陣相似度 將 主 語料庫corpus的訓(xùn)練結(jié)果 作為初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))
# 將 語料庫doc_test_vec 在 語料庫corpus的訓(xùn)練結(jié)果 中的 向量表示 與 語料庫corpus的 向量表示 做矩陣相似度計(jì)算
sim = index[lsi[doc_test_vec]]
print("sim", sim, type(sim))
# 對下標(biāo)和相似度結(jié)果進(jìn)行一個排序,拿出相似度最高的結(jié)果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)
text = l1[cc[0][0]]
print(a,text)