快捷導(dǎo)航

python利用多種方式來統(tǒng)計(jì)詞頻（單詞個數(shù)）

更新時間：2019年05月27日 15:02:50 作者：Sinte-Beuve

這篇文章主要介紹了python利用多種方式來統(tǒng)計(jì)詞頻（單詞個數(shù)），小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

python的思維就是讓我們用盡可能少的代碼來解決問題。對于詞頻的統(tǒng)計(jì)，就代碼層面而言，實(shí)現(xiàn)的方式也是有很多種的。之所以單獨(dú)談到統(tǒng)計(jì)詞頻這個問題，是因?yàn)樗诮y(tǒng)計(jì)和數(shù)據(jù)挖掘方面經(jīng)常會用到，尤其是處理分類問題上。故在此做個簡單的記錄。

統(tǒng)計(jì)的材料如下：

document = [
  'look', 'into', 'my', 'eyes', 'look', 'into', 'my', 'eyes',
 'the', 'eyes', 'the', 'eyes', 'the', 'eyes', 'not', 'around', 'the',
 'eyes', "don't", 'look', 'around', 'the', 'eyes', 'look', 'into',
 'my', 'eyes', "you're", 'under']

直接使用dict來進(jìn)行統(tǒng)計(jì)（遍歷+循環(huán)）

word_count = {}
for word in document:
  if word in word_count:
    word_count[word] += 1
 else:
    word_count[word] = 1

更優(yōu)雅的實(shí)現(xiàn)方式

#假如字典中不存在給定的鍵，則返回參數(shù)中提供的默認(rèn)值；反之，則返回字典中保存的值。
for word in document:
  previous_count = word_count.get(word, 0)
  word_count[word] = previous_count + 1
#可以合并成一行
for word in document:
 word_count[word] = word_count.setdefault(word, 0) + 1

使用defalutdict來實(shí)現(xiàn)

# 使用collections中的defalutdict來實(shí)現(xiàn)，defalutdict是一種值可以默認(rèn)設(shè)置的dict
from collections import defaultdict
word_count = defaultdict(int)
for word in document:
  word_count[word] += 1

使用Counter

word_counter = Counter(document)

Counter既然是一個計(jì)數(shù)器，那么它本身也就具有很多統(tǒng)計(jì)的方法。例如，最常見的詞頻統(tǒng)計(jì)的排序，可以獲得前n個最高的詞頻。

# 返回前n個最高詞頻，以字典的形式
word_counter.most_common(n)

顯然，使用defalutdict和Counter代碼最簡潔，更能符合python開發(fā)之道。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python文件操作中進(jìn)行字符串替換的方法（保存到新文件/當(dāng)前文件）
這篇文章主要介紹了Python文件操作中進(jìn)行字符串替換的方法（保存到新文件/當(dāng)前文件） ,本文給大家介紹兩種方法，每種方法給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友可以參考下
2019-06-06
深入淺析Python中的yield關(guān)鍵字
python中有一個非常有用的語法叫做生成器，所利用到的關(guān)鍵字就是yield。接下來腳本之家小編給大家?guī)砹薖ython中的yield關(guān)鍵字詳細(xì)解析，感興趣的朋友參考下吧
2018-01-01
基于Django?websocket實(shí)現(xiàn)視頻畫面的實(shí)時傳輸功能(最新推薦)
Django?Channels?是一個用于在?Django框架中實(shí)現(xiàn)實(shí)時、異步通信的擴(kuò)展庫，本文給大家介紹基于Django?websocket實(shí)現(xiàn)視頻畫面的實(shí)時傳輸案例,本案例是基于B/S架構(gòu)的視頻監(jiān)控畫面的實(shí)時傳輸，使用django作為服務(wù)端的開發(fā)框架，需要的朋友可以參考下
2023-06-06
python Kmeans算法原理深入解析
這篇文章主要介紹了python Kmeans算法深入解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2019-08-08
Python3 字典dictionary入門基礎(chǔ)附實(shí)例
Python字典是另一種可變?nèi)萜髂Ｐ?，且可存儲任意類型對象，如字符串、?shù)字、元組等其他容器模型，字典由鍵和對應(yīng)值成對組成，字典也被稱作關(guān)聯(lián)數(shù)組或哈希表
2020-02-02
python繪制條形圖方法代碼詳解
這篇文章主要介紹了python繪制條形圖方法代碼詳解，具有一定借鑒價值，需要的朋友可以參考下。
2017-12-12
python中的scapy抓取http報(bào)文內(nèi)容
這篇文章主要介紹了python中的scapy抓取http報(bào)文內(nèi)容方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-08-08
Python2和Python3中urllib庫中urlencode的使用注意事項(xiàng)
這篇文章主要介紹了Python2和Python3中urllib庫中urlencode的使用注意事項(xiàng),非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下
2018-11-11
Python使用擴(kuò)展庫pywin32實(shí)現(xiàn)批量文檔打印實(shí)例
這篇文章主要介紹了Python使用擴(kuò)展庫pywin32實(shí)現(xiàn)批量文檔打印實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
python 竊取攝像頭照片的實(shí)現(xiàn)示例
這篇文章主要介紹了python:竊取攝像頭照片的實(shí)現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-01-01