Python爬取新型冠狀病毒“謠言”新聞進(jìn)行數(shù)據(jù)分析
一、爬取數(shù)據(jù)
話不多說(shuō)了,直接上代碼( copy即可用 )
import requests
import pandas as pd
class SpiderRumor(object):
def __init__(self):
self.url = "https://vp.fact.qq.com/loadmore?artnum=0&page=%s"
self.header = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
}
def spider_run(self):
df_all = list()
for url in [self.url % i for i in range(30)]:
data_list = requests.get(url, headers=self.header).json()["content"]
temp_data = [[df["title"], df["date"], df["result"], df["explain"], df["tag"]] for df in data_list]
df_all.extend(temp_data)
print(temp_data[0])
pd.DataFrame(df_all, columns=["title", "date", "result", "explain", "tag"]).to_csv("冠狀病毒謠言數(shù)據(jù).csv", encoding="utf_8_sig")
if __name__ == '__main__':
spider = SpiderRumor()
spider.spider_run()
爬蟲過(guò)程

二、數(shù)據(jù)分析
數(shù)據(jù)展示

每日謠言數(shù)量

由圖可得:1月24日和1月25日是謠言的高峰期,讓我們來(lái)看看這兩天的數(shù)據(jù):


由上圖得知 一月二十四號(hào)和二十號(hào)傳播的 29 條謠言中 96.55% 都是假的
謠言是否屬實(shí)占比

從1月18日到今日截止2月14日共發(fā)現(xiàn)了300條謠言,右上圖可得:76.33% 都是假的,只要 7.00% 是屬實(shí)的,其中 14.33% 的謠言屬于 偽科學(xué) 而且 還有 8.00% 屬于尚無(wú)定論憑空捏造出的,需要多注意⚠️
謠言的關(guān)鍵字展示

下面介紹 matplotlib 繪制餅圖的代碼
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# Windows系統(tǒng)設(shè)置中文字體
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
data = pd.read_csv("/冠狀病毒謠言數(shù)據(jù).csv"")
labels = data["explain"].value_counts().index.tolist()
sizes = data["explain"].value_counts().values.tolist()
colors = ['lightgreen', 'gold', 'lightskyblue', 'lightcoral']
plt.figure(figsize=(15,8))
plt.pie(sizes, labels=labels,
colors=colors, autopct='%1.1f%%', shadow=True, startangle=50) # shadow=True 表示陰影
plt.axis('equal') # 使圖居中
plt.show()
繪制謠言關(guān)鍵字分布圖(觀察 tag 這個(gè)字段)

由于 tag 這個(gè)字段內(nèi)容是列表,我們?nèi)〕鰜?lái)后是列表嵌套列表:[[a, b], [b, c], [c, d]] 我們要使用一行列表生成式快速的將所以的關(guān)鍵字取出來(lái) [j for i in a for j in i]
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# Windows系統(tǒng)設(shè)置中文字體
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
data = pd.read_csv("/冠狀病毒謠言數(shù)據(jù).csv"")
df = pd.Series([j for i in [eval(i) for i in data["tag"].tolist()] for j in i]).value_counts()[:20]
X = df.index.tolist()
y = df.values.tolist()
plt.figure(figsize=(15, 8)) # 設(shè)置畫布
plt.bar(X, y, color="orange")
plt.tight_layout()
# plt.grid(axis="y")
plt.grid(ls='-.')
plt.show()
總結(jié)
以上所述是小編給大家介紹的Python爬取新型冠狀病毒“謠言”新聞進(jìn)行數(shù)據(jù)分析,希望對(duì)大家有所幫助!
- Python 數(shù)據(jù)分析之逐塊讀取文本的實(shí)現(xiàn)
- Python數(shù)據(jù)分析庫(kù)pandas高級(jí)接口dt的使用詳解
- 詳解python爬取彈幕與數(shù)據(jù)分析
- Python Pandas數(shù)據(jù)分析工具用法實(shí)例
- 大數(shù)據(jù)分析用java還是Python
- python 數(shù)據(jù)分析實(shí)現(xiàn)長(zhǎng)寬格式的轉(zhuǎn)換
- python數(shù)據(jù)分析工具之 matplotlib詳解
- Python實(shí)現(xiàn)的北京積分落戶數(shù)據(jù)分析示例
- 基于Python數(shù)據(jù)分析之pandas統(tǒng)計(jì)分析
- python數(shù)據(jù)分析:關(guān)鍵字提取方式
- Python數(shù)據(jù)分析pandas模塊用法實(shí)例詳解
- python 繪制斜率圖進(jìn)行對(duì)比分析
相關(guān)文章
Python簡(jiǎn)繁體轉(zhuǎn)換的簡(jiǎn)單實(shí)現(xiàn)步驟
工作中需要將繁體中文轉(zhuǎn)換成簡(jiǎn)體中文上網(wǎng)找了些資料,下面這篇文章主要給大家介紹了關(guān)于Python實(shí)現(xiàn)簡(jiǎn)繁體轉(zhuǎn)換的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-06-06
Python基于pyCUDA實(shí)現(xiàn)GPU加速并行計(jì)算功能入門教程
這篇文章主要介紹了Python基于pyCUDA實(shí)現(xiàn)GPU加速并行計(jì)算功能,結(jié)合實(shí)例形式分析了Python使用pyCUDA進(jìn)行GPU加速并行計(jì)算的原理與相關(guān)實(shí)現(xiàn)操作技巧,需要的朋友可以參考下2018-06-06
python對(duì)配置文件.ini進(jìn)行增刪改查操作的方法示例
.ini配置文件常被用作存儲(chǔ)程序中的一些參數(shù),通過(guò)它程序可以變得更加靈活。下面這篇文章主要給大家介紹了關(guān)于python對(duì)配置文件.ini進(jìn)行增刪改查操作的方法示例,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來(lái)一起看看吧。2017-07-07
Python三元運(yùn)算實(shí)現(xiàn)方法
這篇文章主要介紹了Python三元運(yùn)算實(shí)現(xiàn)方法,通過(guò)if else語(yǔ)句實(shí)現(xiàn)了三元運(yùn)算的功能,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-01-01
Python自動(dòng)生成代碼 使用tkinter圖形化操作并生成代碼框架
這篇文章主要為大家詳細(xì)介紹了Python自動(dòng)生成代碼,使用tkinter圖形化操作并生成代碼框架,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-09-09
pyqt5 QlistView列表顯示的實(shí)現(xiàn)示例
這篇文章主要介紹了pyqt5 QlistView列表顯示的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
Python通過(guò)paramiko庫(kù)實(shí)現(xiàn)遠(yuǎn)程執(zhí)行l(wèi)inux命令的方法
這篇文章主要介紹了Python通過(guò)paramiko庫(kù)實(shí)現(xiàn)遠(yuǎn)程執(zhí)行l(wèi)inux命令,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-03-03

