Python獲取網(wǎng)頁數(shù)據(jù)詳解流程

更新時間：2021年10月20日 15:34:18 作者：Mim.

讀萬卷書不如行萬里路，只學書上的理論是遠遠不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python來獲取網(wǎng)頁的數(shù)據(jù)，主要應用了Requests庫,大家可以在過程中查缺補漏，提升水平

Requests 庫是 Python 中發(fā)起 HTTP 請求的庫，使用非常方便簡單。
發(fā)送 GET 請求
當我們用瀏覽器打開東旭藍天股票首頁時，發(fā)送的最原始的請求就是 GET 請求，并傳入url參數(shù).

import requests
url='http://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get'

用Python requests庫的get函數(shù)得到數(shù)據(jù)并設置requests的請求頭.

header={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

得到network的參數(shù).

data={
    'cb': 'jQuery1123026726575651052076_1633873068863',
    'lmt': '0',
    'klt':' 101',
    'fields1': 'f1,f2,f3,f7',
    'fields2': 'f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61,f62,f63,f64,f65',
    'ut': 'b2884a393a59ad64002292a3e90d46a5',
    'secid': '0.000040',
    '_': '1633873068864'
}

我們使用 content 屬性來獲取網(wǎng)站返回的數(shù)據(jù)，并命名為sd.

sd=requests.get(url=url,headers=header,data=data).content

json庫可以自字符串或文件中解析JSON。該庫解析JSON后將其轉為Python字典或者列表。re模塊是python獨有的匹配字符串的模塊，該模塊中提供的很多功能是基于正則表達式實現(xiàn)的，而正則表達式是對字符串進行模糊匹配，提取自己需要的字符串部分.

import json
import re
text=str(sd,'utf-8')
res=re.findall(r'[(](.*?)[)]',text)
re=json.loads(res[0])
p=re['data']['klines']

將雜亂無章的數(shù)據(jù)排版到excel中，代碼如下：

all_list=re['data']['klines']
data_list=[]
latest_price_list=[]
price_limit_list=[]
net_amount_list1=[]
net_proportion_list1=[]
net_amount_list2=[]
net_proportion_list2=[]
net_amount_list3=[]
net_proportion_list3=[]
net_amount_list4=[]
net_proportion_list4=[]
net_amount_list5=[]
net_proportion_list5=[]
for i in range(len(all_list)):
        data=all_list[i].split(',')[0]
        data_list.append(data)
        ##收盤價
        latest_price=all_list[i].split(',')[11]
        latest_price_list.append(latest_price)
        ##漲跌幅
        price_limit=all_list[i].split(',')[12]
        price_limit_list.append(price_limit)
        ##主力凈流入
        ####凈額
        net_amount1=all_list[i].split(',')[1]
        net_amount_list1.append(net_amount1)
        ##占比
        net_proportion1=all_list[i].split(',')[6]
        net_proportion_list1.append(net_proportion1)
        ##超大單凈流入
        ####凈額
        net_amount2=all_list[i].split(',')[5]
        net_amount_list2.append(net_amount2)
        ##占比
        net_proportion2=all_list[i].split(',')[10]
        net_proportion_list2.append(net_proportion2)
        ##大單凈流入
        ####凈額
        net_amount3=all_list[i].split(',')[4]
        net_amount_list3.append(net_amount3)
        ##占比
        net_proportion3=all_list[i].split(',')[9]
        net_proportion_list3.append(net_proportion3)
        ##中單凈流入
        ####凈額
        net_amount4=all_list[i].split(',')[3]
        net_amount_list4.append(net_amount4)
        ##占比
        net_proportion4=all_list[i].split(',')[8]
        net_proportion_list4.append(net_proportion4)
        ##小單凈流入
        ####凈額
        net_amount5=all_list[i].split(',')[2]
        net_amount_list5.append(net_amount5)
        ##占比
        net_proportion5=all_list[i].split(',')[7]
        net_proportion_list5.append(net_proportion5)
#print(data_list)

import pandas as pd
df=pd.DataFrame()
df['日期'] = data_list
df['收盤價'] = latest_price_list
df['漲跌幅(%)'] = price_limit_list
df['主力凈流入-凈額'] = net_amount_list1
df['主力凈流入-凈占比(%)'] = net_proportion_list1
df['超大單凈流入-凈額'] = net_amount_list2
df['超大單凈流入-凈占比(%)'] = net_proportion_list2
df['大單凈流入-凈額'] = net_amount_list3
df['大單凈流入-凈占比(%)'] = net_proportion_list3
df['中單凈流入-凈額'] = net_amount_list4
df['中單凈流入-凈占比(%)'] = net_proportion_list4
df['小單凈流入-凈額'] = net_amount_list5
df['小單凈流入-凈占比(%)'] = net_proportion_list5
df# 寫入excel
df.to_excel('東旭藍天資金流向一覽表.xlsx')

將爬取出的東旭藍天資金流向數(shù)據(jù)存到excel表中，得到表格的部分截圖如下：