python爬取分析超級大樂透歷史開獎數(shù)據(jù)第1/2頁
博主作為爬蟲初學者,本次使用了requests和beautifulsoup庫進行數(shù)據(jù)的爬取
爬取網(wǎng)站:http://datachart.500.com/dlt/history/history.shtml —500彩票網(wǎng)
(分析后發(fā)現(xiàn)網(wǎng)站源代碼并非是通過頁面跳轉(zhuǎn)來查找不同的數(shù)據(jù),故可通過F12查找network欄找到真正儲存所有歷史開獎結(jié)果的網(wǎng)頁)
如圖:
爬蟲部分:
from bs4 import BeautifulSoup #引用BeautifulSoup庫 import requests #引用requests import os #os import pandas as pd import csv import codecs lst=[] url='http://datachart.500.com/dlt/history/newinc/history.php?start=07001&end=21018' r = requests.get(url) r.encoding='utf-8' text=r.text soup = BeautifulSoup(text, "html.parser") tbody=soup.find('tbody',id="tdata") tr=tbody.find_all('tr') td=tr[0].find_all('td') for page in range(0,14016): td=tr
相關(guān)文章
tensorflow2.10使用BERT實現(xiàn)Semantic Similarity過程解析
這篇文章主要為大家介紹了tensorflow2.10使用BERT實現(xiàn)Semantic Similarity過程解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-04-04Python內(nèi)置函數(shù)之filter map reduce介紹
Python內(nèi)置了一些非常有趣、有用的函數(shù),如:filter、map、reduce,都是對一個集合進行處理,filter很容易理解用于過濾,map用于映射,reduce用于歸并. 是Python列表方法的三架馬車2014-11-11python飛機大戰(zhàn)pygame游戲背景設計詳解
這篇文章主要介紹了python飛機大戰(zhàn)pygame游戲背景設計,結(jié)合實例形式詳細分析了Python使用pygame模塊設計游戲背景相關(guān)原理、流程與實現(xiàn)技巧,需要的朋友可以參考下2019-12-12僅用500行Python代碼實現(xiàn)一個英文解析器的教程
這篇文章主要介紹了僅用500行Python代碼實現(xiàn)一個英文解析器的教程,自然語言處理近來也是業(yè)界中一個熱門課題,作者為NLP方向的開發(fā)者,需要的朋友可以參考下2015-04-04Python?數(shù)據(jù)分析教程探索性數(shù)據(jù)分析
這篇文章主要介紹了Python?數(shù)據(jù)分析教程探索性數(shù)據(jù)分析,文章圍繞主題展開詳細的內(nèi)容介紹,具有一定的參考價值,需要的小伙伴可以參考一下2022-08-08Python中的函數(shù)參數(shù)(位置參數(shù)、默認參數(shù)、可變參數(shù))
這篇文章主要介紹了Python中的函數(shù)參數(shù):位置參數(shù)、默認參數(shù)、可變參數(shù)、關(guān)鍵字參數(shù)和命名關(guān)鍵字參數(shù),需要的小伙伴可以參考下面文章內(nèi)容2021-09-09