python爬蟲爬取網頁表格數(shù)據
更新時間：2018年03月07日 10:41:32 作者：zhuxunyuoyi
這篇文章主要為大家詳細介紹了python爬蟲爬取網頁表格數(shù)據，具有一定的參考價值，感興趣的小伙伴們可以參考一下
用python爬取網頁表格數(shù)據，供大家參考，具體內容如下
from bs4 import BeautifulSoup
import requests
import csv
import bs4
#檢查url地址
def check_link(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('無法鏈接服務器！！！')
#爬取資源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,'lxml')
trs = soup.find_all('tr')
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)
#保存資源
def save_contents(urlist):
with open("D:/2016年中國企業(yè)500強排行榜.csv",'w') as f:
writer = csv.writer(f)
writer.writerow(['2016年中國企業(yè)500強排行榜'])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
def main():
urli = []
url = "http://www.maigoo.com/news/463071.html"
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)
main()
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python百行代碼自制電腦端網速懸浮窗的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-05-05
這篇文章主要介紹了pytorch如何定義新的自動求導函數(shù)問題，具有很好的參考價值，希望對大家有所幫助。以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。2022-12-12
使用python求斐波那契數(shù)列中第n個數(shù)的值示例代碼
這篇文章主要給大家介紹了關于使用python求斐波那契數(shù)列中第n個數(shù)的值的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者使用python具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2020-07-07
本文主要介紹了如何利用Python的ffmpy庫實現(xiàn)提取視頻中的音頻，從而幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-11-11
Python(wordcloud)如何根據文本數(shù)據(.txt文件)繪制詞云圖
這篇文章主要給大家介紹了關于Python(wordcloud)如何根據文本數(shù)據(.txt文件)繪制詞云圖的相關資料,詞云Wordcloud是文本數(shù)據的一種可視化表示方式,它通過設置不同的字體大小或顏色來表現(xiàn)每個術語的重要性,需要的朋友可以參考下2024-05-05
Python實現(xiàn)隊列的方法示例小結【數(shù)組，鏈表】
這篇文章主要介紹了Python實現(xiàn)隊列的方法,結合實例形式分析了Python基于數(shù)組和鏈表實現(xiàn)隊列的相關操作技巧與相關注意事項,需要的朋友可以參考下2020-02-02
Python批量實現(xiàn)Word/EXCEL/PPT轉PDF
在日常辦公和文檔處理中,有時我們需要將多個Word文檔、Excel表格或PPT演示文稿轉換為PDF文件,本文將介紹如何使用Python編程語言批量實現(xiàn)將多個Word、Excel和PPT文件轉換為PDF文件,需要的可以參考下2023-09-09
pycharm社區(qū)版安裝django并創(chuàng)建一個簡單項目的全過程
社區(qū)版的pycharm跟專業(yè)版的pycharm應用差別還是不太大,下面這篇文章主要給大家介紹了關于pycharm社區(qū)版安裝django并創(chuàng)建一個簡單項目的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-05-05
這篇文章主要介紹了django使用xlwt導出excel文件實例代碼，分享了相關代碼示例，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下2018-02-02
這篇文章主要介紹了Pycharm IDE的安裝和使用,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-04-04