python制作爬蟲并將抓取結果保存到excel中
學習Python也有一段時間了，各種理論知識大體上也算略知一二了，今天就進入實戰(zhàn)演練：通過Python來編寫一個拉勾網(wǎng)薪資調(diào)查的小爬蟲。
第一步：分析網(wǎng)站的請求過程
我們在查看拉勾網(wǎng)上的招聘信息的時候，搜索Python，或者是PHP等等的崗位信息，其實是向服務器發(fā)出相應請求，由服務器動態(tài)的響應請求，將我們所需要的內(nèi)容通過瀏覽器解析，呈現(xiàn)在我們的面前。
可以看到我們發(fā)出的請求當中，F(xiàn)ormData中的kd參數(shù)，就代表著向服務器請求關鍵詞為Python的招聘信息。
分析比較復雜的頁面請求與響應信息，推薦使用Fiddler，對于分析網(wǎng)站來說絕對是一大殺器。不過比較簡單的響應請求用瀏覽器自帶的開發(fā)者工具就可以，比如像火狐的FireBug等等，只要輕輕一按F12，所有的請求的信息都會事無巨細的展現(xiàn)在你面前。
經(jīng)由分析網(wǎng)站的請求與響應過程可知，拉勾網(wǎng)的招聘信息都是由XHR動態(tài)傳遞的。
我們發(fā)現(xiàn)，以POST方式發(fā)出的請求有兩個，分別是companyAjax.json和positionAjax.json，它們分別控制當前顯示的頁面和頁面中包含的招聘信息。
可以看到，我們所需要的信息包含在positionAjax.json的Content->result當中，其中還包含了一些其他參數(shù)信息，包括總頁面數(shù)（totalPageCount），總招聘登記數(shù)（totalCount）等相關信息。
第二步：發(fā)送請求，獲取頁面
知道我們所要抓取的信息在哪里是最為首要的，知道信息位置之后，接下來我們就要考慮如何通過Python來模擬瀏覽器，獲取這些我們所需要的信息。
def read_page(url, page_num, keyword): # 模仿瀏覽器post需求信息，并讀取返回后的頁面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通過頁面分析，發(fā)現(xiàn)瀏覽器提交的FormData包括以下參數(shù)
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page
其中比較關鍵的步驟在于如何仿照瀏覽器的Post方式，來包裝我們自己的請求。
request包含的參數(shù)包括所要抓取的網(wǎng)頁url，以及用于偽裝的headers。urlopen中的data參數(shù)包括FormData的三個參數(shù)(first、pn、kd)
包裝完畢之后，就可以像瀏覽器一樣訪問拉勾網(wǎng)，并獲得頁面數(shù)據(jù)了。
第三步：各取所需，獲取數(shù)據(jù)
獲得頁面信息之后，我們就可以開始爬蟲數(shù)據(jù)中最主要的步驟：抓取數(shù)據(jù)。
抓取數(shù)據(jù)的方式有很多，像正則表達式re，lxml的etree，json，以及bs4的BeautifulSoup都是python3抓取數(shù)據(jù)的適用方法。大家可以根據(jù)實際情況，使用其中一個，又或多個結合使用。
def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result']
# 通過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其他參數(shù)
page_result = [num for num in range(15)] # 構造一個容量為15的占位list，用以構造接下來的二維數(shù)組
for i in range(15):
page_result[i] = [] # 構造二維數(shù)組
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍歷參數(shù)，將它們放置在同一個list當中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回當前頁的招聘信息
第四步：將所抓取的信息存儲到excel中
獲得原始數(shù)據(jù)之后，為了進一步的整理與分析，我們有結構有組織的將抓取到的數(shù)據(jù)存儲到excel中，方便進行數(shù)據(jù)的可視化處理。
這里我用了兩個不同的框架，分別是老牌的xlwt.Workbook、以及xlsxwriter。
def save_excel(fin_result, tag_name, file_name):
book = Workbook(encoding='utf-8')
tmp = book.add_sheet('sheet')
times = len(fin_result)+1
for i in range(times): # i代表的是行,i+1代表的是行首信息
if i == 0:
for tag_name_i in tag_name:
tmp.write(i, tag_name.index(tag_name_i), tag_name_i)
else:
for tag_list in range(len(tag_name)):
tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))
book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)
首先是xlwt，不知道為什么，xlwt存儲到100多條數(shù)據(jù)之后，會存儲不全，而且excel文件也會出現(xiàn)“部分內(nèi)容有問題，需要進行修復”我檢查了很多次，一開始以為是數(shù)據(jù)抓取的不完全，導致的存儲問題。后來斷點檢查，發(fā)現(xiàn)數(shù)據(jù)是完整的。后來換了本地的數(shù)據(jù)進行處理，也沒有出現(xiàn)問題。我當時的心情是這樣的：
到現(xiàn)在我也沒弄明白，有知道的大神希望能告訴我ლ(╹ε╹ლ)
def save_excel(fin_result, tag_name, file_name): # 將抓取到的招聘信息存儲到excel當中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默認存儲在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因為被表格的表頭所占
tmp.write_row(con_pos, content)
book.close()
這是使用xlsxwriter存儲的數(shù)據(jù)，沒有問題，可以正常使用。
到從為止，一個抓取拉勾網(wǎng)招聘信息的小爬蟲就誕生了。
附上源碼
#! -*-coding:utf-8 -*-
from urllib import request, parse
from bs4 import BeautifulSoup as BS
import json
import datetime
import xlsxwriter
starttime = datetime.datetime.now()
url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'
# 拉鉤網(wǎng)的招聘信息都是動態(tài)獲取的，所以需要通過post來遞交json信息，默認城市為北京
tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize',
'industryField', 'companyLabelList'] # 這是需要抓取的標簽信息，包括公司名稱，學歷要求，薪資等等
tag_name = ['公司名稱', '公司簡稱', '職位名稱', '所需學歷', '工資', '公司資質', '公司規(guī)模', '所屬類別', '公司介紹']
def read_page(url, page_num, keyword): # 模仿瀏覽器post需求信息，并讀取返回后的頁面信息
page_headers = {
'Host': 'www.lagou.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = parse.urlencode([ # 通過頁面分析，發(fā)現(xiàn)瀏覽器提交的FormData包括以下參數(shù)
('first', boo),
('pn', page_num),
('kd', keyword)
])
req = request.Request(url, headers=page_headers)
page = request.urlopen(req, data=page_data.encode('utf-8')).read()
page = page.decode('utf-8')
return page
def read_tag(page, tag):
page_json = json.loads(page)
page_json = page_json['content']['result'] # 通過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其他參數(shù)
page_result = [num for num in range(15)] # 構造一個容量為15的list占位，用以構造接下來的二維數(shù)組
for i in range(15):
page_result[i] = [] # 構造二維數(shù)組
for page_tag in tag:
page_result[i].append(page_json[i].get(page_tag)) # 遍歷參數(shù)，將它們放置在同一個list當中
page_result[i][8] = ','.join(page_result[i][8])
return page_result # 返回當前頁的招聘信息
def read_max_page(page): # 獲取當前招聘關鍵詞的最大頁數(shù)，大于30的將會被覆蓋，所以最多只能抓取30頁的招聘信息
page_json = json.loads(page)
max_page_num = page_json['content']['totalPageCount']
if max_page_num > 30:
max_page_num = 30
return max_page_num
def save_excel(fin_result, tag_name, file_name): # 將抓取到的招聘信息存儲到excel當中
book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默認存儲在桌面上
tmp = book.add_worksheet()
row_num = len(fin_result)
for i in range(1, row_num):
if i == 1:
tag_pos = 'A%s' % i
tmp.write_row(tag_pos, tag_name)
else:
con_pos = 'A%s' % i
content = fin_result[i-1] # -1是因為被表格的表頭所占
tmp.write_row(con_pos, content)
book.close()
if __name__ == '__main__':
print('**********************************即將進行抓取**********************************')
keyword = input('請輸入您要搜索的語言類型：')
fin_result = [] # 將每頁的招聘信息匯總成一個最終的招聘信息
max_page_num = read_max_page(read_page(url, 1, keyword))
for page_num in range(1, max_page_num):
print('******************************正在下載第%s頁內(nèi)容*********************************' % page_num)
page = read_page(url, page_num, keyword)
page_result = read_tag(page, tag)
fin_result.extend(page_result)
file_name = input('抓取完成，輸入文件名保存：')
save_excel(fin_result, tag_name, file_name)
endtime = datetime.datetime.now()
time = (endtime - starttime).seconds
print('總共用時：%s s' % time)
還有許多功能可以添加，比如說通過修改city參數(shù)查看不同城市的招聘信息啦等等，大家可以自行開發(fā)，這里只做拋磚引玉之用，歡迎交流，
相關文章
在現(xiàn)代網(wǎng)絡管理中,備份交換機的配置信息是一項至關重要的任務,備份可以確保在交換機發(fā)生故障或配置錯誤時,能夠迅速恢復到之前的工作狀態(tài),本文將詳細介紹如何使用Python腳本備份華為交換機的配置信息,需要的朋友可以參考下2024-06-06
這篇文章主要介紹了Python urlopen()參數(shù)代碼示例解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-12-12
本文詳細講解了Python包管理工具pip的用法，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-05-05
這篇文章主要給大家介紹了關于Django框架教程之中間件MiddleWare的相關資料，文中通過示例代碼介紹的非常詳細，對大家學習或者使用Django框架具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-12-12
Mac中Python 3環(huán)境下安裝scrapy的方法教程
作為一名python爬蟲愛好者,怎能不折騰下Scrapy？折騰了許久之后終于安裝到了mac中，所以下面這篇文章主要給大家介紹了關于Mac系統(tǒng)中Python 3環(huán)境下安裝scrapy的相關資料，文中將實現(xiàn)的步驟一步步介紹的非常詳細，需要的朋友可以參考下。2017-10-10
Python數(shù)據(jù)可視化教程之Matplotlib實現(xiàn)各種圖表實例
這篇文章主要給大家介紹了關于Python數(shù)據(jù)可視化教程之利用Matplotlib實現(xiàn)各種圖表的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面來一起看看吧2019-01-01
這篇文章主要介紹了python3如何使用Requests測試帶簽名的接口，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-02-02
matplotlib中的animation提供了動態(tài)繪圖功能，這篇文章主要為大家詳細介紹了Python如何利用matplotlib實現(xiàn)動態(tài)繪圖，感興趣的可以了解一下2023-05-05
這篇文章主要介紹了解決pytorch中的kl divergence計算問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
今天小編就為大家分享一篇使用Python的Turtle繪制哆啦A夢實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11