三個(gè)python爬蟲項(xiàng)目實(shí)例代碼
更新時(shí)間：2019年12月28日 15:52:32 作者：Pumpkin0227
這篇文章主要介紹了三個(gè)python爬蟲項(xiàng)目實(shí)例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
這篇文章主要介紹了三個(gè)python爬蟲項(xiàng)目實(shí)例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
爬取內(nèi)涵段子：
#encoding=utf-8
import urllib2
import re
class neihanba():
def spider(self):
'''
爬蟲的主調(diào)度器
'''
isflow=True#判斷是否進(jìn)行下一頁(yè)
page=1
while isflow:
url="http://www.neihanpa.com/article/list_5_"+str(page)+".html"
html=self.load(url)
self.deal(html,page)
panduan=raw_input("是否繼續(xù)(y/n)!")
if panduan=="y":
isflow=True
page+=1
else:
isflow=False
def load(self,url):
'''
針對(duì)url地址進(jìn)行全部爬去
:param url: url地址
:return: 返回爬去的內(nèi)容
'''
header = {
"User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"
}
request = urllib2.Request(url, headers=header)
response = urllib2.urlopen(request)
html = response.read()
return html
def deal(self,html,page):
'''
對(duì)之前爬去的內(nèi)容進(jìn)行正則匹配，匹配出標(biāo)題和正文內(nèi)容
:param html:之前爬去的內(nèi)容
:param page: 正在爬去的頁(yè)碼
'''
parrten=re.compile('<li class="piclist\d+">(.*?)</li>',re.S)
titleList=parrten.findall(html)
for title in titleList:
parrten1=re.compile('<a href="/article/\d+.html" rel="external nofollow" >(.*)</a>')
ti1=parrten1.findall(title)
parrten2=re.compile('<div class="f18 mb20">(.*?)</div>',re.S)
til2=parrten2.findall(title)
for t in ti1:
tr=t.replace("<b>","").replace("</b>","")
self.writeData(tr,page)
for t in til2:
tr=t.replace("<p>","").replace("</p>","").replace("<br>","").replace("<br />","").replace("&ldquo","\"").replace("&rdquo","\"")
self.writeData(tr,page)
def writeData(self,context,page):
'''
將最終爬去的內(nèi)容寫入文件中
:param context: 匹配好的內(nèi)容
:param page: 當(dāng)前爬去的頁(yè)碼數(shù)
'''
fileName = "di" + str(page) + "yehtml.txt"
with open(fileName, "a") as file:
file.writelines(context + "\n")
if __name__ == '__main__':
n=neihanba()
n.spider()
爬取智聯(lián)：
#encoding=utf-8
import urllib
import urllib2
import re
class zhiLian():
def spider(self,position,workPlace):
'''
爬蟲的主調(diào)度器
:param position: 職位
:param workPlace: 工作地點(diǎn)
'''
url="http://sou.zhaopin.com/jobs/searchresult.ashx?"
url+=urllib.urlencode({"jl":workPlace})
url+="&"
url+=urllib.urlencode({"kw":position})
isflow=True#是否進(jìn)行下一頁(yè)的爬去
page=1
while isflow:
url+="&"+str(page)
html=self.load(url)
self.deal1(html,page)
panduan = raw_input("是否繼續(xù)爬蟲下一頁(yè)(y/n)!")
if panduan == "y":
isflow = True
page += 1
else:
isflow = False
def load(self,url):
'''
針對(duì)url地址進(jìn)行全部爬去
:param url: url地址
:return: 返回爬去的內(nèi)容
'''
header = {
"User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"
}
request = urllib2.Request(url, headers=header)
response = urllib2.urlopen(request)
html = response.read()
return html
def deal1(self,html,page):
'''
對(duì)之前爬去的內(nèi)容進(jìn)行正則匹配，匹配職位所對(duì)應(yīng)的鏈接
:param html:之前爬去的內(nèi)容
:param page: 正在爬去的頁(yè)碼
'''
parrten=re.compile('<a\s+style="font-weight:\s+bold"\s+par="ssidkey=y&ss=\d+&ff=\d+&sg=\w+&so=\d+"\s+href="(.*?)" rel="external nofollow" target="_blank">.*?</a>',re.S)
til=parrten.findall(html)#爬去鏈接
for t in til:
self.deal2(t,page)
def deal2(self,t,page):
'''
進(jìn)行二次爬蟲，然后在新的頁(yè)面中對(duì)公司、薪資、工作經(jīng)驗(yàn)進(jìn)行匹配
:param t: url地址
:param page: 當(dāng)前匹配的頁(yè)數(shù)
'''
html=self.load(t)#返回二次爬蟲的內(nèi)容
parrten1=re.compile('<a\s+onclick=".*?"\s+href=".*?" rel="external nofollow" \s+target="_blank">(.*?)\s+.*?<img\s+class=".*?"\s+src=".*?"\s+border="\d+"\s+vinfo=".*?"></a>',re.S)
parrten2=re.compile('<li><span>職位月薪：</span><strong>(.*?) <a.*?>.*?</a></strong></li>',re.S)
parrent3=re.compile('<li><span>工作經(jīng)驗(yàn)：</span><strong>(.*?)</strong></li>',re.S)
til1=parrten1.findall(html)
til2=parrten2.findall(html)
til3=parrent3.findall(html)
str=""
for t in til1:
t=t.replace('<img title="專屬頁(yè)面" src="http://img03.zhaopin.cn/2012/img/jobs/icon.png" border="0" />',"")
str+=t
str+="\t"
for t in til2:
str+=t
str += "\t"
for t in til3:
str+=t
self.writeData(str,page)
def writeData(self,context,page):
'''
將最終爬去的內(nèi)容寫入文件中
:param context: 匹配好的內(nèi)容
:param page: 當(dāng)前爬去的頁(yè)碼數(shù)
'''
fileName = "di" + str(page) + "yehtml.txt"
with open(fileName, "a") as file:
file.writelines(context + "\n")
if __name__ == '__main__':
position=raw_input("請(qǐng)輸入職位：")
workPlace=raw_input("請(qǐng)輸入工作地點(diǎn)：")
z=zhiLian()
z.spider(position,workPlace)
爬取貼吧：
#encoding=utf-8
import urllib
import urllib2
import re
class teiba():
def spider(self,name,startPage,endPage):
url="http://tieba.baidu.com/f?ie=utf-8&"
url+=urllib.urlencode({"kw":name})
for page in range(startPage,endPage+1):
pn=50*(page-1)
urlFull=url+"&"+urllib.urlencode({"pn":pn})
html=self.loadPage(url)
self.dealPage(html,page)
def loadPage(self,url):
header={
"User-Agent":" Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"
}
request=urllib2.Request(url,headers=header)
response=urllib2.urlopen(request)
html=response.read()
return html
def dealPage(self,html,page):
partten=re.compile(r'<a\s+rel="noreferrer"\s+href="/p/\d+" rel="external nofollow" \s+title=".*?"\s+target="_blank" class="j_th_tit\s+">(.*?)</a>',re.S)
titleList=partten.findall(html)
rstr=r'<span\s+class="topic-tag"\s+data-name=".*?">#(.*?)#</span>'
for title in titleList:
title=re.sub(rstr,"",title)
self.writePage(title,page)
def writePage(self,context,page):
fileName="di"+str(page)+"yehtml.txt"
with open(fileName,"a") as file:
file.writelines(context+"\n")
if __name__ == '__main__':
name=raw_input("請(qǐng)輸入貼吧名：")
startPage=raw_input("請(qǐng)輸入起始頁(yè)：")
endPage=raw_input("請(qǐng)輸入終止頁(yè)：")
t=teiba()
t.spider(name,int(startPage),int(endPage))
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:
相關(guān)文章
Python如何用pip命令升級(jí)所有可以升級(jí)的(過(guò)時(shí)的)包
這篇文章主要介紹了Python如何用pip命令升級(jí)所有可以升級(jí)的(過(guò)時(shí)的)包,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-03-03
在Python中使用SimpleParse模塊進(jìn)行解析的教程
這篇文章主要介紹了在Python中使用SimpleParse模塊進(jìn)行解析的教程,文章來(lái)自于IBM官方的開發(fā)者技術(shù)文檔,需要的朋友可以參考下2015-04-04
Python?常用內(nèi)置模塊超詳細(xì)梳理總結(jié)
模塊是一個(gè)包含索引你定義的函數(shù)和變量的文件，其擴(kuò)展名為.py。模塊可以被其他程序引入，以使用該模塊中的函數(shù)等功能。這也是使用python標(biāo)準(zhǔn)庫(kù)的方法2022-03-03
Python3實(shí)現(xiàn)的判斷環(huán)形鏈表算法示例
這篇文章主要介紹了Python3實(shí)現(xiàn)的判斷環(huán)形鏈表算法,涉及Python針對(duì)環(huán)形鏈表的遍歷、判斷相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
Pytorch結(jié)合PyG實(shí)現(xiàn)MLP過(guò)程詳解
這篇文章主要為大家介紹了Pytorch結(jié)合PyG實(shí)現(xiàn)MLP過(guò)程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-04-04
分析Python感知線程狀態(tài)的解決方案之Event與信號(hào)量
本文主要介紹了如何感知線程狀態(tài)、如何停止一個(gè)線程、線程之間的Event用法2021-06-06
詳解pandas庫(kù)pd.read_excel操作讀取excel文件參數(shù)整理與實(shí)例
這篇文章主要介紹了pandas庫(kù)pd.read_excel操作讀取excel文件參數(shù)整理與實(shí)例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-02-02
這篇文章主要介紹了django實(shí)現(xiàn)分頁(yè)的方法,實(shí)例分析了django分頁(yè)的技巧與Paginator對(duì)象的用法,需要的朋友可以參考下2015-05-05
Pandas篩選DataFrame含有空值的數(shù)據(jù)行的實(shí)現(xiàn)
本文主要介紹了Pandas篩選DataFrame含有空值的數(shù)據(jù)行的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
這篇文章主要介紹了python類和繼承用法,實(shí)例分析了Python類的定義與繼承的實(shí)現(xiàn)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-07-07