Python爬蟲(chóng)實(shí)例爬取網(wǎng)站搞笑段子
眾所周知,python是寫(xiě)爬蟲(chóng)的利器,今天作者用python寫(xiě)一個(gè)小爬蟲(chóng)爬下一個(gè)段子網(wǎng)站的眾多段子。
目標(biāo)段子網(wǎng)站為“http://ishuo.cn/”,我們先分析其下段子的所在子頁(yè)的url特點(diǎn),可以輕易發(fā)現(xiàn)發(fā)現(xiàn)為“http://ishuo.cn/subject/”+數(shù)字,
經(jīng)過(guò)測(cè)試發(fā)現(xiàn),該網(wǎng)站的反扒機(jī)制薄弱,可以輕易地爬遍其所有站點(diǎn)。
現(xiàn)在利用python的re及urllib庫(kù)將其所有段子扒下
import sys import re import urllib #返回html格式 def gethtml(url): page=urllib.urlopen(url) html=page.read() return html def getmessage(html): p=re.compile(r'<div class="content">(.*)</div><script type="text/javascript">') #對(duì)段子內(nèi)容進(jìn)行正則匹配 message=re.findall(p,html)#返回正則匹配的結(jié)果 return message fp=open('data.txt','w+') #實(shí)際范圍比1~7000要大,因?yàn)闀r(shí)間原因這里暫定為1~7000 for i in range(1,7000): i=str(i) web=gethtml('http://ishuo.cn/subject/'+i) #該網(wǎng)站段子的鏈接特點(diǎn) message=getmessage(web) message2=''.join(message)#將結(jié)果轉(zhuǎn)換為字符串類型 #message2=message2.decode('utf8','strict') message2=str(message2) print message2 fp.writelines(message2+'\n') #將爬下的眾多段子寫(xiě)入文件中 fp.close()
data.txt收錄了其中爬下段子的結(jié)果:
收錄的部分結(jié)果如下:
【韓寒】明明下流的人,湊一起就叫上流社會(huì)? 日子過(guò)不下去的時(shí)候,我就得向錢(qián)看!只有當(dāng)日子過(guò)滋潤(rùn)了,我才能夠向前看! 某公司一群基層員工年底聚會(huì),沒(méi)有加薪?jīng)]有升職連年終獎(jiǎng)金都被取消了,打算借酒澆愁一回。有人帶了瓶酒來(lái),大家一看那酒的名字,眼淚就都撲簌簌地往下掉開(kāi)了,還有人頓時(shí)抱頭痛哭了一場(chǎng)。那酒的名字叫老白干。 【段子】群里聽(tīng)到的段子,太樂(lè)了:路上聽(tīng)到一大叔情緒激動(dòng)地打電話:對(duì)!國(guó)足進(jìn)3個(gè)球了!沒(méi)錯(cuò)!是男足!沒(méi)錯(cuò)沒(méi)錯(cuò)!是和韓國(guó)比賽!什么?對(duì)方?對(duì)對(duì)對(duì)!對(duì)方也是男足! 一女士向閨蜜訴說(shuō),他結(jié)婚原因:他向我求婚,我說(shuō)跟我結(jié)婚,沒(méi)門(mén)!我還沒(méi)發(fā)昏到那程度!后來(lái),他就用石頭把我碰昏了!我就傻了,死心塌地跟他結(jié)婚了!閨蜜說(shuō):你不告他,反而跟他結(jié)婚,真是發(fā)昏了!他用什么石頭碰的你呀?女士說(shuō):他用鉆石! 【冷笑話】一男子提著一個(gè)皮包,擠上了公共汽車,車上人擁擠,一小偷用刀片割其皮包,竊其財(cái)物。一勇敢女子見(jiàn)狀偷偷的提醒身邊的男士,但由于緊張,說(shuō)道:“先生,有人要割你的包皮”…… 【段子】外交部工作:周一表示不滿;周二抗議;周三強(qiáng)烈譴責(zé);周四嚴(yán)正交涉;周五深表遺憾。周六、周日休息。 經(jīng)考證孔子是經(jīng)濟(jì)學(xué)家,有其語(yǔ)為證: 三十而立--三十兩銀子只能站著聽(tīng)課; 四十不惑--四十兩就能一直問(wèn)到?jīng)]疑問(wèn)為止; 五十知天命--五十兩就能知道明天考試命題; 六十耳順--六十兩老師會(huì)說(shuō)你喜歡聽(tīng)的話,七十而從心所欲-七十兩你來(lái)不來(lái)、學(xué)習(xí)的怎么樣都隨便了。 班車上,坐在身邊的一位美女同事睡著了,竟然打起呼嚕,覺(jué)得這樣很丟臉,就用手輕推她,只見(jiàn)她喃喃的說(shuō):不要了老公,明天吧。 【太尖銳】蒙古國(guó)是個(gè)純內(nèi)陸國(guó),卻有個(gè)海軍部。中國(guó)老大哥很好奇地問(wèn):”你們連海都沒(méi)有,搞什么海軍部???”蒙古人回答道:”你們不也有文化部么?!” 一女程序員征婚:SELECT * FROM 男人 WHERE 未婚=true and 有房=true and 有車=true and 條件 in (‘大方',\'紳士',\'會(huì)做家務(wù)\',\'帥氣\',\'最好還能帶孩子') 一資深的程序員回復(fù):(0 row(s) affected) 【小笑話】孔子,孟子,老子三人同時(shí)在豬圈睡了一夜之后,發(fā)現(xiàn)母豬懷孕了,經(jīng)DNA檢驗(yàn)證明,肯定不是孔子干的,也不是孟子干的,請(qǐng)問(wèn),那是誰(shuí)干的? 【冷笑話】一妓深夜應(yīng)召,路遇巡警,巡警大喝:誰(shuí)?干什么的?女回應(yīng):妓者!巡警肅然起敬,柔和問(wèn)道:那個(gè)報(bào)社的?女答:“和男晚抱”!大笑而去! 無(wú)聊的最高境界是什么?擺渡結(jié)果如下: 1、對(duì)著鏡子,數(shù)自己的頭發(fā); 2、拿著剃刀等胡子長(zhǎng)出來(lái); 3、跟正吸你血的蚊子聊天; 4、看著天花板上的污漬,把它想成山水畫(huà); 5、給N年以前的報(bào)紙校對(duì)錯(cuò)別字; 6、喝一大杯水,然后坐到馬桶上去等著。 【經(jīng)典語(yǔ)錄】當(dāng)我要找我崇拜的人的時(shí)候,我就照鏡子。 —— 李敖 看過(guò)冬奧會(huì)冰壺比賽后,一大媽逢人便說(shuō):“你看這外國(guó)奧運(yùn)會(huì)的志愿者就是不一般啊,擦地每一個(gè)都擦得那么認(rèn)真……” 【胡歌】我眼中的世界從未如此純凈 我的左手邊是一面雪白的墻 我的右手邊是一面和左手邊一樣的墻 我的前邊有一扇門(mén) 從那里出去可以看到更多白花花的墻 雖然已是午夜時(shí)分 窗外卻分外敞亮 我后邊的萬(wàn)家燈火足以照亮此時(shí)白白的墻 我是不是瘋了? 【冷笑話】:?jiǎn)挝挥袀€(gè)同事,蒙古人,屬于常魂游天外的大神級(jí)人物。一年休假回家,假期過(guò)了好幾天還不回來(lái),領(lǐng)導(dǎo)給打電話,丫在電話里說(shuō):領(lǐng)導(dǎo),我還在呼倫貝爾草原上騎馬找我家呢,我家是游牧民族,現(xiàn)在不知道搬到哪里了。#搞笑# 【地名簡(jiǎn)述】一次歷史考試,有一道題是讓同學(xué)們?nèi)芜x十個(gè)國(guó)家或地區(qū),并加以簡(jiǎn)述。 一個(gè)學(xué)生是這樣答的:從前有個(gè)柬埔寨,里面有個(gè)阿拉伯。一天,他帶著墨西哥去爬山,爬到新加坡時(shí),突然來(lái)了只頭上長(zhǎng)著好望角的巴拿馬,嚇出一身阿富汗,拔腿跑進(jìn)名古屋急忙關(guān)也門(mén),結(jié)果碰掉了一顆葡萄牙。 【幽默說(shuō)婆媳】為什么天底下最難搞的關(guān)系是婆媳關(guān)系?1.媳婦的別稱是“新娘”,一個(gè)新的娘突然來(lái)到家里,舊的娘心里能好受嗎?2.婆婆用了五年的時(shí)間教會(huì)兒子穿衣服,媳婦用不到五秒鐘就能讓兒子把衣服脫光,這是一種怎樣的心理落差? 在一個(gè)潑水節(jié)上,大家都開(kāi)心瘋狂的相互潑水,突然有一個(gè)人破口大罵:“他媽的,誰(shuí)在潑我”。旁邊的人說(shuō)他,你干嘛罵人啊,人潑你是對(duì)你的祝福啊!這個(gè)人氣急敗壞的說(shuō):你知道什么?哪個(gè)王八蛋是用開(kāi)水在潑我! 1、一定要把多余的房子賣掉,#地震#來(lái)了才知道,原來(lái)不動(dòng)產(chǎn)也是會(huì)動(dòng)的,而且動(dòng)起來(lái)嚇?biāo)廊恕?2、余震就象打麻將,如果半天沒(méi)什么動(dòng)靜,就絕對(duì)是在整大的! 3、看余震的心情就象初戀少女看情人,既怕他不來(lái)又怕他亂來(lái)! 【冷笑話】1.一居室,求合租,面議。2.小事招魂,大事挖墳。3.我覺(jué)得我還可以搶救一下!4.提供鞭尸服務(wù),一次100!5.基因重組中,請(qǐng)稍候二十年6.單挑冥王哈迪斯中,征求組隊(duì)!7.當(dāng)你看清這行字的時(shí)候:朋友,你踩到我了。8.老子終于不用怕鬼了!9.給爺笑一個(gè),要不爺給你笑一個(gè)? 局長(zhǎng)發(fā)短信給女秘書(shū):想死你了,在國(guó)際酒店1203號(hào)房,快來(lái)!卻不小心按了群發(fā)鍵。片刻,回復(fù)分至。女秘書(shū):德性,干嘛猴急!女科長(zhǎng):領(lǐng)導(dǎo),今天不方便,改天吧!男副局長(zhǎng):不知道你也是同志啊?女部下:馬上到!對(duì)門(mén)王姐:今天老公在家,明天行嗎?女副局長(zhǎng):你才想起我呀?老婆:回來(lái)??!還浪費(fèi)那錢(qián)! 愛(ài)情和婚姻就像老黑熊掰玉米棒子,不要指望你能掰到最大和最好的,要挑自己最喜歡最滿意的掰一個(gè),掰到了就不要在去在掰了。要不然就會(huì)掰來(lái)掰去掰了個(gè)最小的最不喜歡的回來(lái)。 【小偷也幽默】相對(duì)兩戶人家,一戶防盜門(mén),一戶普通木門(mén)。一天,防盜門(mén)這家失竊,發(fā)現(xiàn)#小偷#在普通木門(mén)門(mén)口留下了紙條:你相信我,我也相信你。 [強(qiáng)人語(yǔ)錄](méi):世界上最遠(yuǎn)的距離.不是生與死.而是我在電信你在網(wǎng)通 世界上最遠(yuǎn)的距離,不是樹(shù)與樹(shù)的距離,而是同根生長(zhǎng)的樹(shù)枝,卻無(wú)法在風(fēng)中相依。(~ o ~)~zZ 世界上最遠(yuǎn)的距離是啥?是兩個(gè)人到了邊境,你過(guò)去了,我護(hù)照忘帶了。。 溫總理語(yǔ)錄:“一個(gè)人不管有多聰明,多能干,背景條件有多好,如果不懂得如何去做人、做事,那么他最終的結(jié)局肯定是失敗。做人做事是一門(mén)藝術(shù),更是一門(mén)學(xué)問(wèn)。很多人之所以一輩子都碌碌無(wú)為,那是因?yàn)樗盍艘惠呑佣紱](méi)有弄明白該怎樣去做人做事?!? 【極品冷笑話】:劉若英向周杰倫求婚,居然遭拒?。。≈芏钋榈卣f(shuō):“奶茶,我更喜歡優(yōu)樂(lè)美!” 你知道哪兩種水果居然有手機(jī)?--“蘿卜青菜,各有索愛(ài)。” 糗事百科:“我站起身來(lái)給一孕婦讓座,她疑惑地看了看我,忽然明白過(guò)來(lái),哭笑不得道:同學(xué),我這是胖!” 有些事,我們總是弄不懂;有些人,我們總是猜不透;有些道,我們總是悟不盡;有些理,我們總是想不通;有些坎,我們總是跨不過(guò);有些傷,我們總是治不好;有些天,我們總是睡不著;有些地,我們總是去不了;有些情,我們總是說(shuō)不出;有些愛(ài),我們總是得不到。------人生十大困惑 六歲的小孩第一次觀賞電視里的芭蕾舞,看到臺(tái)上演員們踮著腳尖急轉(zhuǎn)時(shí),他禁不住問(wèn)他的父親:「他們?yōu)槭颤N不選些高個(gè)的女孩來(lái)跳呢?」 愛(ài)情就像白米飯,浪漫過(guò)程就像菜。人餓時(shí),會(huì)想著吃飯。但吃完后,更多人喜歡去評(píng)論菜好不好吃,而忽略白米飯。 用別人的智慧充實(shí)自己,不用別人的智慧貶低自己;用別人的成功激勵(lì)自己,不用別人的成功折磨自己;用別人的錯(cuò)誤提醒自己,不用別人的錯(cuò)誤娛樂(lè)自己。 【老婆和情人的差別】老婆會(huì)告訴男人青菜多少錢(qián)一斤,情人會(huì)告訴男人夜空有多少顆星星。 【我可以等】獄吏問(wèn)一個(gè)即將被處死的罪犯早餐想吃什么?罪犯說(shuō):我想吃桃子。獄吏:你知道,現(xiàn)在是冬天,哪有桃子!罪犯說(shuō):沒(méi)關(guān)系,我可以等。
爬下的段子為編寫(xiě)如聊天機(jī)器人、公眾號(hào)、段子發(fā)布點(diǎn)提供了豐富素材。
總結(jié)
以上就是本文關(guān)于Python爬蟲(chóng)實(shí)例爬取網(wǎng)站搞笑段子的全部?jī)?nèi)容,希望對(duì)大家有所幫助,感興趣的朋友可以繼續(xù)參閱本站:Python入門(mén)之三角函數(shù)全解【收藏】、python好玩的項(xiàng)目—色情圖片識(shí)別代碼分享、Python實(shí)現(xiàn)一個(gè)簡(jiǎn)單的驗(yàn)證碼程序等,有什么問(wèn)題可以隨時(shí)留言,小編會(huì)及時(shí)回復(fù)大家的。
感謝朋友們對(duì)本站的支持!
- python爬蟲(chóng)爬取幽默笑話網(wǎng)站
- 如何使用python爬蟲(chóng)爬取要登陸的網(wǎng)站
- Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法分析
- python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲(chóng)實(shí)例
- python解決網(wǎng)站的反爬蟲(chóng)策略總結(jié)
- Python爬蟲(chóng)爬取美劇網(wǎng)站的實(shí)現(xiàn)代碼
- Python爬蟲(chóng)模擬登錄帶驗(yàn)證碼網(wǎng)站
- python爬蟲(chóng)爬取筆趣網(wǎng)小說(shuō)網(wǎng)站過(guò)程圖解
相關(guān)文章
Python3+Pycharm+PyQt5環(huán)境搭建步驟圖文詳解
這篇文章主要介紹了Python3+Pycharm+PyQt5環(huán)境搭建步驟圖文詳解,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-05-05python爬蟲(chóng)搭配起B(yǎng)ilibili唧唧的流程分析
這篇文章主要介紹了python爬蟲(chóng)搭配起B(yǎng)ilibili唧唧的流程分析,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-12-12bpython 功能強(qiáng)大的Python shell
bpython是一個(gè)不錯(cuò)的Python解釋器的界面,本文帶著大家了解認(rèn)識(shí)一下bpython,感興趣的小伙伴們可以參考一下2016-02-02Tensorflow: 從checkpoint文件中讀取tensor方式
今天小編就為大家分享一篇Tensorflow: 從checkpoint文件中讀取tensor方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02python正則表達(dá)式匹配不包含某幾個(gè)字符的字符串方法
今天小編就為大家分享一篇python正則表達(dá)式匹配不包含某幾個(gè)字符的字符串方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07Python實(shí)現(xiàn)隨機(jī)游走的示例代碼
隨機(jī)游走是一個(gè)數(shù)學(xué)對(duì)象,稱為隨機(jī)或隨機(jī)過(guò)程,它描述了一條路徑,該路徑由一些數(shù)學(xué)空間上的一系列隨機(jī)步驟組成,下面我們就來(lái)學(xué)習(xí)一下Python如何實(shí)現(xiàn)隨機(jī)游走的吧2023-12-12python3實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲(chóng)之BeautifulSoup使用詳解
這篇文章主要介紹了python3實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲(chóng)之BeautifulSoup使用詳解,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-12-12