python中HTMLParser模塊知識(shí)點(diǎn)總結(jié)
本章內(nèi)容,我們主要來(lái)講一下Python內(nèi)置的HTML解析庫(kù)HTMLParser模塊,基本上也是應(yīng)用于頁(yè)面抓取上,假設(shè),我們需要去收集頁(yè)面上已存在的靜態(tài)鏈接,但是頁(yè)面肯定代碼量都非常大,并且頁(yè)面也很多,這樣看來(lái),會(huì)比較麻煩,工作量也非常大,這個(gè)時(shí)候,我們就可以用到htmlparser模塊,一起來(lái)了解具體使用內(nèi)容。
安裝:
npm install htmlparser
htmlparser提供構(gòu)造函數(shù):
function Parser(handler) { this._handler = handler; }
HTMLParser解析HTML:
from html.parser import HTMLParser from html.entities import name2codepoint class MyHTMLParser(HTMLParser): def handle_starttag(self, tag, attrs): print('<%s>' % tag) def handle_endtag(self, tag): print('</%s>' % tag) def handle_startendtag(self, tag, attrs): print('<%s/>' % tag) def handle_data(self, data): print(data) def handle_comment(self, data): print('<!--', data, '-->') def handle_entityref(self, name): print('&%s;' % name) def handle_charref(self, name): print('&#%s;' % name) parser = MyHTMLParser() parser.feed('''<html> <head></head> <body> <!-- test html parser --> <p>Some <a href=\"#\">html</a> HTML tutorial...<br>END</p> </body></html>''')
HTML本質(zhì)上是XML的子集,但是HTML的語(yǔ)法沒(méi)有XML那么嚴(yán)格,大家也可以嘗試?yán)肏TMLParser解析HTML。
知識(shí)點(diǎn)擴(kuò)展:
常用方法介紹
l feed(data):主要用于接受帶html標(biāo)簽的str,當(dāng)調(diào)用這個(gè)方法時(shí)并提供相應(yīng)的data時(shí),整個(gè)實(shí)例(instance)開(kāi)始執(zhí)行,結(jié)束執(zhí)行close()。
l handle_starttag(tag, attrs): 這個(gè)方法接收Parse_starttag返回的tag和attrs,并進(jìn)行處理,處理方式通常由使用者進(jìn)行覆蓋,本身為空。
例如,連接的start tag是<a>,那么對(duì)應(yīng)的參數(shù)tag='a'(小寫(xiě))。attrs是start tag <>中的屬性,以元組形式(name, value)返回(所有這些內(nèi)容都是小寫(xiě))。
例如,對(duì)于<A http://www.baidu.com)]).
l handle_endtag(tag):跟上述一樣,只是處理的是結(jié)束標(biāo)簽,也就是以</開(kāi)頭的標(biāo)簽。
l handle_data(data):處理的是網(wǎng)頁(yè)的數(shù)據(jù),也就是開(kāi)始標(biāo)簽和結(jié)束標(biāo)簽之間的內(nèi)容。例如:<script>...</script>的省略號(hào)內(nèi)容
l handle_comment(data) ,處理注釋,<!-- -->之間的文本
l reset():將實(shí)例重置,包括作為參數(shù)輸入的數(shù)據(jù)進(jìn)行清空。
到此這篇關(guān)于python中HTMLParser模塊知識(shí)點(diǎn)總結(jié)的文章就介紹到這了,更多相關(guān)python中HTMLParser模塊是什么內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
到此這篇關(guān)于python中HTMLParser模塊知識(shí)點(diǎn)總結(jié)的文章就介紹到這了,更多相關(guān)python中HTMLParser模塊是什么內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python/JS實(shí)現(xiàn)常見(jiàn)加密算法的示例代碼
這篇文章主要為大家詳細(xì)介紹了常見(jiàn)的一些JS加密,并記錄了JS和Python的實(shí)現(xiàn)方式,主要有base64編碼偽加密、MD5、SHAI等,需要的可以參考一下2022-11-11Python pyinstaller庫(kù)的安裝配置教程分享
pyinstaller模塊主要用于python代碼打包成exe程序直接使用,這樣在其它電腦上即使沒(méi)有python環(huán)境也是可以運(yùn)行的。本文就來(lái)和大家分享一下pyinstaller庫(kù)的安裝配置教程,希望對(duì)大家有所幫助2023-04-04Python?add()集合中添加元素的實(shí)現(xiàn)
本文主要介紹了Python?add()集合中添加元素的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07django創(chuàng)建簡(jiǎn)單的頁(yè)面響應(yīng)實(shí)例教程
這篇文章主要給大家介紹了關(guān)于django如何創(chuàng)建簡(jiǎn)單的頁(yè)面響應(yīng)的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用django具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09wxpython中利用線程防止假死的實(shí)現(xiàn)方法
上午抽空學(xué)習(xí)了一下在wxpython中啟用線程的方法,將GUI和功能的執(zhí)行分開(kāi),果然程序運(yùn)行起來(lái)杠杠滴。因?yàn)槲夷莻€(gè)軟件的代碼暫時(shí)不能公開(kāi),這里專門(mén)寫(xiě)個(gè)小程序,作為今天的筆記吧2014-08-08python使用scrapy發(fā)送post請(qǐng)求的坑
這篇文章主要介紹了使用scrapy發(fā)送post請(qǐng)求的坑,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-09-09Python爬取求職網(wǎng)requests庫(kù)和BeautifulSoup庫(kù)使用詳解
這篇文章主要為大家介紹了Python爬取求職網(wǎng)及其他網(wǎng)頁(yè)時(shí)requests庫(kù)和BeautifulSoup庫(kù)的使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助2021-10-10Python實(shí)現(xiàn)全自動(dòng)輸入文本的示例詳解
這篇文章主要和大家分享一個(gè)Python全自動(dòng)輸入文本的腳本,可以實(shí)現(xiàn)自動(dòng)用Notepad++打開(kāi)文本文件,然后自動(dòng)輸入文本,最后保存并關(guān)閉文件,從而實(shí)現(xiàn)全面自動(dòng)化處理文本,希望對(duì)大家有所幫助2022-11-11matplotlib繪制多個(gè)子圖(subplot)的方法
這篇文章主要介紹了matplotlib繪制多個(gè)子圖(subplot)的方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12