使用BeautifulSoup爬蟲程序獲取百度搜索結(jié)果的標(biāo)題和url示例
更新時(shí)間：2014年01月19日 15:37:07 作者：
這篇文章主要介紹了使用BeautifulSoup編寫了一段爬蟲程序獲取百度搜索結(jié)果的標(biāo)題和url的示例，大家參考使用吧
熟悉Java的jsoup包的話，對于Python的BeautifulSoup庫應(yīng)該很容易上手。
復(fù)制代碼 代碼如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃貨 程序員"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----標(biāo)題----\n" + a_click.renderContents()#標(biāo)題
print "----鏈接----\n" + str(a_click.get("href"))#鏈接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print
相關(guān)文章
今天小編就為大家分享一篇Python 利用切片從列表中取出一部分使用的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
在python列表操作中除了排序、刪除、添加、去重外,合并也是經(jīng)常需求的操作,下面這篇文章主要給大家介紹了關(guān)于Python中合并列表的5種方法,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-02-02
Python基礎(chǔ)之python循環(huán)控制語句break/continue詳解
Python中提供了兩個(gè)關(guān)鍵字用來控制循環(huán)語句,分別是break和continue，接下來通過兩個(gè)案例來區(qū)分這兩個(gè)控制語句的不同，感興趣的朋友一起看看吧2021-09-09
type()是一個(gè)內(nèi)置函數(shù)，可以很方便地查詢對象數(shù)據(jù)類型；主要有兩種用法：一個(gè)參數(shù)和三個(gè)參數(shù)，這篇文章主要介紹了Python中的?type()函數(shù),需要的朋友可以參考下2022-08-08
今天小編就為大家分享一篇python django中8000端口被占用的解決，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
python利用微信公眾號實(shí)現(xiàn)報(bào)警功能
微信公眾號共有三種，服務(wù)號、訂閱號、企業(yè)號。它們在獲取AccessToken上各有不同。接下來通過本文給大家介紹python利用微信公眾號實(shí)現(xiàn)報(bào)警功能，感興趣的朋友一起看看吧2018-06-06
這篇文章主要介紹了python爬蟲請求頭的使用,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
Python 2強(qiáng)大的一個(gè)地方是它身后巨大的第三方庫，恩，可以做任何事。Python 3沒有這個(gè)。是的，很多庫已經(jīng)移植了，但是仍然有數(shù)以十倍的庫沒有移植過去，而且也不太容易2014-11-11
今天小編就為大家分享一篇python遍歷文件夾找出文件夾后綴為py的文件方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要為大家介紹了Python順序結(jié)構(gòu)語句，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01