亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python 自動提交和抓取網(wǎng)頁

 更新時間：2009年07月13日 00:36:49   作者：  
最近在研究怎么樣做個自動發(fā)帖器，要完成這個工具難度蠻大的，驗(yàn)證碼就是一個大問題(還沒有想到解決辦法哦，不管了），先要解決的是如何抓取，分析和提交頁面的問題。
下面是用python寫的，使用lxml來做html分析，從網(wǎng)上看到的，說是分析速度最快的哦，不過沒有驗(yàn)證過。好了，上代碼。
復(fù)制代碼 代碼如下:

import urllib
import urllib2
import urlparse
import lxml.html
def url_with_query(url, values):
parts = urlparse.urlparse(url)
rest, (query, frag) = parts[:-2], parts[-2:]
return urlparse.urlunparse(rest + (urllib.urlencode(values), None))
def make_open_http():
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
opener.addheaders = [] # pretend we're a human -- don't do this
def open_http(method, url, values={}):
if method == "POST":
return opener.open(url, urllib.urlencode(values))
else:
return opener.open(url_with_query(url, values))
return open_http
open_http = make_open_http()
tree = lxml.html.fromstring(open_http("GET", "http://chabaoo.cn").read())
form = tree.forms[0]
form.fields["q"] = "eplussoft"
form.action="http://chabaoo.cn/search"
response = lxml.html.submit_form(form,open_http=open_http)
html = response.read()
doc = lxml.html.fromstring(html)
lxml.html.open_in_browser(doc)

恩，驗(yàn)證碼是個大問題。還有今天看了一些百度貼吧上的東西，更是壞了心情，它的驗(yàn)證碼是用ajax取的圖片，這就更加麻煩了。不過好像現(xiàn)在大多數(shù)的論壇和博客的驗(yàn)證碼都是這樣的了。這樣第一次抓取下來的頁面就不會包含有驗(yàn)證碼圖片了，更不要說分析驗(yàn)證碼圖片了。要解決的問題還是很多的。。。

相關(guān)文章

最新評論