作為一種便捷地收集網(wǎng)上信息并從中抽取出可用信息的方式，網(wǎng)絡(luò)爬蟲技術(shù)變得越來越有用。使用Python這樣的簡單編程語言，你可以使用少量編程技能就可以爬取復(fù)雜的網(wǎng)站。

《用Python寫網(wǎng)絡(luò)爬蟲》作為使用Python來爬取網(wǎng)絡(luò)數(shù)據(jù)的杰出指南，講解了從靜態(tài)頁面爬取數(shù)據(jù)的方法以及使用緩存來管理服務(wù)器負(fù)載的方法。此外，本書還介紹了如何使用AJAX URL和Firebug擴(kuò)展來爬取數(shù)據(jù)，以及有關(guān)爬取技術(shù)的更多真相，比如使用瀏覽器渲染、管理cookie、通過提交表單從受驗(yàn)證碼保護(hù)的復(fù)雜網(wǎng)站中抽取數(shù)據(jù)等。本書使用Scrapy創(chuàng)建了一個(gè)高級網(wǎng)絡(luò)爬蟲，并對一些真實(shí)的網(wǎng)站進(jìn)行了爬取。

《用Python寫網(wǎng)絡(luò)爬蟲》介紹了如下內(nèi)容：
通過跟蹤鏈接來爬取網(wǎng)站；
使用lxml從頁面中抽取數(shù)據(jù)；
構(gòu)建線程爬蟲來并行爬取頁面；
將下載的內(nèi)容進(jìn)行緩存，以降低帶寬消耗；
解析依賴于JavaScript的網(wǎng)站；
與表單和會話進(jìn)行交互；
解決受保護(hù)頁面的驗(yàn)證碼問題；
對AJAX調(diào)用進(jìn)行逆向工程；
使用Scrapy創(chuàng)建高級爬蟲。

本書是為想要構(gòu)建可靠的數(shù)據(jù)爬取解決方案的開發(fā)人員寫作的，本書假定讀者具有一定的Python編程經(jīng)驗(yàn)。當(dāng)然，具備其他編程語言開發(fā)經(jīng)驗(yàn)的讀者也可以閱讀本書，并理解書中涉及的概念和原理。

目錄

第1章 網(wǎng)絡(luò)爬蟲簡介 1
第2章　數(shù)據(jù)抓取　23
第3章　下載緩存　39
第4章　并發(fā)下載　57
第5章　動(dòng)態(tài)內(nèi)容　69
第6章　表單交互　89
第7章　驗(yàn)證碼處理　103
第8章　Scrapy　121
第9章　總結(jié)　143