Python爬蟲設(shè)置代理IP的方法(爬蟲技巧)
更新時間：2018年03月04日 11:12:22 投稿：mrr
這篇文章主要介紹了Python爬蟲設(shè)置代理IP的方法(爬蟲技巧),需要的朋友可以參考下
在學(xué)習(xí)Python爬蟲的時候，經(jīng)常會遇見所要爬取的網(wǎng)站采取了反爬取技術(shù)，高強度、高效率地爬取網(wǎng)頁信息常常會給網(wǎng)站服務(wù)器帶來巨大壓力，所以同一個IP反復(fù)爬取同一個網(wǎng)頁，就很可能被封，這里講述一個爬蟲技巧，設(shè)置代理IP。
（一）配置環(huán)境
- 安裝requests庫
- 安裝bs4庫
- 安裝lxml庫
（二）代碼展示
# IP地址取自國內(nèi)髙匿代理IP網(wǎng)站：http://www.xicidaili.com/nn/
# 僅僅爬取首頁IP地址就足夠一般使用
from bs4 import BeautifulSoup
import requests
import random
def get_ip_list(url, headers):
web_data = requests.get(url, headers=headers)
soup = BeautifulSoup(web_data.text, 'lxml')
ips = soup.find_all('tr')
ip_list = []
for i in range(1, len(ips)):
ip_info = ips[i]
tds = ip_info.find_all('td')
ip_list.append(tds[1].text + ':' + tds[2].text)
return ip_list
def get_random_ip(ip_list):
proxy_list = []
for ip in ip_list:
proxy_list.append('http://' + ip)
proxy_ip = random.choice(proxy_list)
proxies = {'http': proxy_ip}
return proxies
if __name__ == '__main__':
url = 'http://www.xicidaili.com/nn/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
ip_list = get_ip_list(url, headers=headers)
proxies = get_random_ip(ip_list)
print(proxies)函數(shù)get_ip_list(url, headers)傳入url和headers，最后返回一個IP列表，列表的元素類似42.84.226.65:8888格式，這個列表包括國內(nèi)髙匿代理IP網(wǎng)站首頁所有IP地址和端口。
函數(shù)get_random_ip(ip_list)傳入第一個函數(shù)得到的列表，返回一個隨機的proxies，這個proxies可以傳入到requests的get方法中，這樣就可以做到每次運行都使用不同的IP訪問被爬取的網(wǎng)站，有效地避免了真實IP被封的風(fēng)險。proxies的格式是一個字典：{‘http': ‘http://42.84.226.65:8888‘}。
（三）代理IP的使用
運行上面的代碼會得到一個隨機的proxies，把它直接傳入requests的get方法中即可。
web_data = requests.get(url, headers=headers, proxies=proxies)
總結(jié)
以上所述是小編給大家介紹的Python爬蟲設(shè)置代理IP的方法(爬蟲技巧)，希望對大家有所幫助，如果大家有任何疑問歡迎給我留言，小編會及時回復(fù)大家的！
相關(guān)文章
這篇文章主要介紹了python安裝第三方庫如xlrd的方法,本文通過兩種方法給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-10-10
10 行Python 代碼實現(xiàn) AI 目標(biāo)檢測技術(shù)【推薦】
這篇文章主要介紹了10 行Python 代碼，實現(xiàn) AI 目標(biāo)檢測技術(shù),看完了代碼，我們在一起聊聊目標(biāo)檢測背后的技術(shù)背景，并解讀這10行Python代碼的由來和實現(xiàn)原理。感興趣的朋友跟隨小編一起看看吧2019-06-06
Python連接和操作PostgreSQL數(shù)據(jù)庫的流程步驟
PostgreSQL 是一種開源的對象關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（ORDBMS）,以其強大的功能和穩(wěn)定性而廣受歡迎,本文將詳細介紹如何使用 Python 連接和操作 PostgreSQL 數(shù)據(jù)庫,需要的朋友可以參考下2024-10-10
這篇文章主要介紹了解決python運行啟動報錯問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
作為當(dāng)前先進的深度學(xué)習(xí)目標(biāo)檢測算法YOLOv5,已經(jīng)集合了大量的trick,但是還是有提高和改進的空間,針對具體應(yīng)用場景下的檢測難點,可以不同的改進方法,下面這篇文章主要給大家介紹了關(guān)于YOLOv5改進之添加SE注意力機制的相關(guān)資料,需要的朋友可以參考下2022-08-08
django框架model orM使用字典作為參數(shù)，保存數(shù)據(jù)的方法分析
這篇文章主要介紹了django框架model orM使用字典作為參數(shù)，保存數(shù)據(jù)的方法,結(jié)合實例形式分析了字典參數(shù)結(jié)合django model實現(xiàn)保存數(shù)據(jù)相關(guān)操作技巧,需要的朋友可以參考下2019-06-06
Python?隊列Queue和PriorityQueue解析
這篇文章主要介紹了Python?隊列Queue和PriorityQueue，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-09-09
這篇文章主要介紹了Python中常見的矩陣運算詳解,所謂的數(shù)據(jù)處理,其本質(zhì)大都可以歸為矩陣運算,因為需要處理的數(shù)據(jù)大都是矩陣或向量的形式,一個工具適不適合做數(shù)據(jù)處理,一個重要的指標(biāo)的就是支不支持矩陣運算,需要的朋友可以參考下2023-08-08
使用Python和百度語音識別生成視頻字幕的實現(xiàn)
這篇文章主要介紹了使用Python和百度語音識別生成視頻字幕，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
本篇文章主要介紹了Python使用PDFMiner解析PDF代碼實例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-03-03