亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Python基于scrapy采集數據時使用代理服務器的方法

 更新時間:2015年04月16日 11:27:08   作者:pythoner  
這篇文章主要介紹了Python基于scrapy采集數據時使用代理服務器的方法,涉及Python使用代理服務器的技巧,具有一定參考借鑒價值,需要的朋友可以參考下

本文實例講述了Python基于scrapy采集數據時使用代理服務器的方法。分享給大家供大家參考。具體如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述對大家的python程序設計有所幫助。

相關文章

  • 如何在django中運行scrapy框架

    如何在django中運行scrapy框架

    這篇文章主要介紹了如何在django中運行scrapy框架,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-04-04
  • Python實現有趣的親戚關系計算器

    Python實現有趣的親戚關系計算器

    每年的春節(jié),都會有一些自己幾乎沒印象但父母就是很熟的親戚,關系凌亂到你自己都說不清。本文就來用Python制作一個有趣的親戚關系計算器,感興趣的可以了解一下
    2023-01-01
  • 關于Python字符串顯示u...的解決方式

    關于Python字符串顯示u...的解決方式

    這篇文章主要介紹了關于Python字符串顯示u...的解決方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03
  • Python .py生成.pyd文件并打包.exe 的注意事項說明

    Python .py生成.pyd文件并打包.exe 的注意事項說明

    這篇文章主要介紹了Python .py生成.pyd文件并打包.exe 的注意事項說明,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • python 利用百度API識別圖片文字(多線程版)

    python 利用百度API識別圖片文字(多線程版)

    這篇文章主要介紹了python 利用百度API識別圖片文字(多線程版),幫助大家更好的利用python進行機器識別,感興趣的朋友可以了解下
    2020-12-12
  • python匿名函數用法實例分析

    python匿名函數用法實例分析

    這篇文章主要介紹了python匿名函數用法,結合實例形式分析了Python匿名函數的特點、功能及相關使用方法,需要的朋友可以參考下
    2019-08-08
  • python實現逢七拍腿小游戲的思路詳解

    python實現逢七拍腿小游戲的思路詳解

    這篇文章主要介紹了python實現逢七拍腿小游戲的思路,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-05-05
  • keras的三種模型實現與區(qū)別說明

    keras的三種模型實現與區(qū)別說明

    這篇文章主要介紹了keras的三種模型實現與區(qū)別說明,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-07-07
  • 在終端啟動Python時報錯的解決方案

    在終端啟動Python時報錯的解決方案

    這篇文章主要介紹了在終端啟動Python時報錯的解決方案,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2020-11-11
  • numpy中的隨機打亂數據方法np.random.shuffle解讀

    numpy中的隨機打亂數據方法np.random.shuffle解讀

    這篇文章主要介紹了numpy中的隨機打亂數據方法np.random.shuffle解讀,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-05-05

最新評論