python爬蟲Mitmproxy安裝使用學習筆記
一、簡介和安裝
1.1、概念和作用
概念
Mitmproxy是一個免費的開源交互式的HTTPS代理。MITM即中間人攻擊（Man-in-the-Middle Attack）。
作用
代理的作用，轉發(fā)請求，保障服務端與客戶端的通信
查看，記錄，修改數據，引發(fā)服務端或客戶端的特定行為
補充：Mitmproxy與Fiddler、Charles異同
相同點： a、都是用來捕獲 HTTP，HTTPS 請求的（其他協(xié)議比如 TCP,UDP,IP,ICMP 等就用Wireshark）
b、抓包、斷點調試、請求替換、構造請求、模擬弱網等
不同點：a、Fiddler只能運行在Windows系統(tǒng)；Mitmproxy、Charles是跨平臺的，可運行在Windows、Mac或Linux系統(tǒng)等。
b、Fiddler、Mitmproxy開源免費、Charles是收費的（可破解）。
c、Mitmproxy支持命令行交互模式、GUI界面，Fiddler、Charles僅支持GUI界面
（Fiddler底部有個命令行工具叫做 QuickExec）
1.2、安裝
pip install mitmproxy
或
pip install -i https://pypi.douban.com/simple mitmproxy
如果直接安裝的速度太慢了，可以在命令行中添加國內的鏡像源加快速度，就是第二條命令。注意：python 版本不低于3.6
檢查是否安裝成功：命令行中輸入命令查看mitmdump --version
安裝成功后在Python安裝路徑Script路徑下可以找到 mitmdump.exe 、mitmproxy.exe 、mitmweb.exe 這三個可執(zhí)行文件。
1.3、工具介紹
mitmproxy：命令行界面，允許交互式檢查和修改http數據流，不支持windows
mitmweb： Web界面，用戶可以實時看到發(fā)生的請求，過濾請求，查看請求數據
mitmdump： 一個命令行工具，沒有界面，不能交互，但是可以通過啟動參數并結合自定義腳本進行定制化功能的實現，是我們運行的環(huán)境
這三個命令功能一致，且都可以加載自定義腳本，唯一的區(qū)別是交互界面的不同；
mitmproxy，mitmweb主要用來做調試，部署項目時使用mitmdump。
二、設置代理
2.1、PC端設置代理
開啟代理時需要把其他的代理都關掉
注：這時我們剛開啟代理，還未安裝證書，如果訪問其他網址會出現報錯，如下圖所示：
2.2、PC端安裝證書
在代理狀態(tài)下，訪問http://mitm.it/，PC端與移動端操作相同。
(注意：設置完成后，瀏覽器打開網頁發(fā)現都是未連接網絡，需要先啟動mitmweb.exe或者mitmdump.exe程序才能打開鏈接)
后面點擊下載的證書按步驟導入就可以了
2.3、移動端設置代理
以夜神模擬器為例（注意保證手機和電腦在同局域網下）
設置完代理，打開瀏覽器訪問http://mitm.it/
三、 mitmdump
官方文檔：https://docs.mitmproxy.org/stable/addons-overview/
3.1、插件使用
- 插件的本質就是一個腳本文件，在Python中就是一個類的實例對象。
- 此處插件是
Counter實例對象，request方法是一個事件 - 對于
request事件，它的參數是一個mitmproxy.http.HTTPFlow的對象。
如：(官方文檔例子)
"""
Basic skeleton of a mitmproxy addon.
Run as follows: mitmproxy -s anatomy.py
"""
from mitmproxy import ctx
class Counter:
def __init__(self):
self.num = 0
def request(self, flow):
self.num = self.num + 1
ctx.log.info("We've seen %d flows" % self.num)
addons = [
Counter()
]
上面是一個簡單的插件，用于跟蹤我們已經看到的流（或更具體的HTTP請求）數量。每次看到新的流量時，它都會使用mitmproxy的內部日志記錄機制來宣布其提示?？梢栽诮换ナ焦ぞ叩氖录罩局谢騧itmdump的控制臺中找到輸出。
可以使用mitmdump -s ./anatomy.py運行插件(anatomy.py是創(chuàng)建的文件名)。
3.2、常用事件
def request(self, flow: mitmproxy.http.HTTPFlow): """ The full HTTP request has been read. """ def response(self, flow: mitmproxy.http.HTTPFlow): """ The full HTTP response has been read. """
3.2.1、request事件
（注意：記得在代理狀態(tài)下執(zhí)行，命令:mitmdump -s ./xxx.py）
from mitmproxy import http
def request(flow:http.HTTPFlow): #注意函數名request不能寫錯
#獲取請求頭信息
print('請求頭',flow.request.headers)
#完整請求地址
print('請求url',flow.request.url)
#域名
print('域名',flow.request.host)
#請求路徑 url除域名之外的內容
print('請求路徑',flow.request.path)
#返回MultiDictView類型的數據，URL的鍵值參數
print('url的鍵值參數',flow.request.query)
#請求方法
print('請求方法',flow.request.method)
#請求類型
print('請求類型',flow.request.scheme)
#獲取請求內容
'''
print('請求內容',flow.request.get_text)
print('請求內容類型',type(flow.request.get_text))
print('請求內容bytes',flow.request.raw_content)
print('請求內容bytes',flow.request.get_content)
'''
if 'https://www.baidu.com' in flow.request.url:
#取得請求參數wd的值
print(flow.request.query.get('wd'))
#取得所有請求參數
print(list(flow.request.query.keys()))
#修改請求參數
flow.request.query.set_all('wd',['python'])
#打印修改過后的參數
print(flow.request.query.get('wd'))
3.2.2、response事件
（注意：記得在代理狀態(tài)下執(zhí)行，命令:mitmdump -s ./xxx.py）
from mitmproxy import http
def response(flow:http.HTTPFlow): #注意函數名response不能寫錯
#狀態(tài)碼
print('狀態(tài)碼',flow.response.status_code)
#返回內容，已解碼
print('返回內容',flow.response.text)
#返回內容， bytes類型
print('返回內容bytes類型',flow.response.content)
#取得響應的文本
print('應的文本',flow.response.get_text)
#修改響應 的文本
flow.response.set_text('你的響應內容被修改了!')
3.3、下載圖片
（注意：記得在代理狀態(tài)下執(zhí)行，命令:mitmdump -q -s ./xxx.py 加-q會使打印更清晰可觀）
import os
index = 0
def response(flow):
global index
print('===========下載==============')
print(flow.request.url)
if flow.request.url[-3:] == 'jpg':
dir = 'images'
if not os.path.exists(dir):
os.mkdir(dir)
filename = dir+'/'+str(index)+'.jpg'
with open(filename,'wb') as f:
f.write(flow.response.get_content())
index+=1
以上就是python爬蟲Mitmproxy安裝使用學習筆記的詳細內容，更多關于python爬蟲Mitmproxy的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要為大家詳細介紹了python之Socket網絡編程,具有一定的參考價值，感興趣的小伙伴們可以參考一下2016-09-09
今天小編就為大家分享一篇python連接mongodb密碼認證實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了Python設計模式之組合模式,結合具體實例形式分析了Python組合模式的相關概念、原理、定義及使用方法,需要的朋友可以參考下2019-01-01
Matplotlib是Python的繪圖庫，它能讓使用者很輕松地將數據圖形化，并且提供多樣化的輸出格式。本文將為大家介紹如何用matplotlib繪制條形圖和直方圖，感興趣的朋友可以學習一下2022-04-04
這篇文章主要介紹了python 實現圖片批量壓縮的示例，幫助大家更好的利用python處理圖片，感興趣的朋友可以了解下2020-12-12
這篇文章主要為大家詳細介紹了python爬取淘寶商品詳情頁數據的相關資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-02-02
這篇文章主要介紹了如何在Windows下為Python安裝Matplotlib模塊的方法，非常的詳細，而且附上了官方的下載地址，小伙伴們操作起來應該毫無壓力了。2015-11-11
這篇文章主要介紹了簡單解決Python文件中文編碼問題的相關資料,需要的朋友可以參考下2015-11-11
Windows平臺Python編程必會模塊之pywin32介紹
在Windows平臺上，從原來使用C/C++編寫原生EXE程序，到使用Python編寫一些常用腳本程序，成熟的模塊的使用使得編程效率大大提高了2019-10-10
這篇文章主要介紹了總結Pyinstaller的坑及終極解決方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09