pyppeteer執(zhí)行js繞過(guò)webdriver監(jiān)測(cè)方法下
更新時(shí)間：2022年04月12日 14:33:59 作者：Jeff的技術(shù)棧
這篇文章主要為大家介紹了pyppeteer上執(zhí)行js并繞過(guò)webdriver監(jiān)測(cè)常見方法的上篇，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪
上篇傳送門：pyppeteer執(zhí)行js繞過(guò)webdriver監(jiān)測(cè)方法上
官方文檔
https://miyakogi.github.io/pyppeteer/reference.html#mouse-class
啟動(dòng)pyppteer
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁(yè)面
page = await browser.newPage()
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
# 程序啟動(dòng)入口
asyncio.get_event_loop().run_until_complete(main())
切圖
# 設(shè)置頁(yè)面視圖大小
await page.setViewport(viewport={'width': 1280, 'height': 800})
# 是否啟用JS，enabled設(shè)為False，則無(wú)渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 截圖 保存圖片
await page.screenshot({'path': 'cnblog.png'})
獲取響應(yīng)頭，響應(yīng)頭狀態(tài)，cookies
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁(yè)面
page = await browser.newPage()
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
cookies = page.cookies()
print(resp_headers)
print(resp_status)
print(page.cookies())
# 程序啟動(dòng)入口
asyncio.get_event_loop().run_until_complete(main())
獲取當(dāng)前頁(yè)面標(biāo)題
print(await page.title())
獲取頁(yè)面html
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁(yè)面
page = await browser.newPage()
# 是否啟用JS，enabled設(shè)為False，則無(wú)渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
第一種：獲取整個(gè)頁(yè)面html
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
第二種：只獲取文本
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)
print(content)
注入JS，控制上下滾動(dòng)
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 滑到底部
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# js
window.scrollTo(0,100) # 向下滑動(dòng)100
window.scrollTo(0,500) # 向下滑動(dòng)500
window.scrollTo(0,document.body.scrollHeight) # 滑到底部
window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500
選擇器
Page.querySelector() # CSS選擇器 Page.querySelectorAll() # CSS選擇器選所有 Page.xpath() # xpath選擇器 # 簡(jiǎn)寫方式為： Page.J(), Page.JJ(), and Page.Jx()
獲取元素內(nèi)部的文本、屬性
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# 方式一：獲取h2標(biāo)簽內(nèi)容--執(zhí)行JS方式
element = await page.querySelector('h2')
title = await page.evaluate('(element) => element.textContent', element)
# 方式二：獲取文本
element = await page.querySelector('h2')
title = await (await item.getProperty('textContent')).jsonValue()
# 方式三：獲取屬性src,href
element = await page.querySelector('h2')
title_link = await (await item.getProperty('href')).jsonValue()
get_html
async def get_html(url):
browser = await pyppeteer.launch(headless=True, args=['--no-sandbox'])
page = await browser.newPage()
res = await page.goto(url, options={'timeout': 3000})
data = await page.content()
title = await page.title()
resp_cookies = await page.cookies() # cookie
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
print(data)
print(title)
print(resp_headers)
print(resp_status)
return xxx
模擬輸入，鼠標(biāo)點(diǎn)擊
# 模擬輸入 賬號(hào)密碼 {'delay': rand_int()} 為輸入時(shí)間
await page.type('#fm-login-id', "用戶名")
await page.type('#fm-login-password', "密碼", )
await page.waitFor(1000) # 等待時(shí)間
await page.click("#J_SubmitStatic") # 點(diǎn)擊
taobao登錄
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁(yè)面
page = await browser.newPage()
await page.setViewport(viewport={'width': 1280, 'height': 800})
res = await page.goto('https://login.taobao.com/', options={'timeout': 10000})
await page.type('#fm-login-id', "123456")
await page.type('#fm-login-password', "aaa", )
await page.waitFor(1000) # 等待時(shí)間
slider = await page.querySelector('#nc_1_n1z') # 是否有滑塊
if slider:
try:
print('有滑塊')
await page.hover('#nc_1_n1z') # 不同場(chǎng)景的驗(yàn)證碼模塊能名字不同。
await page.mouse.down()
# X，Y坐標(biāo)，steps 是指分成幾步來(lái)完成，steps越大，滑動(dòng)速度越慢。(在源碼中，steps是指移動(dòng)到指定x,y 分段滑動(dòng)的次數(shù)，但是每次啟動(dòng)滑動(dòng)都會(huì)花費(fèi)一定時(shí)間，可以認(rèn)為steps是滑動(dòng)的速度)
# 如果是每次移動(dòng)的距離，可以用for循環(huán)嘗試正負(fù)移動(dòng)
await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)})
await page.mouse.up()
except Exception as e:
print(e)
input('驗(yàn)證失敗，人工登錄：')
else:
print('沒(méi)有滑塊')
input()
await page.click("#login-form > div.fm-btn > button") # 點(diǎn)擊登錄
# 程序啟動(dòng)入口
asyncio.get_event_loop().run_until_complete(main())
taobao修改檢測(cè)瀏覽器
await page.evaluate(
'''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') # 以下為插入中間js，將淘寶會(huì)為了檢測(cè)瀏覽器而調(diào)用的js修改其結(jié)果。
await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {}, }; }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')
# 使用type選定頁(yè)面元素，并修改其數(shù)值，用于輸入賬號(hào)密碼，修改的速度仿人類操作，因?yàn)橛袀€(gè)輸入速度的檢測(cè)機(jī)制
# 因?yàn)?pyppeteer 框架需要轉(zhuǎn)換為js操作，而js和python的類型定義不同，所以寫法與參數(shù)要用字典，類型導(dǎo)入
await page.type('.J_UserName', username, {'delay': input_time_random() - 50})
await page.type('#J_StandardPwd input', pwd, {'delay': input_time_random()})
# await page.screenshot({'path': './headless-test-result.png'}) # 截圖測(cè)試
def input_time_random():
return random.randint(100, 151)
鼠標(biāo)事件
.click() # 點(diǎn)擊按鈕 .down() # 按下按鈕 .up() # 釋放按鈕 .move() # 移動(dòng)光標(biāo)
鍵盤事件
您可以使用down()，up()和 sendCharacter()手動(dòng)觸發(fā)事件，就好像事件是由真實(shí)鍵盤生成的一樣。
await page.keyboard.press('ArrowLeft')
await page.keyboard.down('Shift')
for i in ' World':
await page.keyboard.press('ArrowLeft')
await page.keyboard.up('Shift')
await page.keyboard.press('Backspace')
# Result text will end up saying 'Hello!'.按下鍵盤A：
await page.keyboard.down('Shift')
await page.keyboard.press('KeyA')
await page.keyboard.press('Enter')
await page.keyboard.up('Shift')
注意
修飾鍵確實(shí)會(huì)影響down()。按住shift 將以大寫形式鍵入文本。
參數(shù)：
key（str）–要按鍵的名稱，例如ArrowLeft。
options（dict）–選項(xiàng)可以具有text字段，如果指定了此選項(xiàng)，則使用此文本生成輸入事件。
使用ip代理ua
import asyncio
from pyppeteer import launch
async def register():
browser = await launch({
'headless': False,
# 代理ip
'args': ['--proxy-server=47.105.111.124:15525', ]
})
page = await browser.newPage()
await page.setUserAgent(
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
asyncio.get_event_loop().run_until_complete(register())
# 更多參數(shù)
args: [
'--disable-setuid-sandbox',
'--no-sandbox',
'--proxy-server=10.24.51.125:8411',
'--ignore-certificate-errors',
'--window-size=375,812',
'--remote-debugging-port=9222'
],以上就是pyppeteer執(zhí)行js并繞過(guò)webdriver監(jiān)測(cè)的常見方法下篇的詳細(xì)內(nèi)容，更多關(guān)于pyppeteer執(zhí)行js繞過(guò)webdriver監(jiān)測(cè)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python工程師面試題 與Python Web相關(guān)
這篇文章主要為大家分享了Python工程師面試題，面試題的內(nèi)容主要與Python Web相關(guān)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2016-01-01
詳解Python和Rust中內(nèi)存管理機(jī)制的實(shí)現(xiàn)與對(duì)比
Python和Rust都采用了垃圾收集（Garbage?Collection）機(jī)制來(lái)管理內(nèi)存,但它們各自的實(shí)現(xiàn)方式有很大的不同,下面就跟隨小編一起來(lái)深入了解下二者的區(qū)別吧2024-03-03
Python基于opencv實(shí)現(xiàn)的簡(jiǎn)單畫板功能示例
這篇文章主要介紹了Python基于opencv實(shí)現(xiàn)的簡(jiǎn)單畫板功能,結(jié)合實(shí)例形式分析了Python使用opencv模塊進(jìn)行圖形繪制的相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
這篇文章主要介紹了python搜索指定目錄的方法,涉及Python操作目錄的相關(guān)技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-04-04
Python實(shí)現(xiàn)LR1文法的完整實(shí)例代碼
這篇文章主要給大家介紹了關(guān)于Python實(shí)現(xiàn)LR1文法的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10
Python基礎(chǔ)學(xué)習(xí)之函數(shù)方法實(shí)例詳解
這篇文章主要介紹了Python基礎(chǔ)學(xué)習(xí)之函數(shù)方法,結(jié)合實(shí)例形式分析了Python函數(shù)方法的定義、參數(shù)、復(fù)用和繼承相關(guān)操作技巧,需要的朋友可以參考下2019-06-06
PyQT5 QTDesigner窗口及組成的實(shí)現(xiàn)
這篇文章主要介紹了PyQT5 QTDesigner窗口及組成的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
python單機(jī)五子棋的代碼實(shí)現(xiàn)示例
五子棋是經(jīng)典的棋牌類游戲，很多人都玩過(guò)，那么如何用Python實(shí)現(xiàn)五子棋呢，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-10-10
16行Python代碼實(shí)現(xiàn)微信聊天機(jī)器人并自動(dòng)智能回復(fù)功能
聊天機(jī)器人自動(dòng)智能回復(fù)給我們的生活帶來(lái)了極大的便利，尤其在業(yè)務(wù)比較繁忙的時(shí)候，智能機(jī)器人給我們帶來(lái)極大的方便，今天小編教大家一招通過(guò)16行代碼實(shí)現(xiàn)微信聊天智能機(jī)器人，感興趣的朋友一起看看吧2022-01-01
這篇文章主要介紹了Python調(diào)用C語(yǔ)言程序方法解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07