亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

用python3 urllib破解有道翻譯反爬蟲機制詳解

 更新時間:2019年08月14日 10:38:31   作者:冰清雪酷  
這篇文章主要介紹了python破解網(wǎng)易反爬蟲機制詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

前言

最近在學習python 爬蟲方面的知識,網(wǎng)上有一博客專欄專門寫爬蟲方面的,看到用urllib請求有道翻譯接口獲取翻譯結(jié)果。發(fā)現(xiàn)接口變化很大,用md5加了密,于是自己開始破解。加上網(wǎng)上的其他文章找源碼方式并不是通用的,所有重新寫一篇記錄下。

爬取條件

要實現(xiàn)爬取的目標,首先要知道它的地址,請求參數(shù),請求頭,響應結(jié)果。

進行抓包分析

打開有道翻譯的鏈接:http://fanyi.youdao.com/。然后在按f12 點擊Network項。這時候就來到了網(wǎng)絡監(jiān)聽窗口,在這個頁面中發(fā)送的所有網(wǎng)絡請求,都會在Network這個地方顯示出來,如果是空白的,點擊XHR。接著我們在翻譯的窗口輸入我們需要翻譯的文字,比如輸入hell。然后點擊自動翻譯按鈕,那么接下來在下面就可以看到瀏覽器給有道發(fā)送的請求,這里截個圖看看:

點擊鏈接,就可以看到整個請求的信息。包括請求頭,請求參數(shù),響應結(jié)果。

這里面有一個問題就是參數(shù)進行了加密。我們需要知道這些參數(shù)是如何加密的。

破解加密難題

要想知道如何加密的,需要查看源碼。于是我們需要知道發(fā)起這個請求的js文件。在文件查找這個相關(guān)代碼。剛才我們監(jiān)聽了網(wǎng)絡請求,可以看到發(fā)起請求的js文件。那么接下來查找發(fā)起請求的鏈路,鼠標浮到請求文件上,顯示了一系列執(zhí)行方法,我們點擊跟業(yè)務相關(guān)的那個方法對應的文件鏈接,這里是t.translate 對應的連接。

點擊進入查看對應的源碼

我們可以看到i,salt,sign是變量,其他的請求參數(shù)是常量。i是需要翻譯的字符串,salt是時間戳生成的13位,sign是S+n+r+D
也就S是client的值,也就是fanyideskweb. 我們查找D 這個常量,在底欄輸入框輸入 D = (空格D空格=空格;格式化后的代碼規(guī)范)點擊右邊的Aa讓搜索時大小寫敏感。回車查找到下一個,直到找到對應的值。

在上圖我們看到了_,C,S,D等常量。

于是你以為構(gòu)建一個請求,傳好這些參數(shù)就ok了。別忘了,為了反爬蟲,都是會校驗請求頭。于是要模擬瀏覽器的請求頭。經(jīng)過驗證只需要User-Agent,Referer,Cookie 三個請求頭。

實現(xiàn)代碼:

# -*- coding: utf-8 -*-
from urllib import request,parse
import json
import time
from hashlib import md5
'''
def dicToSortedStrParam(dic={}):
  keyList = sorted(dic)
  str =""
  for i,key in enumerate(keyList):
    if i==len(keyList)-1:
      str += key +"="+ dic[key]
    else:
      str += key +"="+ dic[key] + "&"
    pass
  return str
'''


def create_md5(data):
  md5_obj = md5()
  md5_obj.update(data.encode("utf-8"))
  return md5_obj.hexdigest()

if __name__ == "__main__":
  request_url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
  translate = "hell"
  c = "fanyideskweb"
  data = {}
  data["i"] = translate
  data["from"] = "AUTO"
  data["to"] = "AUTO"
  data["smartresult"] = "dict"
  data["client"] = c
  data["doctype"] = "json"
  data["version"] = "2.1"
  data["keyfrom"] = "fanyi.web"
  data["action"] = "FY_BY_REALTIME"
  data["typoResult"] = "false"
  salt = str(int(round(time.time(),3)*1000))
  # 加密
  data["salt"] = salt
  # a = "rY0D^0'nM0}g5Mm1z%1G4"  網(wǎng)上別人的 也可以
  a = "ebSeFb%=XZ%T[KZ)c(sy!"
  sign = create_md5(c+translate+salt+a)
  data["sign"] = sign
  headers = {}
  headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
  # headers["Content-Type"] = "application/x-www-form-urlencoded; charset=UTF-8"
  headers["Referer"] = "http://fanyi.youdao.com/"
  # headers["Host"] = "fanyi.youdao.com"
  # headers["Origin"]="http://fanyi.youdao.com"
  headers["Cookie"]="OUTFOX_SEARCH_USER_ID=-948455480@10.169.0.83; " \
           "JSESSIONID=aaajvZPcjhFWbgtIBPuiw; " \
           "OUTFOX_SEARCH_USER_ID_NCOO=1148682548.6241577;" \
           " fanyi-ad-id=41685; fanyi-ad-closed=1; ___rl__test__cookies="+salt

  data = parse.urlencode(data).encode('utf-8')
  request1 = request.Request(request_url,data,headers = headers)

  response = request.urlopen(request1)
  print(response.info())
  #讀取信息并解碼
  html = response.read().decode('utf-8')
  print(html)
  #使用JSON
  translate_results = json.loads(html)
  # 找到翻譯結(jié)果
  translate_results = translate_results['translateResult'][0][0]['tgt']
  # 打印翻譯信息
  print("翻譯的結(jié)果是:%s" % translate_results)

翻譯結(jié)果:

{"translateResult":[[{"tgt":"地獄","src":"hell"}]],"errorCode":0,"type":"en2zh-CHS","smartResult":{"entries":["","n. 地獄;究竟(作加強語氣詞);訓斥;黑暗勢力\r\n","vi. 過放蕩生活;飛馳\r\n","int. 該死;見鬼(表示驚奇、煩惱、厭惡、惱怒、失望等)\r\n"],"type":1}}
翻譯的結(jié)果是:地獄

翻譯的結(jié)果是:地獄

以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • windows下python之mysqldb模塊安裝方法

    windows下python之mysqldb模塊安裝方法

    這篇文章主要介紹了windows下python之mysqldb模塊安裝方法,需要的朋友可以參考下
    2017-09-09
  • python實現(xiàn)log日志的示例代碼

    python實現(xiàn)log日志的示例代碼

    下面小編就為大家分享一篇python實現(xiàn)log日志的示例代碼,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-04-04
  • Python?excel合并居中值相同的單元格實例代碼

    Python?excel合并居中值相同的單元格實例代碼

    在工作中遇到了合并具有相同條件的單元格合并的問題,下面這篇文章主要給大家介紹了關(guān)于Python?excel合并居中值相同單元格的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-06-06
  • python中import warnings的具體作用

    python中import warnings的具體作用

    在Python開發(fā)中,我們經(jīng)常會遇到一些警告信息,本文主要介紹了python中import warnings的具體作用,以提醒用戶潛在的問題,具有一定的參考價值,感興趣的可以了解一下
    2024-03-03
  • python3調(diào)用百度翻譯API實現(xiàn)實時翻譯

    python3調(diào)用百度翻譯API實現(xiàn)實時翻譯

    這篇文章主要為大家詳細介紹了python3調(diào)用百度翻譯API,實現(xiàn)實時翻譯,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-08-08
  • 100 個 Python 小例子(練習題二)

    100 個 Python 小例子(練習題二)

    這篇文章主要繼續(xù)上一篇文章100 個 Python 小例子(練習題一)來完成100 個 Python 小例子,本文包括字母識詞、反向輸出II、表轉(zhuǎn)字符串、設置輸出顏色、算素數(shù)等例子,需要的朋友可以參考一下
    2021-10-10
  • Pandas提取數(shù)據(jù)的三種方式

    Pandas提取數(shù)據(jù)的三種方式

    本文主要介紹了Pandas提取數(shù)據(jù)的三種方式,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-01-01
  • Django中的FBV和CBV用法詳解

    Django中的FBV和CBV用法詳解

    這篇文章主要介紹了Django中的FBV和CBV用法詳解,本文通過實例代碼給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-09-09
  • Python使用itchat 功能分析微信好友性別和位置

    Python使用itchat 功能分析微信好友性別和位置

    這篇文章主要介紹了 Python使用itchat 功能分析微信好友性別和位置 的相關(guān)資料,需要的朋友可以參考下
    2019-08-08
  • Python基于分水嶺算法解決走迷宮游戲示例

    Python基于分水嶺算法解決走迷宮游戲示例

    這篇文章主要介紹了Python基于分水嶺算法解決走迷宮游戲,結(jié)合具體實例形式分析了分水嶺算法解決迷宮問題的相關(guān)步驟與操作技巧,需要的朋友可以參考下
    2017-09-09

最新評論