Python使用requests模塊爬取百度翻譯
requests模塊:
python中原生的一款基于網(wǎng)絡(luò)請求的模塊,功能非常強大,簡單便捷,效率極高。
作用:模擬瀏覽器發(fā)請求。
提示:老版使用 urllib模塊,但requests比urllib模塊要簡單好用,現(xiàn)在學(xué)習(xí)requests模塊即可!
requests模塊編碼流程
指定url
1.1 UA偽裝
1.2 請求參數(shù)的處理
2.發(fā)起請求
3.獲取響應(yīng)數(shù)據(jù)
4.持久化存儲
環(huán)境安裝:
pip install requests
案例一:破解百度翻譯(post請求)
1.代碼如下:
#爬取百度翻譯 #導(dǎo)入模塊 import requests import json #UA偽裝:將對應(yīng)的User-Agent封裝到一個字典中 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/57.0.2987.98 Safari/537.36'} #網(wǎng)頁訪問連接 url='https://fanyi.baidu.com/sug' #處理url攜帶的參數(shù):封裝到字典中 word=input("input a word: ") data={ 'kw': word } #請求發(fā)送 res=requests.post(url=url,data=data,headers=headers) #獲取響應(yīng)數(shù)據(jù):json()方法返回的是obj(如果確認響應(yīng)數(shù)據(jù)是json類型的,才可以使用json()) dic_obj=res.json() #持久化存儲 filename=word+'.json' fp=open(filename,'w',encoding='utf-8') json.dump(dic_obj,fp=fp,ensure_ascii=False) #打印完成提示 print('finish')
其中:
https://fanyi.baidu.com/sug 這個url的定位如下圖:
2.運行結(jié)果
案例二:爬取搜狗頁面數(shù)據(jù)(get請求)
1.代碼如下
import requests if __name__ == "__main__": #step_1:指定url url = 'https://www.sogou.com/' #step_2:發(fā)起請求 #get方法會返回一個響應(yīng)對象 response = requests.get(url=url) #step_3:獲取響應(yīng)數(shù)據(jù).text返回的是字符串形式的響應(yīng)數(shù)據(jù) page_text = response.text print(page_text) #step_4:持久化存儲 with open('./sogou.html','w',encoding='utf-8') as fp: fp.write(page_text) print('爬取數(shù)據(jù)結(jié)束?。?!')
2.運行結(jié)果如下:
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
解決python中安裝serial及No module named ‘serial.too
這篇文章主要介紹了解決python中安裝serial及No module named ‘serial.tools‘等問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09python實現(xiàn)通過flask和前端進行數(shù)據(jù)收發(fā)
今天小編就為大家分享一篇python實現(xiàn)通過flask和前端進行數(shù)據(jù)收發(fā),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08