python 重定向獲取真實(shí)url的方法
更新時(shí)間:2018年05月11日 09:34:39 作者:野沐沐
今天小編就為大家分享一篇python 重定向獲取真實(shí)url的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
樓主在做公司項(xiàng)目的時(shí)候遇到url重定向的問題,因此上網(wǎng)簡(jiǎn)單查找,作出如下結(jié)果
由于使用的是語(yǔ)言是python所以以下是python的簡(jiǎn)單解決方案
http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'} def get_real_url(url): rs = requests.get(url,headers=http_headers,timeout=10) rs.url
以上代碼未有重試機(jī)制,下面加上重試機(jī)制加以完善
def get_real_url(url,try_count = 1): if try_count > 3: return url try: rs = requests.get(url,headers=http_headers,timeout=10) if rs.status_code > 400: return get_real_url(url,try_count+1) return rs.url except: return get_real_url(url, try_count + 1)
以上這篇python 重定向獲取真實(shí)url的方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
您可能感興趣的文章:
- python采集百度百科的方法
- Python爬蟲:url中帶字典列表參數(shù)的編碼轉(zhuǎn)換方法
- 解決安裝python3.7.4報(bào)錯(cuò)Can''''t connect to HTTPS URL because the SSL module is not available
- Python3模擬curl發(fā)送post請(qǐng)求操作示例
- python re正則匹配網(wǎng)頁(yè)中圖片url地址的方法
- Python2和Python3中urllib庫(kù)中urlencode的使用注意事項(xiàng)
- python爬蟲之urllib3的使用示例
- python采集百度搜索結(jié)果帶有特定URL的鏈接代碼實(shí)例
相關(guān)文章
YOLOv5車牌識(shí)別實(shí)戰(zhàn)教程(六)性能優(yōu)化與部署
這篇文章主要介紹了YOLOv5車牌識(shí)別實(shí)戰(zhàn)教程(六)性能優(yōu)化與部署,在這個(gè)教程中,我們將一步步教你如何使用YOLOv5進(jìn)行車牌識(shí)別,幫助你快速掌握YOLOv5車牌識(shí)別技能,需要的朋友可以參考下2023-04-04python用ConfigObj讀寫配置文件的實(shí)現(xiàn)代碼
發(fā)現(xiàn)一個(gè)簡(jiǎn)單而又強(qiáng)大的讀寫配置文件的lib,個(gè)人覺得最大的亮點(diǎn)在于自帶的格式校驗(yàn)功能,并且支持復(fù)雜的嵌套格式,而且使用起來也相當(dāng)?shù)暮?jiǎn)便2013-03-03使用Python實(shí)現(xiàn)簡(jiǎn)單的服務(wù)器功能
socket的使用并不局限于Python語(yǔ)言,你可以用C或者Java來寫出同樣的socket服務(wù)器,而所有語(yǔ)言使用socket的方式都類似(Apache就是使用C實(shí)現(xiàn)的服務(wù)器)2017-08-08