Python無頭爬蟲下載文件的實現
更新時間：2020年04月02日 11:46:24 作者：敲鍵盤的貓
這篇文章主要介紹了Python無頭爬蟲下載文件的實現，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
有些頁面并不能直接用requests獲取到內容，會動態(tài)執(zhí)行一些js代碼生成內容。這個文章主要是對付那些特殊頁面的，比如必須要進行js調用才能下載的情況。
安裝chrome
wget [https://dl.google.com/linux/direct/google-chrome-stable\_current\_x86\_64.rpm](https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm) yum install ./google-chrome-stable\_current\_x86\_64.rpm yum install mesa-libOSMesa-devel gnu-free-sans-fonts wqy-zenhei-fonts
安裝chromedriver
淘寶源（推薦）
wget http://npm.taobao.org/mirrors/chromedriver/2.41/chromedriver_linux64.zip unzip chromedriver\_linux64.zip move chromedriver /usr/bin/ chmod +x /usr/bin/chromedriver
感謝這篇博客
上述步驟可以選擇適合自己的版本下載，注意：chrome和chrome driver必須是匹配的版本，chrome driver會備注支持的chrome版本號。
實戰(zhàn)操作
需要引入的庫
from selenium import webdriver from time import sleep from selenium.webdriver.chrome.options import Options from selenium.common.exceptions import NoSuchElementException
chrome啟動設置
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')#解決DevToolsActivePort文件不存在的報錯
chrome_options.add_argument('window-size=1920x3000') #指定瀏覽器分辨率
chrome_options.add_argument('--disable-gpu') #谷歌文檔提到需要加上這個屬性來規(guī)避bug
chrome_options.add_argument('--hide-scrollbars') #隱藏滾動條, 應對一些特殊頁面
chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加載圖片, 提升速度
chrome_options.add_argument('--headless') #瀏覽器不提供可視化頁面. linux下如果系統(tǒng)不支持可視化不加這條會啟動失敗
同樣感謝上面的博客
設置額外參數，比如下載不彈窗和默認下載路徑
prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': './filelist'}
chrome_options.add_experimental_option('prefs', prefs)
初始化驅動
cls.driver=webdriver.Chrome(options=chrome_options)
退出驅動
cls.driver.quit()
請求一個url
cls.driver.get(url)
執(zhí)行指定js代碼
cls.driver.execute_script('console.log("helloworld")')
查找指定元素
subtitle = cls.driver.find_element_by_class_name("fubiaoti").text
到此這篇關于Python無頭爬蟲下載文件的實現的文章就介紹到這了,更多相關Python無頭爬蟲下載文件內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Python 實現將大圖切片成小圖,將小圖組合成大圖的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
下面小編就為大家?guī)硪黄狿ython多維/嵌套字典數據無限遍歷的實現。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-11-11
Python+Redis從零打造分布式鎖實戰(zhàn)示例
Redis作為一款高性能的內存鍵值數據庫,憑借其支持原子操作、高并發(fā)和數據持久化等特性,非常適合用來實現分布式鎖,本文將詳細探討如何使用Python結合Redis從簡單到復雜地實現分布式鎖,并提供相應的示例代碼2024-01-01
本文主要介紹了numpy.sum()坐標軸問題的解決，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
這篇文章主要為大家介紹了pytest官方文檔解讀fixtures的autouse，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-06-06
文件操作是程序設計中不可或缺的重要部分。Python通過一個內置函數open來打開文件。2009-10-10
最近發(fā)現了一個特別好玩的Python 微信庫itchat，可以實現自動回復等多種功能，下面這篇文章主要給大家介紹了利用python微信庫itchat實現微信自動回復功能的相關資料，需要的朋友可以參考學習，下面來一起看看吧。2017-05-05
本文通過圖文及實例代碼介紹了怎樣利用python獲取列表的中位數，文章介紹的很詳細，有需要的小伙伴們可以參考學習。2016-08-08
在本篇文章中小編給大家整理的是一篇關于go語言和python的區(qū)別點，需要的朋友們可以學習下。2020-07-07
pandas如何將dataframe中的NaN替換成None
這篇文章主要介紹了pandas如何將dataframe中的NaN替換成None問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08