亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

在linux系統下部署selenium爬蟲程序介紹

 更新時間:2021年11月25日 17:02:04   作者:崔子末  
大家好,本篇文章主要講的是在linux系統下部署selenium爬蟲程序介紹,感興趣的同學速來圍觀哦,記得收藏本篇文章方便下次瀏覽

前言

我這里是工作需要把selenium 爬蟲程序部署到Linux 服務器上面 順便跟大家交流一下 如果有興趣的話可以看一下


一、selenium是什么?

Selenium是一個用于Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣, 爬蟲用它來抓取一些js動態(tài)加載的數據

二、使用步驟

1.引入庫

代碼如下

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options  # 使用無頭瀏覽器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉瀏覽器正在受到自動測試軟件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless")  # => 為Chrome配置無頭模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2.測試代碼

代碼如下:

s = Service(r"/home/driver/chromedriver")
driver = Chrome(
     service=s, options=chrome_options
 )
 driver.get("https://www.baidu.com")
 print(diiver.title)

三、部署程序

1.安裝chrome

命令如下:

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
檢查chrome的版本
google-chrome --version

2.安裝chromedriver驅動

命令如下:

按照對應的chrome版本下載chromedriver驅動
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本號是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip 
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解壓zip文件
mkdir driver #新建文件夾用來存放驅動
chmod 777 driver/chromedriver # 這是權限 我這里給的是 777

3.運行測試代碼

新建test.py文件

vi test.py

在這里插入圖片描述

保存 test.py run 一下看看

在這里插入圖片描述

看到這個我么就算請求成功了

總結

到此這篇關于在linux系統下部署selenium爬蟲程序介紹的文章就介紹到這了,更多相關linux selenium爬蟲程序內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • 關于Apache shiro實現一個賬戶同一時刻只有一個人登錄(shiro 單點登錄)

    關于Apache shiro實現一個賬戶同一時刻只有一個人登錄(shiro 單點登錄)

    今天和同事在一起探討shiro如何實現一個賬戶同一時刻只有一session存在的問題,下面小編把核心代碼分享到腳本之家平臺,需要的朋友參考下
    2017-09-09
  • Linux?使用vi文本編輯器詳解

    Linux?使用vi文本編輯器詳解

    這篇文章主要介紹了Linux?使用vi文本編輯器詳解的相關資料,需要的朋友可以參考下
    2023-03-03
  • Win10 + Ubuntu 16.04雙系統完美安裝教程【詳細】

    Win10 + Ubuntu 16.04雙系統完美安裝教程【詳細】

    這篇文章主要介紹了Win10 + Ubuntu 16.04雙系統完美安裝教程,本文圖文并茂給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-10-10
  • Apache ab并發(fā)負載壓力測試實現方法

    Apache ab并發(fā)負載壓力測試實現方法

    Apache的ab命令模擬多線程并發(fā)請求,測試服務器負載壓力,也可以測試nginx、lighthttp、IIS等其它Web服務器的壓力
    2019-09-09
  • ubuntu14.04安裝opencv3.0.0的操作方法

    ubuntu14.04安裝opencv3.0.0的操作方法

    下面小編就為大家分享一篇ubuntu14.04安裝opencv3.0.0的操作方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2017-12-12
  • yum 命令使用講解

    yum 命令使用講解

    這篇文章主要介紹了yum 命令使用講解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-07-07
  • 概述Linux TTY/PTS的區(qū)別

    概述Linux TTY/PTS的區(qū)別

    這篇文章主要介紹了概述Linux TTY/PTS的區(qū)別,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-12-12
  • LNAMP架構中后端Apache獲取用戶真實IP地址的2種方法

    LNAMP架構中后端Apache獲取用戶真實IP地址的2種方法

    Nginx作為前端,Apache作為后端的情況下,Apache只能獲取到Nginx前端的ip地址(127.0.0.1),而無法獲取到用戶的真實ip地址,在這種情況下,后端Apache如何獲取用戶真實IP地址?
    2014-03-03
  • linux nc命令小結

    linux nc命令小結

    這篇文章主要介紹了linux nc命令小結,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-01-01
  • Linux下安裝php加速軟件Xcache的方法

    Linux下安裝php加速軟件Xcache的方法

    這篇文章主要介紹了Linux下安裝php加速軟件Xcache的方法,需要的朋友可以參考下
    2015-07-07

最新評論