亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python批量爬取下載抖音視頻

 更新時間:2019年06月17日 15:09:10   作者:劉勁松1  
這篇文章主要為大家詳細介紹了python批量爬取下載抖音視頻,具有一定的參考價值,感興趣的小伙伴們可以參考一下

本文實例為大家分享了python批量爬取下載抖音視頻的具體代碼,供大家參考,具體內容如下

import os
import requests
import re
import sys
import asyncio
import aiohttp

headers = {
  'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) '
         'Version/11.0 Mobile/15A372 Safari/604.1'
}

VIDEO_URLS, PAGE = [], 1


def get_info(url):
  """
  :param url: 用戶的鏈接
  :return:返回name,dytk,user_id 參數(shù)
  """
  name = None
  dytk = None
  user_id = None
  try:
    response = requests.get(url, headers=headers)
    user_id = response.url.split('/')[5].split('?')[0]
    name = re.search(r'class="nickname">(.*?)<', response.text)[1]
    dytk = re.search(r"dytk: '(.*?)'", response.text)[1]
  except (TypeError, IndexError):
    sys.stdout.write('Waring:輸入的鏈接錯誤')
  except requests.exceptions:
    sys.stdout.write('Waring:鏈接錯誤')
  finally:
    return name, user_id, dytk


def make_dir(name):
  """
  建立文件夾
  :param name: 用戶名稱
  :return:
  """
  if not os.path.isdir(name):
    os.mkdir(name)
  else:
    pass


def get_all_video(user_id, max_cursor, dytk):
  """
  獲取視頻的地址
  :param user_id:
  :param max_cursor:
  :param dytk:
  :return:
  """
  url = "https://www.amemv.com/aweme/v1/aweme/post/?"
  params = {'user_id': user_id,
       'count': 21,
       'max_cursor': max_cursor,
       'dytk': dytk}
  try:
    response = requests.get(url=url, params=params, headers=headers)
    if response.status_code == 200:
      datas = response.json()
      for data in datas['aweme_list']:
        name = data.get('share_info').get('share_desc')
        url = data.get('video').get('play_addr').get('url_list')[0].replace('playwm', 'play')
        VIDEO_URLS.append([name, url])
      if datas['has_more'] == 1 and datas.get('max_cursor') != 0:
        global PAGE
        print(f'收集第{PAGE}頁視頻')
        PAGE += 1
        return get_all_video(user_id, datas.get('max_cursor'), dytk)
      else:
        print('收集完成')
        return VIDEO_URLS
    else:
      print('狀態(tài)碼:', response.status_code)
      return None
  except Exception as e:
    print('Waring:', e)
    return


async def download_video(index, name, video_name, url):
  """
  下載視頻
  :param index:  視頻id
  :param name:  用戶名稱
  :param video_name: 視頻名稱
  :param url:   下載url
  :return:
  """
  print(f'正在下載第{index}個視頻:{video_name}')
  video_path = '{}/{}.mp4'.format(name, video_name)
  if not os.path.isfile(video_path):
    try:
      async with aiohttp.ClientSession() as session:
        async with session.get(url=url, headers=headers, ssl=False) as response:
          with open(video_path, 'wb') as f:
            while True:
              chunk = await response.content.read(1024)
              f.write(chunk)
              if not chunk:
                break
            print(f'下載完成第{index}個視頻:{video_name}')
    except Exception as e:
      print('waring:download faild', video_name, e)
      return
  else:
    print('文件已存在')


def main():
  url = 'http://v.douyin.com/dEorkn/'
  name, user_id, dytk = get_info(url)
  if not (name, user_id, dytk):
    return
  make_dir(name)
  get_all_video(user_id, 0, dytk)
  print(f'{name}:總共有{len(VIDEO_URLS)}個視頻')
  tasks = []
  for index, item in enumerate(VIDEO_URLS, 1):
    video_name = item[0]
    url = item[1]
    tasks.append(asyncio.ensure_future(download_video(index, name, video_name, url)))
  loop = asyncio.get_event_loop()
  loop.run_until_complete(asyncio.wait(tasks))
  loop.run_until_complete(asyncio.sleep(0))
  loop.close()
  print(f'{name}視頻下載完成!')


if __name__ == '__main__':
  main()

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

相關文章

  • PyPy?如何讓Python代碼運行得和C一樣快

    PyPy?如何讓Python代碼運行得和C一樣快

    這篇文章主要介紹了如何讓Python代碼運行得和C一樣快,由于?PyPy?只是?Python?的一種替代實現(xiàn),大多數(shù)時候它都是開箱即用,無需對?Python?項目進行任何更改。它與?Web?框架?Django、科學計算包?Numpy?和許多其他包完全兼容,推薦大家多多使用
    2022-01-01
  • Python實現(xiàn)將16進制字符串轉化為ascii字符的方法分析

    Python實現(xiàn)將16進制字符串轉化為ascii字符的方法分析

    這篇文章主要介紹了Python實現(xiàn)將16進制字符串轉化為ascii字符的方法,結合實例形式分析了Python 16進制字符串轉換為ascii字符的實現(xiàn)方法與相關注意事項,需要的朋友可以參考下
    2017-07-07
  • pow在python中的含義及用法

    pow在python中的含義及用法

    在本篇文章里小編給各位分享了關于pow在python中是什么意思的相關知識點內容,有需要的朋友們參考學習下。
    2019-07-07
  • 詳解Django中異步任務之django-celery

    詳解Django中異步任務之django-celery

    這篇文章主要介紹了詳解Django中異步任務之django-celery,本文通過場景分析實例圖文相結合給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-11-11
  • 利用?Python?把小伙伴制作成表情包

    利用?Python?把小伙伴制作成表情包

    這篇文章主要介紹了如何利用?Python把你的小伙伴變成表情包,在日常生活中,我們經常會存取一些朋友們的丑照,在這個項目中,我們以萌萌噠的熊貓頭作為背景,然后試著在背景圖上加入朋友們的照片,下面詳細內容需要的小伙伴可以參考一下
    2022-02-02
  • Python素數(shù)檢測的方法

    Python素數(shù)檢測的方法

    這篇文章主要介紹了Python素數(shù)檢測的方法,實例分析了Python素數(shù)檢測的相關技巧,需要的朋友可以參考下
    2015-05-05
  • Python 操作 MongoDB 講解詳細

    Python 操作 MongoDB 講解詳細

    MongoDB是一款開源的、基于分布式的、面向文檔存儲的非關系型數(shù)據(jù)庫。擁有高性能、高可用,易擴展的優(yōu)點,并且支持豐富的查詢語言來支持讀寫操作以及更復雜的查詢等。接下來我們來看一下如何使用Python操作MongoDB數(shù)據(jù)庫
    2021-09-09
  • windows下搭建python scrapy爬蟲框架步驟

    windows下搭建python scrapy爬蟲框架步驟

    在本文內容里小編給大家分享的是關于windows下搭建python scrapy爬蟲框架的教學內容,需要的朋友們學習下。
    2018-12-12
  • python 處理數(shù)字,把大于上限的數(shù)字置零實現(xiàn)方法

    python 處理數(shù)字,把大于上限的數(shù)字置零實現(xiàn)方法

    今天小編就為大家分享一篇python 處理數(shù)字,把大于上限的數(shù)字置零實現(xiàn)方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • Python 檢查數(shù)組元素是否存在類似PHP isset()方法

    Python 檢查數(shù)組元素是否存在類似PHP isset()方法

    isset方法來檢查數(shù)組元素是否存在,在Python中無對應函數(shù),在Python中一般可以通過異常來處理數(shù)組元素不存在的情況,而無須事先檢查
    2014-10-10

最新評論