快捷導(dǎo)航

用python批量下載apk

更新時(shí)間：2020年12月29日 10:48:25 作者：武散人

這篇文章主要介紹了用python批量下載apk的方法，幫助大家更好的理解和使用python，感興趣的朋友可以了解下

案例故事:

之前我們做Android手機(jī)測(cè)試的時(shí)候，

市場(chǎng)部希望我們測(cè)試部進(jìn)行Top 1000 app（排名前1000的app）的兼容性測(cè)試，
以確保我們的手機(jī)是可以安裝并正常運(yùn)行這么多好用的app，
且市場(chǎng)部提供了某應(yīng)用市場(chǎng)上的top 1000 的apk下載地址。

如何實(shí)現(xiàn)快速批量地下載apk文件呢？

準(zhǔn)備階段

以上excel里的的url分明是需要進(jìn)行二次重定向的，因?yàn)槠洳皇且粋€(gè).apk結(jié)尾的鏈接，
我們需要進(jìn)行解析后再進(jìn)行重定向。wget命令是不支持這url重定向解析的，所以不能采用。
所以我們還是采用requests模塊來實(shí)現(xiàn)下載。

Python批處理腳本形式單線程的寫法

記住批處理腳本的精髓：批量順序執(zhí)行語句，
由于批處理腳本形式只能實(shí)現(xiàn)單個(gè)apk的下載任務(wù)，我們使用requests模塊實(shí)現(xiàn)下載。
單線程效率比較慢，必須等前一個(gè)apk下載完畢后，才會(huì)開始后一個(gè)apk的下載。

# coding=utf-8

import os
import requests
import openpyxl

curdir = os.getcwd() # 獲取當(dāng)前路徑current work directory
header = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1 WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.93 Safari/537.36'}

# 創(chuàng)建文件夾用于存放已經(jīng)下載的apk
if not os.path.exists("downloaded_apk"):
 os.system("mkdir downloaded_apk")

# 逐行讀取excel里的下載地址url
excel = openpyxl.load_workbook('Top_1000_app.xlsx') # 讀取excel里邊的內(nèi)容
table = excel.active
rows = table.max_row
for r in range(2, rows + 1): # 跟excel的第一行標(biāo)題行無關(guān)，從第二行文字內(nèi)容開始
 apk_name = table.cell(row=r, column=2).value # 獲取app名字（中文）
 apk_url = table.cell(row=r, column=3).value # 獲取下載地址
 save_path = os.path.join(curdir, "downloaded_apk", "%s.apk" % apk_name)
 if not os.path.exists(save_path): # 避免二次下載
  print("Downloading the %sth apk and will save to %s" % (r, save_path))
  try:
   r = requests.get(apk_url, headers=header, allow_redirects=True, timeout=720) # 發(fā)起requests下載請(qǐng)求
   status_code = r.status_code
   if (status_code == 200 or status_code == 206):
    with open(save_path, "wb") as hf:
     hf.write(r.content)
  except:
   print("Error, can not download %s.apk" % apk_name)
 else:
  print("%s downloaded already!" % save_path)

os.system("pause")

Python面向?qū)ο箢愋问?多線程下載的寫法

準(zhǔn)備階段

多線程一般效率快很多很多，
多線程任務(wù)執(zhí)行，一般是將apk下載任務(wù)放到Queue隊(duì)列里去，先進(jìn)先出，
然后只要隊(duì)列不是空隊(duì)列，就從隊(duì)列里邊取任務(wù)（q_job)，并有10個(gè)線程同時(shí)進(jìn)行，
相對(duì)來說，理解上會(huì)較難一些些，但是掌握后，可以快速提高下載效率。

#coding=utf-8

import os
import queue
import threading
import requests
import openpyxl

curdir = os.getcwd() #獲取當(dāng)前路徑current work directory
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1 WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.93 Safari/537.36'}

# 創(chuàng)建文件夾
if not os.path.exists("downloaded_apk"):
 os.system("mkdir downloaded_apk")


def download_single_apk(apk_url_str):
 '''下載單個(gè)apk文件'''
 apk_name, apk_url = apk_url_str.split(";")
 # print(apk_url)
 save_path = os.path.join(curdir, "downloaded_apk", "%s.apk" % apk_name)
 if not os.path.exists(save_path): # 避免二次下載
  print("Downloading %s" % (save_path))
  try:
   r = requests.get(apk_url, headers=header, allow_redirects=True, timeout=720) # 發(fā)起requests下載請(qǐng)求
   status_code = r.status_code
   if (status_code == 200 or status_code == 206):
    with open(save_path, "wb") as hf:
     hf.write(r.content)
  except:
   print("Error, can not download %s.apk" % apk_name)
 else:
  print("%s downloaded already!" % save_path)


# 批量下載的線程
class DownLoadThread(threading.Thread):
 def __init__(self, q_job):
  self._q_job = q_job
  threading.Thread.__init__(self)

 def run(self):
  while True:
   if self._q_job.qsize() > 0:
    download_single_apk(self._q_job.get()) # 這是10個(gè)線程都運(yùn)行這個(gè)下載函數(shù)
   else:
    break


if __name__ == '__main__':
 # 初始化一個(gè)隊(duì)列
 q = queue.Queue(0)
 
 # 逐行讀取excel里的url
 excel = openpyxl.load_workbook('Top_1000_app.xlsx') # 讀取excel里邊的內(nèi)容
 table = excel.active
 rows = table.max_row
 for r in range(2, rows + 1): # 跟excel的第一行標(biāo)題行無關(guān)，從第二行文字內(nèi)容開始做替換工作
  apk_name = table.cell(row=r, column=2).value # 獲取app名字（中文）
  apk_url = table.cell(row=r, column=3).value # 獲取下載地址
  temp_str = apk_name + ";" + apk_url # 不可以put列表進(jìn)隊(duì)列，只能嘗試put字符串
  q.put(temp_str) 
 
 for i in range(10): # 開啟10個(gè)線程
  DownLoadThread(q).start()