#!/usr/bin/python3
# coding=utf-8
import time
from selenium import webdriver
from urllib.parse import quote,unquote
import re
import requests
import os
# 下面兩個參數(shù)是防止反爬的，別的文章也是這么寫的，但我這里沒用到
headers = {
 'Accept': '*/*',
 'Accept-Language': 'en-US,en;q=0.5',
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'
}
params = {
 'from': 'search',
 'seid': '9698329271136034665'
}


class Download_file():
 def __init__(self,url,order_number,file_path):
 self.url=url
 self.order_number=order_number
 self.file_path=file_path

 # 拿到文件對應的下載鏈接
 def _get_files_url(self):
 # 用谷歌瀏覽器打開
 driver=webdriver.Chrome()
 # 拿到url
 driver.get(self.url)
 print(driver.title)
 time.sleep(5)
 # 通過標簽id拿到對應操作對象
 driver.switch_to.frame(0)
 driver.find_element_by_id('search_id').send_keys(self.order_number)
 # 具體頁面有具體的操作，這里我需要找的button沒有id，他是用ng-click="queryCheckRecordByTid(queryInfo.queryTid)"
 driver.find_element_by_class_name('btn').click()
 # driver.find_element_by_id('su').click()
 time.sleep(3)
 # AngularJS語法寫的標簽很煩。。。我這里先找到目標標簽的父標簽
 # 然后通過父標簽拿到目標標簽
 dd=driver.find_elements_by_class_name('col-xs-2')
 # 我這個父標簽下有兩個<a></a>標簽，只能要第一個
 url_list=[]
 for i in dd:
 # 因為下載的url正好是第一個，然后這里取得是element，所以正好取到正確的url
 a=i.find_element_by_xpath('.//a')
 # print(a.get_attribute('href'))
 url_list.append(a.get_attribute('href'))
 # download_btn[0].click()
 time.sleep(3)
 driver.close()
 return url_list

 # 下載文件
 def download_save(self):
 # 匹配出來的可能有None，所以要做一下處理
 url_list=self._get_files_url()
 url_list=list(filter(lambda x:x!=None,url_list))
 if len(url_list)==0:
 return False
 # 創(chuàng)建一個保存zip的文件夾
 # 更改執(zhí)行路徑的原因是這樣可以靈活的在用戶指定的目錄下創(chuàng)建文件
 os.chdir(self.file_path)
 if os.path.exists(self.file_path+'/'+'Download_Files') == False:
 os.mkdir('Download_Files')
 # 更改執(zhí)行路徑
 os.chdir(self.file_path + '/'+'Download_Files/')
 for url in url_list:
 # 鏈接中附帶了作者和文件名，但是需要解碼，所以先用正則語言提取目標串，然后轉(zhuǎn)換成中文
 ret = re.search(r'_.*\.zip$',url)
 file_info=unquote(ret.group())
 file_author=file_info.split('_')[1]
 file_title=file_info.split('_')[2]
 file_object=requests.get(url)
 file_name=file_author+'_'+file_title
 print('正在下載:%s'%file_name)
 with open(file_name,'wb') as f:
 f.write(file_object.content)


 # def auto_fill(self):

if __name__ == '__main__':
 url='http://***'
 order_id='***'
 file_path='D:/For discipline/Get_excel'
 test=Download_file(url,order_id,file_path)
 test.download_save()

#!/usr/bin/python3
# coding=utf-8
import os
import time
import xlwt
import zipfile
import re
import pickle
from bs4 import BeautifulSoup
from Download_files import Download_file
class get_excel():
 def __init__(self,file_path):
 self.file_path=file_path


 # 解壓出目標文件
 def _unzip_files(self):
 '''
 這個函數(shù)具備解壓目標文件的功能并且返回需要處理的文件列表
 :return:
 '''
 files_list=os.listdir(self.file_path)
 # 文件名存放在列表中，為了防止處理了別的文件，先用正則匹配一下
 files_list=list(filter(lambda x:re.search(r'\.zip$',x)!=None,files_list))
 title_list=[]
 for file in files_list:
 title=file.split('.')[0].split('_')[1]
 with zipfile.ZipFile(self.file_path+'/'+file,'r') as z:
 # 代碼有點長，主要是用于篩選出目標文件
 target_file=list(filter(lambda x:re.search(r'比對報告.html$',x)!=None,z.namelist()))
 # 下面的方法就是比較靈活的
 contentb=z.read(target_file[0])
 # 這里很頭痛的一點是返回值是二進制的，就算decode了也沒辦法正則匹配
 # 所以我想把它存一下再用utf8格式讀取
 # 當然我也嘗試了decode，但網(wǎng)頁內(nèi)的有些東西還是沒辦法轉(zhuǎn)換，也會導致正則無法匹配
 if os.path.exists(self.file_path+'/'+title+'_'+'比對報告.html')==False:
 with open(self.file_path+'/'+title+'_'+'比對報告.html','wb') as fb:
 pickle.dump(contentb,fb)
 # with open(self.file_path+'/'+target_file[0],'r',encoding='utf-8') as fa:
 # contenta=fa.read()
 # print(contenta)
 # sentence=str(re.search(r'<b [^"]*red tahoma.*</b>$',contenta))
 # value=re.search(r'\d.*%', sentence)
 # info=[author,title,value]
 # repetition_rate.append(info)
 title_list.append(target_file[0])
 return files_list,title_list


 # 讀取html文件內(nèi)容
 def read_html(self):
 '''
 之前的函數(shù)已經(jīng)把目標文件解壓出來了，但html文件的讀取比較麻煩，
 所以這里用到了BeautifulSoup庫來讀取我想要的信息，
 然后把想要的東西存在列表里面返回回來。
 :return:
 '''
 files_list,title_list=self._unzip_files()
 repetition_rate=[]
 for file in files_list:
 # 取出作者和標題，這兩個數(shù)據(jù)要寫到excel里面
 file=file.split('.')
 file=file[0].split('_')
 author=file[0]
 title=file[1]
 # 比對報告已經(jīng)解壓出來了，直接讀取就可以
 with open(self.file_path+'/'+title+'_比對報告.html','rb') as f:
 # 下面是BeautifulSoup的用法，看不懂的話可以去官網(wǎng)
 content=f.read()
 content=BeautifulSoup(content,"html.parser")
 # print(type(content))
 # 網(wǎng)上搜了很多，終于可以找到我想要的重復率了
 value=content.find('b',{"class":"red tahoma"}).string
 repetition_rate.append([author,title,value])
 return repetition_rate


 def write_excel(self):
 '''
 生成xls表格
 :return:
 '''
 workbook=xlwt.Workbook(encoding='utf-8')
 booksheet=workbook.add_sheet('Sheet1')
 # 設置邊框
 borders = xlwt.Borders() # Create Borders
 borders.left = xlwt.Borders.THIN #DASHED虛線，NO_LINE沒有，THIN實線
 borders.right = xlwt.Borders.THIN #borders.right=1 表示實線
 borders.top = xlwt.Borders.THIN
 borders.bottom = xlwt.Borders.THIN
 borders.left_colour=0x40
 borders.right_colour = 0x40
 borders.top_colour = 0x40
 borders.bottom_colour = 0x40
 style1=xlwt.XFStyle()
 style1.borders=borders
 # 設置背景顏色，這些操作搞得很像js和css
 pattern = xlwt.Pattern()
 pattern.pattern = xlwt.Pattern.SOLID_PATTERN
 pattern.pattern_fore_colour = 44
 style = xlwt.XFStyle() # Create the Pattern
 style.pattern = pattern
 repetition_rate=self.read_html()
 # 寫一個標題
 booksheet.write(0,0,'作者',style)
 booksheet.write(0,1,'標題',style)
 booksheet.write(0,2,'重復率',style)
 for item in repetition_rate:
 booksheet.write(repetition_rate.index(item)+1,0,item[0],style1)
 booksheet.write(repetition_rate.index(item)+1,1,item[1],style1)
 booksheet.write(repetition_rate.index(item)+1,2,item[2],style1)
 s='重復率.xls'
 workbook.save(self.file_path+'/'+s)


if __name__ == '__main__':
 # 判斷一下Download_files文件夾
 file_path='D:/For discipline/Get_excel'
 url='http://***'
 order_number='***'
 if os.path.exists('./Download_Files')==False:
 get_file=Download_file(url,order_number,file_path)
 get_file.download_save()
 os.chdir(file_path+'/Download_Files')
 test=get_excel('D:/For discipline/Get_excel/Download_Files')
 test.write_excel()

from bs4 import BeautifulSoup

for k in soup.find_all('a'):
 print(k)
 print(k['class'])#查a標簽的class屬性
 print(k['id'])#查a標簽的id值
 print(k['href'])#查a標簽的href值
 print(k.string)#查a標簽的string
 #tag.get('calss')，也可以達到這個效果