#!/usr/bin/python 
# -*- coding:utf-8 -*- 
 
import urllib              #導(dǎo)入urllib模塊 
import urllib2             #導(dǎo)入urllib2模塊 
import re               #導(dǎo)入正則表達(dá)式模塊：re模塊 
 
def getPDFFromNet(inputURL): 
  req = urllib2.Request(inputURL) 
  f = urllib2.urlopen(req)         #打開網(wǎng)頁 
  localDir = 'E:\downloadPDF\\'        #下載PDF文件需要存儲(chǔ)在本地的文件夾 
  urlList = []            #用來存儲(chǔ)提取的PDF下載的url的列表 
  for eachLine in f:          #遍歷網(wǎng)頁的每一行 
    line = eachLine.strip()       #去除行首位的空格，習(xí)慣性寫法 
    if re.match('.*PDF.*', line):      #去匹配含有“PDF”字符串的行，只有這些行才有PDF下載地址 
      wordList = line.split('\"')    #以"為分界，將該行分開，這樣就將url地址單獨(dú)分開了 
      for word in wordList:      #遍歷每個(gè)字符串 
        if re.match('.*\.pdf$', word): #去匹配含有“.pdf”的字符串，只有url中才有 
          urlList.append(word)  #將提取的url存入列表 
  for everyURL in urlList:         #遍歷列表的每一項(xiàng)，即每一個(gè)PDF的url 
    wordItems = everyURL.split('/')     #將url以/為界進(jìn)行劃分，為了提取該P(yáng)DF文件名 
    for item in wordItems:       #遍歷每個(gè)字符串 
      if re.match('.*\.pdf$', item):   #查找PDF的文件名 
        PDFName = item     #查找到PDF文件名 
    localPDF = localDir + PDFName      #將本地存儲(chǔ)目錄和需要提取的PDF文件名進(jìn)行連接 
    try:            
      urllib.urlretrieve(everyURL, localPDF) #按照url進(jìn)行下載，并以其文件名存儲(chǔ)到本地目錄 
    except Exception,e: 
      continue 
 
getPDFFromNet('http://www.cvpapers.com/cvpr2014.html') 

urllib.urlretrieve(everyURL, localPDF, reporthook=reporthook) 

def reporthook(block_read,block_size,total_size): 
 if not block_read: 
 print "connection opened"; 
 return 
 if total_size<0: 
 #unknown size 
 print "read %d blocks (%dbytes)" %(block_read,block_read*block_size); 
 else: 
 amount_read=block_read*block_size; 
 print 'Read %d blocks,or %d/%d' %(block_read,block_read*block_size,total_size);