python從ftp下載數(shù)據(jù)保存實例
《hadoop權(quán)威指南》的天氣數(shù)據(jù)可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下載，在網(wǎng)上看到這個數(shù)據(jù)好開心，打開ftp發(fā)現(xiàn)個問題，呀呀，這么多文件啊，我一個個去點另存為，得點到啥時候啊，迅雷應該有批量下載，只是我沒找到，估計是我瀏覽器把迅雷禁掉了，干脆自己用python寫一個實現(xiàn)下載好了，網(wǎng)上早了一下，發(fā)現(xiàn)很簡單啊
#!/usr/bin/python
#-*- coding: utf-8 -*-
from ftplib import FTP
def ftpconnect():
ftp_server = 'ftp3.ncdc.noaa.gov'
username = ''
password = ''
ftp=FTP()
ftp.set_debuglevel(2) #打開調(diào)試級別2，顯示詳細信息
ftp.connect(ftp_server,21) #連接
ftp.login(username,password) #登錄，如果匿名登錄則用空串代替即可
return ftp
def downloadfile():
ftp = ftpconnect()
#print ftp.getwelcome() #顯示ftp服務器歡迎信息
datapath = "/pub/data/noaa/"
year=1911
while year<=1930:
path=datapath+str(year)
li = ftp.nlst(path)
for eachFile in li:
localpaths = eachFile.split("/")
localpath = localpaths[len(localpaths)-1]
localpath='weatherdata/'+str(year)+'--'+localpath#把日期放在最前面，方便排序
bufsize = 1024 #設置緩沖塊大小
fp = open(localpath,'wb') #以寫模式在本地打開文件
ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服務器上文件并寫入本地文件
year=year+1
ftp.set_debuglevel(0) #關閉調(diào)試
fp.close()
ftp.quit() #退出ftp服務器
if __name__=="__main__":
downloadfile()
相關文章
這篇文章主要介紹了Python模塊decimal ,Python提供了decimal模塊用于十進制數(shù)學計算，它具有以下特點在文中給大家詳細介紹，需要的朋友可以參考下2019-06-06
這篇文章主要介紹了python操作mysql、excel、pdf的示例，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-03-03
在PyTorch中,nn.Module類是構(gòu)建神經(jīng)網(wǎng)絡模型的基礎類,所有自定義的層、模塊或整個神經(jīng)網(wǎng)絡架構(gòu)都需要繼承自這個類,本文介紹PyTorch的nn.Module類的定義和使用介紹,感興趣的朋友一起看看吧2024-01-01
tensorflow saver 保存和恢復指定 tensor的實例講解
今天小編就為大家分享一篇tensorflow saver 保存和恢復指定 tensor的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
這篇文章主要介紹了深入理解?python?虛擬機的相關資料,需要的朋友可以參考下2023-04-04
pandas數(shù)據(jù)框,統(tǒng)計某列數(shù)據(jù)對應的個數(shù)方法
下面小編就為大家分享一篇pandas數(shù)據(jù)框,統(tǒng)計某列數(shù)據(jù)對應的個數(shù)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了Pyecharts V1和V0.5之間相互切換的方法，Pyecharts這個可視化庫火爆，官方如是說：Echarts 是一個由百度開源的數(shù)據(jù)可視化，憑借著良好的交互性，精巧的圖表設計，得到了眾多開發(fā)者的認可，下面和小編一起進入文章了解具體內(nèi)容吧2022-02-02
Perl中著名的Schwartzian轉(zhuǎn)換問題解決實現(xiàn)
這篇文章主要介紹了Perl中著名的Schwartzian轉(zhuǎn)換問題解決實現(xiàn),本文詳解講解了Schwartzian轉(zhuǎn)換涉及的排序問題,并同時給出實現(xiàn)代碼,需要的朋友可以參考下2015-06-06
今天給大家分享一個讀者粉絲投稿的，關于上課點名的實戰(zhàn)案例，對Python上課點名器實現(xiàn)過程感興趣的朋友，一起來看看是如何實現(xiàn)的吧2021-10-10
這篇文章主要介紹了Python networkx包的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-02-02