Java下載遠(yuǎn)程服務(wù)器文件到本地(基于http協(xié)議和ssh2協(xié)議)
Java中java.io包為我們提供了輸入流和輸出流,對文件的讀寫基本上都依賴于這些封裝好的關(guān)于流的類中來實現(xiàn)。前段時間遇到了以下兩種需求:
1、與某系統(tǒng)對接,每天獲取最新的圖片并顯示在前端頁面。該系統(tǒng)提供的是一個http協(xié)議的圖片URL,本來獲取到該系統(tǒng)的圖片地址以后在HTML中顯示就可以了,但是該系統(tǒng)不太穩(wěn)定,圖片URL經(jīng)常不能使用,而且每天生成圖片不一定成功,
對自己系統(tǒng)的功能影響很大,emm。。。所以就考慮每天從該系統(tǒng)下載最新的圖片到本地更新保存,沒有新圖片就繼續(xù)使用上次的圖片。
2、公司算法團(tuán)隊的同事完成了一個視頻分析的檢測功能,會生成一些截取的短視頻文件,系統(tǒng)需要獲取并保存這些視頻文件。算法運(yùn)行在Linux系統(tǒng),沒有搭建FTP服務(wù)器,所以就需要系統(tǒng)從運(yùn)行算法的Linux系統(tǒng)復(fù)制文件到系統(tǒng)本地保存起來。
這兩個需求實現(xiàn)起來都是大同小異,思路就是讀取文件然后寫到指定路徑,只不過http協(xié)議的圖片地址可以直接讀取然后保存,而Linux系統(tǒng)的文件需要遠(yuǎn)程連接到該服務(wù)器然后再下載文件,這就需要我們引入以下依賴:
<!--遠(yuǎn)程讀取服務(wù)器文件--> <dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId> <version>262</version> </dependency> <dependency> <groupId>com.jcraft</groupId> <artifactId>jsch</artifactId> <version>0.1.53</version> </dependency> <dependency> <groupId>commons-net</groupId> <artifactId>commons-net</artifactId> <version>3.4</version> </dependency>
廢話不說了,先上代碼:
package com.XXX.utils;
import ch.ethz.ssh2.*;
import com.databus.Log;
import com.mysql.jdbc.StringUtils;
import java.io.*;
import java.net.*;
public class FileUtils {
public static boolean downloadFile(String urlString,String fileName,String filePath) {
boolean bool = false;
InputStream is = null;
FileOutputStream os = null;
try {
Log.info("文件路徑:" + urlString);
// 構(gòu)造URL
java.net.URL url = new java.net.URL(urlString);
// 打開連接
URLConnection con = url.openConnection();
// 輸入流
is = con.getInputStream();
// 1K的數(shù)據(jù)緩沖
byte[] bs = new byte[1024];
// 讀取到的數(shù)據(jù)長度
int len;
//判斷指定目錄是否存在,不存在則先創(chuàng)建目錄
File file = new File(filePath);
if (!file.exists())
file.mkdirs();
//fileName如果不包含文件后綴,則需要加上后綴,如:fileName + ".jpg";fileName + ".txt";
os = new FileOutputStream(filePath + fileName, false);//false:覆蓋文件,true:在原有文件后追加
// 開始讀取
while ((len = is.read(bs)) != -1) {
os.write(bs, 0, len);
}
bool = true;
Log.info("文件保存成功:" + fileName);
}catch (Exception e){
e.printStackTrace();
}finally {
// 完畢,關(guān)閉所有鏈接
if (null != os){
try {
os.flush();
os.close();
}catch (IOException e){
e.printStackTrace();
}
}
if (null != is){
try {
is.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
return bool;
}
//遠(yuǎn)程下載服務(wù)器文件
public static boolean copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName){
boolean bool = false;
Connection conn = null;
Session session = null;
try {
if (StringUtils.isNullOrEmpty(ip) || StringUtils.isNullOrEmpty(userName) || StringUtils.isNullOrEmpty(password) ||
StringUtils.isNullOrEmpty(sourceFile) || StringUtils.isNullOrEmpty(targetFile)){
return bool;
}
conn = new Connection(ip,port);
conn.connect();
boolean isAuth = conn.authenticateWithPassword(userName,password);
if (!isAuth){
Log.info("算法主機(jī)連接失敗");
return bool;
}
//執(zhí)行命令
session = conn.openSession();
//執(zhí)行命令并打印執(zhí)行結(jié)果
session.execCommand("df -h");
InputStream staout = new StreamGobbler(session.getStdout());
BufferedReader br = new BufferedReader(new InputStreamReader(staout));
String line = null;
while ((line = br.readLine()) != null){
System.out.println(line);
}
br.close();
//下載文件到本地
SCPClient scpClient = conn.createSCPClient();
SCPInputStream scpis = scpClient.get(sourceFile);
//判斷指定目錄是否存在,不存在則先創(chuàng)建目錄
File file = new File(targetFile);
if (!file.exists())
file.mkdirs();
FileOutputStream fos = new FileOutputStream(targetFile + targetFileName);
byte[] buffer = new byte[1024];
int len = 0;
while ((len = scpis.read(buffer)) != -1){
fos.write(buffer,0,len);
}
fos.close();
bool = true;
//SFTP
/*SFTPv3Client sftPClient = new SFTPv3Client(conn);
sftPClient.createFile("");
sftPClient.close();*/
}catch (Exception e){
e.printStackTrace();
Log.info(e.getMessage());
Log.info("保存失?。? + sourceFile);
}finally {
if (null != session){
session.close();
}
if (null != conn) {
conn.close();
}
}
return bool;
}
}
第一個方法downloadFile(String urlString,String fileName,String filePath)與我們讀寫文件沒什么區(qū)別,我們主要說一下遠(yuǎn)程讀取Linux服務(wù)器文件的方法:
copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName)
可以看到,我們需要Linux服務(wù)器的ip、ssh開放的端口號(一般默認(rèn)是22)、服務(wù)器用戶名和密碼,所以我們要確保Linux服務(wù)器已經(jīng)開放ssh連接,否則我們的程序根本就連不上服務(wù)器,更不要說復(fù)制文件了。
其實ssh2連接遠(yuǎn)程服務(wù)器,就和我們用Xshell連接服務(wù)器是一樣的,不但可以復(fù)制文件,也可以執(zhí)行Linux命令對Linux進(jìn)行操作,看上面的一段代碼:
//執(zhí)行命令
session = conn.openSession();
//執(zhí)行命令并打印執(zhí)行結(jié)果
session.execCommand("df -h");
InputStream staout = new StreamGobbler(session.getStdout());
BufferedReader br = new BufferedReader(new InputStreamReader(staout));
String line = null;
while ((line = br.readLine()) != null){
System.out.println(line);
}
br.close();
這段代碼與復(fù)制文件沒有關(guān)系,之所以保留就是要說明一下,我們執(zhí)行了df -h 命令(查詢服務(wù)器磁盤使用情況),將會得到磁盤的具體使用情況,與下圖效果相同。所以我們可以用ssh2做很多事情,有興趣的童鞋可以多了解。

另外在copyFile()方法的最后有一段注釋的代碼:
//SFTP
/*SFTPv3Client sftPClient = new SFTPv3Client(conn);
sftPClient.createFile("files");
sftPClient.close();*/
我們也可以通過建立SFTP連接來遠(yuǎn)程操作目錄和文件,比如:創(chuàng)建、刪除目錄,創(chuàng)建、刪除文件等。
關(guān)于ssh2包的其他功能和用法不再引申,有興趣的童鞋歡迎在評論區(qū)交流。
以上就是Java下載遠(yuǎn)程服務(wù)器文件到本地(基于http協(xié)議和ssh2協(xié)議)的詳細(xì)內(nèi)容,更多關(guān)于java 下載服務(wù)器文件的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Java并發(fā)編程service層處理并發(fā)事務(wù)加鎖可能會無效問題
這篇文章主要介紹了Java并發(fā)編程service層處理并發(fā)事務(wù)加鎖可能會無效問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2023-07-07
Java 中 Date 與 Calendar 之間的編輯與轉(zhuǎn)換實例詳解
這篇文章主要介紹了Java 中 Date 與 Calendar 之間的編輯與轉(zhuǎn)換 ,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下2018-07-07
利用Java+Selenium+OpenCV模擬實現(xiàn)網(wǎng)頁滑動驗證
目前很多網(wǎng)頁都有滑動驗證,目的就是防止不良爬蟲扒他們網(wǎng)站的數(shù)據(jù)。本文將介紹通過Java Selenium OpenCV解決網(wǎng)頁滑塊驗證,需要的可以參考一下2022-01-01
Java char[]數(shù)組轉(zhuǎn)成String類型詳細(xì)介紹
這篇文章詳細(xì)介紹了Java char[]數(shù)組轉(zhuǎn)成String類型(char to String)的方法,文章中有詳細(xì)的代碼示例,需要的朋友可以參考閱讀2023-04-04
SpringBoot如何使用slf4j日志及其項目配置、MVC支持
這篇文章主要介紹了SpringBoot如何使用slf4j日志及其項目配置、MVC支持,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-05-05

