亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

hadoop入門之通過java代碼實(shí)現(xiàn)將本地文件上傳到hadoop的文件系統(tǒng)

  發(fā)布時間：2014-02-16 11:34:30   作者：佚名   我要評論
本文主要介紹了通過java代碼實(shí)現(xiàn)將本地文件上傳到hadoop的文件系統(tǒng)的示例，大家參考使用吧

第一步：首先搭建java的編譯環(huán)境。創(chuàng)建一個Java Project工程，名為upload。

第二步：選中所需的Jar包。
選中JRE System Library 選擇BuildPath Configure Build Path 選擇hadoop相應(yīng)的jar包。
通過Add External JARS --〉Hadoop-0.20.2下所有的jar包以及l(fā)ib下所有的jar包。OK。操作步驟如圖：

Hadoop-0.20.2下所有的jar包。

lib下的所有jar包。

第三步：創(chuàng)建class名為UploadFile

第四步：編寫代碼。


復(fù)制代碼
代碼如下:

package upload;</p> <p>import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;</p> <p>
public class UploadFile {</p> <p> public static void main(String[] args) {
try {
String localStr = args[0];
String dst = args[1];
//in對應(yīng)的是本地文件系統(tǒng)的目錄
InputStream in = new BufferedInputStream(new FileInputStream(localStr));
Configuration conf = new Configuration();
//獲得hadoop系統(tǒng)的連接
FileSystem fs = FileSystem.get(URI.create(dst),conf);

//out對應(yīng)的是Hadoop文件系統(tǒng)中的目錄
OutputStream out = fs.create(new Path(dst));
IOUtils.copyBytes(in, out, 4096,true//4096是4k字節(jié)
System.out.println("success");
} catch (Exception e) {
System.out.println(e.toString());
}
}
}

第五步：在Run Configuration里面設(shè)置兩個參數(shù)，并執(zhí)行。

點(diǎn)擊 Run Configuration

在Java Application中設(shè)置 Project和MainClass

Arguments 加兩個參數(shù)/home/cui/xxxx hdf://cui:9000/xxx Applay Run

第六步：查看結(jié)果。

顯示運(yùn)行成功。

在hadoop文件系統(tǒng)中已經(jīng)看到了hadoop-0.20.2.tar.gz了。

至此文件通過代碼上傳成功！

將代碼打包成jar文件，并測試。

1. 在Run Configurations里面命名為uploadfile。

2. 右擊工程，執(zhí)行Export，選擇Runnable JAR file。點(diǎn)擊下一步。

3. 選擇剛才的configuration uploadfile，選擇導(dǎo)出路徑/home/cui。命名為upload.jar

點(diǎn)擊下一步，導(dǎo)出成功。

4. 通過java命令執(zhí)行。

5. 通過瀏覽器查看。

upload_hdfs.jar 已經(jīng)存在。

相關(guān)文章

最新評論