hbase訪問方式之java api
Hbase的訪問方式
1、Native Java API:最常規(guī)和高效的訪問方式;
2、HBase Shell:HBase的命令行工具,最簡單的接口,適合HBase管理使用;
3、Thrift Gateway:利用Thrift序列化技術,支持C++,PHP,Python等多種語言,適合其他異構系統(tǒng)在線訪問HBase表數(shù)據(jù);
4、REST Gateway:支持REST 風格的Http API訪問HBase, 解除了語言限制;
5、MapReduce:直接使用MapReduce作業(yè)處理Hbase數(shù)據(jù);
6、使用Pig/hive處理Hbase數(shù)據(jù)。
常用Java API的用法:
1、加載配置
Configuration config = HBaseConfiguration.create();
//可以自定義配置,也可以從自定義配置文件中讀取
/*config.set("hbase.zookeeper.property.clientPort", "4181");
config.set("hbase.zookeeper.quorum", "hadoop.datanode5.com,hadoop.datanode2.com,hadoop.datanode3.com");
config.set("hbase.master", "hadoop.datanode3.com\\:600000");*/
2、表的創(chuàng)建、表信息修改、表刪除
HBaseAdmin admin = new HBaseAdmin(config);
//創(chuàng)建表
HTableDescriptor htd = new HTableDescriptor(tableName);
htd.addFamily(new HColumnDescriptor("cf1"));
htd.addFamily(new HColumnDescriptor("cf2"));
admin.createTable(htd);
//修改表信息
admin.disableTable(tableName);
// modifying existing ColumnFamily
admin.modifyColumn(tableName, new HColumnDescriptor("cf1"));
admin.enableTable(tableName);
//刪除表
admin.disableTable(Bytes.toBytes(tableName));
admin.deleteTable(Bytes.toBytes(tableName));
3、添加記錄
/** 在多次使用時,建議用HTablePool
HTable table = new HTable(config, tableName);
=>
HTablePool pool = new HTablePool(config, 1000);
HTableInterface table = pool.getTable(tableName);*/
HTable table = new HTable(config, tableName);
/**
* 在插入操作時,默認不適用任何緩存
* 可自定義使用緩存,以及緩存大小
* 每個任務最后需要手工調(diào)用 flushCommits();
*/
/*table.setAutoFlush(false);
table.setWriteBufferSize(1024);*/
Put put1 = new Put(Bytes.toBytes(rowKey));
if (ts == 0) {
put1.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value));
} else {
//自定義版本時,從自定義的版本號,類型為long
put1.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), ts,Bytes.toBytes(value));
}
table.put(put1);
//table.flushCommits();
4、查詢,根據(jù)Rowkey查詢
Get get1 = new Get(Bytes.toBytes(rowKey));
Result result = table.get(get1);
System.out.println("get result:" + Bytes.toString(result.getValue(Bytes.toBytes(family), Bytes.toBytes(qualifier))));
Result[] result = table.get(List<Get>);//查詢指定Rowkey的多條記錄
5、查詢,指定條件和rowkey區(qū)間查詢
Scan scan = new Scan();
//默認緩存大小為1,設置成一個合理的值,可以減少scan過程中next()的時間開銷,代價是客戶端的內(nèi)存
scan.setCaching(500);
scan.setCacheBlocks(false);
//根據(jù)startRowKey、endRowKey查詢
//Scan scan = new Scan(Bytes.toBytes("startRowKey"), Bytes.toBytes("endRowKey"));
//rowKey之外的過濾條件,在List中可以add;
/**List<Filter> filters = new ArrayList<Filter>();
Filter filter = new SingleColumnValueFilter("familyName".getBytes(),
"qualifierName".getBytes(),
CompareOp.EQUAL,
Bytes.toBytes("value"));
filters.add(filter);
scan.setFilter(new FilterList(filters));*/
ResultScanner scanner = table.getScanner(scan);
System.out.println("scan result list:");
for (Result result : scanner) {
System.out.println(Bytes.toString(result.getRow()));
System.out.println(Bytes.toString(result.getValue(Bytes.toBytes("data"), Bytes.toBytes("data1"))));
System.out.println(Bytes.toString(result.getValue(Bytes.toBytes("data"), Bytes.toBytes("data2"))));
}
scanner.close();
總結
以上所述是小編給大家介紹的hbase訪問方式之java api,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
相關文章
使用feign傳遞參數(shù)類型為MultipartFile的問題
這篇文章主要介紹了使用feign傳遞參數(shù)類型為MultipartFile的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-03-03
MybatisPlus處理四種表與實體的映射及id自增策略分析
在最近的工作中,碰到一個比較復雜的返回結果,發(fā)現(xiàn)簡單映射已經(jīng)解決不了這個問題了,只好去求助百度,學習mybatis表與實體的映射應該怎么寫,將學習筆記結合工作碰到的問題寫下本文,供自身查漏補缺,同時已被不時之需2022-10-10
Java并發(fā)編程之synchronized底層實現(xiàn)原理分析
這篇文章主要介紹了Java并發(fā)編程之synchronized底層實現(xiàn)原理,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02

