大數(shù)據(jù) java hive udf函數(shù)的示例代碼(手機(jī)號碼脫敏)
Hive UDFHive UDF 函數(shù)1 POM 文件2.UDF 函數(shù)3 利用idea打包4 添加hive udf函數(shù)4.1 上傳jar包到集群4.2 修改集群hdfs文件權(quán)限4.3 注冊UDF4.4 使用UDF
Hive UDF 函數(shù)
1 POM 文件
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>填寫自己的組織名稱</groupId> <artifactId>udf</artifactId> <version>1.0-SNAPSHOT</version> <properties> <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> <!--Hadoop版本更改成自己的版本--> <hadoop.version>2.6.0-cdh5.13.3</hadoop.version> <hive.version>1.1.0-cdh5.13.3</hive.version> </properties> <repositories> <!--加入Hadoop原生態(tài)的maven倉庫的地址--> <repository> <id>Apache Hadoop</id> <name>Apache Hadoop</name> <url>https://repo1.maven.org/maven2/</url> </repository> <!--加入cdh的maven倉庫的地址--> <repository> <id>cloudera</id> <name>cloudera</name> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories> <dependencies> <!--添加hadoop依賴--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}</version> </dependency> <!--添加hive依賴--> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>${hive.version}</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <!--這部分可有可無,加上的話則直接生成可運(yùn)行jar包--> <!--<archive>--> <!--<manifest>--> <!--<mainClass>填寫自己的組織名稱.PhoneUnlookUdf</mainClass>--> <!--</manifest>--> <!--</archive>--> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> </project>
2.UDF 函數(shù)
package 填寫自己的組織名稱; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; // 上傳udf jar到集群 hdfs dfs -put udf-1.0-SNAPSHOT-jar-with-dependencies.jar /data/data_coe/data_asset/prod/db/tmp/udf/ // 修改文件權(quán)限 hdfs dfs -chmod -R 777 hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/ //注冊udf函數(shù) create function tmp.pul as '填寫自己的組織名稱.PhoneUnlookUdf' using jar 'hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/udf-1.0-SNAPSHOT-jar-with-dependencies.jar public class PhoneUnlookUdf extends UDF { //重寫evaluate方法 public String evaluate(String phone){ if (phone.length() == 11){ String res = phone.substring(0, 3) + "****" + phone.substring(7, phone.length()); System.out.println(res); return res; } else { return phone; } } }
3 利用idea打包
先點(diǎn)clean,在點(diǎn)package
4 添加hive udf函數(shù)
集群的某些問題,不能直接通過添加服務(wù)器上本地文件到hive增加udf;需要將文件上傳到hdfs,然后定義udf函數(shù)。
4.1 上傳jar包到集群
// 上傳udf jar到集群 hdfs dfs -put udf-1.0-SNAPSHOT-jar-with-dependencies.jar /data/data_coe/data_asset/prod/db/tmp/udf/
4.2 修改集群hdfs文件權(quán)限
// 修改文件權(quán)限 hdfs dfs -chmod -R 777 hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/
4.3 注冊UDF
//注冊udf函數(shù) create function tmp.pul as 'cn.mcd.com.PhoneUnlookUdf' using jar 'hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/udf-1.0-SNAPSHOT-jar-with-dependencies.jar
4.4 使用UDF
···
打開集群hive客戶端:
select tmp.pul(phone) from tmp.tmp_order limit 3;
···
總結(jié)
到此這篇關(guān)于大數(shù)據(jù) java hive udf函數(shù)(手機(jī)號碼脫敏)的文章就介紹到這了,更多相關(guān)大數(shù)據(jù)hive udf函數(shù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot整合SpringSecurity實(shí)現(xiàn)認(rèn)證攔截的教程
我們寫的任何一個項(xiàng)目,都應(yīng)該有安全防護(hù),不應(yīng)該讓這個項(xiàng)目進(jìn)行“裸奔”,否則很容易被別人進(jìn)行攻擊。而在SpringBoot環(huán)境中,其實(shí)可以很容易實(shí)現(xiàn)安全保護(hù),本文給大家介紹SpringBoot如何整合SpringSecurity實(shí)現(xiàn)認(rèn)證攔截,需要的朋友可以參考下2023-05-05Java實(shí)現(xiàn)反轉(zhuǎn)一個鏈表的示例代碼
本文主要介紹了Java實(shí)現(xiàn)反轉(zhuǎn)一個鏈表的示例代碼,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07Mybatis-plus3.4.3下使用lambdaQuery報(bào)錯解決
最近在使用lambdaQuery().eq(CommonUser::getOpenId, openId).one()進(jìn)行查詢報(bào)錯,本文主要介紹了Mybatis-plus3.4.3下使用lambdaQuery報(bào)錯解決,具有一定的參考價(jià)值,感興趣的可以了解一下2024-07-07利用Java如何獲取Mybatis動態(tài)生成的sql接口實(shí)現(xiàn)
MyBatis 的強(qiáng)大特性之一便是它的動態(tài)SQL,下面這篇文章主要給大家介紹了關(guān)于利用Java如何獲取Mybatis動態(tài)生成的sql接口實(shí)現(xiàn)的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-01-01