Hive自定义UDF函数开发

2019-04-23

IDEA编写自定义函数

pom.xml

<hive.version>1.1.0-cdh5.7.0</hive.version>

  <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-exec</artifactId>
      <version>${hive.version}</version>
    </dependency>

DEMO

package com.dashu.hive;

import org.apache.hadoop.hive.ql.exec.UDF;

public class HelloUDF extends UDF{
    public String evaluate(String input){
        //TODO:工作中的详细业务功能
        return "Hello："+input;
    }

    public String evaluate(String input1,String input2){
        //TODO:工作中的详细业务功能
        return "Hello："+input1+"=>"+input2;
    }
}

jar包编译并上传到Linux中

1	-rw-r--r--. 1 hadoop hadoop 7483 4月 18 10:39 hive_UDF.jar

当前Session生效

- 添加jar包
hive> add jar /home/hadoop/data/hive/hive_UDF.jar;

- 创建临时函数
hive> create temporary function sayhello as 'com.dashu.hive.HelloUDF';
OK
Time taken: 0.485 seconds

- 删除临时函数
hive> DROP TEMPORARY FUNCTION IF EXISTS sayhello;

永久生效方式

上传jar包到hdfs

hadoop fs -mkdir /lib
hadoop fs -put /home/hadoop/data/hive/hive_UDF.jar /lib/
hadoop fs -ls /lib/
Found 1 items
-rw-r--r--   1 hadoop supergroup       7483 2019-04-18 11:10 /lib/hive_UDF.jar

添加永久函数

1	CREATE FUNCTION sayhello2 AS 'com.dashu.hive.HelloUDF' USING JAR 'hdfs://hadoop001:8020/lib/hive_UDF.jar' ;

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true