自定义函数hello，并注册到hive源码中并重新编译

1 编写自己的udf方法hello

package cn.zhangjin.hive.udf;import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;/*** @author zj* @create 2019-02-22 17:51* 一个UDF: hello*/@Description(name = "sayhello",value = "_FUNC_(input_str) - returns Hello : input_str ",extended = "Example:\n "+ "  > SELECT _FUNC_('wxk') FROM src LIMIT 1;\n"+ "  'Hello : wxk'\n")
public class hello extends UDF {public Text evaluate(Text input) {return new Text("Hello: " + input);}
}

pom配置

    <url>http://maven.apache.org</url><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><hadoop.version>2.6.0-cdh5.7.0</hadoop.version><hive.version>1.1.0-cdh5.7.0</hive.version></properties><repositories><repository><id>cloudera</id><url>https://repository.cloudera.com/artifactory/cloudera-repos</url></repository></repositories><!-- 设定插件仓库 --><pluginRepositories><pluginRepository><id>jeesite-repos</id><name>Jeesite Repository</name><url>http://maven.aliyun.com/nexus/content/groups/public</url></pluginRepository></pluginRepositories><dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>${hive.version}</version></dependency><dependency><groupId>org.apache.hive</groupId><artifactId>hive-jdbc</artifactId><version>${hive.version}</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.10</version><scope>test</scope></dependency></dependencies>

2 下载hive源码

源码下载：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz

参见：FunctionRegistry

3 自己修改代码

（1）修改udf函数，并放入源码中　

将hello.java  放入 hive-1.1.0-cdh5.7.0/ql/src/java/org/apache/hadoop/hive/ql/udf 文件夹中
vi hello.java
将 package com.****.hello; 修改为 package org.apache.hadoop.hive.ql.udf;

（2)修改FunctionRegistry.java 文件

vi hive-1.1.0-cdh5.7.0/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java
文件头部 一长串 import 下添加，因为我们要吧这个UDF添加进去。
import org.apache.hadoop.hive.ql.udf.hello;文件头部 static 块中添加  system.registerUDF("hello", hello.class, false);
如下：
static {system.registerGenericUDF("concat", GenericUDFConcat.class);system.registerUDF("hello", hello.class, false);system.registerUDF("substr", UDFSubstr.class, false);

4 重新编译源码

　　maven install 这里用的idea导入工程进行编译

5 把编译好的jar上传

　　重新部署或者只将编译后的hive-exec-1.1.0-cdh5.7.0.jar 放到原来hive部署的位置即可。两种方式都可以！！

　　我这里选择的是只将编译后的hive-exec-1.1.0-cdh5.7.0.jar 放到原来hive部署的位置即可

上传到hive的lib包下面

　　/mnt/software/hive-1.1.0-cdh5.7.0/lib

6 重新启动hive

查询内置函数

hive> show functions ;

发现hello已经注册进去了

7 测试一下函数没有问题

转载于:https://www.cnblogs.com/QuestionsZhang/p/10420076.html

自定义函数hello，并注册到hive源码中并重新编译相关推荐

初学者也能看懂的 Vue3 源码中那些实用的基础工具函数
1. 前言大家好,我是若川.最近组织了源码共读活动.每周读 200 行左右的源码.很多第一次读源码的小伙伴都感觉很有收获,感兴趣可以加我微信ruochuan12,拉你进群学习. 写相对很难的源码,耗 ...
HIVE源码阅读（五）
1.HQL 是如何转换为MR任务 1.1.Hive 的核心组成介绍用户接口:Client CLI(command-line interface).JDBC/ODBC(jdbc 访问 hive).WE ...
Caffe源码中io文件分析
Caffe源码(caffe version commit: 09868ac , date: 2015.08.15)中有一些重要的头文件,这里介绍下include/caffe/util/io.hpp文件 ...
android系统源码中添加app源码（源码部署移植）
涉及到系统定制,需要在系统中加入自己的apk工程,但是上网找了很多资料都是不够全面的,或者看了还是没搞懂,我自己也是一点点摸索过来的,花了不少的时间,也是踩了不少的坑,因此特开一文,帮助大家渡河. 申 ...
初学者也能看懂的 Vue2 源码中那些实用的基础工具函数
1. 前言大家好,我是若川.最近组织了源码共读活动,感兴趣的可以加我微信 ruochuan12 想学源码,极力推荐之前我写的<学习源码整体架构系列>jQuery.underscore.l ...
大神论坛逆向分析 Internet Download Manager 序列号算法附IDM注册机完整源码
1. 前言 idm version : 6.38 Build 23 2.算法逆向 IDM的序列号验证函数定位在: 下面是在IDA下的代码分析: .text:00510010 push ebp .tex ...
在 Android 系统源码中自定义系统服务（Custom System Service in AOSP）
该原创文章首发于微信公众号:字节流动在 Android 系统源码中自定义系统服务(Custom System Service in AOSP) 配置编译环境(Initial AOSP build e ...
lodash源码中debounce函数分析
lodash源码中debounce函数分析一.使用在lodash中我们可以使用debounce函数来进行防抖和截流,之前我并未仔细注意过,但是不可思议的是,lodash中的防抖节流函数是一个函数两 ...
Hive源码阅读之路
Hive源码阅读(1)阅读环境搭建前言:让学习成为一种习惯环境准备 Hive源码下载 Hive源码目录 hive三个最重要的组件: 其他组件 hive辅助组件编译源码配置Hive本地调试配置 ...
如何实现游戏陪玩系统源码中注册验证码的自动填写功能
新用户在注册登录游戏陪玩系统源码时往往需要进行短信验证,如果没有验证码自动填写功能则需要用户自行切换软件进行填写,无异于增添了许多步骤,会影响到用户的使用体验,所以今天我们主要来说一说如何实现游戏陪玩 ...

自定义函数hello，并注册到hive源码中并重新编译

自定义函数hello，并注册到hive源码中并重新编译相关推荐

最新文章

热门文章