Hive 使用UDF函数对数据SM3加密

最近在工作中需要对hive中某些数据进行SM3加密，在网上找了很久，遇到一些坑，在这里分享。

例：取姓名第一个汉字后接身份证号进行SM3加密。

1.SM3工具类

pom.xml:

<!--sm3,sm4加密算法--><dependency><groupId>org.bouncycastle</groupId><artifactId>bcprov-jdk15on</artifactId><version>1.64</version></dependency>

Sm3Utils:

package UtilsTool;import org.bouncycastle.crypto.digests.SM3Digest;
import org.bouncycastle.crypto.macs.HMac;
import org.bouncycastle.crypto.params.KeyParameter;
import org.bouncycastle.jce.provider.BouncyCastleProvider;
import org.bouncycastle.pqc.math.linearalgebra.ByteUtils;
import java.io.UnsupportedEncodingException;
import java.security.Security;
import java.util.Arrays;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*** sm3加密算法工具类* 加密与加密结果验证（不可逆算法）* @version 1.0*/
public class Sm3Utils {private static final String ENCODING = "UTF-8";static {Security.addProvider(new BouncyCastleProvider());}/*** sm3算法加密* @explain* @param paramStr*      待加密字符串* @return 返回加密后，固定长度=32的16进制字符串*/public static String encrypt(String paramStr)  {// 将返回的hash值转换成16进制字符串String resultHexString = null;// 将字符串转换成byte数组byte[] srcData = new byte[0];try {srcData = paramStr.getBytes(ENCODING);} catch (UnsupportedEncodingException e) {e.printStackTrace();}// 调用hash()byte[] resultHash = hash(srcData);// 将返回的hash值转换成16进制字符串resultHexString = ByteUtils.toHexString(resultHash);//resultHexString = ToHexString.bytesToHexString(resultHash);return resultHexString;}/*** 返回长度=32的byte数组* @explain 生成对应的hash值* @param srcData* @return*/public static byte[] hash(byte[] srcData) {SM3Digest digest = new SM3Digest();digest.update(srcData, 0, srcData.length);byte[] hash = new byte[digest.getDigestSize()];digest.doFinal(hash, 0);return hash;}/*** 通过密钥进行加密* @explain 指定密钥进行加密* @param key*      密钥* @param srcData*      被加密的byte数组* @return*/public static byte[] hmac(byte[] key, byte[] srcData) {KeyParameter keyParameter = new KeyParameter(key);SM3Digest digest = new SM3Digest();HMac mac = new HMac(digest);mac.init(keyParameter);mac.update(srcData, 0, srcData.length);byte[] result = new byte[mac.getMacSize()];mac.doFinal(result, 0);return result;}/*** 判断源数据与加密数据是否一致* @explain 通过验证原数组和生成的hash数组是否为同一数组，验证2者是否为同一数据* @param srcStr*      原字符串* @param sm3HexString*      16进制字符串* @return 校验结果*/public static boolean verify(String srcStr, String sm3HexString) {boolean flag = false;try {byte[] srcData = srcStr.getBytes(ENCODING);byte[] sm3Hash = ByteUtils.fromHexString(sm3HexString);byte[] newHash = hash(srcData);if (Arrays.equals(newHash, sm3Hash))flag = true;} catch (UnsupportedEncodingException e) {e.printStackTrace();}return flag;}
}

代码里有校验方法，可以自己校验。

工具类来源及校验方法：java sm3国密算法加密、验证工具类_not_say的博客-CSDN博客_java sm3

2.UDF函数

package DesensitizationTool;import UtilsTool.Sm3Utils;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.io.UnsupportedEncodingException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;public class Replace extends UDF {public static String evaluate(String name, String id) throws UnsupportedEncodingException {return CardReplace(name,id);
}
public static String CardRepalce(String name, String id) {try {name = new String(name.getBytes("UTF-8"));} catch (UnsupportedEncodingException e) {e.printStackTrace();}Pattern p = Pattern.compile("[\u4e00-\u9fa5\uF900-\uFA2D]");Pattern e = Pattern.compile("[a-zA-z]");Matcher m1 = p.matcher(name);Matcher m2 = e.matcher(name);Matcher c = p.matcher(id);String id2 = null;String sm3 = null;String id3 = null;if (m1.find()){//截取第一个汉字 后接证件号码id2 = name.substring(0,1) + id;//取上述字符串的sm3杂凑值sm3 = Sm3Utils.encrypt(id2).toLowerCase();}if (m2.find()){//截取英文前三个字节（大写），后接证件号id2 = name.toUpperCase().substring(0,3) + id;//取上述字符串的sm3杂凑值sm3 = Sm3Utils.encrypt(id2).toLowerCase();}//取身份证件号码UTF-8编码的前6个字节，后接上述SM3杂凑值if (c.find()){id3 = id.substring(0,2) + sm3;}if (!c.find()){id3 = id.substring(0,6) + sm3;}return id3;}
}

3.项目打包上传并执行

具体操作不赘述，网上啥都有。。。

Hive_UDF开发指南_迎难而上-CSDN博客_hive udf

4.报错：Unhandled exception:java.io.UnsupportedEncodingException

这里有坑，我在网上找了很多很多解决方法都没用。而且我在idea上测试是正常的，打包到Linux就报错。一遍遍看代码，Sm3Utils里有个玩意引起了我的注意：

static {Security.addProvider(new BouncyCastleProvider());}

BouncyCastle是干啥的呢？

具体解释及使用：BouncyCastle使用_mrly-CSDN博客_bouncycastle

我查了自己Linux环境上并没有该加密方式，那么就很简单了。

1、下载对应版本的jar包：https://mvnrepository.com/artifact/org.bouncycastle/bcprov-jdk15on/1.64

2、放入$JAVA_HOME\jre\lib\ext目录下。

3、修改配置文件$JAVA_HOME\jre\lib\security\java.security

加入一行配置：security.provider.按顺序填数字=org.bouncycastle.jce.provider.BouncyCastleProvider

security.provider.1=sun.security.provider.Sun
security.provider.2=sun.security.rsa.SunRsaSign
security.provider.3=sun.security.ec.SunEC
security.provider.4=com.sun.net.ssl.internal.ssl.Provider
security.provider.5=com.sun.crypto.provider.SunJCE
security.provider.6=sun.security.jgss.SunProvider
security.provider.7=com.sun.security.sasl.Provider
security.provider.8=org.jcp.xml.dsig.internal.dom.XMLDSigRI
security.provider.9=sun.security.smartcardio.SunPCSC
#前面为Java环境提供的
security.provider.10=org.bouncycastle.jce.provider.BouncyCastleProvider

5.运行

OK，齐活。