Hive中生成随机唯一标识ID的方法

2019独角兽企业重金招聘Python工程师标准>>>

HIVE中处理的数据往往比较多，在处理数据的时候希望给处理得到的数据一个ID标识，这时候可以用到UUID。

UUID的算法的核心思想是结合机器的网卡、当地时间、一个随即数来生成UUID。从理论上讲，如果一台机器每秒产生10000000个UUID，则可以保证（概率意义上）3240年不重复。UUID 的目的，是让分布式系统中的所有元素，都能有唯一的标识，而不需要透过中央控制端来做标识。如此一来，每个人都可以建立不与其它人冲突的UUID。在这样的情况下，就不需考虑数据标识建立时的名称重复问题。

产生形如下数据：
690044a7-1400-4f2e-8003-4df850f21ac2
0eea4f29-6e80-4d8e-a7ce-5d4ea5f0e882
869d23f8-fe44-4d71-9c5b-3d94b1892f48

在HQL中可以这么写：

regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "")

将其中的‘-’清除掉，得到所要的唯一ID。缺点就是比较长。

转载于:https://my.oschina.net/sniperLi/blog/751920

Hive中生成随机唯一标识ID的方法相关推荐

js生成唯一标识ID
js生成唯一标识ID 前言方法一.利用时间戳+随机字母生成方法二.利用时间戳加上机器码生成的唯一标识ID 总结前言有时候,表格数据的分页,增加,删除,编辑等功能都需要前端来完成,因为数据的全部 ...
uniqid php 重复_如何使用php中uniqid函数生成唯一的id
php中的uniqid是一个根据当前时间生成唯一值(ID)的函数,接下来的这篇文章我们就来详细介绍php中uniqid函数生成唯一的id的方法. php中的uniqid虽然是生成唯一的值,但是因为是基 ...
如何在高并发分布式系统中生成全局唯一Id
又一个多月没冒泡了,其实最近学了些东西,但是没有安排时间整理成博文,后续再奉上.最近还写了一个发邮件的组件以及性能测试请看 <NET开发邮件发送功能的全面教程(含邮件组件源码)> ,还弄了 ...
python namespace unique_Python使用uuid库生成唯一标识ID
uuid是128位的全局唯一标识符(univeral unique identifier),通常用32位的一个字符串的形式来表现.有时也称guid(global unique identifier). ...
高并发分布式系统中生成全局唯一Id汇总
全局唯一ID <高并发分布式系统中生成全局唯一Id汇总> Twitter 方案(Snowflake 算法):41位时间戳+10位机器标识(比如IP,服务器名称等)+12位序列号(本地计数器 ...
高并发分布式系统中生成全局唯一（订单号）Id
2019独角兽企业重金招聘Python工程师标准>>> 高并发分布式系统中生成全局唯一(订单号)Id 1.GUID数据因毫无规律可言造成索引效率低下,影响了系统的性能,那么通过组合的 ...
高并发分布式系统中生成全局唯一订单号
高并发分布式系统中生成全局唯一订单号我了解的方案如下-------------------------- 1. 使用数据库自增Id 优势:编码简单,无需考虑记录唯一标识的问题. 缺陷: 1) ...
JS生成浏览器唯一标识解决方案
前端页面如何在浏览器中检测生成设备的唯一标识一.前提: js本身是不能通过浏览器获取设备唯一标识的,但是可以获取其它的信息作为唯一标识,给用户一个 visitorId,并且根据这个 visitorI ...
php生成随机唯一推荐码/邀请码/优惠码固定长度
认真生活.快乐工作 - 马云懒惰象生锈一样,比操劳更能消耗身体. ------ 根据用户id生成与之对应的唯一邀请码,范围为'0-9A-Z'.这个需求的重点在于加粗的部分,也就是要能够根据邀请码反推 ...

Hive中生成随机唯一标识ID的方法

Hive中生成随机唯一标识ID的方法相关推荐

最新文章

热门文章