为何重复

我们之前精通分布式，没听过SnowFlake？中提到，雪花算法在同一机器同一毫秒级，我们能生成4096个不同序列(12bit序列号情况下)，即不同Id，但是如果我们使用的是微服务架构，那不同机器人是否会可能生成相同Id呢？

其实我们之前有提到工作机器Id的作用，就是用于解决分布式Id重复的问题，这个workerId是通过构造方法传入的，如果我们用10位来存储这个值，那就是最多支持1024个节点

    /*** 构造函数* @param workerId 工作ID (0~1023)*/public SnowflakeIdWorker(long workerId) {if (workerId > maxWorkerId || workerId < 0) {throw new IllegalArgumentException(String.format("workerId can't be greater than %d or less than 0", maxWorkerId));}this.workerId = workerId;}

那么关键问题就回归到如何去把我们的服务器和workerId对应起来？如果不是容器化部署，部署是固定的机器，我们用机器的唯一名来做key，那我们可以对这些机器名和workerId建立一个对应关系，如果存在就用之前的workerId，不存在就往上累加比如我们用计算机名做key：

这样机器如果不断累加，最多支持1024台服务器，但是如果是容器化部署，需要支持动态增加节点，并且每次部署的机器不一定一样时，就会有问题，如果发现不同，就往上累加，经过多次发版，就可能会超过1023，这个时候生成雪花Id时，工作机器id左移12位后，当进行或运算时，时间戳的位置就会被影响，比如workerId=1024，我们拿之前的举例第1000ms，那它和第1001ms、workerId=0配置，可能生成重复的Id。来看看下面生成workerId的Demo：

        private static void Init(){if (worker == null){//初始化为1long workerId = 1;//得到服务器机器名称string hostName = System.Net.Dns.GetHostName();if (RedisHelper.Exists(hostName)){// 如果redis中存在改服务器名称，则直接取得workerIdworkerId =long.Parse(RedisHelper.Get(hostName));}else{//如果redis不存在，则用hashcode对32取模var code = hostName.GetHashCode();var Id = code % 32;//如果取模以后的Id，大于15，则从0~15中随机一个数字，也就是把16~31中转换到0~15，并存入redis//这里只给了4个bit存储workerId，所以只能支持0~15if (Id>15||Id<0){Id = new Random().Next(0, 15);}workerId = (long)Id;RedisHelper.Set(hostName, workerId);}//把workerId传入构造方法worker = new IdWorker(workerId);}}

上述代码有2个问题：

hashcode对32取模，本身就可能会重复，比如460141958和3164804对32取模都是4，那生成的workerId就重复了
如果hashcode>15,随机取一个，那每次都有1/16的概率重复

如何解决重复

工作机器id：10bit，表示工作机器id，用于处理分布式部署id不重复问题，可支持2^10 = 1024个节点，我们只需要给同一个微服务分配不同的工作机器ID即可，在redis中存储一个当前workerId的最大值。每次生成workerId时，从redis中获取到当前workerId最大值，并+1作为当前workerId，并存入redis。如果workerId为1023，自增为1024，则重置0，作为当前workerId，并存入redis。

@Component
public class IdWorkConfig {private final RedisTemplate<String, Object> redisTemplate;private final String applicationName;public IdWorkConfig(RedisTemplate<String, Object> redisTemplate,@Value("${spring.application.name}") String applicationName) {this.redisTemplate = redisTemplate;this.applicationName = applicationName;}/*** 自定义workerId，保证该应用的ID不会重复** @return 新的id生成器*/@Beanpublic DefaultIdentifierGenerator defaultIdentifierGenerator() {String MAX_ID = applicationName + "-worker-id";Long maxId = this.getWorkerId(MAX_ID);String maxIdStr = Long.toBinaryString(maxId);// 将数据补全为10位maxIdStr = StringUtils.leftPad(maxIdStr, 10, "0");// 从中间进行拆分String datacenterStr = maxIdStr.substring(0, 5);String workerStr = maxIdStr.substring(5, 10);// 将拆分后的数据转换成dataCenterId和workerIdlong dataCenterId = Integer.parseInt(datacenterStr, 2);long workerId = Integer.parseInt(workerStr, 2);return new DefaultIdentifierGenerator(workerId, dataCenterId);}/*** LUA脚本获取workerId，保证每个节点获取的workerId都不相同** @param key 当前微服务的名称* @return workerId*/private Long getWorkerId(String key) {redisScript.setScriptSource(new ResourceScriptSource(new ClassPathResource("redis/redis_worker_id.lua")));redisScript.setResultType(Long.class);return redisTemplate.execute(redisScript, Collections.singletonList(key));}
}

lua脚本如下

local isExist = redis.call('exists', KEYS[1])
if isExist == 1 thenlocal workerId = redis.call('get', KEYS[1])workerId = (workerId + 1) % 1024redis.call('set', KEYS[1], workerId)return workerId
elseredis.call('set', KEYS[1], 0)return 0
end

雪花算法生成id重复问题相关推荐

线上使用雪花算法生成id重复问题
项目中使用的是hutool工具类库提供的雪花算法生成id方式,版本使用的是5.3.1 <dependency><groupId>cn.hutool</groupId> ...
mybatis-plus雪花算法生成Id使用详解
文章目录前言一.mybatis-plus官网二.雪花算法实战 1.建表 2.新建测试工程 3.单元测试三.实现分析四.为什么默认就是雪花算法五.主动设置Id生成策略六.内置的雪花算法工具 ...
java 雪花算法生成ID
一般情况,实现全局唯一ID,有三种方案,分别是通过中间件方式.UUID.雪花算法. 方案一,通过中间件方式,可以是把数据库或者redis缓存作为媒介,从中间件获取ID.这种呢,优点是可以体现全局的递增 ...
分布式系统中间件（Mogodb、ElasticSearch ）雪花算法生成ID
转载:https://www.cnblogs.com/jakeylove3/p/8446798.html 1.前言关于如何在系统中生成唯一性ID的问题(如订单号.批次号等),一直困扰了许久.因为还要 ...
windows、Linux两用Snowflake雪花算法生成ID，java工具类实现直接调用即可
代码实现: public class SnowflakeManagerUtil {private static final long EPOCH_STAMP = 1262275200000L;priv ...
DefaultIdentifierGenerator 雪花算法生成重复 id 解决办法
DefaultIdentifierGenerator 雪花算法生成重复 id 前言问题发生排查原因问题解决前言利用 mybatisplus 的 DefaultIdentifierGene ...
基于雪花算法生成用户id
8.1 为啥这样做 1.全局唯一性,不会出现重复的id.如果通过id自增来保证id不重复,则该表无法分表操作例如服务器A的数据库的user表数据如下1 小明男2 小红女2 张三男此时进行 ...
python雪花算法生成id_理解分布式id生成算法SnowFlake
分布式id生成算法的有很多种,Twitter的SnowFlake就是其中经典的一种. 概述 SnowFlake算法生成id的结果是一个64bit大小的整数,它的结构如下图: 1位,不用.二进制中最高位 ...
雪花算法及运用PHP,雪花算法生成全局唯一ID,参考了下网上雪花算法生成规则，机器ID和序列号自动获取理论上毫秒可生成 1024*4096个唯一ID
任务要求毫秒生成10000个唯一ID 研究了下twitter/snowflake的算法思想: 参考了下网上雪花算法生成规则,把数据中心和机器编号整合一起,变成10位机器ID, 机器ID和序列号自动获取 ...

雪花算法生成id重复问题

为何重复

如何解决重复

雪花算法生成id重复问题相关推荐

最新文章

热门文章