概述 雪花ID即SnowFlakeID,通常雪花ID是和分布式一起使用的。借鉴一下别人的介绍: SnowFlake是twitter公司内部分布式项目采用的ID生成算法,开源后广受国内大厂的好评。由这种算法生成的ID,我们就叫做SnowFlakeID
SnowFlakeID的最大的特性就是天然去中心化,通过时间戳、工作机器编号两个变量进行配置后,通过SnowFlake算法会生成唯一的递增ID。在任何机器上,只要保证工作机器编号不同,就可以确保生成的ID唯一,且整体趋势是递增的
Snowflake的结构如下(每部分用-分开):
1 0 - 0000000000 0000000000 0000000000 0000000000 0 - 0000000000 - 000000000000
第一段1位为未使用,永远固定为0
第二段41位为毫秒级时间(41位的长度可以使用69年)
第三段10位为workerId(10位的长度最多支持部署1024个节点)
第三段12位为毫秒内的计数(12位的计数顺序号支持每个节点每毫秒产生4096个ID序号)
如果按照1024的满节点(1个节点就是1个部署的服务)计算,每毫秒可生成的ID序号有1024*4096=4194304个,足以满足现在绝大多数的业务情况
算法的核心如下
1 2 3 ((当前时间 - 服务时间) << timestampLeftShift) | (机器ID << workerIdShift) | sequence;
服务时间指的是服务的开发时间,即第一个正式ID产生的时间。由于SnowFlakeID最长可用69年(因为只有41个bit,41个bit的最大值换算成年就是69年)。所以服务时间越贴近上线时间,则该算法可用时间越长。 其中sequence为递增序列,当前时间戳和上一ID生成时间戳一致时,sequence就递增1,直到4096为止。
SnowFlake有什么问题 SnowFlake很好,分布式、去中心化、无第三方依赖。但它并不是完美的,由于SnowFlake强依赖时间戳,所以时间的变动会造成SnowFlake的算法产生错误。
时钟回拨:最常见的问题就是时钟回拨导致的ID重复问题,在SnowFlake算法中并没有什么有效的解法,仅是抛出异常。时钟回拨涉及两种情况①实例停机→时钟回拨→实例重启→计算ID ②实例运行中→时钟回拨→计算ID
手动配置:另一个就是workerId(机器ID)是需要部署时手动配置,而workerId又不能重复。几台实例还好,一旦实例达到一定量级,管理workerId将是一个复杂的操作。
简介来源https://www.cnblogs.com/zer0Black/p/12323541.html
如何优化 机器ID的配置需要自己按照自己的规范去执行,这需要人主观去解决。这里重点聊聊怎么解决时钟回拨的问题。引用的文章说的方案我就不说了,可以通过介绍链接地址去了解。我的工具类使用的方案是用变量记录上一个id的时间戳,如果当前的时间戳小于上一个的,那么就阻塞1s或者直接抛出异常,重新获取id。
干代码 复制工具类代码,或者点击链接SnowFlakeUtil.java 到我GitHub的开源项目中下载,里面还有其他开发中常用的工具类:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 package org.gerrymc.springbootutils.utils;public class SnowFlakeUtil { private final long twepoch = 1594800420694L ; private final long workerIdBits = 5L ; private final long datacenterIdBits = 5L ; private final long maxWorkerId = -1L ^ (-1L << workerIdBits); private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits); private final long sequenceBits = 12L ; private final long workerIdShift = sequenceBits; private final long datacenterIdShift = sequenceBits + workerIdBits; private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits; private final long sequenceMask = -1L ^ (-1L << sequenceBits); private long workerId; private long datacenterId; private long sequence = 0L ; private long lastTimestamp = -1L ; public SnowFlakeUtil (long workerId, long datacenterId) { if (workerId > maxWorkerId || workerId < 0 ) { throw new IllegalArgumentException (String.format("worker Id can't be greater than %d or less than 0" , maxWorkerId)); } if (datacenterId > maxDatacenterId || datacenterId < 0 ) { throw new IllegalArgumentException (String.format("datacenter Id can't be greater than %d or less than 0" , maxDatacenterId)); } this .workerId = workerId; this .datacenterId = datacenterId; } public synchronized long nextId () { long timestamp = timeGen(); if (timestamp < lastTimestamp) { throw new RuntimeException ( String.format("Clock moved backwards. Refusing to generate id for %d milliseconds" , lastTimestamp - timestamp)); } if (lastTimestamp == timestamp) { sequence = (sequence + 1 ) & sequenceMask; if (sequence == 0 ) { timestamp = tilNextMillis(lastTimestamp); } } else { sequence = 0L ; } lastTimestamp = timestamp; return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift) | (workerId << workerIdShift) | sequence; } protected long tilNextMillis (long lastTimestamp) { long timestamp = timeGen(); while (timestamp <= lastTimestamp) { timestamp = timeGen(); } return timestamp; } protected long timeGen () { return System.currentTimeMillis(); } public static long getSnowflakeId () { SnowFlakeUtil snowFlakeUtil = new SnowFlakeUtil (1 , 1 ); return snowFlakeUtil.nextId(); } }
使用方式: 1.单个id赋值,每次初始化实例。
1 long snowFlakeId = SnowFlakeUtil.getSnowflakeId();
2.批量id赋值,一般是数据处理好了可以统一赋值id。
1 2 3 4 5 SnowFlakeUtil snowFlake = new SnowFlakeUtil (1 , 1 ); for (int i = 0 ; i < num; i++) { System.out.println(snowFlake.nextId()); }