百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Tinyid:滴滴开源千万级并发的分布式ID生成器

suiw9 2024-10-29 16:41 26 浏览 0 评论

Tinyid是一个ID生成器服务,它提供了REST API和Java客户端两种获取方式,如果使用Java客户端获取方式的话,官方宣称能单实例能达到1kw QPS(Over 10 million QPS per single instance when using the java client.),我的妈呀!

说明:Tinyid要求JDK是1.7+即可。

Github

Tinyid开源的Github地址:https://github.com/didi/tinyid

运行Tinyid

将Tinyid源码下载到本地,并导入idea后,接下来准备把它运行起来。

1. 导入SQL

Tinyid依赖的SQL脚本路径:tinyid/tinyid-server/db.sql,是MySQL数据库的脚本。登陆mysql客户端并创建一个tinyid数据库后,执行命令 source /data/tinyid/tinyid-server/db.sql。如果show tables后能看到两个表tiny_id_infotiny_id_token表示创建成功。并且脚本已经初始化了两条数据:

mysql>?select?id,token,biz_type?from?tiny_id_token;
+----+----------------------------------+----------+
|?id?|?token????????????????????????????|?biz_type?|
+----+----------------------------------+----------+
|??1?|?0f673adf80504e2eaa552f5d791b644c?|?test?????|
|??2?|?0f673adf80504e2eaa552f5d791b644c?|?test_odd?|
+----+----------------------------------+----------+
2?rows?in?set?(0.08?sec)

mysql>?select?id,biz_type,begin_id,max_id,step,delta?from?tiny_id_info;
+----+----------+----------+--------+--------+-------+
|?id?|?biz_type?|?begin_id?|?max_id?|?step???|?delta?|
+----+----------+----------+--------+--------+-------+
|??1?|?test?????|????????1?|??????1?|?100000?|?????1?|
|??2?|?test_odd?|????????1?|??????1?|?100000?|?????2?|
+----+----------+----------+--------+--------+-------+
2?rows?in?set?(0.01?sec)

2. mysql依赖

这里需要注意的是,tinyid项目默认依赖5.x版本MySQL驱动包,Maven坐标如下:

<dependency>
????<groupId>mysql</groupId>
????<artifactId>mysql-connector-java</artifactId>
????<version>5.1.44</version>
</dependency>

如果你的MySQL服务器是8.x版本(笔者本地就是8.x的MySQL),可能会碰到在启动过程中报连接数据库错误:

Caused?by:?java.sql.SQLException:?Unable?to?load?authentication?plugin?'caching_sha2_password'.
????at?com.mysql.jdbc.SQLError.createSQLException(SQLError.java:868)?~[mysql-connector-java-5.1.44.jar:5.1.44]
????at?com.mysql.jdbc.SQLError.createSQLException(SQLError.java:864)?~[mysql-connector-java-5.1.44.jar:5.1.44]
????at?com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1746)?~[mysql-connector-java-5.1.44.jar:5.1.44]
????at?com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226)?~[mysql-connector-java-5.1.44.jar:5.1.44]
????...?...

这样的话,需要将你的MySQL驱动升级到8.x版本(说明:如果你是其他MySQL版本,启动tinyid时碰到类似的异常,那么MySQL驱动版本请视情况而定进行升级):

<dependency>
????<groupId>mysql</groupId>
????<artifactId>mysql-connector-java</artifactId>
????<version>8.0.11</version>
</dependency>

3. 修改配置

接下来需要更新配置application.properties文件。主要更新数据库相关配置,具体值根据你的MySQL环境而定:

datasource.tinyid.primary.driver-class-name=com.mysql.jdbc.Driver
datasource.tinyid.primary.url=jdbc:mysql://localhost:3306/tinyid?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8
datasource.tinyid.primary.username=afei
datasource.tinyid.primary.password=afei

4. 启动tinyid

tinyid项目基于Springboot开发的,所以启动非常简单。只需要运行主类TinyIdServerApplication.java即可。运行后如果能看到如下日志,表示启动成功:

00:20:55,761?[main]?[INFO]?o.s.b.c.e.t.TomcatEmbeddedServletContainer?-?Tomcat?started?on?port(s):?9999?(http)
00:20:55,767?[main]?[INFO]?c.x.u.t.s.TinyIdServerApplication?-?Started?TinyIdServerApplication?in?5.092?seconds?(JVM?running?for?6.29)
00:21:00,001?[pool-3-thread-1]?[INFO]?c.x.u.t.s.s.i.TinyIdTokenServiceImpl?-?refresh?token?begin
00:21:00,002?[pool-3-thread-1]?[INFO]?c.x.u.t.s.s.i.TinyIdTokenServiceImpl?-?tinyId?token?init?begin
00:21:00,006?[pool-3-thread-1]?[INFO]?c.x.u.t.s.s.i.TinyIdTokenServiceImpl?-?tinyId?token?init?success,?token?size:2
00:22:00,001?[pool-3-thread-1]?[INFO]?c.x.u.t.s.s.i.TinyIdTokenServiceImpl?-?refresh?token?begin
。。。?。。。

5. 获取唯一ID

接下来可以尝试通过REST API获取分布式唯一ID,请求实例如下,bizType和token的值请参考tiny_id_token表:

http://localhost:9999/tinyid/id/nextId?bizType=test&token=0f673adf80504e2eaa552f5d791b644c

Client集成

tinyid还支持Client集成模式,只需要引入如下Maven坐标:

<dependency>
????<groupId>com.xiaoju.uemc.tinyid</groupId>
????<artifactId>tinyid-client</artifactId>
????<version>${tinyid.version}</version>
</dependency>

然后在你的classpath路径下创建配置文件tinyid_client.properties,内容如下,这两个参数就是IdGeneratorFactoryClient.java中tinyid服务端请求地址"http://{0}/tinyid/id/nextSegmentIdSimple?token={1}&bizType="的第一个和第二个参数:

tinyid.server=localhost:9999
tinyid.token=0f673adf80504e2eaa552f5d791b644c

tinyid.server还支持多个地址配置,多个地址之间以英文逗号隔开,例如:tinyid.server=host1:9999,tinyid.server=host2:9999。

接下来,就能简单的通过调用tinyid封装的API获取分布式ID,实例代码如下,test就是bizType的值:

//?单个分布式ID获取
Long?id?=?TinyId.nextId("test");
//?多个分布式ID批量获取
List<Long>?ids?=?TinyId.nextId("test",?10);

通过配置可知,tinyid-client本质上还是依赖tinyid-server,只不过它封装了对tinyid-server的HTTP请求,然后暴露最简单的API给用户使用而已。它对tinyid-server的HTTP请求封装在TinyIdHttpUtils.java中,依赖JDK原生的HttpURLConnection,居然没有使用其他第三方优秀的HTTP Client包例如okhttp!


tinyid原理

tinyid的原理非常简单,通过数据库表中的数据基本是就能猜出个八九不离十,就是经典的segment模式,和美团的leaf原理几乎一致。原理图如下所示,以同一个bizType为例,每个tinyid-server会分配到不同的segment,例如第一个tinyid-server分配到(1000, 2000],第二个tinyid-server分配到(2000, 3000],第3个tinyid-server分配到(3000, 4000]:



再以第一个tinyid-server为例,当它的segment用了20%(核心源码:segmentId.setLoadingId(segmentId.getCurrentId().get() + idInfo.getStep() * Constants.LOADING_PERCENT / 100);,LOADING_PERCENT的值就是20),即设定loadingId为20%的阈值,例如当前id是10000,步长为10000,那么loadingId=12000。那么当请求分布式ID分配到12001时(或者重启后),即超过loadingId,就会返回一个特殊code:new Result(ResultCode.LOADING, id);tinyid-server根据ResultCode.LOADING这个响应码就会异步分配下一个segment(4000, 5000],以此类推。

相关推荐

5款Syslog集中系统日志常用工具对比推荐

一、为何要集中管理Syslog?Syslog由Linux/Unix系统及其他网络设备生成,广泛分布于整个网络。因其包含关键信息,可用于识别网络中的恶意活动,所以必须对其进行持续监控。将Sys...

跨平台、多数据库支持的开源数据库管理工具——DBeaver

简介今天给大家推荐一个开源的数据库管理工具——DBeaver。它支持多种数据库系统,包括Mysql、Oracle、PostgreSQL、SLQLite、SQLServer等。DBeaver的界面友好...

强烈推荐!数据库管理工具:Navicat Premium 16.3.2 (64位)

NavicatPremium,一款集数据迁移、数据库管理、SQL/查询编辑、智能设计、高效协作于一体的全能数据库开发工具。无论你是MySQL、MariaDB、MongoDB、SQLServer、O...

3 年 Java 程序员还玩不转 MongoDB,网友:失望

一、什么场景使用MongoDB?...

拯救MongoDB管理员的GUI工具大赏:从菜鸟到极客的生存指南

作为一名在NoSQL丛林中披荆斩棘的数据猎人,没有比GUI工具更称手的瑞士军刀了。本文将带你围观五款主流MongoDB管理神器的特性与暗坑,附赠精准到扎心的吐槽指南一、MongoDBCompass:...

mongodb/redis/neo4j 如何自己打造一个 web 数据库可视化客户端?

前言最近在做neo4j相关的同步处理,因为产线的可视化工具短暂不可用,发现写起来各种脚本非常麻烦。...

solidworks使用心得,纯干货!建议大家收藏

SolidWorks常见问题...

统一规约-关乎数字化的真正实现(规范统一性)

尽管数字化转型的浪潮如此深入人心,但是,对于OPCUA和TSN的了解却又甚少,这难免让人质疑其可实现性,因为,如果缺乏统一的语义互操作规范,以及更为具有广泛适用的网络与通信,则数字化实际上几乎难以具...

Elasticsearch节点角色配置详解(Node)

本篇文章将介绍如下内容:节点角色简介...

产前母婴用品分享 篇一:我的母婴购物清单及单品推荐

作者:DaisyH8746在张大妈上已经混迹很久了,有事没事看看“什么值得买”已渐渐成了一种生活习惯,然而却从来没有想过自己要写篇文章发布上来,直到由于我产前功课做得“太过认真”(认真到都有点过了,...

比任何人都光彩照人的假期!水润、紧致的肌肤护理程序

图片来源:谜尚愉快的假期临近了。身心振奋的休假季节。但是不能因为这种心情而失去珍贵的东西,那就是皮肤健康。炙热的阳光和强烈的紫外线是使我们皮肤老化的主犯。因此,如果怀着快乐的心情对皮肤置之不理,就会使...

Arm发布Armv9边缘AI计算平台,支持运行超10亿参数端侧AI模型

中关村在线2月27日消息,Arm正式发布Armv9边缘人工智能(AI)计算平台。据悉,该平台以全新的ArmCortex-A320CPU和领先的边缘AI加速器ArmEthos-U85NPU为核心...

柔性——面向大规模定制生产的数字化实现的基本特征

大规模定制生产模式的核心是柔性,尤其是体现在其对定制的要求方面。既然是定制,并且是大规模的定制,对于制造系统的柔性以及借助于数字化手段实现的柔性,就提出了更高的要求。面向大规模定制生产的数字化业务管控...

创建PLC内部标准——企业前进的道路

作者:FrankBurger...

标准化编程之 ----------- 西门子LPMLV30测试总结

PackML乃是由OMAC开发且被ISA所采用的自动化标准TR88.00.02,能够更为便捷地传输与检索一致的机器数据。PackML的主要宗旨在于于整个工厂车间倡导通用的“外观和感觉”,...

取消回复欢迎 发表评论: