随笔:关于主键,除了自增,你还可以这样
ccwgpt 2024-12-12 11:06 40 浏览 0 评论
当前各大主流关系型数据库都提供了自增主键生成策略,如Mysql的AUTO_INCREMENT,Sql Server的IDENTITY,Oracle则是通过SEQUENCE来实现主键自增。使用自增主键,比较简单,占用空间较小;主键按顺序增长存放,不会产生页分裂;同时也有一些不足,如多个系统之间集成数据时,容易有主键冲突;单表自增对于数据库单表压力较大,不适用于高并发及分布式场景,自增主键容易被探知到系统业务量等。由此可见在系统业务量较小,并发量不大时使用自增主键不失为一种较好的选择,但是当面对高并发、分布式需求时,使用自增主键会存在较大的瓶颈。
下面介绍业界较为流行的一些主键生成策略。
1.UUID模式
通用唯一识别码(Universally Unique Identifier),根据标准方法生成,不依赖中央机构的注册和分配,UUID具有唯一性重复UUID码概率接近零,可以忽略不计。UUID具有多个版本:基于时间的UUID、DCE安全的UUID、基于名字的UUID(MD5)(UUID.nameUUIDFromBytes())、随机UUID(UUID.randomUUID().toString())、基于名字的UUID(SHA1),Version 1/2适合应用于分布式计算环境下,具有高度的唯一性;Version 3/5适合于需要相同内容生成相同UUID的业务场景下;Version 4建议不要使用(随机数有可能出现重复,但是重复的概率极低,在设计时需要考虑到这一点)。UUID虽然解决了依赖于数据库生成主键的策略,但是也存在一些不足:占用存储空间大;随机生成,不具有连续性,作为主键时性能较差;无法根据主键进行排序,确定记录插入的先后顺序;对于开发人员不友好;如果生成过程中使用了机器MAC地址,存在一定安全隐患。
2.步长模式
即Flickr的sharding主键生成方案。使用多台数据库服务器,通过设置不同的起始值、一致自增步长,让每个数据库中各表主键保持唯一。如图所示:
步长方式在一定程度上解决了高并发的问题,但是也存在一些问题如:扩展困难,设置好步长后,再进行扩展将会比较困难;ID并不是按顺序严格单调递增的特性,只是趋势递增;每次获取ID仍然需要读写一次数据库,仍然存在瓶颈。
3.号段模式
即每次从数据库获取id时,从数据库取到当前id最大值,然后返回max+step,当应用程序用完这个号段后,再从数据库获取下一个长度为step的号段。为此需要专门设计一张用以记录id的表,在应用服务为集群,而主键服务器为单点时,多个应用服务节点同时获取id时,会产生冲突,可以增加version字段从而使用乐观锁进行并发访问控制。
id表主键(id)业务类型(id_type)当前最大id (max_id)号段长度(step)版本号(version)
号段模式将主键缓存在应用服务端,从而减少对数据库的访问频率;在数据库数据库不可用时,应用服务仍然可以持续运行一段时间直到当前号段用完;但是在应用服务重启时有可能丢失部分id,导致id增长不连续。
基于号段模式有一些成熟方案,且经过实践验证:美团的Leaf-segment对号段发放方式进行了双buffer缓存及高可用容灾优化。采用双buffer模式,在当前号段消费到某个点时就异步的把下一个号段加载到内存中。而不需要等到号段用尽的时候才去更新号段,不会在应用服务器向数据库请求id时,因为id号段没有取回来,导致线程阻塞。
滴滴的TinyId参照了美团Leaf的实现方式,并对其做了扩展,增加了多db支持和tinyid-client。
4.snowflake模式(雪花算法)
Twitter实现的分布式ID生成算法。结构如下:0-00000000000000000000000000000000000000000-00000-00000-000000000000
- 1 bit:保留位,为符号位,全部为0,表示生成的id都是正数。
- 41bit:时间戳,单位为毫秒,41位可以表示69年的时间。
- 10bit:机器id,10bit里面5位代表机房id,5位代表机器id,可以表示32个机房,每个机房里面可以用32台机器。
- 12bit:12位序列号,按顺序递增,记录每个节点1毫秒内产生的id,每毫秒可以产生4096个id。
snowflake的优点:
- 主键在单个节点上是按序列递增的,能够按照时间趋势进行递增。
- 主键的生成不依赖于数据库,可以由应用程序生成。
- 在分布式集群内不会产生重复id。
- 可以根据业务需求对bit位进行调整。
snowflake的缺点:
- 对于时间依赖较高,如果时间回拨,则会产生主键重复情况。
- 当集群规模较大时,workid配置会增加一定成本。
美团的Leaf-snowflake,使用zk解决了snowflake依赖于时钟,时间回拨产生重复主键问题;百度的UidGenerator,支持自定义时间戳、workerId、序列号等。
5.Redis模式
利用Redis原子操作INCR和INCRBY来实现,使用Redis集群提高并发量,与步长模式类似,只不过将id生成器由传统数据库换成效率更高的Redis数据库。但是当Redis重启或者宕机,记录主键值会丢失,所以利用Redis进行主键生成时需要对当前主键值进行持久化。Redis支持RDB和AOF两种持久化机制。RDB模式下,可能会丢失部分未打镜像的数据,根据快照恢复后会产生部分重复ID,故RDB不适合实施持久化Redis数据场景。AOF以独立日志记录每次写命令,重启时执行日志中的命令进行数据恢复,不会出现ID重复现象,但是会由于备份命令过多,导致Redis恢复数据时间较长。
以上介绍了五种数据库主键的生成策略,大家可以根据具体业务场景和系统实际情况选择一款最适合自己的主键策略,提升数据库性能,保证在高并发情况下系统运行稳定性。
- 上一篇:SpringBoot开发常用注解大全
- 下一篇:五种主流ETL工具对比
相关推荐
- 自己动手写Android数据库框架_android开发数据库搭建
-
http://blog.csdn.net/feiduclear_up/article/details/50557590推荐理由关于Android数据库操作,由于每次都要自己写数据库操作,每次还得去...
- 谷歌开源大模型评测工具LMEval,打通谷歌、OpenAI、Anthropic
-
智东西编译|金碧辉编辑|程茜智东西5月28日消息,据科技媒体TheDecoder5月26日报道,当天,谷歌正式发布开源大模型评测框架LMEval,支持对GPT-4o、Claude3.7...
- 工信部:着力推动大模型算法、框架等基础性原创性的技术突破
-
工信部新闻发言人今日在发布会上表示,下一步,我们将坚持突出重点领域,大力推动制造业数字化转型,推动人工智能创新应用。主要从以下四个方面着力。一是夯实人工智能技术底座。通过科技创新重大项目,着力推动大模...
- 乒乓反复纠结“框架不稳定”的三个小误区
-
很多球友由于对框架的认知不清晰,往往会把“框架不稳定”当成一种心理负担,从而影响学球进度,其典型状态就是训练中有模有样,一旦进入实战,就像被捆住了手脚。通过训练和学习,结合“基本功打卡群”球友们交流发...
- 前AMD、英特尔显卡架构师Raja再战GPU,号称要全面重构堆栈
-
IT之家8月5日消息,知名GPU架构师拉贾科杜里(RajaKoduri)此前曾先后在AMD和英特尔的显卡部门担任要职。而在今日,由Raja创立的GPU软件与IP初创企...
- 三种必须掌握的嵌入式开发程序架构
-
前言在嵌入式软件开发,包括单片机开发中,软件架构对于开发人员是一个必须认真考虑的问题。软件架构对于系统整体的稳定性和可靠性是非常重要的,一个合适的软件架构不仅结构清晰,并且便于开发。我相...
- 怪不得别人3秒就知道软考案例怎么做能50+
-
软考高级统一合格标准必须三科都达到45分,案例分析也一直是考生头疼的一门,但是掌握到得分点,案例能不能50+还不是你们说了算吗?今天就结合架构案例考点,分享实用的备考攻略~一、吃透考点,搭建知识框架从...
- UML统一建模常用图有哪些,各自的作用是什么?一篇文章彻底讲透
-
10万+爆款解析:9大UML图实战案例,小白也能秒懂!为什么需要UML?UML(统一建模语言)是软件开发的“蓝图”,用图形化语言描述系统结构、行为和交互,让复杂需求一目了然。它能:降低沟通成本避...
- 勒索软件转向云原生架构,直指备份基础设施
-
勒索软件组织和其他网络犯罪分子正越来越多地将目标对准基于云的备份系统,对久已确立的灾难恢复方法构成了挑战。谷歌安全研究人员在一份关于云安全威胁演变的报告中警告称,随着攻击者不断改进数据窃取、身份泄露和...
- ConceptDraw DIAGRAM:释放创意,绘就高效办公新未来
-
在当今数字化时代,可视化工具已成为提升工作效率和激发创意的关键。ConceptDrawDIAGRAM,作为一款世界顶级的商业绘图软件,凭借其强大的功能和用户友好的界面,正逐渐成为众多专业人士的首选绘...
- APP 制作界面设计教程:一步到位_app界面设计模板一套
-
想让APP界面设计高效落地,无需繁琐流程,掌握“框架搭建—细节填充—体验优化”三步法,即可一步到位完成专业级设计。黄金框架搭建是基础。采用“三三制布局”:将屏幕横向三等分,纵向保留三...
- MCP 的工作原理:关键组件_mcp部件
-
以下是MCP架构的关键组件:MCP主机:像ClaudeDesktop、GitHubCopilot或旅行助手这样的AI智能体,它们希望通过MCP协议访问工具、资源等。MCP主机会...
- 软件架构_软件架构师工资一般多少
-
软件架构师自身需要是程序员,并且必须一直坚持做一线程序员。软件架构应该是能力最强的一群程序员,他们通常会在自身承接编程任务的同时,逐渐引导整个团队向一个能够最大化生产力的系统设计方向前进。软件系统的架...
- 不知不觉将手机字体调大!老花眼是因为“老了吗”?
-
现在不管是联系、交友,还是购物,都离不开手机。中老年人使用手机的时间也在逐渐加长,刷抖音、看短视频、发朋友圈……看手机的同时,人们也不得不面对“视力危机”——老花眼,习惯眯眼看、凑近看、瞪眼看,不少人...
- 8000通用汉字学习系列讲座(第046讲)
-
[表声母字]加(续)[从声汉字]伽茄泇迦枷痂袈笳嘉驾架咖贺瘸(计14字)嘉[正音]标准音读jiā。[辨形]上下结构,十四画。会意形声字,从壴从加,加也表声。注:从壴,字义与鼓乐有关;从加,字义与...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- mfc框架 (52)
- abb框架断路器 (48)
- beego框架 (52)
- java框架spring (58)
- grpc框架 (65)
- tornado框架 (48)
- 前端框架bootstrap (54)
- orm框架有哪些 (51)
- 知识框架图 (52)
- ppt框架 (55)
- 框架图模板 (59)
- 内联框架 (52)
- cad怎么画框架 (58)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)