内存空间节约利器redis的bitmap(位图)应用场景有哪些你知道吗
ccwgpt 2025-05-02 16:53 50 浏览 0 评论
在前面我们分享过一次Redis常用数据结构和使用场景,文章对Redis基本使用做了一个简单的API说明,但是对于其中String类型中的bitmap(位图)我们需要重点说明一下,因为他的作用真的不容忽略,因为bitmap在内存资源节约上真的是太棒啦!同时因为计算机是基于二进制来运算的,所以bitmap还有天然的计算优势,如果使用bitmap来进行计算逻辑的话,性能会有大幅度提升。下面我们来分享下Redis中bitmap的实际应用场景。
统计用户每日签到
一年固定有365天或366天,这样可以用366个二进制位,即最多50个字节就可以记录每个用户一年的登录情况。某天登录把对应的二进制位改为1即可,当查询时,使用bitcount计算即可。既节省了空间,又提高了效率。假如说有1000W用户,500M空间存储足以。
统计活跃用户(去重),窗口随机
以每天的日期作为key,每个用户ID是一个二进制位,举个例子:假如说2020-01-01这一天,用户A(第一个bit位)登录了,用户B(第七个bit位)登录了;2020-01-02这一天,只有用户A登录,那么统计2020-01-01~2020-01-02这两天的活跃用户数。即可用以下命令计算:
setbit 2020-01-01 1 1
setbit 2020-01-01 7 1
setbit 2020-01-02 1 1
统计:
先去重:bitop or destkey 2020-01-01 2020-01-02
获取结果:bitcount destkey 0 -1
用户在线状态实时统计
用户ID为offset,如果在线就设置为1,不在线就设置为0,5000W用户只需要6MB的空间。还是使用bitcount命令进行统计汇总。
数据双写去重
以上bitmap的操作都是基于用户角度来进行统计的示例,但是bitmap作用远远不仅如此。下面我们重点来看下Redis的bitmap在数据双写中扮演的重要角色。
在最近的业务数据(大约一个亿数据)迁移的时候遇到了一个比较棘手的问题,因为需要进行老系统的兼容,数据迁移完成之后需要进行双写。但是双写数据不在一个系统并且组内还没有引入分布式事务框架(比如阿里的seate),那么如何保证双写的两部分数据库数据的一致性呢?如果出现了网络抖动、连接数据库超时等异常场景如何去补偿数据?其实对于这种问题,那就是需要定时check两个双写数据库的数据,假设先入数据库数据为A库,后入数据库数据为B库,以A入库的数据库为主,去check后入库的B库数据。如果check发现数据不一致(一般都是B库数据库数据丢失情况),则将B库数据未能成功写入的数据重新写入,并且需要保证B库数据不会重复推送。
如果我们check数据条数不一致时,我们可以通过哪些方式来排查出未能成功同步的数据,并且重新推送呢?可能会有以下方案:
- 先逐条查询A数据库数据,然后去查询B数据库是否存在,如果不存在则将该数据写入到数据库B(数据库压力过大)
- B数据库增加唯一键,check对数据不一致时,将A数据库的数据全量推给B数据库,如果出现异常则报错即可(数据库会有大量报错,不友好)
- B数据库增加唯一键,利用Mysql数据库的INSERT INTO ... ON DUPLICATE KEY UPDATE(不存在插入,存在则更新)方式,重新将A数据推送给B(字段过多,性能低下)
- B数据库增加唯一键,利用Mysql数据库的REPLACE INTO方式,重新将A数据推送给B(效率很差,多进程并发一下就会锁表)
- B数据库增加唯一键,利用Mysql数据库的INSERT IGNORE INTO,重新将A数据推送给B(不建议使用,可能会丢数据)
- 依赖DBA,让B库通过binlog方式监听A数据的变更,但是需要引入其他中间件,比如cancel(cancel存在单点问题,程序复杂性变高)
- 在数据库A增加触发器,当有数据变更时,通知数据库B同步(影响数据库性能)
基于以上方案,我们需要一个减轻Mysql压力同时提高系统check性能的方案,于是我们打算使用Redis的bitmap来check数据。架构方案如下图所示:
主要分为2个过程
过程1)数据进行双写A库和B库,B库写成功后再写入Redis,为check定时任务做准备;
过程2)每日定时任务check,先校验A库和B库数据总条数是否一致,如果不一致则判断Redis是否存在,存在则代表双写成功,无则表示双写失败,然后重新推送。
那我们为什要使用bitmap呢?
- 我们先看下bitmap占用的空间,8个bit可以组成一个Byte,Redis指令 SETBIT key offset value,offset为数据的偏移量(我们使用Mysql的主见ID),所以大概的空间占用计算公式是:($offset/8/1024/1024)MB,占用空间随着数据量越大越明显
- 设置偏移量时的时间复杂度为O(1)
- 当我们check完数据后,需要将Redis的的key进行清除,因为check是以天为单位,所以只需要删除一个按照天为单位的key即可,对比Redis的value用String结构存要方便很多,同时提高操作性能
好的,以上是我们对bitmap(位图)实际使用场景对一个总结,当然bitmap的应用远不仅如此,比如面试过程中可能问到,在内存受限的情况下,如何在一个整数大集合找出出现次数大于等于一次的整数个数等,这里的重点一般是体现在内存受限!
不断分享开发过程用到的技术和面试经常被问到的问题,如果您也对IT技术比较感兴趣可以「关注」我
- 上一篇:分布式事务原理详解(图文全面总结)
- 下一篇:分布式事务,原理简单,写起来全是坑
相关推荐
- 土豪农村建个别墅不新鲜 建个车库都用框架结构?
-
农村建房子过去都是没车库,也没有那么多豪车,一般直接停在路边或者院子里。现在很多人都会在建房子的时候留一个车库,通过车库可以直接进入客厅,省得雨雪天气折腾。农村土豪都是有钱任性,建房子跟我们普通人不一...
- 自建框架结构出现裂缝怎么回事?
-
三层自建房梁底与墙体连接处裂缝是结构问题吗?去前帮我姑画了一份三层自建房的图纸,前天他们全部装修好了。我姑丈突然打电话给我说他发现二层的梁底与墙分离了,有裂缝。也就是图纸中前面8.3米那跨梁与墙体衔接...
- 钢结构三维图集-框架结构(钢柱对接)
-
1、实腹式钢柱对接说明1:1.上节钢柱的安装吊点设置在钢柱的上部,利用四个吊点进行吊装;2.吊装前,下节钢柱顶面和本节钢柱底面的渣土和浮锈要清除干净,保证上下节钢柱对接面接触顶紧;3.钢柱吊装到位后...
- 三层框架结构主体自建房设计案例!布局13*12米占地面积156平米!
-
绘创意设计乡村好房子设计小编今日头条带来分享一款:三层框架结构主体自建房设计案例!布局13*12米占地面积156平米!本案例设计亮点:这是一款三层新中式框架结构自建房,占地13×12米,户型占地面积...
- 农村自建房新宠!半框架结构凭啥这么火?内行人揭开3个扎心真相
-
回老家闲逛,竟发现个有意思的现象:村里盖新房,十家有八家都选了"半框架结构"。隔壁王叔家那栋刚封顶的二层小楼,外墙红砖还露着糙面没勾缝,里头的水泥柱子倒先支棱得笔直,这到底是啥讲究?蹲...
- 砖混结构与框架结构!究竟有何区别?千万别被坑!
-
农村自建房选结构,砖混省钱但出事真能保命吗?7月建材价格波动期,多地建房户因安全焦虑陷入选择困境——框架结构虽贵30%,却是地震区保命的关键。框架柱和梁组成的承重体系,受力分散得像一张网。砖混靠墙硬扛...
- 砖混结构与框架结构,究竟有何区别?千万别被坑!
-
农村建房选砖混结构还是框架结构?这个问题算是近期留言板里问得最多的问题了。今天咱们说说二者的区别,帮您选个合适的。01成本区别假如盖一栋砖混结构的房子需要30万,那么换成框架结构,一般要多掏30%的费...
- 6个小众却逆天的App神器,个个都是黑科技的代表
-
你的手机上有哪些好用的软件?今天我就给大家分享6个小众却逆天的App神器,个个都是黑科技的代表!01*Via浏览器推荐理由:体积极小的浏览器,没有任何广告。使用感受:它的体量真的很小,只有702KB,...
- 合肥App开发做一个app需要多少钱?制作周期有多久?
-
在移动互联网时代,开发一款APP已成为企业数字化转型与个人创业的重要途径。然而,APP的开发成本与制作周期受功能复杂度、技术架构、团队类型等多重因素影响,差异极大。好牛软件将从这两个维度展开分析,帮助...
- 详解应对App臃肿化的五大法则
-
编者注:本文转自腾讯ISUX。先来看一张图:图上看到,所有平台上用户花费时间都在减少,除了移动端。观察身边也是如此,回家不开电脑的小伙伴越来越多。手机平板加电视,下班场景全搞定。连那些以前电脑苦手的...
- 实战!如何从零搭建10万级 QPS 大流量、高并发优惠券系统
-
需求背景春节活动中,多个业务方都有发放优惠券的需求,且对发券的QPS量级有明确的需求。所有的优惠券发放、核销、查询都需要一个新系统来承载。因此,我们需要设计、开发一个能够支持十万级QPS的券系...
- 8种移动APP导航设计模式大对比
-
当我们确定了移动APP的设计需求和APP产品设计流程之后,开始着手设计APP界面UI或是APP原型图啦。这个时候我们都要面临的第一个问题就是如何将信息以最优的方式组合起来?也许我们对比和了解了其他一些...
- 数字资产支付 App 的技术框架
-
开发一款功能强大、安全可靠的数字资产支付App需要一个整合了区块链技术、后端服务、前端应用以及第三方集成的全栈技术框架。这个框架的核心在于保障数字资产的安全流通,并将其高效地桥接到传统的法币支付场...
- 从MyBatis到App架构:设计模式全景应用指南
-
从MyBatis到App架构:设计模式全景应用指南引言在企业级应用和服务端开发领域,MyBatis凭借其灵活、简洁、强大的ORM映射能力被广泛应用。而它之所以能拥有如此优秀的可扩展性和工程可维护性,正...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- mfc框架 (52)
- abb框架断路器 (48)
- beego框架 (52)
- java框架spring (58)
- grpc框架 (65)
- tornado框架 (48)
- 前端框架bootstrap (54)
- orm框架有哪些 (51)
- 知识框架图 (52)
- ppt框架 (55)
- 内联框架 (52)
- cad怎么画框架 (58)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)