内存空间节约利器redis的bitmap(位图)应用场景有哪些你知道吗
ccwgpt 2025-05-02 16:53 42 浏览 0 评论
在前面我们分享过一次Redis常用数据结构和使用场景,文章对Redis基本使用做了一个简单的API说明,但是对于其中String类型中的bitmap(位图)我们需要重点说明一下,因为他的作用真的不容忽略,因为bitmap在内存资源节约上真的是太棒啦!同时因为计算机是基于二进制来运算的,所以bitmap还有天然的计算优势,如果使用bitmap来进行计算逻辑的话,性能会有大幅度提升。下面我们来分享下Redis中bitmap的实际应用场景。
统计用户每日签到
一年固定有365天或366天,这样可以用366个二进制位,即最多50个字节就可以记录每个用户一年的登录情况。某天登录把对应的二进制位改为1即可,当查询时,使用bitcount计算即可。既节省了空间,又提高了效率。假如说有1000W用户,500M空间存储足以。
统计活跃用户(去重),窗口随机
以每天的日期作为key,每个用户ID是一个二进制位,举个例子:假如说2020-01-01这一天,用户A(第一个bit位)登录了,用户B(第七个bit位)登录了;2020-01-02这一天,只有用户A登录,那么统计2020-01-01~2020-01-02这两天的活跃用户数。即可用以下命令计算:
setbit 2020-01-01 1 1
setbit 2020-01-01 7 1
setbit 2020-01-02 1 1
统计:
先去重:bitop or destkey 2020-01-01 2020-01-02
获取结果:bitcount destkey 0 -1
用户在线状态实时统计
用户ID为offset,如果在线就设置为1,不在线就设置为0,5000W用户只需要6MB的空间。还是使用bitcount命令进行统计汇总。
数据双写去重
以上bitmap的操作都是基于用户角度来进行统计的示例,但是bitmap作用远远不仅如此。下面我们重点来看下Redis的bitmap在数据双写中扮演的重要角色。
在最近的业务数据(大约一个亿数据)迁移的时候遇到了一个比较棘手的问题,因为需要进行老系统的兼容,数据迁移完成之后需要进行双写。但是双写数据不在一个系统并且组内还没有引入分布式事务框架(比如阿里的seate),那么如何保证双写的两部分数据库数据的一致性呢?如果出现了网络抖动、连接数据库超时等异常场景如何去补偿数据?其实对于这种问题,那就是需要定时check两个双写数据库的数据,假设先入数据库数据为A库,后入数据库数据为B库,以A入库的数据库为主,去check后入库的B库数据。如果check发现数据不一致(一般都是B库数据库数据丢失情况),则将B库数据未能成功写入的数据重新写入,并且需要保证B库数据不会重复推送。
如果我们check数据条数不一致时,我们可以通过哪些方式来排查出未能成功同步的数据,并且重新推送呢?可能会有以下方案:
- 先逐条查询A数据库数据,然后去查询B数据库是否存在,如果不存在则将该数据写入到数据库B(数据库压力过大)
- B数据库增加唯一键,check对数据不一致时,将A数据库的数据全量推给B数据库,如果出现异常则报错即可(数据库会有大量报错,不友好)
- B数据库增加唯一键,利用Mysql数据库的INSERT INTO ... ON DUPLICATE KEY UPDATE(不存在插入,存在则更新)方式,重新将A数据推送给B(字段过多,性能低下)
- B数据库增加唯一键,利用Mysql数据库的REPLACE INTO方式,重新将A数据推送给B(效率很差,多进程并发一下就会锁表)
- B数据库增加唯一键,利用Mysql数据库的INSERT IGNORE INTO,重新将A数据推送给B(不建议使用,可能会丢数据)
- 依赖DBA,让B库通过binlog方式监听A数据的变更,但是需要引入其他中间件,比如cancel(cancel存在单点问题,程序复杂性变高)
- 在数据库A增加触发器,当有数据变更时,通知数据库B同步(影响数据库性能)
基于以上方案,我们需要一个减轻Mysql压力同时提高系统check性能的方案,于是我们打算使用Redis的bitmap来check数据。架构方案如下图所示:
主要分为2个过程
过程1)数据进行双写A库和B库,B库写成功后再写入Redis,为check定时任务做准备;
过程2)每日定时任务check,先校验A库和B库数据总条数是否一致,如果不一致则判断Redis是否存在,存在则代表双写成功,无则表示双写失败,然后重新推送。
那我们为什要使用bitmap呢?
- 我们先看下bitmap占用的空间,8个bit可以组成一个Byte,Redis指令 SETBIT key offset value,offset为数据的偏移量(我们使用Mysql的主见ID),所以大概的空间占用计算公式是:($offset/8/1024/1024)MB,占用空间随着数据量越大越明显
- 设置偏移量时的时间复杂度为O(1)
- 当我们check完数据后,需要将Redis的的key进行清除,因为check是以天为单位,所以只需要删除一个按照天为单位的key即可,对比Redis的value用String结构存要方便很多,同时提高操作性能
好的,以上是我们对bitmap(位图)实际使用场景对一个总结,当然bitmap的应用远不仅如此,比如面试过程中可能问到,在内存受限的情况下,如何在一个整数大集合找出出现次数大于等于一次的整数个数等,这里的重点一般是体现在内存受限!
不断分享开发过程用到的技术和面试经常被问到的问题,如果您也对IT技术比较感兴趣可以「关注」我
- 上一篇:分布式事务原理详解(图文全面总结)
- 下一篇:分布式事务,原理简单,写起来全是坑
相关推荐
- 用Deepseek扩写土木工程毕业论文实操指南
-
用Deepseek扩写毕业论文实操指南一、前期准备整理现有论文初稿/提纲列清楚论文核心框架(背景、现状、意义、方法、数据、结论等)梳理好关键文献,明确核心技术路线二、Deepseek扩写核心思路...
- 985学霸亲授,DeepSeek也能绘6大科研图表,5分钟就出图
-
在实验数据处理中,高效可视化是每个科研人的必修课。传统绘图软件操作复杂、耗时费力,而智能工具DeepSeek的出现彻底改变了这一现状。本文将详解如何用DeepSeek一键生成六大科研常用图表,从思维导...
- AI写论文刷屏?大学生正在丢掉的思考力
-
一、宿舍深夜:当论文变成"Ctrl+C+V"凌晨两点的大学宿舍,小王对着电脑屏幕叹气。本该三天前开始写的近代史论文,此刻还一片空白。他熟练打开某AI写作网站,输入"论五四运动的...
- Grok在辅助论文写作上能不能既“聪明”又“可怕”?!
-
AcademicIdeas-学境思源AI初稿写作随着人工智能技术的飞速发展,论文写作这一学术任务正迎来新的助力。2025年2月18日,美国xAI公司推出了备受瞩目的Grok3模型,其创始人埃隆·...
- 大四论文沟通场景!音频转文字难题听脑AI来化解
-
大四学生都知道,写论文时和导师沟通修改意见,简直是“过关斩将”。电话、语音沟通完,想把导师说的修改方向、重点要求记下来,麻烦事儿可不少。手写记不全,用普通录音转文字工具,转完还得自己慢慢找重点,稍不注...
- 论文写作 | 技术路线图怎么画?(提供经典优秀模板参考)
-
技术路线图是一种图表或文字说明,用于描述研究目标、方法和实施计划。它展示了研究的整体框架和步骤,有助于读者理解研究的逻辑和进展。在课题及论文中,技术路线图是常见的一部分,甚至是一个类似心脏一样的中枢器...
- 25年信息系统项目管理师考试第2批论文题目写作建议思路框架
-
25年信息系统项目管理师考试第2批论文题目写作建议思路框架--马军老师
- 微信购物应尽快纳入法律框架(微信购物管辖)
-
符向军近日,甘肃省工商行政管理局发布《2016年上半年信息分析报告》。报告显示,微信网购纠纷迅猛增长,网络购物投诉呈上升趋势。投诉的主要问题有出售的商品质量不过关、消费者通过微信付款后对方不发货、购买...
- 泛珠三角区域网络媒体与腾讯微信签署《战略合作框架协议》
-
新海南客户端、南海网7月14日消息(记者任桐)7月14日上午,参加第四届泛珠三角区域合作网络媒体论坛的区域网络媒体负责人及嘉宾一行到腾讯微信总部座谈交流,并签署《战略合作框架协议》(以下简称《框架协...
- 离线使用、植入微信-看乐心Mambo手环如何打破框架
-
从2014年开始智能手环就成功进入人们的生活,至今已经演变出数据监测、信息推送、心率监测等诸多五花八门的功能,人们选择智能手环并不指望其能够改变身体健康情况,更多的是通过数据来正视自身运动情况和身体健...
- 华专网络:如何零基础制作一个网站出来?
-
#如何零基础制作一个网站出来?#你是不是觉得网站建设很复杂,觉得自己是小白,需求不明确、流程搞不懂、怕被外包公司坑……这些问题我都懂!今天华专网络就用大白话给你捋清楚建站的全流程,让你轻松get网站制...
- WAIC2024丨明日上午9点,不见不散!共同探讨智能社会与全球治理框架
-
大咖云集,硕果闪耀WAIC2024世界人工智能大会智能社会论坛将于7月5日9:00-12:00与你相约直播间WAIC2024上海杨浦同济大学哔哩哔哩多平台同步直播探讨智能社会与全球治理框架WAIC...
- 约基奇:森林狼换来戈贝尔时大家都在嘲笑 他们的阵容框架很不错
-
直播吧5月4日讯西部季后赛半决赛,掘金将迎战森林狼,约基奇赛前接受采访。约基奇说道:“当蒂姆-康纳利(森林狼总经理、前掘金总经理&曾选中约基奇)做了那笔交易(换来戈贝尔)时,每个人都在嘲笑他...
- 视频号带货为什么一个流量都没有?顶级分析框架送给你
-
视频号带货为什么一个流量都没有?遇到问题,一定是步步来分析内容,视频号带货一个流量都没有,用另外一个意思来讲,就可以说是零播放。为什么视频号带货一个流量都没有?跟你说再多,都不如来个分析框架。1、是否...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)