注意!GROUP_CONCAT函数引发的线上问题
ccwgpt 2024-11-24 12:42 50 浏览 0 评论
点击上方?,轻松关注!及时获取有趣有料的技术文章
业务场景
在说遇到的坑之前,先描述一下大致的业务场景。系统有一个排班的功能,一个医生一天可以排多种业务类型的排班,并且每一种业务类型的排班都支持排个多时段(时段的最小单位是15分钟)。
举例:
D医生在 2020-12-31 的 8:00~10:00、10:30~12:00 排班了【在线A】 和 【在线B】业务。
【在线A】 2020-12-31 8:00~10:00
【在线A】 2020-12-31 10:30~12:00
【在线B】 2020-12-31 8:00~10:00
【在线B】 2020-12-31 10:30~12:00
在查询这个一天排班的数据,伪SQL方便理解:
SELECT
dt,
biz_type,
GROUP_CONCAT(
CONCAT_WS('|', id, start_time, end_time)
) AS multiPeriodDetail
FROM
doctor_schedule_detail
WHERE
doctor_id = '456231'
AND dt = '2020-12-30'
GROUP BY
doctor_id,
biz_type,
dt
CONCAT_WS('|', id, start_time, end_time)中的字段说明:
- id:时段的id
- start_time:时段开始时间
- end_time:时段结束时间
对数据进行分组后,使用 CONCAT_WS函数 指定分隔符进行参数拼接。然后使用 GROUP_CONCAT 函数 返回分组中字符串结果组合连接的值,默认缺省为一个逗号 (",")进行分隔,这个缺省值可以去掉,本例子中使用默认缺省值。
查询后结果展示如下:
查询结果
至此场景描述结束。
遇到的坑
这个代码在线上已经运行很长了,有一天用户反馈说给D医生排班了,但是界面查不到这个时段的排班数据。
经过"紧张激烈"的排查,终于找到了这个问题的罪魁祸首。
如上场景描述,在查询SQL中使用了 GROUP_CONCAT 函数,在业务中因为排班的最小时段为:单位是15分钟。正常医生不会拍很多很细的班,但在特殊的场景中,有一些医生就是15分钟排一次班,而且系统中真实的 CONCAT_WS函数拼接返回的字段比较多,那么导致查询出来的数据非常多, GROUP_CONCAT 函数就就大于默认值得数据丢弃了。
注:GROUP_CONCAT 对应的配置参数 group_concat_max_len 默认设置最大的长度 1024字节。
查询 group_concat_max_len 配置:
show variables like "group_concat_max_len";
tips:字段内容字节长度
MySQL utf-8 编码集, 一个中文占3个字节。
-- 字符长度 输出结果:6
SELECT CHAR_LENGTH("你好2021")
-- 字节长度 输出结果:10
SELECT LENGTH("你好2021")
解决方案
在知道问题原因后,就有了对应的解决方案。
第一种方案:修改Mysql的配置,调整 group_concat_max_len 的值。
方法一:在MySQL的配置文件中加入如下配置(推荐):
group_concat_max_len = 102400
方法二:更简单的操作方法,执行SQL语句:
SET GLOBAL group_concat_max_len = 102400;
SET SESSION group_concat_max_len = 102400;
生产环境,肯定要用方法一:在MySQL的配置文件。但考虑生产环境修改配置需要走一些流程和审批,于是有了第二种方案的考虑。
第二种方案:进行业务功能的调整,需求的调整或者GROUP_CONCAT 拼接少返回一些数据
功能已经上线,此时在修改,对业务有一定的影响
综合考虑后,决定更改group_concat_max_len的值,经过对业务的分析计算出具体要更改的值。
结语
在真实场景中,大多数问题的解决方案不止一种,在权衡后找到一个符合当时的问题的最优解决方案。
相关推荐
- Spring框架基础知识-第四节内容(Spring基础配置)
-
Spring基础配置Spring框架本身有四大原则:(1)使用POJO进行轻量级和最小侵入式开发。(2)通过依赖注入和基于接口编程实现松耦合。(3)通过AOP和默认习惯进行声明式编程。(4)使...
- SpringBoot项目开发实战销售管理系统——项目框架搭建!
-
项目框架搭建在完成项目的分析和数据库设计后,一般由架构师完成项目框架的搭建,包括项目依赖的添加、项目的配置和项目日志的配置,完成后再开始业务代码的编写。技术栈的搭建新建一个SpringBoot项目,...
- 从零到一:独立运行若依框架系统并进行本地二次开发
-
####一、环境准备1.**基础环境**:-JDK1.8+(推荐JDK17)-Maven3.6+-MySQL5.7+(推荐8.0)-Redis5.0+-Node.js16...
- 单片机时间片轮询程序架构(单片机如何实现精准的时间周期)
-
时间片轮询法有很多时候都是与操作系统一起被提到,也就是说很多时候是操作系统中使用了这一方法:STM32单片机开发中的RTOS。下文将参考别人的代码,演示建立的一个时间片轮询架构程序的...
- Netty主要组件和服务器启动源码分析
-
1.Netty服务端启动代码publicclassNettyServer{publicstaticvoidmain(String[]args)throwsInterrup...
- 前端定时任务的神库!快把它加到你的项目中去!
-
我们常会遇到定时刷新数据、轮询接口、发送提醒等场景,我们常会遇到定时刷新数据、轮询接口、发送提醒等场景。为什么选择cron库?定时任务开发痛点原生setInterval的时间误差累积难以实现复杂的...
- 如何正确实现一个后台(定时)任务(后台定时任务怎么实现)
-
相信大家都知道如何在.NET中执行后台(定时)任务。首先我们会选择实现IHostedService接口或者继承BackgroundService来实现后台任务。然后注册到容器内,然后注册到容...
- 秒杀传统的Linux Crontab,这款开源的定时任务管理系统绝了!
-
Gocron是一款开源的定时任务管理系统,基于Go语言开发,旨在替代传统的LinuxCrontab。它通过Web界面提供直观的任务管理功能,支持精确到秒的Crontab时间表达式,并具备任务重试、超...
- Python 定时任务:schedule 自动执行脚本太方便。
-
2025年了,还在为Python定时任务头疼?轻量级需求搞什么Celery,schedule三行代码就搞定。这库把定时任务简化到像说人话,但新手直接抄文档容易踩坑。文档只会告诉你怎么设置每10分钟执行...
- SpringBoot扩展——定时任务!(基于springboot的校园宿舍管理系统的设计与实现)
-
定时任务项目开发中会涉及很多需要定时执行的代码,如每日凌晨对前一日的数据进行汇总,或者系统缓存的清理、对每日的数据进行分析和总结等需求,这些都是定时任务。单体系统和分布式系统的分布式任务有很大的区别,...
- 适合普通开发者和产品经理的PHP应用模板开发AI的SaaS应用框架
-
简单到傻!Liang_SaaS适合普通开发者和产品经理的PHP应用模板开发AI的SaaS应用框架,利用Php开发AI的SaaS应用框架,是一个强大的内容管理仪表板模板,基于Bootstrap和...
- 非常实用的15款开源PHP类库(php开源管理系统)
-
PHP库给开发者提供了一个标准接口,它帮助开发者在PHP里充分利用面向对象编程。这些库为特定类型的内置功能提供了一个标准的API,允许类可以与PHP引擎进行无缝的交互。此外,开发者使用这些类库还可以简...
- 蜂神榜苹果商店也凑热闹:“520”我爱玩家!
-
各位看官,今天被朋友圈各类“520”刷屏呢?有没有给你亲爱的家人一份“520”模式的红包呢?苹果商店也给了玩家一个“520”模式的惊喜---再一次提供了多款“1元”价格的游戏!并且此次降价的游戏品质都...
- 变成气球的猫咪《气球》十一正式推出
-
墨西哥游戏公司NoodlecakeGames曾开发过《致命框架》、《阿尔托冒险》等优秀佳作,而它旗下的最新游戏《气球》(TheBalloons)在十一的时候就要和大家见面了。游戏中,玩家要操控娃娃...
- 星座超游爱:狮子遇挑战,处女手抓牢~
-
teemo跟大家讲了三期太阳星座,也许有很多不热心的小伙伴并不知道是什么东西,今天就小科普一番~在出生的那一天,太阳所落的那个星座,就是每个人的太阳星座,而这恰好就是大家的性格中心,是权势驱力、人格的...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- Spring框架基础知识-第四节内容(Spring基础配置)
- SpringBoot项目开发实战销售管理系统——项目框架搭建!
- 从零到一:独立运行若依框架系统并进行本地二次开发
- 单片机时间片轮询程序架构(单片机如何实现精准的时间周期)
- Netty主要组件和服务器启动源码分析
- 前端定时任务的神库!快把它加到你的项目中去!
- 如何正确实现一个后台(定时)任务(后台定时任务怎么实现)
- 秒杀传统的Linux Crontab,这款开源的定时任务管理系统绝了!
- Python 定时任务:schedule 自动执行脚本太方便。
- SpringBoot扩展——定时任务!(基于springboot的校园宿舍管理系统的设计与实现)
- 标签列表
-
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- mfc框架 (52)
- abb框架断路器 (48)
- beego框架 (52)
- java框架spring (58)
- grpc框架 (65)
- tornado框架 (48)
- 前端框架bootstrap (54)
- orm框架有哪些 (51)
- ppt框架 (48)
- 内联框架 (52)
- cad怎么画框架 (58)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)