百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

9年积淀SQL审核最佳实践核心观点

ccwgpt 2025-03-01 13:09 60 浏览 0 评论

随着信息技术的高速发展,IT系统由传统的烟囱式架构向平台化、去中心化转变,通过业务模块无状态化改造,结合Docker等容器技术,应用系统可以轻松实现秒级线性扩展以满足业务增长的需求。SQL语句作为应用系统与数据库之间的桥梁,在高并发下,只要质量稍有下降都会导致数据库成为性能瓶颈。虽然BAT等互联网巨头具备较强的核心掌控力以及完备的架构和工具链,能在一定程度上减轻数据库压力,但仍然需要完善的管理流程与规范约束开发人员合理编写SQL。

自2007年起,在中国移动浙江公司信息技术部副总经理、国内首批Oracle 9i OCM王晓征的带领下,浙江移动与新炬网络联合制定了浙江移动首版《IT系统数据库开发规范》,历经9年更新迭代百余次,目前已积淀2万余字,涵盖数据库设计、用户创建、数据同步、应用连接、高可用设计、对象命名、对象设计、SQL编写、数据库安全等规范,并且通过完善的流程管理,达到了对海量数据经营与业务数据访问的管理。经过多年的探索与实践,浙江移动已形成了一套敏捷、高效的SQL审查方案。

浙江移动作为全国首个提出并落地SQL审查方案的运营商,经过多年步道与传播,让众多兄弟公司与互联网企业意识到SQL审查的重要性并推进落地。经浙江移动独家授权,在此分享浙江移动在落地SQL审查方法论时总结得出的三个核心观点:

一、工具是SQL审查手段但不是万能

浙江移动数据平台组于2009年研发出第一代SQL审查工具,并将《IT系统数据库开发规范》中的规范转化成规则,自动审查上线SQL脚本中的违规信息。截至目前,该工具已迭代6个版本,具备SQL规则管理、SQL代码管理、SQL违规报表、SQL自动优化以及按照业务系统、模块、开发商、开发人员等多维度报表的功能。在工具化建设与推进的过程中,工具发挥着方便有效管理、审查、跟进SQL的作用,并且可以随时汇总报表展示SQL审查成果。但是数据库作为操作数据的平台,除了应用之外,还会有诸多客户端接入执行相应的SQL,而工具通常在中间件、数据库中进行部署,因此没有业务层信息带入,工具无法捕获SQL的用途、发起设备、开发商、开发人员等信息,这就对后续整改带来了巨大的工作量。当然,也有部分SQL审核工具通过扫描代码实现,但代码中通常采用动态SQL实现逻辑,因而无法扫描出完整的SQL与相应信息。截至目前,浙江移动只管控了一部分的核心SQL,约调用量的80%。所以说,工具只是SQL审查的一小部分,别把工具当万能。

二、SQL作为企业软资产,需要持续运营

SQL作为企业的软资产时刻伴随着数据的产生、变迁与消亡,与数据一样,SQL资产也需要进行严格管控。如果任由SQL野蛮生长,将会引发严重的系统性能问题、扩展性问题、安全性问题,甚至会导致业务数据不可恢复的破坏。SQL的管控不仅仅局限在SQL运行质量,而应该覆盖SQL全生命周期,包括SQL创建、SQL运行、SQL下线等阶段的相关信息,例如创建人、所属业务、上线时间、执行频率、调用模块、用途以及上线后SQL在各阶段的运行数据等。开发DBA团队应通过持续运营,为SQL打上标签,对SQL进行全生命周期管控。

三、快速转型,这一刻拥抱DevOps

在信息技术快速变革的推动下,数据平台组由ITIL驱动向DevOps转型,浙江移动联合新炬网络建立了直接面向开发人员的开发DBA小组。在开发阶段,开发人员须在审查平台上提交SQL代码,同时可以申请协助服务,开发DBA会提供面对面纠错,并协调开发一起录入SQL相关信息。此举大大提升了SQL代码修复效率,打破了后期在中间件、数据库中扫描代码却找不到SQL开发人员的尴尬局面,为SQL资产运营注入坚实的力量。

广义上的开发DBA与本文所述略有差异,以下内容摘自知乎作为适当补充:

开发DBA分为三种。第一种是源码方向,通过修改源码来解决实际问题,比如提高性能、可用性、安全性等;第二种是自动化方向,在数据库周边提供自动化系统来服务数据库业务。包括但不限于自动运维、监控、日志、备份、高可用,甚至是中间件、消息总线、异构数据同步等等,大部分时间满足运维DBA的需求;第三种是辅助开发人员编写业务SQL、PL/SQL开发。

浙江移动的开发DBA小组除了SQL审核以外,还需负责数据标准审核、物理模型审核、生命周期审核、数据分布审核、数据安全审核,开发DBA基于《IT系统数据库开发规范》对数据相关的属性进行全生命周期管控。与广义上的开发DBA不同,浙江移动的开发DBA肩负着质检总局的重要使命,为生产系统的可持续发展与安全稳定做出不可替代的贡献。

相关推荐

详解DNFSB2毒王的各种改动以及大概的加点框架

首先附上改动部分,然后逐项分析第一个,毒攻掌握技能意思是力量智力差距超过15%的话差距会被强行缩小到15%,差距不到15%则无效。举例:2000力量,1650智力,2000*0.85=1700,则智力...

通篇干货!纵观 PolarDB-X 并行计算框架

作者:玄弟七锋PolarDB-X面向HTAP的混合执行器一文详细说明了PolarDB-X执行器设计的初衷,其初衷一直是致力于为PolarDB-X注入并行计算的能力,兼顾TP和AP场景,逐渐...

字节新推理模型逆袭DeepSeek,200B参数战胜671B,豆包史诗级加强

梦晨发自凹非寺量子位|公众号QbitAI字节最新深度思考模型,在数学、代码等多项推理任务中超过DeepSeek-R1了?而且参数规模更小。同样是MoE架构,字节新模型Seed-Thinkin...

阿里智能化研发起飞!RTP-LLM 实现 Cursor AI 1000 token/s 推理技术揭秘

作者|赵骁勇阿里巴巴智能引擎事业部审校|刘侃,KittyRTP-LLM是阿里巴巴大模型预测团队开发的高性能LLM推理加速引擎。它在阿里巴巴集团内广泛应用,支撑着淘宝、天猫、高德、饿...

多功能高校校园小程序/校园生活娱乐社交管理小程序/校园系统源码

校园系统通常是为学校、学生和教职工提供便捷的数字化管理工具。综合性社交大学校园小程序源码:同城校园小程序-大学校园圈子创业分享,校园趣事,同校跑腿交友综合性论坛。小程序系统基于TP6+Uni-app...

婚恋交友系统nuiAPP前端解决上传视频模糊的问题

婚恋交友系统-打造您的专属婚恋交友平台系统基于TP6+Uni-app框架开发;客户移动端采用uni-app开发,管理后台TH6开发支持微信公众号端、微信小程序端、H5端、PC端多端账号同步,可快速打包...

已节省数百万GPU小时!字节再砍MoE训练成本,核心代码全开源

COMET团队投稿量子位|公众号QbitAI字节对MoE模型训练成本再砍一刀,成本可节省40%!刚刚,豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节...

通用电气完成XA102发动机详细设计审查 将为第六代战斗机提供动力

2025年2月19日,美国通用电气航空航天公司(隶属于通用电气公司)宣布,已经完成了“下一代自适应推进系统”(NGAP)计划下提供的XA102自适应变循环发动机的详细设计审查阶段。XA102是通用电气...

tpxm-19双相钢材质(双相钢f60材质)

TPXM-19双相钢是一种特殊的钢材,其独特的化学成分、机械性能以及广泛的应用场景使其在各行业中占有独特的地位。以下是对TPXM-19双相钢的详细介绍。**化学成分**TPXM-19双相钢的主要化学成...

thinkphp6里怎么给layui数据表格输送数据接口

layui官网已经下架了,但是产品还是可以使用。今天一个朋友问我怎么给layui数据表格发送数据接口,当然他是学前端的,后端不怎么懂,自学了tp框架问我怎么调用。其实官方文档上就有相应的数据格式,js...

完美可用的全媒体广告精准营销服务平台PHP源码

今天测试了一套php开发的企业网站展示平台,还是非常不错的,下面来给大家说一下这套系统。1、系统架构这是一套基于ThinkPHP框架开发的HTML5响应式全媒体广告精准营销服务平台PHP源码。现在基于...

一对一源码开发,九大方面完善基础架构

以往的直播大多数都是一对多进行直播社交,弊端在于不能满足到每个用户的需求,会降低软件的体验感。伴随着用户需求量的增加,一对一直播源码开始出现。一个完整的一对一直播流程即主播发起直播→观看进入房间观看→...

Int J Biol Macromol .|交联酶聚集体在分级共价有机骨架上的固定化:用于卤代醇不对称合成的高稳定酶纳米反应器

大家好,今天推送的文章发表在InternationalJournalofBiologicalMacromolecules上的“Immobilizationofcross-linkeden...

【推荐】一款开源免费的 ChatGPT 聊天管理系统,支持PC、H5等多端

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!项目介绍GPTCMS是一款开源且免费(基于GPL-3.0协议开源)的ChatGPT聊天管理系统,它基于先进的GPT...

高性能计算(HPC)分布式训练:训练框架、混合精度、计算图优化

在深度学习模型愈发庞大的今天,分布式训练、高效计算和资源优化已成为AI开发者的必修课。本文将从数据并行vs模型并行、主流训练框架(如PyTorchDDP、DeepSpeed)、混合精度训练(...

取消回复欢迎 发表评论: