【Oracle】Package 存储过程编写以及其他实用技术
ccwgpt 2024-12-18 14:43 22 浏览 0 评论
这篇文章是之前自己在公司的一篇技术分享,搬过来就不提供脚本了!
前段时间在处理生产异常时发现,测试数据库和仿真数据库已很久没有同步生产的清洗后数据和数据结构。开发人员在处理生产异常时往往要在测试或者仿真环境中重新模拟数据来进行场景复现,若需要以大量数据为基础进行复现时就比较痛苦了。
目前遇到这种情况还需要知会运维人员到生产数据库备份数据,先导出dmp再导入测试或仿真环境,之后还需要对数据进行敏感信息清洗。由于数据的特殊性,这个过程只能通过运维人员手动处理,非常容易出错且效果不理想(这里会涉及到一些blob字段无法导入到系统中,还有表空间不一致也影响导入的情况)。有鉴于此,我决定写一个同步存储过程实现自动化同步。
与一般的存储过程不一样,本次的存储过程是通过编写Oracle的Package(包头)和 Package Body(包体)来实现同步的。如下图:
其中TIMSSPRD_SYNC是数据库同步入口,而TIMSS_TABLE是同步表方法的入口。
之所以使用Package来编写存储过程的原因在于:
1. 对于程序员来说,Package/Package Body的写法更贴近于面向对象的开发理念(个人认为跟Java中的接口和接口实现类如出一辙);
2. Package内的方法可以重载,也可以存在多个同名的方法根据参数的个数或者参数的类型找到正确的方法;
3. Package可以被其他用户调用,是全局的方法;
4. Package既然是全局的,那当然也可以被授权咯(可以按需分批,那些用户可以用,那些用户不可以用);
先打开TIMSSPRD_SYNC,里面有一个TIMSS_SYNC_PRO的方法,里面有四个参数分别是OPER_SORT(同步类型)、OPER_TYPE(同步方式)、OPER_TABLE(同步表名)和OPER_PREFIX(同步前缀),如下图:
1. OPER_SORT(同步类型) :脚本将根据填入的内容去更新指定的类型信息
2. OPER_TYPE(同步方式) :是include(包含)还是exclude(排除)
3. OPER_TABLE(同步表名) :其实这个字段不单单是表名(因为现在只有表),这里应该是同步对象的名称
4. OPER_PREFIX(同步前缀) :同理,这里应该是同步对象的前缀
按照存储过程的逻辑,如果什么参数都不填的话会执行全类型更新(这无疑跟dmp方式一致,虽然基本不会用到但还是提供吧)。否则按照同步信息去判断需要调用的方法。OK,来到这里先告一段落,下面在看看TIMSS_TABLE这个Packages。
在TIMSS_TABLE中里面就是真正的执行方法共四个,分别是:ORGANIZE_DATA(整理数据)、CREATE_AND_BAK_TABLE(创建与备份表)、CREATE_TABLE_EXEC(执行创建表)和DROP_TABLE(表删除),如下图:
由于涉及到公司内部的同步逻辑,这四个方法的具体内容就不说了但在编写TIMSS_TABLE中用到了6个有用的存储过程知识想给各位分享一下:
1 使用自定义函数去对参数内容进行分割(Oracle是没有自带分割函数)
为了方便使用在网上抄了一个自定义函数_SPLITSTR(需要分割的字符串,分割字符)_,如下图:
这个函数最后是以管道(Pipelined)的方式返回,用一个虚拟的Table将其内容接住 ,如下图:
2 在存储过程中Exception异常捕获的使用
Begin
执行方法...
Exception When Others Then
异常处理信息...
End;
实际使用效果如下:
这能够更优雅地获取到存储过程中的异常信息。
3 采用Using进行赋值即使变量内容含特殊字符也不会抛错
4 Dbms_Lock.Sleep跟Java线程中Sleep用法一致
有时候某些操作是需要按顺序执行的,存储过程在模拟多线程处理(这个后面会进行分享如何将Oracle数据库模拟多线程操作)时太快很容易发生数据冲突,这时就需要用_Dbms_Lock.Sleep_方法让它暂停线程(不过这个_Dbms_Lock_的包需要管理员权限开放给需要的用户才可以使用,比较麻烦 )
5 使用Drop Table的时候加上Purge,可以减少表空间的消耗
因为Oracle是有闪回_(FlashBack)的功能的,平常删除的东西其实会存放在回收站(Recycle Bin)_里面不会被立即清除,这是为了方便闪回时恢复数据。所以一般Drop Table后虽然表已经删除了,但表空间是不会释放。为此这次存储过程需加上_Purge_来让这个表彻底删除(这里的处理逻辑是先创建好目标表后删除掉备份表)同时释放表空间。日常使用不建议使用这种方式,误操作后不能通过FlashBack恢复是非常危险的。
6 PL/SQL的Brower里面应是默认设置为“My Objects“
好几次看到同事们的PL/SQL一打开就是“All Objects”这样是非常危险的。如果用DBA的账号登陆你会发现目录树的每个节点都可以看到系统级别内容,像是什么 SYS.XXX开头的文件。万一不小心给删除掉了,那整个实例就完蛋了。建议都将自己的PL/SQL设置一下,哪怕你现在不需要用到DBA的账号也好,养成一个好习惯是没错的。
设置可以通过_Tools->Preferences->User Interface->Browser_点击_Filters..._按钮去进行设置,如下图:
坦白说,这个存储过程其实还存在很多问题,譬如大数据量同步的时候就不能使用这个存储过程了、DBlink本身也存在lob数据类型同步问题、存储过程内没有做同步信息记录(这个需要的话要后续跟进)......
相关推荐
- 详解DNFSB2毒王的各种改动以及大概的加点框架
-
首先附上改动部分,然后逐项分析第一个,毒攻掌握技能意思是力量智力差距超过15%的话差距会被强行缩小到15%,差距不到15%则无效。举例:2000力量,1650智力,2000*0.85=1700,则智力...
- 通篇干货!纵观 PolarDB-X 并行计算框架
-
作者:玄弟七锋PolarDB-X面向HTAP的混合执行器一文详细说明了PolarDB-X执行器设计的初衷,其初衷一直是致力于为PolarDB-X注入并行计算的能力,兼顾TP和AP场景,逐渐...
- 字节新推理模型逆袭DeepSeek,200B参数战胜671B,豆包史诗级加强
-
梦晨发自凹非寺量子位|公众号QbitAI字节最新深度思考模型,在数学、代码等多项推理任务中超过DeepSeek-R1了?而且参数规模更小。同样是MoE架构,字节新模型Seed-Thinkin...
- 阿里智能化研发起飞!RTP-LLM 实现 Cursor AI 1000 token/s 推理技术揭秘
-
作者|赵骁勇阿里巴巴智能引擎事业部审校|刘侃,KittyRTP-LLM是阿里巴巴大模型预测团队开发的高性能LLM推理加速引擎。它在阿里巴巴集团内广泛应用,支撑着淘宝、天猫、高德、饿...
- 多功能高校校园小程序/校园生活娱乐社交管理小程序/校园系统源码
-
校园系统通常是为学校、学生和教职工提供便捷的数字化管理工具。综合性社交大学校园小程序源码:同城校园小程序-大学校园圈子创业分享,校园趣事,同校跑腿交友综合性论坛。小程序系统基于TP6+Uni-app...
- 婚恋交友系统nuiAPP前端解决上传视频模糊的问题
-
婚恋交友系统-打造您的专属婚恋交友平台系统基于TP6+Uni-app框架开发;客户移动端采用uni-app开发,管理后台TH6开发支持微信公众号端、微信小程序端、H5端、PC端多端账号同步,可快速打包...
- 已节省数百万GPU小时!字节再砍MoE训练成本,核心代码全开源
-
COMET团队投稿量子位|公众号QbitAI字节对MoE模型训练成本再砍一刀,成本可节省40%!刚刚,豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节...
- 通用电气完成XA102发动机详细设计审查 将为第六代战斗机提供动力
-
2025年2月19日,美国通用电气航空航天公司(隶属于通用电气公司)宣布,已经完成了“下一代自适应推进系统”(NGAP)计划下提供的XA102自适应变循环发动机的详细设计审查阶段。XA102是通用电气...
- tpxm-19双相钢材质(双相钢f60材质)
-
TPXM-19双相钢是一种特殊的钢材,其独特的化学成分、机械性能以及广泛的应用场景使其在各行业中占有独特的地位。以下是对TPXM-19双相钢的详细介绍。**化学成分**TPXM-19双相钢的主要化学成...
- thinkphp6里怎么给layui数据表格输送数据接口
-
layui官网已经下架了,但是产品还是可以使用。今天一个朋友问我怎么给layui数据表格发送数据接口,当然他是学前端的,后端不怎么懂,自学了tp框架问我怎么调用。其实官方文档上就有相应的数据格式,js...
- 完美可用的全媒体广告精准营销服务平台PHP源码
-
今天测试了一套php开发的企业网站展示平台,还是非常不错的,下面来给大家说一下这套系统。1、系统架构这是一套基于ThinkPHP框架开发的HTML5响应式全媒体广告精准营销服务平台PHP源码。现在基于...
- 一对一源码开发,九大方面完善基础架构
-
以往的直播大多数都是一对多进行直播社交,弊端在于不能满足到每个用户的需求,会降低软件的体验感。伴随着用户需求量的增加,一对一直播源码开始出现。一个完整的一对一直播流程即主播发起直播→观看进入房间观看→...
- Int J Biol Macromol .|交联酶聚集体在分级共价有机骨架上的固定化:用于卤代醇不对称合成的高稳定酶纳米反应器
-
大家好,今天推送的文章发表在InternationalJournalofBiologicalMacromolecules上的“Immobilizationofcross-linkeden...
- 【推荐】一款开源免费的 ChatGPT 聊天管理系统,支持PC、H5等多端
-
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!项目介绍GPTCMS是一款开源且免费(基于GPL-3.0协议开源)的ChatGPT聊天管理系统,它基于先进的GPT...
- 高性能计算(HPC)分布式训练:训练框架、混合精度、计算图优化
-
在深度学习模型愈发庞大的今天,分布式训练、高效计算和资源优化已成为AI开发者的必修课。本文将从数据并行vs模型并行、主流训练框架(如PyTorchDDP、DeepSpeed)、混合精度训练(...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 详解DNFSB2毒王的各种改动以及大概的加点框架
- 通篇干货!纵观 PolarDB-X 并行计算框架
- 字节新推理模型逆袭DeepSeek,200B参数战胜671B,豆包史诗级加强
- 阿里智能化研发起飞!RTP-LLM 实现 Cursor AI 1000 token/s 推理技术揭秘
- 多功能高校校园小程序/校园生活娱乐社交管理小程序/校园系统源码
- 婚恋交友系统nuiAPP前端解决上传视频模糊的问题
- 已节省数百万GPU小时!字节再砍MoE训练成本,核心代码全开源
- 通用电气完成XA102发动机详细设计审查 将为第六代战斗机提供动力
- tpxm-19双相钢材质(双相钢f60材质)
- thinkphp6里怎么给layui数据表格输送数据接口
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (52)
- java框架spring (43)
- grpc框架 (55)
- orm框架有哪些 (43)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)