百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

【Oracle】Package 存储过程编写以及其他实用技术

ccwgpt 2024-12-18 14:43 36 浏览 0 评论

这篇文章是之前自己在公司的一篇技术分享,搬过来就不提供脚本了!

前段时间在处理生产异常时发现,测试数据库和仿真数据库已很久没有同步生产的清洗后数据和数据结构。开发人员在处理生产异常时往往要在测试或者仿真环境中重新模拟数据来进行场景复现,若需要以大量数据为基础进行复现时就比较痛苦了。

目前遇到这种情况还需要知会运维人员到生产数据库备份数据,先导出dmp再导入测试或仿真环境,之后还需要对数据进行敏感信息清洗。由于数据的特殊性,这个过程只能通过运维人员手动处理,非常容易出错且效果不理想(这里会涉及到一些blob字段无法导入到系统中,还有表空间不一致也影响导入的情况)。有鉴于此,我决定写一个同步存储过程实现自动化同步。

与一般的存储过程不一样,本次的存储过程是通过编写Oracle的Package(包头)和 Package Body(包体)来实现同步的。如下图:

其中TIMSSPRD_SYNC是数据库同步入口,而TIMSS_TABLE是同步表方法的入口。

之所以使用Package来编写存储过程的原因在于:

1. 对于程序员来说,Package/Package Body的写法更贴近于面向对象的开发理念(个人认为跟Java中的接口和接口实现类如出一辙);

2. Package内的方法可以重载,也可以存在多个同名的方法根据参数的个数或者参数的类型找到正确的方法;

3. Package可以被其他用户调用,是全局的方法;

4. Package既然是全局的,那当然也可以被授权咯(可以按需分批,那些用户可以用,那些用户不可以用);

先打开TIMSSPRD_SYNC,里面有一个TIMSS_SYNC_PRO的方法,里面有四个参数分别是OPER_SORT(同步类型)、OPER_TYPE(同步方式)、OPER_TABLE(同步表名)和OPER_PREFIX(同步前缀),如下图:

1. OPER_SORT(同步类型) :脚本将根据填入的内容去更新指定的类型信息

2. OPER_TYPE(同步方式) :是include(包含)还是exclude(排除)

3. OPER_TABLE(同步表名) :其实这个字段不单单是表名(因为现在只有表),这里应该是同步对象的名称

4. OPER_PREFIX(同步前缀) :同理,这里应该是同步对象的前缀

按照存储过程的逻辑,如果什么参数都不填的话会执行全类型更新(这无疑跟dmp方式一致,虽然基本不会用到但还是提供吧)。否则按照同步信息去判断需要调用的方法。OK,来到这里先告一段落,下面在看看TIMSS_TABLE这个Packages。

在TIMSS_TABLE中里面就是真正的执行方法共四个,分别是:ORGANIZE_DATA(整理数据)、CREATE_AND_BAK_TABLE(创建与备份表)、CREATE_TABLE_EXEC(执行创建表)和DROP_TABLE(表删除),如下图:

由于涉及到公司内部的同步逻辑,这四个方法的具体内容就不说了但在编写TIMSS_TABLE中用到了6个有用的存储过程知识想给各位分享一下:

1 使用自定义函数去对参数内容进行分割(Oracle是没有自带分割函数)

为了方便使用在网上抄了一个自定义函数_SPLITSTR(需要分割的字符串,分割字符)_,如下图:

这个函数最后是以管道(Pipelined)的方式返回,用一个虚拟的Table将其内容接住 ,如下图:

2 在存储过程中Exception异常捕获的使用

Begin
        执行方法...
        Exception When Others Then
        异常处理信息... 
End;

实际使用效果如下:

这能够更优雅地获取到存储过程中的异常信息。

3 采用Using进行赋值即使变量内容含特殊字符也不会抛错

4 Dbms_Lock.Sleep跟Java线程中Sleep用法一致

有时候某些操作是需要按顺序执行的,存储过程在模拟多线程处理(这个后面会进行分享如何将Oracle数据库模拟多线程操作)时太快很容易发生数据冲突,这时就需要用_Dbms_Lock.Sleep_方法让它暂停线程(不过这个_Dbms_Lock_的包需要管理员权限开放给需要的用户才可以使用,比较麻烦 )

5 使用Drop Table的时候加上Purge,可以减少表空间的消耗

因为Oracle是有闪回_(FlashBack)的功能的,平常删除的东西其实会存放在回收站(Recycle Bin)_里面不会被立即清除,这是为了方便闪回时恢复数据。所以一般Drop Table后虽然表已经删除了,但表空间是不会释放。为此这次存储过程需加上_Purge_来让这个表彻底删除(这里的处理逻辑是先创建好目标表后删除掉备份表)同时释放表空间。日常使用不建议使用这种方式,误操作后不能通过FlashBack恢复是非常危险的。

6 PL/SQL的Brower里面应是默认设置为“My Objects“

好几次看到同事们的PL/SQL一打开就是“All Objects”这样是非常危险的。如果用DBA的账号登陆你会发现目录树的每个节点都可以看到系统级别内容,像是什么 SYS.XXX开头的文件。万一不小心给删除掉了,那整个实例就完蛋了。建议都将自己的PL/SQL设置一下,哪怕你现在不需要用到DBA的账号也好,养成一个好习惯是没错的。

设置可以通过_Tools->Preferences->User Interface->Browser_点击_Filters..._按钮去进行设置,如下图:

坦白说,这个存储过程其实还存在很多问题,譬如大数据量同步的时候就不能使用这个存储过程了、DBlink本身也存在lob数据类型同步问题、存储过程内没有做同步信息记录(这个需要的话要后续跟进)......

相关推荐

FastUI:用Python构建高性能React应用,告别JavaScript

在现代Web开发中,前后端分离已经成为主流趋势。然而,前端开发往往需要深入掌握JavaScript和各种框架,这对于许多Python开发者来说是一个不小的挑战。今天,我们要介绍一个革命性的UI框架——...

Python + Flet 开发网站的最佳数据库模块组合

对于使用Python和Flet开发网站并需要数据库支持的应用,以下是推荐的模块组合方案。方案一:SQLite+SQLAlchemy(推荐轻量级方案)**适用场景**:中小型应用、单用户或...

前端程序员应该往全栈方向发展吗?还是坚守前端?

这是一个非常经典且重要的问题,几乎每一位走到职业生涯十字路口的前端程序员都会思考。它没有一个绝对的“正确答案”,但我们可以从多个维度来分析,帮你找到最适合你的那条路。简单来说,这不是一个“要不要”的...

Python交互仪表盘工具:Panel 进阶学习路线图

Panel作为Python生态系统中最强大的交互式仪表盘工具之一,其学习曲线既平缓又深远。这里我将为您构建一个系统化的进阶学习框架,包含实战项目和关键学习节点。1.现代化Web集成开发1....

PuePy:将Python带入浏览器的革命性框架

在现代网络开发中,JavaScript无疑是主导地位的编程语言。但最近,随着WebAssembly和PyScript的崛起,Python的使用场景逐渐扩展到了前端开发领域。PuePy应运而生,作为一...

不容易!找到一个python的超简易网站搭建神器

作者:清香客来源:Python技术相信很多学习python的酱友们,大部分和我一样是为了提升工作效率,但是在提升自己的工作效率时,也会想着做同样工作的同事能不能也用上自己写的脚本(视工作环境而定)...

PyWebView:用 Python 构建桌面应用的神器

作为一个Python开发者,我一直希望能找到一种简便的方法来构建桌面应用,而不是去学习诸如Electron这种重度依赖JavaScript的技术栈。就在我为桌面应用开发寻找替代方案时,遇到...

Python Django框架中级教程:深入探索Django的核心功能

在Python的Web开发领域中,Django框架以其强大的功能和高效的开发模式占据着重要地位。对于已经掌握了Django基础的开发者来说,进一步深入学习中级知识能让我们开发出更复杂、更强大的Web应...

【Python程序开发系列】使用Flask实现前后端分离(案例)

这是我的第398篇原创文章。一、引言随着web开发的不断发展,前后端分离已成为越来越流行的架构设计。Flask是一个轻量级的Pythonweb框架,非常适合用于构建API,然后配合前端框...

每天一个Python库:Flask超轻量Web框架,灵活高效!

为什么要学Flask?Flask是一个「微型但强大的」Web框架:极简上手,几行代码即可跑起来灵活扩展,想加啥加啥(RESTful、JWT、数据库…)文档齐全,适合入门API开发或快...

Python个人量化投资系统:后台搭建

独立搞量化系统的程序员最烦啥?重复造权限管理的轮子绝对排前三。技术老手用Python+PearAdminFlask两天搭出量化后台,实测开源框架真能省下80%基础工作量。开源后台框架选对,一人项目...

python后端学什么(python后端好找工作吗)

在当今数字化的时代,Python后端开发成为了众多开发者追逐的热门领域。那么,想要在这个领域崭露头角,我们究竟应该学些什么呢?学习Python后端开发需要掌握全栈技术栈,涵盖从基础语法到分布式...

Motia:重新定义后端与智能体整合的未来平台

在AIagent技术飞速发展的今天,我们拥有了诸如Dify、RAGFlow、LangChain等一系列优秀平台。然而,随着场景复杂度增加,开发者正面临一个共同问题:后端越来越碎片化,Agen...

Python数据校验不再难:Pydantic库的工程化实践指南

在FastAPI框架横扫Python后端开发领域的今天,其默认集成的Pydantic库正成为处理数据验证的黄金标准。这个看似简单的库究竟隐藏着哪些让开发者爱不释手的能力?本文将通过真实项目案例,带您解...

Python Flask 建站框架实操教程(flask框架网页)

下面我将带您从零开始构建一个完整的Flask网站,包含用户认证、数据库操作和前端模板等核心功能。##第一部分:基础项目搭建###1.创建项目环境```bash#创建项目目录mkdirfl...

取消回复欢迎 发表评论: