潮数技术分享系列(二):数据库同步系统
ccwgpt 2024-11-25 10:24 47 浏览 0 评论
结构化数据 是指可以使用关系型数据库表示和存储,表现为二维形式的数据。 一般结构化数据保存在数据库中,做好数据库的同步、备份对于保护结构化数据是十分重要 的。
产品介绍
数据库同步系统是基于数据库日志捕获、解析、传递、加载技术的数据实时同步软件。数据库同步系统提供了同构&异构环境下低影响的数据同步功能。增加了实用且重要的功能,降低了数据库同步产品对生产系统的影响,扩展了数据库同步产品的使用场景和范围。
功能介绍
在线日志解析: 数据库同步系统通过在线分析事务日志获得SQL语句和数据,完成DataBase级别schema 级别或table级别的数据复制。数据库同步系统对日志的整合和传输以“事务”为单位,无需处理复杂的“回滚”机制。使用该技术,在拥有高性能的同时还能够更好的保证数据复制的一致性和完整性。
在线数据迁移: 数据库同步系统迁移数据时无需停止业务,通过SCN号控制机制,完整地将生产服务器数据复制到备份端服务器。可在7*24小时运行的业务上完成安全的、高性能的数据迁移工作。
中文图形监控管理报警: 数据库同步系统具有一个完整的监控客户端,可方便地监控软件的运行,系统资源占用等状态,而且可以对软件进行配置修改,不需要去配置复杂晦涩的配置文件。数据库同步系统还提供了字符操作模式,通过两种方式都可以对数据库同步系统进行日常维护和监控,满足了不同用户的使用习惯。
数据比对修复: 数据库同步系统在数据同步过程中可以用一条命令对实时同步的数据进行数据比对验证,将逐行逐字符地比对生产数据库和备份数据库的内容,并在数据库同步系统Agent(客户端)形成可读的txt报告文件,以便直观地查看数据比对结果。
备份数据库数据回滚: 数据库同步系统Agent 客户端会过滤生产数据库进行的Truncate,Drop,Delete操作,将遇到这些操作时,数据库同步系统Agent不会真正的删除数据,而是将该表Rename(重命名),使其变成数据库中的一张隐藏表,在需要时可以恢复表中数据。
历史数据库归档: 数据库同步系统历史数据库归档技术的主要目的是减少生产服务器的查询压力,历史数据库归档技术借助数据比对和数据验证方式,来验证主交易数据库和热容灾数据的历史数据库数据完全一致。数据验证完成后,可以Truncate掉主交易数据库的历史数据库数据而保留备份服务器的历史数据库数据,备份服务器始终处于OPEN状态,可以进行实时的查询。
数据抽取转换加载: 数据库同步系统ETL(Extraction Transformation Loading)数据抽取、转换、加载技术可以实现生产服务器和备份服务器数据类型的转换,SQL语句的过滤等功能,满足数据清洗需求。
跨数据库数据转换集成: 数据库同步系统能够将生产数据库的实施实时同步到informix数据库和Teradata数据库仓库中,能够在不修改当前业务系统的结构情况下,解决跨数据库平台的数据转换需求。
应用场景
作为报表数据源: 备用数据库Open状态,可读写,可供大部分报表使用。
作为抽取数据源: 备用数据库Open状态,可读写,可供数据抽取应用使用。
分担生产系统压力: 备用系统可以分担生产系统40%左右的系统负载。
数据库滚动升级: 给数据库大版本升级提供业务不间断的能力。
提供生产系统可靠性: 通过卸载部分生产压力到备用系统显著降低生产系统生成压力,避免高负载在极限情况下可能造成的异常事件,并且为保障单点SLA能力,主系统在灾难情况下能接管所有业务压力。
网络资源复用: 由于基于变化量的传输机制,网络带宽耗用仅传统方案的1/10,通过复用机制可提升网络资源的利用率。
业务拓展需求: 通过在线增加备用节点,可以拓展其他业务使用场景,例如结合上线增加和原库相同测试库,并进行回归测试。
产品部署方式
部署方式,如下图所示:
产品优势
高稳定性: 数据库同步系统独立于Oracle系统架构,不依赖于触发器,不占用Oracle资源,对生产系统低影响;
高可靠性: 数据库同步系统基于Oracle事务复制,只捕获提交的事务,过滤未提交的事务,保证数据一致性;
异构跨平台支持: 数据库同步系统源端支持异构源和目标系统,OS异构支持,DB异构支持,能适应各种复杂环境;
高灵活可扩展性: 数据库同步系统开放API,松耦合的模块化架构,易于被集成,并提供定制化开发服务;
毫秒级数据延迟: 数据库同步系统在事务开始发生时就捕获变化数据,事务一提交就马上发送到目标端;
支持范围
操作系统: Windows全系列、Linux及衍生版本、UNIX;
数据库源端: Oracle 9i/10g/11g/12c,Informix,DB2等;
数据库目标端: Oracle 9i/10g/11g/12c,MySql &分布式Mysql,Sql Server 数据库,HP 列式数据库Vertica,Teradata 数据仓库,国产数据库及任何支持JDBC接口的数据库。
- 上一篇:Oracle-架构、原理、进程
- 下一篇:ORACLE-锁
相关推荐
- 团队管理“布阵术”:3招让你的团队战斗力爆表!
-
为何古代军队能够以一当十?为何现代企业有的团队高效似“特种部队”,有的却松散若“游击队”?**答案正隐匿于“布阵术”之中!**今时今日,让我们从古代兵法里萃取3个核心要义,助您塑造一支战斗力爆棚的...
- 知情人士回应字节大模型团队架构调整
-
【知情人士回应字节大模型团队架构调整】财联社2月21日电,针对原谷歌DeepMind副总裁吴永辉加入字节跳动后引发的团队调整问题,知情人士回应称:吴永辉博士主要负责AI基础研究探索工作,偏基础研究;A...
- 豆包大模型团队开源RLHF框架,训练吞吐量最高提升20倍
-
强化学习(RL)对大模型复杂推理能力提升有关键作用,但其复杂的计算流程对训练和部署也带来了巨大挑战。近日,字节跳动豆包大模型团队与香港大学联合提出HybridFlow。这是一个灵活高效的RL/RL...
- 创业团队如何设计股权架构及分配(创业团队如何设计股权架构及分配方案)
-
创业团队的股权架构设计,决定了公司在随后发展中呈现出的股权布局。如果最初的股权架构就存在先天不足,公司就很难顺利、稳定地成长起来。因此,创业之初,对股权设计应慎之又慎,避免留下巨大隐患和风险。两个人如...
- 消息称吴永辉入职后引发字节大模型团队架构大调整
-
2月21日,有消息称前谷歌大佬吴永辉加入字节跳动,并担任大模型团队Seed基础研究负责人后,引发了字节跳动大模型团队架构大调整。多名原本向朱文佳汇报的算法和技术负责人开始转向吴永辉汇报。简单来说,就是...
- 31页组织效能提升模型,经营管理团队搭建框架与权责定位
-
分享职场干货,提升能力!为职场精英打造个人知识体系,升职加薪!31页组织效能提升模型如何拿到分享的源文件:请您关注本头条号,然后私信本头条号“文米”2个字,按照操作流程,专人负责发送源文件给您。...
- 异形柱结构(异形柱结构技术规程)
-
下列关于混凝土异形柱结构设计的说法,其中何项正确?(A)混凝土异形柱框架结构可用于所有非抗震和抗震设防地区的一般居住建筑。(B)抗震设防烈度为6度时,对标准设防类(丙类)采用异形柱结构的建筑可不进行地...
- 职场干货:金字塔原理(金字塔原理实战篇)
-
金字塔原理的适用范围:金字塔原理适用于所有需要构建清晰逻辑框架的文章。第一篇:表达的逻辑。如何利用金字塔原理构建基本的金字塔结构受众(包括读者、听众、观众或学员)最容易理解的顺序:先了解主要的、抽象的...
- 底部剪力法(底部剪力法的基本原理)
-
某四层钢筋混凝土框架结构,计算简图如图1所示。抗震设防类别为丙类,抗震设防烈度为8度(0.2g),Ⅱ类场地,设计地震分组为第一组,第一自振周期T1=0.55s。一至四层的楼层侧向刚度依次为:K1=1...
- 结构等效重力荷载代表值(等效重力荷载系数)
-
某五层钢筋混凝土框架结构办公楼,房屋高度25.45m。抗震设防烈度8度,设防类别丙类,设计基本地震加速度0.2g,设计地震分组第二组,场地类别为Ⅱ类,混凝土强度等级C30。该结构平面和竖向均规则。假定...
- 体系结构已成昭告后世善莫大焉(体系构架是什么意思)
-
实践先行也理论已初步完成框架结构留余后人后世子孙俗话说前人栽树后人乘凉在夏商周大明大清民国共和前人栽树下吾之辈已完成结构体系又俗话说青出于蓝而胜于蓝各个时期任务不同吾辈探索框架结构体系经历有限肯定发展...
- 框架柱抗震构造要求(框架柱抗震设计)
-
某现浇钢筋混凝土框架-剪力墙结构高层办公楼,抗震设防烈度为8度(0.2g),场地类别为Ⅱ类,抗震等级:框架二级,剪力墙一级,混凝土强度等级:框架柱及剪力墙C50,框架梁及楼板C35,纵向钢筋及箍筋均采...
- 梁的刚度、挠度控制(钢梁挠度过大会引起什么原因)
-
某办公楼为现浇钢筋混凝土框架结构,r0=1.0,混凝土强度等级C35,纵向钢筋采用HRB400,箍筋采用HPB300。其二层(中间楼层)的局部平面图和次梁L-1的计算简图如图1~3(Z)所示,其中,K...
- 死要面子!有钱做大玻璃窗,却没有钱做“柱和梁”,不怕房塌吗?
-
活久见,有钱做2层落地大玻璃窗,却没有钱做“柱子和圈梁”,这样的农村自建房,安全吗?最近刷到个魔幻施工现场,如下图,这栋5开间的农村自建房,居然做了2个全景落地窗仔细观察,这2个落地窗还是飘窗,为了追...
- 不是承重墙,物业也不让拆?话说装修就一定要拆墙才行么
-
最近发现好多朋友装修时总想拆墙“爆改”空间,别以为只要避开承重墙就能随便砸!我家楼上邻居去年装修,拆了阳台矮墙想扩客厅,结果物业直接上门叫停。后来才知道,这种配重墙拆了会让阳台承重失衡,整栋楼都可能变...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- scrapy框架 (52)
- beego框架 (42)
- java框架spring (43)
- grpc框架 (55)
- 前端框架bootstrap (42)
- orm框架有哪些 (43)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)