百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

潮数技术分享系列(二):数据库同步系统

ccwgpt 2024-11-25 10:24 58 浏览 0 评论

结构化数据 是指可以使用关系型数据库表示和存储,表现为二维形式的数据。 一般结构化数据保存在数据库中,做好数据库的同步、备份对于保护结构化数据是十分重要 的。

产品介绍

数据库同步系统是基于数据库日志捕获、解析、传递、加载技术的数据实时同步软件。数据库同步系统提供了同构&异构环境下低影响的数据同步功能。增加了实用且重要的功能,降低了数据库同步产品对生产系统的影响,扩展了数据库同步产品的使用场景和范围。

功能介绍

在线日志解析: 数据库同步系统通过在线分析事务日志获得SQL语句和数据,完成DataBase级别schema 级别或table级别的数据复制。数据库同步系统对日志的整合和传输以“事务”为单位,无需处理复杂的“回滚”机制。使用该技术,在拥有高性能的同时还能够更好的保证数据复制的一致性和完整性。

在线数据迁移: 数据库同步系统迁移数据时无需停止业务,通过SCN号控制机制,完整地将生产服务器数据复制到备份端服务器。可在7*24小时运行的业务上完成安全的、高性能的数据迁移工作。

中文图形监控管理报警: 数据库同步系统具有一个完整的监控客户端,可方便地监控软件的运行,系统资源占用等状态,而且可以对软件进行配置修改,不需要去配置复杂晦涩的配置文件。数据库同步系统还提供了字符操作模式,通过两种方式都可以对数据库同步系统进行日常维护和监控,满足了不同用户的使用习惯。

数据比对修复: 数据库同步系统在数据同步过程中可以用一条命令对实时同步的数据进行数据比对验证,将逐行逐字符地比对生产数据库和备份数据库的内容,并在数据库同步系统Agent(客户端)形成可读的txt报告文件,以便直观地查看数据比对结果。

备份数据库数据回滚: 数据库同步系统Agent 客户端会过滤生产数据库进行的Truncate,Drop,Delete操作,将遇到这些操作时,数据库同步系统Agent不会真正的删除数据,而是将该表Rename(重命名),使其变成数据库中的一张隐藏表,在需要时可以恢复表中数据。

历史数据库归档: 数据库同步系统历史数据库归档技术的主要目的是减少生产服务器的查询压力,历史数据库归档技术借助数据比对和数据验证方式,来验证主交易数据库和热容灾数据的历史数据库数据完全一致。数据验证完成后,可以Truncate掉主交易数据库的历史数据库数据而保留备份服务器的历史数据库数据,备份服务器始终处于OPEN状态,可以进行实时的查询。

数据抽取转换加载: 数据库同步系统ETL(Extraction Transformation Loading)数据抽取、转换、加载技术可以实现生产服务器和备份服务器数据类型的转换,SQL语句的过滤等功能,满足数据清洗需求。

跨数据库数据转换集成: 数据库同步系统能够将生产数据库的实施实时同步到informix数据库和Teradata数据库仓库中,能够在不修改当前业务系统的结构情况下,解决跨数据库平台的数据转换需求。

应用场景

作为报表数据源: 备用数据库Open状态,可读写,可供大部分报表使用。

作为抽取数据源: 备用数据库Open状态,可读写,可供数据抽取应用使用。

分担生产系统压力: 备用系统可以分担生产系统40%左右的系统负载。

数据库滚动升级: 给数据库大版本升级提供业务不间断的能力。

提供生产系统可靠性: 通过卸载部分生产压力到备用系统显著降低生产系统生成压力,避免高负载在极限情况下可能造成的异常事件,并且为保障单点SLA能力,主系统在灾难情况下能接管所有业务压力。

网络资源复用: 由于基于变化量的传输机制,网络带宽耗用仅传统方案的1/10,通过复用机制可提升网络资源的利用率。

业务拓展需求: 通过在线增加备用节点,可以拓展其他业务使用场景,例如结合上线增加和原库相同测试库,并进行回归测试。

产品部署方式

部署方式,如下图所示:

产品优势

高稳定性: 数据库同步系统独立于Oracle系统架构,不依赖于触发器,不占用Oracle资源,对生产系统低影响;

高可靠性: 数据库同步系统基于Oracle事务复制,只捕获提交的事务,过滤未提交的事务,保证数据一致性;

异构跨平台支持: 数据库同步系统源端支持异构源和目标系统,OS异构支持,DB异构支持,能适应各种复杂环境;

高灵活可扩展性: 数据库同步系统开放API,松耦合的模块化架构,易于被集成,并提供定制化开发服务;

毫秒级数据延迟: 数据库同步系统在事务开始发生时就捕获变化数据,事务一提交就马上发送到目标端;

支持范围

操作系统: Windows全系列、Linux及衍生版本、UNIX;

数据库源端: Oracle 9i/10g/11g/12c,Informix,DB2等;

数据库目标端: Oracle 9i/10g/11g/12c,MySql &分布式Mysql,Sql Server 数据库,HP 列式数据库Vertica,Teradata 数据仓库,国产数据库及任何支持JDBC接口的数据库。

相关推荐

一个基于.Net Core遵循Clean Architecture原则开源架构

今天给大家推荐一个遵循CleanArchitecture原则开源架构。项目简介这是基于Asp.netCore6开发的,遵循CleanArchitecture原则,可以高效、快速地构建基于Ra...

AI写代码翻车无数次,我发现只要提前做好这3步,bug立减80%

写十万行全是bug之后终于找到方法了开发"提示词管理助手"新版本那会儿,我差点被bug整崩溃。刚开始两周,全靠AI改代码架构,结果十万行程序漏洞百出。本来以为AI说没问题就稳了,结果...

OneCode低代码平台的事件驱动设计:架构解析与实践

引言:低代码平台的事件驱动范式在现代软件开发中,事件驱动架构(EDA)已成为构建灵活、松耦合系统的核心范式。OneCode低代码平台通过创新性的注解驱动设计,将事件驱动理念深度融入平台架构,实现了业务...

国内大厂AI插件评测:根据UI图生成Vue前端代码

在IDEA中安装大厂的AI插件,打开ruoyi增强项目:yudao-ui-admin-vue31.CodeBuddy插件登录腾讯的CodeBuddy后,大模型选择deepseek-v3,输入提示语:...

AI+低代码技术揭秘(二):核心架构

本文档介绍了为VTJ低代码平台提供支持的基本架构组件,包括Engine编排层、Provider服务系统、数据模型和代码生成管道。有关UI组件库和widget系统的信息,请参阅UI...

GitDiagram用AI把代码库变成可视化架构图

这是一个名为gitdiagram的开源工具,可将GitHub仓库实时转换为交互式架构图,帮助开发者快速理解代码结构。核心功能一键可视化:替换GitHubURL中的"hub...

30天自制操作系统:第六天:代码架构整理与中断处理

1.拆开bootpack.c文件。根据设计模式将对应的功能封装成独立的文件。2.初始化pic:pic(可编程中断控制器):在设计上,cpu单独只能处理一个中断。而pic是将8个中断信号集合成一个中断...

AI写代码越帮越忙?2025年研究揭露惊人真相

近年来,AI工具如雨后春笋般涌现,许多人开始幻想程序员的未来就是“对着AI说几句话”,就能轻松写出完美的代码。然而,2025年的一项最新研究却颠覆了这一期待,揭示了一个令人意外的结果。研究邀请了16位...

一键理解开源项目:两个自动生成GitHub代码架构图与说明书工具

一、GitDiagram可以一键生成github代码仓库的架构图如果想要可视化github开源项目:https://github.com/luler/reflex_ai_fast,也可以直接把域名替换...

5分钟掌握 c# 网络通讯架构及代码示例

以下是C#网络通讯架构的核心要点及代码示例,按协议类型分类整理:一、TCP协议(可靠连接)1.同步通信//服务器端usingSystem.Net.Sockets;usingTcpListene...

从复杂到优雅:用建造者和责任链重塑代码架构

引用设计模式是软件开发中的重要工具,它为解决常见问题提供了标准化的解决方案,提高了代码的可维护性和可扩展性,提升了开发效率,促进了团队协作,提高了软件质量,并帮助开发者更好地适应需求变化。通过学习和应...

低代码开发当道,我还需要学习LangChain这些框架吗?| IT杂谈

专注LLM深度应用,关注我不迷路前两天有位兄弟问了个问题:当然我很能理解这位朋友的担忧:期望效率最大化,时间用在刀刃上,“不要重新发明轮子”嘛。铺天盖地的AI信息轰炸与概念炒作,很容易让人浮躁与迷茫。...

框架设计并不是简单粗暴地写代码,而是要先弄清逻辑

3.框架设计3.框架设计本节我们要开发一个UI框架,底层以白鹭引擎为例。框架设计的第一步并不是直接撸代码,而是先想清楚设计思想,抽象。一个一个的UI窗口是独立的吗?不是的,...

大佬用 Avalonia 框架开发的 C# 代码 IDE

AvalonStudioAvalonStudio是一个开源的跨平台的开发编辑器(IDE),AvalonStudio的目标是成为一个功能齐全,并且可以让开发者快速使用的IDE,提高开发的生产力。A...

轻量级框架Lagent 仅需20行代码即可构建自己的智能代理

站长之家(ChinaZ.com)8月30日消息:Lagent是一个专注于基于LLM模型的代理开发的轻量级框架。它的设计旨在简化和提高这种模型下代理的开发效率。LLM模型是一种强大的工具,可以...

取消回复欢迎 发表评论: