Oracle日志复制—国产自研Beedup(基于日志结构化数据复制产品)

news2025/7/8 21:56:07

Beedup能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。

一、Beedup产品概述

由北京灵蜂纵横软件有限公司研发的数据库实时复制软件Beedup,提供数据库Oracle异地容灾备份,异地数据同步功能。支持复制时的主库和从库双活,支CDC(ChangedDataCapture), 满足从PC 到服务器、从Windows 到Linux 再到Unix 环境的复制。

除满足容灾需求外,利用数据备份时的主从双活特性,Beedup还可满足数据库的负载平衡。当在生产库进行查询分析时,通常会造成联机交易事务的延迟响应。通过将生产库上的查询分析业务转移到备份库上,可以降低生产库负载,提高生产库的联机事务处理能力。

Beedup 部署示意图如下所示:

Beedup提供简单直观的用户操作界面,帮助用户快速部署复制任务。目前支持Windows 2008 和Windows 2012 安装环境。

 二、Beedup工作原理

Beedup通过全量复制功能对从库进行初始化,复制主库历史数据到从库,保持主从库历史数据一致性。全量复制时,Beedup通过TCP 方式与主库和从库建立连接,存储主库当前时间作为后续增量复制的捕获起点,然后读取主从数据库字典信息,历主库字典中的用户、表、视图、存储过程、函数、触发器等对象信息,逐一与从库对象进行比较,当从库中对象不存在或与主库对象存在差异时,则创建或覆盖主库对象,如对象相同,则比较下一个,直至全部对象遍历完毕。

全量复制时,可以对复制对象进行过滤排除,通过指定对象所属模式名,表名及其它对象名来包含或排除对象复制。全量复制结束,自动进入增量复制过程。

Beedup通过增量复制功能实时复制主库变化到从库,捕获线程从上次存储的事务提交点位置顺序读取主库日志记录并将日志记录翻译为软件内部数据格式,判定读取的日志记录是否提交,如果已被提交,继续判断日志记录是否满足捕获条件(是否是特定用户产生的增量数据,是否是特定模式下特定表的记录),如满足条件,则缓冲该记录,否则丢弃该记录,然后读取下一条日志记录;如果是回滚记录则丢弃,然后读取下一条日志记录。如果读取的日志记录既未提交也未回滚,则延时后从提交点重新捕获记录。当在主库日志中读取到事务提交命令时,则将缓冲的记录发送到提交缓冲区。提交线程从提交缓冲区读取记录并转换为DML 或DDL 在从库执行,当对应一个事务的所有DML 或DDL 全部执行完毕,向从库发送提交命令并存储事务提交点。

以下是捕获线程和提交线程对应的工作原理图:

基于数据库日志结构化数据复制产品-Beedup

三、Beedup产品优势

  • 基于日志进行增量复制,无需对主库作任何改动。
  • 基于事务单元进行复制,确保数据一致性。
  • 复制过程主从库双活,主库故障后直接使用从库接管,无需备份恢复过程。
  • 支持事务操作审计,跟踪操作对象、操作用户及操作时间
  • 支持数据审计,跟踪数据操作时间、操作用户及操作类型(企业版支持)
  • 基于TCP 连接主从库,无需在主库或从库安装任何代理软件,支持异地容灾。
  • 支持任意的主从库操作平台,任意的主从库存储格式。
  • 提供差异回补策略,确保数据万无一失。

四、Beedup产品特点

灵蜂数据库复制软件 Beedup 提供不仅支持数据库Oracle还支持SQLServer/DB2/MySQL/PostgreSQL

1、 Beedup采用TCP连接主从数据库,支持本地或异地容灾。软件读取解析主库归档或在线日志,还原其中的DDL及DML操作在备库执行,通过将软件部署到主库所属网络,可以在备份时有效降低网络负载。软件提供断点机制增量读取解析日志,可以忍受苛刻的网络条件。

2 、Beedup采用SQL接口向从库写入DML及DDL,从库实时在线可用。另外软件提供主从表的差异比对功能,可以随时效验主从数据一致性。

3、 Beedup采用事务单元复制主库变化到从库,主库事务提交后,软件立即读取解析事务并复制变化到从库,整个过程秒级完成。当主库发生故障时,可以直接修改从库IP为主库IP接管其上业务。

4 、Beedup支持active/standby和active /active备份模式,对于active /active模式的自增主键冲突,无需调整业务系统,Beedup提供自增值到目标库的重新计算并更新相关依赖信息的功能。

5、 Beedup采用JDBC读写主备数据库,对数据库运行平台及版本无要求,当生产库采用高性能设备时,备份库可以选择普通商用配置。软件部署灵活,既可部署于主服务器,也可部署于备份服务器,或者部署到可以TCP连通主备服务器的其它任意机器。软件对主库不需要任何写入操作,通过读取解析主库归档或在线日志复制事务到备份库,对于表结构、视图、存储过程、触发器等DDL操作均可自动备份,无需人工干预。


  数据库复制产品 Beedup 日志解析同步功能(CDC): 用户数据库 SQLserver新增 17亿多条数据运行中反馈的截图

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/38729.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Vue笔记_01双向数据绑定原理

[1]什么叫双向数据绑定? 视图中的数据发生了变化,data中的数据也要对应改变;data中的数据发生了变化,视图上的数据也要对应改变; [2]双向绑定原理 vue 双向数据绑定是通过 数据劫持 结合 发布订阅模式的方式来实现的…

Pip版本问题导致Python模块安装失败

文章目录起因解决方案前言输入 %APPDATA%创建 pip.ini终端执行命令安装包结语起因 今天在视频号平台看到有小姐姐直播讲爬虫技术,我一看这不是挺简单的吗?于是我就想到自己四年前的今天刚进大一的时候最开始学的爬虫技术,后来因为一些事情跑…

怎么证明前端数据加密的三种方式

导读:前端最常见的三大加密方式https,SSH和MD5,这篇文章带你走进三大加密方式的原理对比。 1.https 1.1原理 A.就是在http加入SSL层,是http安全的基础; B.htts协议是在http基础上加了SSL协议; C.使用443端口,http是80…

2022CTF培训(三)windowslinux安卓平台调试机制原理

附件下载链接 windows平台调试机制原理 手动编写一个简易调试器 创建待调试进程 使用 CreateProcess 函数创建待调试进程,创建时指定 dwCreationFlags 参数为 DEBUG_ONLY_THIS_PROCESS 将会告诉操作系统我们需要让当前调用者(线程)接管所…

(十)centos7案例实战——实现nginx代理访问redis服务

前言 本节内容是关于实现nginx代理访问redis服务,由于在实际生产开发环境中,我们并不想将我们的中间键服务暴露在公网环境中,或者只能在内网环境中使用,例如本节内容,我们将redis安装到本地环境,但是又有需…

链表中倒数第k个结点、反转链表、合并两个排序的链表、树的子结构、删除链表中重复的结点

文章目录1、链表中倒数第k个结点2、反转链表3、合并两个排序的链表4、树的子结构5、 二叉树的镜像6、删除链表中重复的结点1、链表中倒数第k个结点 本题考点: 链表,前后指针的使用,边界条件检测 牛客链接 题目描述: 输入一个链表…

JVM【八股文】

JVM【八股文】 JVM内存区域划分 程序计数器栈堆方法区 一块大的区域,需要根据功能,来划分不同的小区域。 JVM内存是从操作系统里申请来的,之后堆这部分区域进行了划分。 1.程序计数器 内存中最小的区域,保存了下一条要执行指令…

android-加壳加固

title: android-加壳加固 categories: Android tags: [android, 加壳, 加固, 混淆] date: 2022-06-20 18:00:23 comments: false mathjax: true toc: true android-加壳 前篇 Android之Apk加壳 - https://blog.csdn.net/LVXIANGAN/article/details/84956476Android动态加载Dex…

李沐论文精度系列之七:Two-Stream双流网络、I3D

文章目录一、双流网络1.1 前言1.2 网络结构1.3 光流(Optical flow)1.3.1 什么是光流1.3.2 如何利用光流1.3.3 双向光流(Bi-directional optical flow)1.3.4 光流的局限性及和对应的预处理(抽取)方式1.3.5 视频模型测试1.4 实验1.4…

✿✿✿JavaScript基本语法一

目 录 1.js的发展史(闲聊版) 2.浏览器分成两部分:渲染引擎和 JS 引擎 3.js与html的关系以及结合方式 (1)js与html的关系 (2)js与html结合方式 4.JavaScript注释 5.js中的基本数据类型 6.js中的变量 7.运算符(自动类型转…

9.前端笔记-CSS-盒子模型-border和padding

页面布局的三大核心: 盒子模型浮动定位 1、盒子模型 1.1 盒子模型组成 盒子模型本质还是一个盒子,包括边框border、外边距margin、内边距padding和实际内容content 1.1.1 边框border 组成 组成:颜色border-color、边框宽度border-wid…

518. 零钱兑换 II【完全背包:求组合数】

518. 零钱兑换 II 给你一个整数数组 coins 表示不同面额的硬币,另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额,返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位…

C++11 右值,右值引用,移动构造,移动赋值

目录 一、左值,左值引用,右值,右值引用的相关概念: 1. 什么是左值,什么是左值引用? 2. 什么是右值,什么是右值引用? 3. 右值的属性是右值,右值引用的属性是左值 4. …

棒子老虎鸡-第12届蓝桥杯Scratch选拔赛真题精选

[导读]:超平老师计划推出Scratch蓝桥杯真题解析100讲,这是超平老师解读Scratch蓝桥真题系列的第86讲。 蓝桥杯选拔赛每一届都要举行4~5次,和省赛、国赛相比,题目要简单不少,再加上篇幅有限,因此我精挑细选…

研究生有限元仿真应用中存在的问题与对策

作者:尚晓江 导读:有限元分析软件作为计算工具,在科研和工程领域都有广泛应用,而多数用户是在研究生阶段开始接触和使用这些计算软件的。本文以ANSYS结构分析为例,对现阶段研究生应用有限元分析软件的现状和存在的问题…

无人机设计仿真--在Isight平台上进行的基于CST参数化+Xfoil的无人机翼型优化

作者:Graychen 一、工程背景 翼型的选型和设计是飞行器气动设计中的一项基础性工作,翼型对飞行器的气动性能具有根本性的影响。现在高性能飞行器已不再从翼型库中选择适用翼型后直接使用,而是以现有翼型作为基准翼型进行气动优化&#xff…

java基本语法 下

目录 运算符 运算符:算术运算符 运算符:赋值运算符 运算符:比较运算符 运算符:逻辑运算符 运算符:三元运算符 运算符的优先级 程序流程控制 概念 顺序结构 if-else结构 switch-case结构 循环结构 循环结构…

Unity视差贴图多实现对比和改进

视差贴图多种实现方式对比和改进视差贴图视差映射陡峭视差映射视差遮蔽映射迭代视差映射-kerry视差贴图 参考 与法线贴图相同,可以模拟出物体得深度感,同时它得改进是能够随着视角得偏移显示不同得深度感,使得显示更加真实。 由于采样高度…

代码随想录刷题| 多重背包理论基础、背包问题的总结

目录 多重背包理论基础 多重背包的问题 多重背包的解法 多重背包的代码 背包问题的总结 01背包 完全背包 多重背包 多重背包理论基础 多重背包的问题 有N种物品和一个容量为V 的背包。第i种物品最多有Mi件可用,每件耗费的空间是Ci ,价值是Wi 。…

单身福利专场, Python采集某相亲网站美女数据

前言 嗨喽~大家好呀,这里是魔王呐 ❤ ~! 现在,广大年轻人到了一定年纪,一定会引来父母的念叨 不是让相亲就是让结婚的,与其父母念叨,不如自己找一个 到时候问起来,就说再接触呢~~ 今天我们就来用python…