kettle实时增量同步mysql数据

news2025/7/9 22:10:31

**

本文主要介绍运用kettle实时增量同步mysql数据

**

  • Debezium介绍

  • 官网地址:https://debezium.io/documentation/

  • Debezium是一个开源项目,为捕获数据更改(Capture Data Change,CDC)提供了一个低延迟的流式处理平台,通过安装配置Debezium监控数据库,可以实时消费行级别row-level))的更改。作为一个分布式系统,Debezium也拥有良好的容错性

  • Debezium支持数据源:MySQL,MongoDB,PostgreSQL,Oracle,SQL Server等

  • Debezium插件准备
    Debezium下载地址

  • 解压 kettle-step-debezium-plugin.zip

  • 拷贝kettle-step-debezium-plugin到data-integration\plugins下
    在这里插入图片描述

  • Debezium插件使用
    在这里插入图片描述

在这里插入图片描述

  • Debezium配置说明
    connector.class: io.debezium.connector.mysql.MySqlConnector //引用的连接器类
    //使用文件来存储已处理的binlog偏移量
    offset.storage: org.apache.kafka.connect.storage.FileOffsetBackingStore
    offset.storage.file.filename: C:\Users\42077\Desktop\mysql_offsets2.dat
    database.history: io.debezium.relational.history.FileDatabaseHistory
    database.history.file.filename: C:\Users\42077\Desktop\mysql_dbhistory1.txt
    offset.flush.interval.ms: 6000

    name: Debezium_CDC //连接器名字
    database.hostname: 47.100.172.180 //mysql服务器地址
    database.port: 3306 //端口号
    database.user: root //用户名
    database.password: Dragonline //密码
    database.connectionTimeZone Asia/Shanghai
    database.server.id: 1 //mysql安装配置时的服务ID(需要与MySQL的server-id不同)
    database.include.list: biplatform //要捕获的数据库名
    database.server.name: mysql-connector //数据库服务名
    table.include.list: biplatform.dim_date ///要捕获的数据表

更多信息可参考官网:https://debezium.io/documentation/reference/2.6/connectors/mysql.html

  • Debezium运行
    在这里插入图片描述

在这里插入图片描述
查看文件捕获到插入数据
在这里插入图片描述
CREATE:新增
DElETE:删除
UPDATE:修改
DDL:DDL语句

  • Demo下载 test_debezium

由于时间仓促,本文只作为一个demo开头,后续有机会再更新,如内容有错欢迎大家指正!!!作者个人qq:420773639

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1822140.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【学习笔记】centos7安装mysql相关事项

究极恶心的体验 依赖要按照顺序安装,有些依赖安装位置也不同 非常细节 mysql安装包:mysql官网下载地址 centos7选择Red Hat Enterprise Linux 7 / Oracle Linux 7 (x86, 64-bit), RPM Bundle 下载版本自选 安装视频教程:centos7.5安装mysql …

免费代理为什么不安全?

在数字时代,网络已经成为人们日常生活和商业活动中不可或缺的一部分。为了实现更广阔的业务拓展和更畅通的网络体验,许多人开始考虑使用代理服务器。然而,虽然免费代理可能听起来像是个经济实惠的选择,但事实上,它可能…

电容式传感器的基本原理

电容式传感器由电容量可变的电容器和测量电路组成,其变量间的转换原理如图5—2所示。 图5—2电容式传感器变量间的转换关系 由电学可知,两个平行金属极板组成的电容器,如果不考虑其边缘效应,其电容为 Se——两个极板介质的介电常…

TFT屏幕波形显示

REVIEW 关于TFT显示屏,之前已经做过彩条显示: TFT显示屏驱动_tft驱动-CSDN博客 关于ROM IP核,以及coe文件生成: FPGA寄存器 Vivado IP核_fpga寄存器资源-CSDN博客 1. TFT屏幕ROM显示正弦波 ①生成coe文件 %% sin-cos wave dat…

一文读懂企业“数据资产入表”

2024年1月1日起,财政部《企业数据资源相关会计处理暂行规定》(以下称《暂行规定》)正式施行,企业可以对其数据资源进行会计核算,也就是俗称的“数据资产入表”。 《暂行规定》确定了三类数据资源可以入表:…

从零开始写 Docker(十八)---容器网络实现(下):为容器插上”网线“

本文为从零开始写 Docker 系列第十八篇,利用 linux 下的 Veth、Bridge、iptables 等等相关技术,构建容器网络模型,为容器插上”网线“。 完整代码见:https://github.com/lixd/mydocker 欢迎 Star 推荐阅读以下文章对 docker 基本实…

南京威雅学校:初中转轨国际化教育,她们打开了成长的另一种可能

“上了大学就轻松了。” 又是一年高考季,每每回想起十八岁前那些没日没夜埋头学习的日子,已经为人父母的你是不是也忍不住想要孩子气地吐槽一句,“骗人”——人不会在一场考试后瞬间长大,试卷里也没有人生的全部答案。 三年前&a…

详解QFileSystemModel的使用

在Qt应用程序开发中,QFileSystemModel是一个强大的类,用于展示和操作文件系统的信息。它基于标准的QAbstractItemModel,提供了浏览本地文件系统目录树的能力,并且能够自动更新以反映文件系统的变化。本文将详细讲解QFileSystemMod…

性能测试3【搬代码】

1.Linux服务器性能分析命令及详解 2.GarafanainfluxDB监控jmeter数据 3.GarafanaPrometheus监控服务器和数据库性能 4.性能瓶颈分析以及性能调优方案详解 一、无界面压测时, top load average:平均负载 htop 二、Garafana监控平台 传统项目:centosphpm…

Interlinks Manager评测:WordPress 的最佳内部链接插件?

在这篇Interlinks Manager评测中,我们将彻底查看它是否真的是 WordPress 最佳内部链接插件!我们还将检查它是否值得您尝试。现在就开始吧 快速浏览一下插件,你就会对其提供的功能有一个基本的了解。 Interlinks Manager是一款 SEO 插件&…

【后端开发】服务开发场景之高性能(CDN与负载均衡,数据库优化,消息队列)

【后端开发】服务开发场景之高性能(CDN与负载均衡,数据库优化,消息队列) 文章目录 1、内容分发网络(CDN ) & 负载均衡算法CDN是什么?(静态资源加速)CDN的应用场景&am…

PaddleOCR学习——PP-OCR系列

相关知识前置: PP-LCNet PP-LCNetV3 PP-LCNetV3系列模型是PP-LCNet系列模型的延续,覆盖了更大的精度范围,能够适应不同下游任务的需要。PP-LCNetV3系列模型从多个方面进行了优化,提出了可学习仿射变换模块,对重参数…

git下载路径

第一步 1进入官网:Git - Downloading Package 第二步 根据自己的系统选择对应版本下载

Opencascade实体转VTK对象渲染测试

前面编译了基于QT5.12.7VTK8.2的库,本次就根据这个VTK库实现VTK嵌入QT并将Opencascade实体对象在VTK中进行渲染。 一、vtk嵌入qt 通过查看VTK的开发文档发现,vtk嵌入qt可以通过将QWidget提升为QVTKOpenGLNativeWidget实现,在qtdesigner中事例…

Elasticsearch出现Connection reset by peer

Elasticsearch出现Connection reset by peer分析 1.异常: 2024-06-13 13:17:10.539 WARN [http-nio-30411-exec-9]com.longdaotech.config.ESConfig -onFailure node:[hosthttp://192.168.239.253:9200] 2024/6/13 13:17:10 2024-06-13 13:17:10.541 WARN [http-n…

数字孪生智慧机场:开启未来航空管理时代

利用图扑数字孪生技术打造智慧机场,实现全面数据监控与智能管理,优化航班调度、提升乘客体验,推动机场运营效率和安全性全面提升。

Node-Red和IOT-Tree中的消息流对软件开发的一点思考

上一篇文章IOT-Tree 1.7.0实现了一个类似Node-Red的流程功能中,我提到了如下文字内容: 通过这样的图形化编程机制把软件开发直接分成了两个层次。 1. 一个是应用层面,给用户、项目实施技术人员或维护人员能够在不需要掌握深入技术的前提下&am…

yolov10主要特点

在我们探讨YOLOv10之前,让我们回顾一下YOLO的发展历程。YOLO在实时目标检测领域一直是先驱,兼顾速度和准确性。从YOLOv1到YOLOv9,每个版本在架构、优化和数据增强方面都引入了显著的改进。然而,随着模型的发展,某些限制…

ShardingProxy5.2版本 安装部署,实现分库分表 读写分离等功能 和与springboot集成时遇到的些坑记录

安装与配置时的坑(版本5.2) 1 使用根据需求,如分库分表,读写分离等,修改相应的配置文件,重启服务就可以了2 配置后,连接错误,检查实际mysql节点是否开启了远程连接,GRAN…

ZYNQ7 Processing System IP核中PS侧Uart的用法

在ZYNQ7 Processing System IP核中集成的UART控制器是一个中全双工异步接收器和发送器,支持广泛的可编程波特率和I/O信号格式,可以适应自动奇偶校验生成和多主机检测模式。 UART操作由配置和模式寄存器控制。使用状态寄存器、中断状态寄存器和调制解调器…