Golang通过alibabaCanal订阅MySQLbinlog

news/2025/2/14 17:02:41/

最近在做redis和MySQL的缓存一致性,一个方式是订阅MySQL的BinLog文件,我们使用阿里巴巴的Canal的中间件来做。

Canal是服务端和客户端两部分构成,我们需要先启动Canal的服务端,然后在Go程序里面连接Canal服务端,即可监听到MySQL的数据变化。
 

启动Canal服务

QuickStart · alibaba/canal Wiki (github.com)

步骤都很简单,我们重点看一下/tmp/canal/conf/example/instance.properties里面配置文件

 Canal之所以能订阅MySQL的binlog是把自己伪装成了一个MySQL从机,主机会不停的给MySQL的从机传输binlog文件。 等于启动Canal服务的过程包含了主从复制的配置过程,主从服务的过程是告诉从机主机的账号密码

 补充

基于docker启动的canal服务,按照官方文档操作出现了问题,所以使用了普通的启动方式

Go连接Canal服务端

 Canal支持Go连接
withlin/canal-go: Alibaba mysql database binlog incremental subscription & consumer components Canal's golang client[阿里巴巴mysql数据库binlog的增量订阅&消费组件 Canal 的 go 客户端 ] https://github.com/alibaba/canalhttps://github.com/withlin/canal-go

 官方文档上面没有任何说明,我们需要自己翻一下代码

 把代码拷贝下来即可

关于上面配置信息,具体可以参考Go操作阿里开源的框架Canal用于MySQL实时binlog同步 - 简书 (jianshu.com)

还有最最重要的一步,开启阿里云服务器安全组11111端口

监听数据变化


http://www.ppmy.cn/news/1024876.html

相关文章

网易互娱出海之旅:大数据平台上云架构设计与实践

2020 年初,随着网易互娱的海外业务增长与海外数据合规的需求,我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期,我们采取了云主机裸机加上高性能 EBS 块存储的方案。但是,这个方案存储费用高昂,成本是国内自…

【论文阅读】DEPCOMM:用于攻击调查的系统审核日志的图摘要(SP-2022)

Xu Z, Fang P, Liu C, et al. Depcomm: Graph summarization on system audit logs for attack investigation[C]//2022 IEEE Symposium on Security and Privacy (SP). IEEE, 2022: 540-557. 1 摘要 ​ 提出了 DEPCOMM,这是一种图摘要方法,通过将大图划…

Zip压缩包有密码,如何删除?

Zip压缩包设置设置了密码,想要删除密码,除了将压缩包解压出来之后再将文件压缩为不带密码的压缩文件以外,还有一种删除密码的方法。设置方法如下: 右键点击zip文件,找到打开方式,以Windows资源管理器方式打…

【Pandas 入门-2】增加,删除与合并数据 concat, merge

文章目录 1.3 增加,删除与合并数据1.3.1 增加数据1.3.2 删除数据1.3.3 合并数据 1.3 增加,删除与合并数据 1.3.1 增加数据 在原数据末尾增加一列时,语法为 df[‘新列名] 某个值或某个元素个数与 DataFrame 列数相同的列表,例如…

数据结构初阶--二叉树的链式结构

目录 一.二叉树链式结构的概念 二.二叉树链式结构的功能实现 2.1.链式二叉树的定义 2.2.链式二叉树的构建 2.3.链式二叉树的遍历 2.3.1.先序遍历 2.3.2.中序遍历 2.3.3.后序遍历 2.3.4.层序遍历 2.4.链式二叉树的求二叉树的结点数量 法一:计数法 法二&a…

MIL-STD-1553B 双通道单功能4M功能模块

双通道MIL-STD-1553B总线通讯模块 32bi,33 MHz CPCI/PCI/总线 每个通道为A、B双冗余总线 单功能可设置BC/RT/BM一种工作模式 数据传输率: 4Mbps 支持32位时标, 时标精度0.25微秒 软件可设詈应答超时: 0-32767s 大容量的数…

有没有推荐的golang的练手项目?

前言 下面是github上的golang项目,适合练手,可以自己选择一些项目去练习,整理不易,希望能多多点赞收藏一下!废话少说,我们直接进入正题>>> 先推荐几个教程性质的项目(用于新手学习、巩…

python读入和读出图像

python提供了PIL库和opencv库对图像进行读取并保存。 图像读入读出 给定一张RGB的彩色图像,PIL库将其读入: import cv2 from PIL import Image # 读入图像 image2 Image.open(cub1.jpg) print(type(image2)) image2_array np.array(image2) print(image2_array…