[Flink] 容错机制与状态一致性机制

news/2024/2/28 9:54:40

文章目录

      • 1.状态一致性
        • 1.1 状态一致性分类
      • 2.一致性检查点 checkpoint
      • 3.端到端(end-to-end)状态一致性
      • 4. 端到端的精确一次(exactly-once)保证
        • 4.1 幂等写入
        • 4.2 事务写入
      • 5.Flink+Kafka 端到端状态一致性的保证
        • 5.1 Exactly-once 两阶段提交
        • 5.2 Exactly-once 两阶段提交步骤总结
      • 6.保存点(save points)

1.状态一致性

有状态的流处理,内部每个算子任务都可以有自己的状态
对于流处理器来说, 状态一致性就是为了使得数据准确
数据不应该丢失也不允许重复使用
在遇到故障时, 可以恢复状态, 并重写计算

1.1 状态一致性分类

  • AT-MOST-ONCE(最多一次)
    当任务故障时,最简单的做法是什么都不干,既不恢复丢失的状态,也不重播丢失的数据。At-most-once 语义的含义是最多处理一次事件。

  • AT-LEAST-ONCE(至少一次)
    在大多数的真实应用场景,我们希望不丢失事件。这种类型的保障称为 at-least-once,意思是所有的事件都得到了处理,而一些事件还可能被处理多次。

  • EXACTLY-ONCE(精确一次)
    恰好处理一次是最严格的保证,也是最难实现的。恰好处理一次语义不仅仅意味着没有事件丢失,还意味着针对每一个数据,内部状态仅仅更新一次。

2.一致性检查点 checkpoint

Flink 使用了一种轻量级快照机制 —— 检查点(checkpoint)来保证 exactly-once 语义。
所有任务的状态,在某个时间点的一份拷贝(一份快照)。而这个时间点,应该是所有任务都恰好处理完一个相同的输入数据的时候。

3.端到端(end-to-end)状态一致性

在真实应用中,流处理应用除了流处理器以外还包含了数据源(例如 Kafka)和输出到持久化系统

端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每一个组件都保证了它自己的一致性

整个端到端的一致性级别取决于所有组件中一致性最弱的组件

4. 端到端的精确一次(exactly-once)保证

  • 内部保证, checkpoint
  • source端, 可重写设置数据的读取位置
  • sink, 从故障恢复时,数据不会重复写入外部系统
  • 幂等写入
  • 事务写入

4.1 幂等写入

一个操作,可以重复执行很多次,但只导致一次结果更改,也就是说,后面再重复执行就不起作用了

在这里插入图片描述

4.2 事务写入

实现思想:构建的事务对应着 checkpoint,等到 checkpoint 真正完成的时候,才把所有对应的结果写入 sink 系统中
实现方式: 预写日志和两阶段提交

预写日志
把结果数据先当成状态保存,然后在收到 checkpoint 完成的通知时, 一次性写入 sink 系统
DataStream API 提供了一个模板类:GenericWriteAheadSink,来实现这种事务性 sink。

两阶段提交
每个checkpoint, sink任务会启动一个事务, 将数据写入到事务中, 将数据写入到sink系统, 但是不提交, 预提交状态, 收到checkpoint完成的通知后, 正式提交。
link 提供了 TwoPhaseCommitSinkFunction 接口。

2PC 对外部 sink 系统的要求

  1. 外部 sink 系统必须提供事务支持,或者 sink 任务必须能够模拟外部系统上的事务
  2. 在 checkpoint 的间隔期间里,必须能够开启一个事务并接受数据写入
  3. 在收到 checkpoint 完成的通知之前,事务必须是“等待提交”的状态。 在故障恢复的情况下,这可能需要一些时间。如果这个时候sink系统关闭事务(例如超时了),那么未提交的数据就会丢失
  4. sink 任务必须能够在进程失败后恢复事务
  5. 提交事务必须是幂等操作

不同 Source 和 Sink 的一致性保证

在这里插入图片描述

5.Flink+Kafka 端到端状态一致性的保证

  • 内部: 利用 checkpoint 机制,把状态存盘,发生故障的时候可以恢复,保证内部的状态一致性

  • source: kafka consumer 作为 source,可以将偏移量保存下来, 如果后续任务出现了故障,恢复的时候可以由连接器重置偏移量,重新消费数据,保证一致性

  • sink : kafka producer 作为sink,采用两阶段提交 sink,需要实现一个 TwoPhaseCommitSinkFunction

5.1 Exactly-once 两阶段提交

在这里插入图片描述

JobManager 协调各个 TaskManager 进行 checkpoint 存储

checkpoint保存在 StateBackend中,默认StateBackend是内存级的,也可以改为文件级的进行持久化保存

在这里插入图片描述

当 checkpoint 启动时,JobManager 会将检查点分界线(barrier)注入数据流, barrier会在算子间传递下去。

在这里插入图片描述

每个算子会对当前的状态做个快照,保存到状态后端
checkpoint 机制可以保证内部的状态一致性

在这里插入图片描述

每个内部的 transform 任务遇到 barrier 时,都会把状态存到 checkpoint 里
sink 任务首先把数据写入外部 kafka,这些数据都属于预提交的事务;遇到barrier 时,把状态保存到状态后端,并开启新的预提交事务

在这里插入图片描述

所有算子任务的快照完成,也就是这次的 checkpoint 完成时,JobManager 会向所有任务发通知,确认这次 checkpoint 完成
sink 任务收到确认通知,正式提交之前的事务,kafka 中未确认数据改为“已确认”

5.2 Exactly-once 两阶段提交步骤总结

  • 第一条数据来了之后,开启一个 kafka 的事务(transaction),正常写入 kafka 分 区日志但标记为未提交,这就是“预提交”

  • jobmanager 触发 checkpoint 操作,barrier 从 source 开始向下传递,遇到barrier 的算子将状态存入状态后端,并通知 jobmanager

  • sink 连接器收到 barrier,保存当前状态,存入 checkpoint,通知 jobmanager, 并开启下一阶段的事务,用于提交下个检查点的数据

  • jobmanager 收到所有任务的通知,发出确认信息,表示 checkpoint 完成

  • sink 任务收到 jobmanager 的确认信息,正式提交这段时间的数据

  • 外部kafka关闭事务,提交的数据可以正常消费了

6.保存点(save points)

1)Flink 还提供了可以自定义的镜像保存功能,就是保存点(savepoints)

2)原则上,创建保存点使用的算法与检查点完全相同,因此保存点可以认为就是具有一些额外元数据的检查点

3)Flink不会自动创建保存点,因此用户(或者外部调度程序)必须明确地触发创建操作

4)保存点是一个强大的功能。除了故障恢复外,保存点可以用于:有计划 的手动备份,更新应用程序,版本迁移,暂停和重启应用,等等


http://www.ppmy.cn/news/21737.html

相关文章

[C++]C++中的延时方法总结

在windows上延时 #include <iostream> #include <windows.h> using namespace std; void main() { //睡眠5秒再输出 Sleep(5000);//单位是毫秒 std::cout << "over!" << std::endl; } 在linux上 #include <iostream> #…

Windows上tensorflow的GPU死活引用不了(tensorflow 2.11无法调用GPU)

tensorflow对于gpu的支持只到2.10&#xff0c;如果你装了最新的tf(2.11)&#xff0c;需要先卸载2.11。 安装代码&#xff1a; pip install tensorflow2.10 -i https://pypi.tuna.tsinghua.edu.cn/simple/解决过程&#xff1a; 查看CUDA与cuDNN配套版本&#xff1a; https:/…

【博客604】kubelet中的容器与镜像的垃圾回收机制

kubelet中的容器垃圾回收机制 kubernetes 中的垃圾回收机制主要有两部分组成&#xff1a; kube-controller-manager 中的 gc controller 自动回收 kubernetes 中被删除的对象以及其依赖的对象&#xff1b;每个节点上需要回收已退出的容器以及当 node 上磁盘资源不足时回收已不…

操作系统权限提升(九)之系统错误配置-泄露敏感信息提权

系列文章 操作系统权限提升(一)之操作系统权限介绍 操作系统权限提升(二)之常见提权的环境介绍 操作系统权限提升(三)之Windows系统内核溢出漏洞提权 操作系统权限提升(四)之系统错误配置-Tusted Service Paths提权 操作系统权限提升(五)之系统错误配置-PATH环境变量提权 操作…

FPGA和CPLD芯片选型介绍(二)

FPGA器件选型&#xff08;以Xilinx和Altera为例&#xff09;器件选型是件很严肃的事情&#xff0c;既要考虑性能又要兼顾成本&#xff0c;还要考虑长期供货的稳定性&#xff0c;因此很考验工程师的知识广度储备。一般而言&#xff0c;FPGA&#xff08;CPLD&#xff09;需要分三…

实战六十四:基于机器学习朴素贝叶斯的豆瓣Top250影评的情感分析与预测 附完整源码和数据

首先需要豆瓣Top250影评的语料,我用Scrapy抓取了5w份语料,用于训练与验证。 豆瓣影评爬虫 github.com/3inchtime/d… 有了语料之后我们就可以开始实际开发了。 这里建议使用jupyter来开发操作。 首先加载语料 # -*- coding: utf-8 -*- import random import numpy as np impo…

Qos实验配置-CBQ方式

目录 对报文进行重标记 对数据报文进行流量监管-接口入方向 将报文加入相应队列 为语音业务配置丢弃策略 配置流量整形-接口出方向 QoS理论讲解_静下心来敲木鱼的博客-CSDN博客_qos 优先级映射https://blog.csdn.net/m0_49864110/article/details/127414766?ops_request_…

简介JWT

简介JWT http协议无状态的&#xff0c;所以需要sessionId或token的鉴权机制&#xff0c;jwt的token认证机制不需要在服务端再保留用户的认证信息或会话信息。这就意味着基于jwt认证机制的应用程序不需要去考虑用户在哪一台服务器登录了&#xff0c;这就为应用的扩展提供了便利&…

【从头开始】Java基础Day01

Day 01 关于Java特性和JDK的安装Day 01Dos基础命令Java特性和优势Java三大版本JDK、JRE、JVM安装JDK卸载JDKDos基础命令 常用的Dos命令 盘符切换 cd查看当前目录下的所有文件 dir切换目录cd change directory返回上一级 cd …清理屏幕 cls&#xff08;clear screen&#xff0…

转行自学Java没后悔,我的经历证明,改变永远没有错

我在北京工作6年&#xff0c;现在年薪42万&#xff08;仅代表个人收益&#xff09;&#xff0c;目前在搜狐畅游工作&#xff0c;参与过轩辕剑的项目研发&#xff0c;有几个大型项目实战的经历&#xff0c;不过最后这几款项目都失败了。我之所以选择当初学习Java&#xff0c;就一…

Spring事件机制 ApplicationEventPublisher

目录 1、观察者模式 2、Spring中的观察者 2.1、事件(ApplicationEvent) 2.2、事件发布(ApplicationContext) 2.3、事件监听(ApplicationListener) 2.4、事件管理(ApplicationEventMulticaster) 3、demo 3.1、事件任务类 3.2、事件 3.3、事件监听器 3.3.1、继承Appli…

MATLAB 数组计算

✅作者简介&#xff1a;人工智能专业本科在读&#xff0c;喜欢计算机与编程&#xff0c;写博客记录自己的学习历程。 &#x1f34e;个人主页&#xff1a;小嗷犬的个人主页 &#x1f34a;个人网站&#xff1a;小嗷犬的技术小站 &#x1f96d;个人信条&#xff1a;为天地立心&…

前端sdk - 埋点

目录前端sdk 之小满np安装01 搭建环境01-项目目录01-2 依赖包01-3 rollup.config.js01-4 tsconfig.json 28行01-5 package.json01-6 src / core / index.ts01-7打包效果02 初始化 Tracher02-1 core / index.ts02-2 types/ index.ts03 重写history事件 监听history | hash 路由等…

Linux学习之常用基本命令【3】

文章目录一 账号管理1.1 用户账号概述1.2 用户账号管理1.2.1 useradduseradduseradd添加账号1.2.2 userdeluserdeluserdel删除帐号1.2.3 usermodusermodusermod修改账号1.3 用户口令管理二 用户组管理2.1 用户组概述2.1.1 groupaddgroupaddgroupadd添加用户组2.1.2 groupdelgro…

利用Python读取外部数据文件

名字&#xff1a;阿玥的小东东 学习&#xff1a;python、c 主页&#xff1a;阿玥的小东东 目录 一、读取文本文件的数据 二、读取电子表格文件 三、读取统计软件生成的数据文件 不论是数据分析&#xff0c;数据可视化&#xff0c;还是数据挖掘&#xff0c;一切的一切全都是以…

C# +HALCON 工业相机调试

HALCON error #5312: Image acquisition:device cannot be initialized in operator winform和HDevelop同时对相机进行连接导致的。关闭其中一个就可以正常连接相机。 HALCON error #5301 Image acquisition: wrong color depth 取相时&#xff0c;报异常。原因是open_framegr…

python小游戏——飞机大战代码开源

♥️作者&#xff1a;小刘在这里 ♥️每天分享云计算网络运维课堂笔记&#xff0c;努力不一定有收获&#xff0c;但一定会有收获加油&#xff01;一起努力&#xff0c;共赴美好人生&#xff01; ♥️夕阳下&#xff0c;是最美的&#xff0c;绽放&#xff0c;愿所有的美好&#…

基于python3实现Azure机器学习最接近人声的文本转语音功能

上期文章,我们介绍了如何使用Azure来创建一个语音服务API,哪里,我们得到了API的key,以及语音服务的基本信息,包含地区等,这些都是本期代码需要的参数 听了那么多AI合成的语音,Azure机器学习的文本转语音最接近人声https://blog.csdn.net/weixin_44782294/article/detai…

如何更改报表控件 Stimulsoft BI 服务器中的地址和端口?

在本文中&#xff0c;我们将主要讨论如何在 Stimulsoft BI Server 中设置基本参数&#xff0c;具体来说&#xff0c;也就是如何更改服务器的地址和端口&#xff1f; 为什么需要更改服务器地址和端口&#xff1f; 在部署报表服务器时&#xff0c;需要指定其地址&#xff0c;实…

一文讲明Docker的基本使用,常见Docker命令使用 、Docker的安装使用等【详细说明+图解+概念+实践】

一个混迹于Github、Stack Overflow、开源中国、CSDN、博客园、稀土掘金、51CTO等 的野生程序员。 目标&#xff1a;分享更多的知识&#xff0c;充实自己&#xff0c;帮助他人 GitHub公共仓库&#xff1a;https://github.com/zhengyuzh 以github为主&#xff1a; 1、分享前端后端…
最新文章