(一)初识 Kafka

news/2024/4/17 10:18:11

文章目录

  • 1.发布与订阅消息系统
    • (1)什么是发布与订阅消息系统
    • (2)为什么 Kafka 是数据驱动型应用程序的关键组件
  • 2. Kafka 介绍
    • (1)消息和批次
    • (2)消息模式
    • (3)主题和分区
    • (4)生产者和消费者
    • (5)生产者和消费者
    • (6)多集群
  • 2. Kafka 的优势

1.发布与订阅消息系统

(1)什么是发布与订阅消息系统

  • 数据(消息)的发送者(发布者)不会直接把消息发送给接收者。
  • 发布者以某种方式对消息进行分类,接收者(订阅者)通过订阅它们来接收特定类型的消息。发布与订阅系统一般会有一个 broker,也就是发布消息的地方。

(2)为什么 Kafka 是数据驱动型应用程序的关键组件

  • 把数据从源头移动到可以对它们进行分析处理的地方,然后再把得到的结果应用到实际场景中,这样才能确切地知道这些数据要告诉我们什么。这个过程完成得越快,组织的反应就越敏捷。在数据移动上花费的精力越少,就越能专注于核心业务。这就是为什么在数据驱动型企业中,数据管道会成为关键性组件。如何移动数据几乎变得与数据本身一样重要。

2. Kafka 介绍

  • Kafka 是一款基于发布与订阅模式的消息系统。一般被称为“分布式提交日志”或“分布式流式平台”。文件系统或数据库提交日志旨在保存事务的持久化记录,通过重放这些日志可以重建系统状态。同样,Kafka 的数据是按照一定的顺序持久化保存的,并且可以按需读取。此外,Kafka 的数据分布在整个系统中,具备数据故障恢复能力和性能伸缩能力。

(1)消息和批次

  • Kafka 的数据单元被称为消息。可以把消息看成数据库中的一个“数据行”或一条“记录”。消息由字节数组组成,对Kafka 来说,消息里的数据没有特殊的格式或含义。
  • 消息可以有一个可选的元数据,也就是键。键也是一个字节数组,与消息一样,对 Kafka 来说没有特殊含义。当需要以一种可控的方式将消息写入不同的分区时,需要用到键(参考:分区策略)。最简单的例子就是为键生成一个一致性哈希值,然后用哈希值对主题分区数进行取模,为消息选取分区。这样可以保证具有相同键的消息总是会被写到相同的分区中(前提是分区数量没有发生变化)。
  • 批次包含了一组属于同一个主题和分区的消息。如果每一条消息都单独穿行于网络中,那么就会导致大量的网络开销,把消息分成批次传输可以减少网络开销。(参考:kafka 生产者 batch.size 与 linger.ms 参数)

(2)消息模式

  • 一些简单的模式,比如 JavaScript Object Notation(JSON)和 Extensible Markup Language(XML),不仅易用,还具备良好的可读性。不过,它们缺乏强类型处理能力,不同版本之间的兼容性也不是很好
  • 很多 Kafka 开发者喜欢使用 Apache Avro,其最初是为 Hadoop 开发的一款序列化框架。Avro 提供了一种紧凑的序列化格式,模式和消息体是分开的,当模式发生变化时,无须重新生成代码。Avro 还支持强类型和模式演化,既向前兼容,也向后兼容。数据格式的一致性对 Kafka 来说非常重要,它消除了消息读写操作之间的耦合性。

(3)主题和分区

  • Kafka 的消息通过主题进行分类。主题就好比数据库的表或文件系统的文件夹。主题可以被分为若干个分区,一个分区就是一个提交日志。消息会以追加的方式被写入分区,然后按照先入先出的顺序读取。
  • 需要注意的是,由于一个主题一般包含几个分区,因此无法在整个主题范围内保证消息的顺序,但可以保证消息在单个分区内是有序的。图中所示的主题有 4 个分区,消息被追加写入每个分区的尾部。

在这里插入图片描述

  • Kafka 通过分区来实现数据的冗余和伸缩。分区可以分布在不同的服务器上,也就是说,一个主题可以横跨多台服务器,以此来提供比单台服务器更强大的性能。此外,分区可以被复制,相同分区的多个副本可以保存在多台服务器上,以防其中一台服务器发生故障。
  • 通常会使用流这个词来描述 Kafka 这类系统中的数据。很多时候,人们会把一个主题的数据看成一个流,不管它有多少个分区。流是一组从生产者移动到消费者的数据。当我们讨论流式处理时,一般都是这样描述消息的。Kafka Streams、Apache Samza 和 Storm 这些框架以实时的方式处理消息,这就是所谓的流式处理。流式处理有别于离线处理框架(如 Hadoop)处理数据的方式,后者被用于在未来某个时刻处理大量的数据。

(4)生产者和消费者

  • Kafka 的客户端被分为两种基本类型:生产者和消费者。除此之外,还有其他高级客户端 API——用于数据集成的 Kafka Connect API用于流式处理的Kafka Streams。这些高级客户端 API 使用生产者和消费者作为内部组件,提供了更高级的功能。
  • 生产者创建消息。一条消息会被发布到一个特定的主题上。默认情况下,生产者会把消息均衡地分布到主题的所有分区中某些情况下,生产者会把消息直接写入指定的分区,这通常是通过消息键和分区器来实现的。分区器会为键生成一个哈希值,并将其映射到指定的分区,这样可以保证包含同一个键的消息被写入同一个分区。生产者也可以使用自定义的分区器,根据不同的业务规则将消息映射到不同的分区。
  • 消费者读取消息。消费者会订阅一个或多个主题,并按照消息写入分区的顺序读取它们。消费者通过检查消息的偏移量来区分已经读取过的消息。偏移量(不断递增的整数值)是另一种元数据,在创建消息时,Kafka 会把它添加到消息里。在给定的分区中,每一条消息的偏移量都是唯一的,越往后消息的偏移量越大(但不一定是严格单调递增)。消费者会把每一个分区可能的下一个偏移量保存起来(通常保存在 Kafka 中),如果消费者关闭或重启,则其读取状态不会丢失。
  • 消费者可以是消费者群组的一部分,属于同一群组的一个或多个消费者共同读取一个主题群组可以保证每个分区只被这个群组里的一个消费者读取。如图所示的群组中,有 3 个消费者同时读取一个主题,其中的两个消费者各自读取 3 个分区中的 1 个分区,另外一个消费者读取其他 2 个分区。消费者与分区之间的映射通常被称为消费者对分区的所有权关系。通过这种方式,消费者可以读取包含大量消息的主题。而且,如果一个消费者失效,那么群组里的其他消费者可以接管失效消费者的工作。(参考:消费策略1,消费策略2)

在这里插入图片描述

(5)生产者和消费者

  • 一台单独的 Kafka 服务器被称为 broker。broker 会接收来自生产者的消息,为其设置偏移量,并提交到磁盘保存。broker 会为消费者提供服务,对读取分区的请求做出响应,并返回已经发布的消息。根据硬件配置及其性能特征的不同,单个 broker 可以轻松处理数千个分区和每秒百万级的消息量。
  • broker 组成了集群。每个集群都有一个同时充当了集群控制器角色的 broker(自动从活动的集群成员中选举出来)。控制器负责管理工作,包括为 broker 分配分区和监控 broker。在集群中,一个分区从属于一个 broker,这个 broker 被称为分区的首领。一个被分配给其他 broker 的分区副本叫作这个分区的“跟随者”。分区复制提供了分区的消息冗余,如果一个 broker 发生故障,则其中的一个跟随者可以接管它的领导权。所有想要发布消息的生产者必须连接到首领,但消费者可以从首领或者跟随者那里读取消息

在这里插入图片描述

  • broker 默认的消息保留策略:保留一段时间(如 7 天)或保留消息总量达到一定字节数(如 1 GB)。消息数量达到上限时,旧消息就会过期并被删除。所以,任意时刻,可用消息的总量都不会超过配置参数指定的大小。主题可以配置自己的保留策略,将消息保留到不再使用它们为止。

(6)多集群

  • 如果有多个数据中心,则需要在它们之间复制消息,让在线应用程序能够访问到多个站点的用户活动信息。需要注意的是,Kafka 的消息复制机制只能在单个集群中而不能在多个集群之间进行
  • Kafka 提供了一个叫作 MirrorMaker 的工具,我们可以用它将数据复制到其他集群中MirrorMaker 的核心组件包括一个消费者和一个生产者,它们之间通过队列相连。消费者会从一个集群读取消息,生产者则会把消息发送到另一个集群中。图中是使用MirrorMaker 的例子,两个“本地”集群的数据被集合到一个“聚合”集群中,然后聚合集群的数据再被复制到其他数据中心。

在这里插入图片描述

2. Kafka 的优势

  • 支持多个生产者。
  • Kafka 也支持多个消费者从一个单独的消息流读取数据,而且消费者之间互不影响多个消费者还可以组成一个群组,它们共享一个消息流,并保证整个群组只处理一次给定的消息
  • 允许消费者非实时地读取消息。这要归功于 Kafka 的数据保留特性。消息会被提交到磁盘,并根据设置的保留策略进行保存。每个主题可以设置单独的保留策略,以满足不同消费者的需求。各个主题还可以保留不同数量的消息。消费者可能会因为处理速度慢或突发的流量高峰而无法及时读取消息,在这种情况下,持久化的数据可以保证数据不会丢失。消费者可以在应用程序维护期间离线一小段时间,无须担心消息丢失或被堵塞在生产者端。消费者也可以被关闭,但消息会继续保留在 Kafka 中。消费者被重启之后,可以从上次中断的地方继续处理消息
  • 用户可以在开发阶段使用单个 broker,然后再扩展到包含 3 个 broker 的小型开发集群。随着数据量不断增长,在部署到生产环境时,集群可以包含上百个 broker。对在线集群进行扩展丝毫不影响系统的整体可用性。也就是说,一个包含多个 broker 的集群,即使个别broker 失效,仍然可以持续地为客户端提供服务。要提高集群的容错能力,需要配置较高的复制系数。
  • 通过横向扩展生产者、消费者和 broker,Kafka 可以轻松处理巨大的消息流。在处理大量数据的同时,它还能保证亚秒级的消息延迟。
  • Kafka 核心项目还加入了一些流式平台特性,从而使开发人员能够更容易执行一些常见的任务。我们可以用 Kafka Connect 从一个源数据抽取数据并将其推送到 Kafka,或者从 Kafka 抽取数据并将其推送到另一个接收数据的系统。Kafka Streams 提供了一个开发库,开发人员可以用它开发具备伸缩性和容错能力的流式处理应用程序。

http://www.ppmy.cn/news/342135.html

相关文章

使用Python中的Pandas工具将多个CSV格式的数据文件合并为一个

文章目录 使用软件安装Pandas工具编写py程序运行程序注意事项 使用软件 Pycharm 2020.1 安装Pandas工具 执行命令:pip install pandas 编写py程序 path:文件所处路径 import pandas as pd import os# 指定多个csv文件所在的目录 csv_dir path# 获…

目前音质好的几款音频功放芯片

“音频功率放大器”简称音频功放,是扩声系统不可缺少的音响设备;是指把来自音源或前级放大器输出的弱信号放大并推动一定功率的音箱发出声音的集成电路。 音频功放可分为模拟功放和数字功放,传统模拟功放主要有A、AB、B、G类等,区…

你知道微信的转账是可以退回的吗

微信作为当今最受欢迎的即时通讯软件之一,其转账功能得到了广泛的应用。在使用微信转账时,我们可能会遇到一些问题,例如误操作、支付失败或者需要退款等等。 首先需要注意的是,微信转账退回的操作只能在“一天内未确认”时进行。如…

什么电脑配置玩暗黑破坏神4比较好?驱动人生游戏配置推荐

《暗黑破坏神4》已经在PC、PS4、PS5、Xbox One和Xbox Series X/S平台上发行一段时间了,不少驱动人生的小伙伴已经体验到了《暗黑破坏神4》,游戏的画面效果非常精美,但也对电脑配置有一定的要求。如果想要流畅地玩这款游戏,不仅要有…

001、体系结构之概述

1.TiDB简介 TiDB 是 PingCAP 公司⾃主设计、研发的开源分布式关系型数据库,是⼀款同时⽀持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing,HTAP) 的融合型分布式数据库产品,具备⽔平扩容或者缩容、⾦融级⾼可⽤、实时HTA…

GM8829C 主要功能是实现单/双通道 LVDS 转换成 1~4 通道 MIPI 功能。MIPI 每通道最高支持 1Gbps 数据率,LVDS 时钟频率最高支持 1080P@60Hz 分辨率

2 产品特征 a) 工作温度范围:-40℃~105℃; b) Core 电源电压 V MVDD :1.2V; c) I/O 电源电压 V DDIO :3.3V 或 1.8V; d) 输入数据支持 LVDS 电…

高保真音频功放芯片

数字功放是目前音频功放发展的主流.高保真音频功放芯片需要公对公正对音源进行采样转换获得数字信号进行放大,高保真音频功放芯片设计要求高,制作难度大,集成高保真功放芯片的主要类型集成高保真功放芯片有一个典型的产品发展路径…

DS18B20+数码管显示

显示有点闪烁 代码片. // An highlighted block #include<reg52.h>//包含51单片机内部寄存器头文件 #define uchar unsigned char// 自定义uchar为unsigned char(即无符号字符型数据&#xff0c;数据范围&#xff1a;0到255。) #define uint unsigned int//自定义uint为…

完全兼容GM8775C方案|替代GM8775C设计|CS5518替代GM8775C DSI转双LVDS设计方案

GM8775C 型 DSI 转双通道 LVDS 发送器产品主要实现将 MIPI DSI 转单/双通道 LVDS功能。GM8775C输入端DSI符合 协议支持 MIPI D-PHY 1.00.00 和MIPI DSI 1.02.00&#xff0c;可实现 1 到 4通道 DSI 信号接收。最大数据率 1Gbps/通道。视频输入格式支持 16bit RGB565、18bit RGB6…

高效数字音频功率放大器NTP8928

近年来&#xff0c;随着数字化优势的体现&#xff0c;很多尚未数字化的领域正在逐步加入到数字化的行列中来。数字化处理后的语音信号在到达模拟功率放大器之前&#xff0c;必须进行D&#xff0f; A 转换&#xff0c;以便被功率放大器放大&#xff0c;因此从完全数字化的进程看…

MS7024 TV Encode digital数字信号转AV/SV配置说明

目录 一、简介二、芯片性能三、应用框图四、软件开发介绍五、总结 一、简介 MS7204当前可以配套一些没有AV或者SV输出接口的视频数字信号处理设备&#xff0c;这类数字信号处理设备一般着重于对数字信号的运算分析等操作&#xff0c;他并没有配套AV或者SV的输出接口。假如后端…

NTP8938 NTP I2S输入带音效处理数字功放,立体声大功率30W*2,支持PBTL模式1%内失真,功率大约60W,低内阻,优秀散热效果

NTP8938是耐福NTP推出的一款立体声功率支持到30W*2以上&#xff0c;PBTL模式功率大于60W; I2S输入&#xff0c;耐福自有专利专利APEQ功能&#xff0c;可以理解为单点DRC。16*2共32段EQ调节&#xff0c;31 Post DRC&#xff0c;高效率&#xff0c;内阻低至80mΩ&#xff0c;有非…

牛客网数据库sql实战剖析(二)

1.查找employees表emp_no与last_name的员工信息 思路&#xff1a;where条件判断即可 select emp_no,birth_date,first_name,last_name,gender,hire_date from employees where emp_no%2!0 and last_name!"Mary" order by hire_date desc补充&#xff1a;不相等有三…

GM8284DD28位LVDS图像接收器介绍

1 概述 GM8284DD 型 28 位 LVDS 图像收器主要用于视频/图像传输中的接收部分&#xff0c;实现的功 能是将高速串行 LVDS 信号解码为并行 TTL 数据&#xff0c;完成数据的解码功能。该器件可将 4 对 串行 LVDS 差分信号在时钟信号作用下&#xff0c;解码为 28 位并行数据输出。 …

数字功放和模拟功放差异介绍

数字功放和模拟功放差异介绍 数字功放是一种具有失真小、噪音低、动态范围大等特点的放大器&#xff0c;模拟功放是一种以低功耗模拟信号作为输入并输出同一信号的更强大版本的设备&#xff0c;我们熟知的音频功率放大器有甲类放大器、乙类放大器、甲乙类放大器、丁类放大器&am…

LT8619C HDMI转RGB和LVDS成熟高性价

LT8619C-单/双端口LVDS变送器音频输出,代理提供开发方案/PDF/电路图/技术在线支持/DEMO LT8619C HDMI1.4/MHL2.0 dual-mode RX with out Scaler/HDMI /双模DP到RGB.LVDS.BT656.BT1120】 LT8619C输入格式&#xff1a;HDMI1.4/Dual Mode DP LT8619C输出格式&#xff1a;RGB/LV…

海信TC2900彩电功放板改制家庭音响

海信TC2900是一款较老的CRT电视&#xff0c;在液晶电视的时代&#xff0c;它早过时了。亲戚要将该彩电卖给收旧家电的时候&#xff0c;我立马赶到&#xff0c;见该彩电的功放系统完好&#xff0c;拆开电视外壳&#xff0c;不出我所料&#xff0c;该电视具备独立功放&#xff0c…

D类音频功放NTP8849可完美替代TI的TAS5805

TAS5805是德州仪器&#xff08;TI&#xff09;在2018年推出的一款高性能内置DSP数字闭环功放芯片&#xff1b;在工艺和设计上性能以及闭环的系统&#xff0c;THDN、底噪、特别是DRC处理上很多功放做的好很多&#xff0c;不会有过度压缩或者忽高忽低的问题&#xff1b;但受芯片供…

[转]DTV(数字电视)扫盲-DVB介绍

转载&#xff1a;DTV(数字电视)知识扫盲 - 轻轻的吻 - 博客园 DVB介绍 DVB&#xff08;Digital Video Broadcasting&#xff09;是数字视频广播的缩写&#xff0c;包括卫星、电缆&#xff08;有线&#xff09;电视、地面广播的数字电视、未来高清晰度电视在内多种格式数字电视…

【DevOps】Python+Golang(一)

Python is和的区别 is检查两个对象是否是同一个对象&#xff0c;即它们的内存地址是否相同。如果是同一个对象&#xff0c;则返回True&#xff0c;否则返回False。 检查两个对象是否相等&#xff0c;即它们的值是否相同。如果值相同&#xff0c;则返回True&#xff0c;否则返回…
最新文章