linux中缓存,在kafka上应用总结

news/2025/2/19 3:38:13/

linux中的缓存  页缓存 pagecatch(读缓存用于提供快速读)块缓存(用于提供其他设备快速写)当对读缓存读的时候,修改了读的数据,页缓存就会被标记为脏数据,等到写的时候它会向块缓存同步数据,并写入到磁盘中

零拷贝:如上kafka读取文件会由操作系统读到页缓存,在读到kafaka的输入缓存,在同步到输出缓存用于写入其他设备,数据写操作会调用系统的块缓存写入,然后再把块缓存数据写到网卡中,这个过程比较耗时,从系统到kafka应用完成多次数据转译,称为多次拷贝,这个过程线程会跨用户态和核心态的代码存在切换额外保存数据的额外消耗。特权指令和非特权指令要求cpu切换状态,内核态和用户态的指令不能跨状体工作 ,切换效率低而且这是一次操作数据量大的时候性能就越低。

kafka使用nio的channel加上buffer的transfrom_to函数实现数据0拷贝,直接将内存数据发送给kafka的消费者。

kafka的应答策略

kafka生产者保证数据发送的安全性,会对消息记录收集校验序列化,放入buff缓存,加快额外的其他数据处理,这些生产的数据会大量的涌入缓存,消息发送器sender,会处理这些数据时无法控制顺序,需要有一个排队机制,sender通过双端队列的方式完成数据的取和网络发送,批发送处理数据最大16k到双端队列中,线程sender负责消费队列的数据,为了保证数据的顺序不丢失发送器引入了在途请求控制器inFilghtRequest默认值为5,是用来网络客户端和网络服务器端的数据请求安全通信的,在途请求不能设置过大,会影响性能,默认值为5,它用来服务端处理数据超时或数据没有被持久化,客户端接收到消息,并控制在在途请求的这个阶段的数据一直保持重试排序,拉取下一批次的偏移量的消息,直到前面的在途请求被有序处理和应答新一轮的批次请求又开始进行,

在途请求的消息会找到存放通道的map,找到符合当前生产者的通道,channel使用java的nio在发送的时候利用nio多路复用器和buffer的零拷贝机制,减少资源消耗,socketChannel将数据发送到网络。

消费者组件


http://www.ppmy.cn/news/1537496.html

相关文章

大佬,简单解释下“嵌入式软件开发”和“嵌入式硬件开发”的区别

在开始前刚好我有一些资料,是我根据网友给的问题精心整理了一份「嵌入式的资料从专业入门到高级教程」, 点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!!首先,嵌入式硬…

Maven 高级之分模块设计与继承、聚合

在软件开发中,随着项目规模的扩大,代码量和复杂度不断增加,传统的一体化开发模式逐渐暴露出诸多问题。为了解决这些问题,模块化开发应运而生,而 Maven 正是模块化开发的利器,它提供的继承和聚合机制为构建和…

产品经理内容分享(二):AI产品经理的入门路线图

引言 想象这样一个场景:早晨的阳光穿透窗帘,投射在新一代智能机器人上,它正静静等待着你的第一个命令开始全新的一天。这样的场景听起来像是科幻小说里的情节,但实际上,这正是AI产品经理们工作的成果。如果你对这样的…

如何从U盘恢复已删除的文件

丢失重要文件可能是一场噩梦,感觉就像你内心死了一样。但是,你在 U 盘中备份了重要数据,因此你不会担心丢失数据。现在,猜猜怎么了?你也丢失了 U 盘中的文件。它可能被错误删除,或者你在没有检查的情况下格…

PyQt入门指南八 多线程编程入门

在PyQt应用程序中,多线程编程是非常重要的,因为它可以防止GUI界面在执行耗时操作时冻结。Python的threading模块和PyQt的QThread类都可以用来实现多线程,但在PyQt中,推荐使用QThread,因为它更好地与Qt的事件循环集成。…

LLM prompt提示设计与优化

参看: https://help.aliyun.com/zh/model-studio/use-cases/prompt-engineering-guide?spma2c4g.11186623.0.0.136d55ceDnHbPK https://tenten.co/learning/co-star-tidd-ec-prompt-framework/ 大语言模型中 Prompt 的设计和优化方法,包括使用 Prompt 框…

【电路笔记】-求和运算放大器

求和运算放大器 文章目录 求和运算放大器1、概述2、反相求和放大器3、同相求和放大器4、减法放大器5、应用5.1 音频混合器5.2 数模转换器 (DAC)6、总结1、概述 在我们之前有关运算放大器的大部分文章中,仅将一个输入应用于反相或非反相运算放大器的输入。在本文中,将讨论一种…

第一个Flutter应用解析(一)

1、创建项目 1.1 新建 1.2 选择Flutter SDK的位置 1.3 项目名称 英文单词加下划线起名规范,其他默认即可。 1.4 点击运行 发生报错显示我们的JAVA版本不符合 1.5 更改版本设置 1.6 再次启动项目 2、分析页面代码 以下是lib/main.dart的源代码(为了阅…