技术选型|日志采集和管理工具您都了解哪些,看这篇就够了

news/2024/4/24 12:15:20/

简介

对于日志管理当前网络上提供了大量的日志工具,今天就给大家分析总结一下这些常用工具的特点,希望对你们在选型时有所帮助,如果有用记得一键三连。

1、Filebeat

Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash进行索引。

Filebeat的工作方式如下:启动Filebeat时,它将启动一个或多个输入,这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志,Filebeat都会启动收集器。每个收集器都读取一个日志以获取新内容,并将新日志数据发送到libbeat,libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。

1.1 主要特点

  • 轻量级并且易使用
  • 模块可用于常见用例(例如 Apache 访问日志)。您可以使用它们来设置 Filebeat、Ingest 和 Kibana 仪表板,只需几个命令

1.2 价格

免费开源

1.3 优点

  • 资源使用率低
  • 良好的性能

1.4 缺点

有限的解析和丰富功能

2、Graylog

Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似,但又比ELK要简单,依靠着更加简洁,高效,部署使用简单的优势很快受到许多人的青睐。

2.1 主要特点

  • 一个包含日志处理所有要素的软件包:收集、解析、缓冲、索引、搜索、分析。
  • 开源 ELK 堆栈无法提供的其他功能,例如基于角色的访问控制和警报

2.2 价格

免费和开源,不过也有企业版(根据要求提供价格)

2.3 优点

  • 在一个软件包中满足大多数集中式日志管理用例的需求
  • 轻松扩展存储 (Elasticsearch) 和获取通道

2.4 缺点

  • 可视化能力是有限的,至少与ELK的Kibana相比是如此
  • 不能使用整个ELK生态系统,因为他们不能直接访问Elasticsearch API。相反,Graylog有自己的API

3、LogDNA

LogDNA是日志管理领域的新成员。LogDNA可作为SaaS和内部使用,提供所有日志基础:通过syslog和HTTP(S)以及全文搜索和可视化,提供基于代理和无代理的日志收集,并提供清晰且具有竞争力的价格。

3.1 主要特点

  • 用于在组织外部共享日志的嵌入式视图
  • 自动解析常用日志格式

3.2 价格

  • 免费:无存储
  • 收费:付费计划起价为每月每GB 1.50 美元,保留 7 天

3.3 优点

  • 用于搜索日志的简单 UI,类似于 Papertrail
  • 易于理解的计划

3.4 缺点

  • 可视化能力有限
  • 保留期取决于计划(从 7 天到 30 天)。用户数量也是如此(最便宜的计划只允许 5 个)

4、Elasticsearch, Logstash and Kibana (ELK stack or Elastic Stack)

4.1 主要特点

ELK堆栈包含了日志管理解决方案所需的大多数工具:

  • Log shippers:如Logstash和Filebeat
  • Elasticsearch是一个可扩展的搜索引擎
  • Kibana作为搜索日志或构建可视化的UI

它在集中日志方面非常流行,有很多关于如何在网络上使用它的教程。有一个庞大的工具生态系统,您可以在基本设置之上使用这些工具,通过警报、基于角色的访问控制等来增强它。我们将在这篇博文中详细介绍这些额外的附加功能,我们将在其中讨论 Elastic Stack 功能的替代方案。

  • Elasticsearch默认情况下对每个字段进行索引,使搜索速度更快
  • 通过API和Kibana实现实时可视化
  • 索引前的数据解析和充实

4.2 价格

  • 免费和开源。一些公司提供托管 ELK 的形式,见上文。
  • 还有 Elastic Cloud,它是云中 ELK 的一种纯粹形式,您主要需要自己管理。

4.3 优点

  • 可扩展的搜索引擎作为日志存储
  • 成熟的log shippers
  • Kibana 中的 Web UI 和可视化

4.4 缺点

  • 在规模上,它可能变得难以维护。这就是 Sematext 提供 ELK 堆栈咨询、生产支持和培训的原因
  • ELK Stack 的开源版本缺少一些功能,例如基于角色的访问控制和警报。您可以通过商业“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 获得这些功能。

5、Grafana Loki

Loki 及其生态系统是 ELK 堆栈的替代方案,但它做出了不同的权衡。通过仅索引某些字段(标签),它可以具有完全不同的架构。也就是说,主要的写入组件(Ingester)会将大量日志保存在内存中,从而使最近的查询速度更快。

随着块变老,它们被写入两个地方:用于标签的键值存储(例如 Cassandra)和用于块数据的对象存储(例如 Amazon S3)。当您添加数据时,它们都不需要后台维护(例如 Elasticsearch/Solr 需要合并)。

如果您查询较旧的数据,您通常会按标签和时间范围进行过滤。这限制了必须从长期存储中检索的块的数量。

5.1 主要特点

  • 同一 UI 中的日志和指标 (Grafana)
  • Loki 标签可以与 Prometheus 标签保持一致

5.2 价格

  • 免费:免费开源
  • 收费:还有Grafana Cloud,提供Loki的SaaS服务(也有内部部署的选项)。价格从49美元起,包括100GB的日志存储(30天保留)和3000个度量系列

5.3 优点

  • 与 ELK 相比,摄取速度更快:索引更少,无需合并
  • 小存储占用:较小的索引,数据只写入一次到长期存储(通常具有内置复制)
  • 使用更便宜的存储(例如 AWS S3)

5.4 缺点

  • 与 ELK 相比,较长时间范围内的查询和分析速度较慢
  • 与 ELK 相比,log shippers选项更少(例如 Promtail 或 Fluentd)
  • 不如 ELK 成熟(例如更难安装)

6、Datadog

Datadog 是一种 SaaS,最初是作为监控 (APM) 工具,后来还添加了日志管理功能。您可以通过 HTTP(S) 或 syslog,通过现有的日志传送器(rsyslog、syslog-ng、Logstash 等)或通过 Datadog 自己的代理发送日志。

它的特点是 Logging without Limits™,这是一把双刃剑:更难预测和管理成本,但您可以获得即用即付定价(见下文)以及您可以存档和从存档中恢复的事实。

6.1 主要特点

  • 用于解析和丰富日志的服务器端处理管道
  • 自动检测常见的日志模式
  • 可以将日志归档到 AWS/Azure/Google Cloud 存储并在以后重新使用它们

6.2 价格

  • 处理起价为每月每GB 0.10 美元(例如 1GB 每天 3 美元)
  • 处理也适用于从档案中获取,尽管这里的数据是压缩的
  • 100 万个事件的存储起价为 1.59 美元,为期 3 天(例如,47.7 美元,1GB/天,每个 1K,存储 3 天)

6.3 优点

  • 容易搜索,良好的自动完成(基于facet)
  • 与DataDog指标和跟踪的集成
  • 负担得起,特别是对于短期保留和/或如果你依靠存档进行一些搜索

6.4 缺点

  • 现场不可用。一些用户抱怨成本失控(由于定价灵活)。虽然您可以设置每日处理配额

7、Logstash

Logstash 是一个日志收集和处理引擎,它带有各种各样的插件,使您能够轻松地从各种来源摄取数据,将其转换并转发到定义的目的地。它与 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分,这就是为什么它最常用于将数据传送到 Elasticsearch。

7.1 主要特点

  • 许多内置的输入、过滤/转换和输出插件
  • 灵活的配置格式:您可以添加内联脚本,包括其他配置文件等

7.2 价格

  • 免费开源

7.3 优点

  • 容易开始和移动到复杂的配置
  • 灵活:Logstash用于各种日志记录用例,甚至用于非日志记录数据
  • 写得很好的文档和大量的操作指南

7.4 缺点

  • 与其他日志shippers相比,资源使用率高
  • 与替代品相比,性能较低

8、Fluentd

作为一个很好的 Logstash 替代品,Fluentd 是 DevOps 的最爱,特别是对于 Kubernetes 部署,因为它具有丰富的插件库。与 Logstash 一样,它可以将数据结构化为 JSON,并涉及日志数据处理的所有方面:收集、解析、缓冲和输出跨各种来源和目的地的数据。

8.1 主要特点

  • 与库和Kubernetes的良好集成
  • 大量的内置插件,很容易编写新的

8.2 价格

  • 免费开源

8.3 优点

  • 良好的性能和资源使用
  • 良好的插件生态系统
  • 易于使用的配置
  • 良好的文档

8.4 缺点

  • 解析前没有缓冲,可能会导致日志管道出现背压
  • 对转换数据的支持有限,就像您可以使用 Logstash 的 mutate 过滤器或 rsyslog 的变量和模板一样

9、Splunk

Splunk 是最早的商业日志集中工具之一,也是最受欢迎的。典型的部署是本地部署 (Splunk Enterprise),尽管它也作为服务提供 (Splunk Cloud)。您可以将日志和指标发送到 Splunk 并一起分析它们。

9.1 主要特点

  • 用于搜索和分析的强大查询语言
  • 搜索时字段提取(在摄取时解析之外)
  • 自动将经常访问的数据移动到快速存储,将不经常访问的数据自动移动到慢速存储

9.2 价格

  • 免费:每天 500MB 数据
  • 付费计划可应要求提供,但常见问题解答建议 1GB 的起价为 150 美元/月

9.3 优点

  • 成熟且功能丰富
  • 对于大多数用例来说,良好的数据压缩(假设有有限的索引,正如推荐的那样)
  • 日志和度量在一个屋檐下

9.4 缺点

  • 对于较长的时间范围,查询速度较慢(建议使用有限的索引)
  • 用于度量存储的效率低于专注于监控的工具


http://www.ppmy.cn/news/47098.html

相关文章

GPT问答记录:微信小程序动态tabBar开发配置(服务端+前端代码)

问:我正在开发一款微信小程序,原先是在app.json配置的tabBar,现在我想通过java后台动态控制tabBar,我应该如何修改我的代码?请给出具体方案,以及相应的数据库表设计以及java代码还有小程序wxml,…

金蝶即将推出“类GPT ”产品,ToB 企业如何落地生成式AI?

今年以来,ChatGPT 成为 IT 圈的“顶流”,在业内掀起热潮,成为科技圈追逐的新风向。 在 ToB 领域,很多软件原有RPA、AI、低代码能力,来帮助员工提高生产力和管理者进行智能决策。那么ChatGPT 作为新的 AI 技术&#xf…

《简化iOS APP上架流程,App Uploader助你搞定!》

转载:Appuploader常见问题 Appuploader 常见错误及解决方法 问题解决秘籍 遇到问题,第一个请登录苹果开发者官网 检查一遍账号是否有权限,是否被停用,是否过期,是否有协议需要同意,并且在右上角切换账号后…

JAVA基于SNMP网络设备MIB信息采集

在本文中,设计了一个针对TCP/IP网络的基于SNMP网络设备的MIB信息采集系统。这个系统采用三层模型进行设计,最底层负责SNMP中基本对象编码、定义,与设备连接通信等;中间层在底层的基础上定义了MIB对象,负责OID与MIB对象间的转换,分析MIB信息文件以生成MIB树型结构,单个MI…

旅游-商场购物

标题 前言必学场景词汇及用法售货员接待促销活动选购商品询问材质与质量试穿衣服杀价修改衣服结账售后服务退换货情境常用单词化妆品类别护肤品类别护肤品功能前言 加油 必学场景词汇及用法 售货员接待 1.be of service to sb 服务某人 Hello, ma’am. Could I be of serv…

java创建线程的方法

线程是程序的一种操作单元,在程序中,一个线程和另一个线程是同时存在的。它是一个程序的一部分,但是他又是独立的,它不会影响到另一个线程的执行。但是多个线程同时运行时,会对系统资源造成一定的消耗。 线程之间的竞争…

【珍藏版】SWAT模型十七项热点融合技术呈现,提升SWAT模型应用创新点

1)遥感产品和SWAT模型快速建模 2)基于水文响应单元(HRU)的水资源时空分布特征 3)基于自定义流域与河道的SWAT模型建模与分析 4)子流域划分原理及其对模型不确定性的影响 5)坡度划分原理及其对模型不确定性的影响 6)DEM数据空间分辨率及其模型不确定…

NFS(UOS)

appsrv 172.16.146.11 strogesrv 172.16.146.53 共享/data/share目录 用于存储app主机的web数据 仅允许stora访问该共享 安装nfs apt install nfs-common nfs-kernel-server -y mkdir /data/share /data/share 172.16.146.50(rw,sync,no_root_squash,insecure) 重启服…

VS Code 插件开发概览

VS Code 插件开发概览 前言 VS Code作为开发者的代码开发利器,越来越受开发者的喜爱。像我身边的前端,每天80%的开发工作都是在VS Code上完成的。随着人们对它的使用,不再满足简单的优雅,舒服写代码这一基本需求。有些人利用它进…

健康体检管理系统源码 PEIS源码 体检小结自动生成

健康体检管理系统源码 PEIS源码 数据对接 体检小结自动生成,商业源码,有演示,文档齐全。自主知识产权。 文末获取联系! 一套专业的体检管理系统源码,该系统涵盖个人体检、团队体检、关爱体检等多种体检类型&#xf…

LinuxGUI自动化测试框架搭建(十四)-设计全局变量配置文件config.py

(十四)-全局变量配置文件设计config.py 1 设计目的2 设计思路3 设计过程3.1 创建config.py所在目录3.2 设置项目根目录3.3 设计配置文件目录4 目前config.py内容5 目前框架结构1 设计目的 我们使用一个文件config.py来存放全局变量,目的很简单就是提升代码的可读性、维护方…

过滤器Filter

文章目录 1. Listener监听器监听器Listener文档说明1.1 ServletContextListener监听器1.2 ServletContextAttributeListener监听器1.3 HttpSessionListener监听器1.4 HttpSessionAttributeListener监听器1.5 ServletRequestListener监听器1.6 其它监听器1.6.1 ServletRequestAt…

QS排名十年对比:美国大学最稳,中国大学进步最快

QS世界大学排名发布距今已有20年历史,迄今为止,全球已有超过90个国家和地区共1500多所大学进入QS世界排名。QS排名评估中所使用的5项评估标准基本保持不变。 QS使用5个关键指标来进行排名,包括学术声誉、雇主声誉、篇均论文引用、H指数和国际…

at单一次任务,crontab周期性任务 rhce(21)

目录 1.atd和crond两个任务管理程序的区别 2.指定在2023/08/26 09:00将时间写入testmail.txt文件中 3.指定在每天凌晨4:00将该时间点之前的系统日志信息备份到个目录下(/var/log/messages),备份后日志文件名显示格式logfileYY-MM-DD HH-MM…

.class文件在线转成.java文件方法

使用背景: 工作中碰到老的项目就头疼,有些连源码都没有,解决bug只能从class文件反编译成java后,来读懂业务逻辑。 后来在网上找了一些工具来帮助class文件转码,有些遇到lamda表达式就转换错误,有些使用起…

torch.empty的作用:返回一个未初始化的Tensor

在官网查到torch.empty()的初始格式是empty(*size, *, outNone, dtypeNone, layouttorch.strided, deviceNone, requires_gradFalse, pin_memoryFalse, memory_formattorch.contiguous_format) -> Tensor。 返回一个充满未初始化数据的张量。张量的形状是由变量参数定义:att…

会话跟踪技术

目录 Cookie基本使用 Cookie原理 Cookie使用细节 Session基本使用 Session原理 Session使用细节 案例 用户登录注册案例 用户注册功能 保存用户信息到数据库 验证码-展示 验证码-校验 会话跟踪技术的概述 会话:用户打开浏览器,访问web服务器的资源&…

HelloWorld案例详解

HelloWorld案例的编写和执行 Java程序开发运行流程 开发Java程序,需要三个步骤: ●编写代码 ●编译代码 ●运行代码 HelloWorld案例的编写 新建文本文档文件,修改名称为HelloWorld.java用记事本打开HelloWorld.java文件,输写…

数据结构之顺序表,实现顺序表的增删改查

目录 一、顺序表的概念 二、顺序表的分类 1.静态顺序表 2.动态顺序表 3.顺序表的增删改查 总结 一、顺序表的概念 顺序表是一段物理地址连续的村塾单元依次存储数据元素的线性结构,一般情况下使用数组存储,在数组上完成数据的增删改查。 二、顺…

LeetCode每日一题 1023. 驼峰式匹配 --双指针

Halo,这里是Ppeua。平时主要更新C语言,C,数据结构算法......感兴趣就关注我吧!你定不会失望。 🌈个人主页:主页链接 🌈算法专栏:专栏链接 我会一直往里填充内容哒! &…