(二十四)大数据实战——Flume数据流监控之Ganglia的安装与部署

news/2024/3/4 9:51:37

前言

本节内容我们主要介绍一下Flume数据流的监控工具Ganglia。Ganglia是一个开源的分布式系统性能监控工具。它被设计用于监视大规模的计算机群集(包括集群、网格和云环境),以便收集和展示系统和应用程序的性能数据。Ganglia 可以轻松地扩展到数千台计算机节点,并支持跨多个数据中心进行分布式监控。Ganglia 使用高效的多播通信协议和紧凑的数据格式,以最小化对网络和系统资源的影响。Ganglia 提供实时监控和报告功能,可以显示关键指标(如 CPU 使用率、内存使用率、网络流量等)的实时数据和历史趋势。Ganglia 提供直观的 Web 界面,可以通过图表和图形方式展示系统性能数据,方便用户进行可视化分析。Ganglia 支持插件机制,可以扩展其功能并与其他工具和服务集成。

正文

  • 服务规划

Ganglia
hadoop101hadoop102hadoop103
gweb
gmetad
gmodgmodgmod
  • Ganglia组件说明

gmond(Ganglia Monitoring Daemon):是一种轻量级服务,安装在每台需要收集指标数据的节点主机上。使用 gmond,你可以很容易收集很多系统指标数据,如 CPU、内存、磁盘、 网络和活跃进程的数据等。

gmetad(Ganglia Meta Daemon):整合所有信息,并将其以 RRD 格式存储至磁盘的服务。

gweb(Ganglia Web)Ganglia :可视化工具,gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP前端。在Web界面中以图表方式展现集群的运行状态下收集的多种不同指标数 据。

  • 在hadoop101、hadoop102、hadoop103分别安装epel-release

- 命令:sudo yum -y install epel-release 

  •  在hadoop101上安装ganglia-gmetad、ganglia-web、ganglia-gmond

- 命令:

sudo yum -y install ganglia-gmetad

sudo yum -y install ganglia-gmond

sudo yum -y install ganglia-web

  • 在hadoop102和hadoop103上安装ganglia-gmond 

- 命令:

sudo yum -y install ganglia-gmond

  •  在hadoop101服务器修改/etc/httpd/conf.d/ganglia.conf配置文件

- 使得该网段地址192.168.10.0/24都能访问ganglia-web

  •  在hadoop101服务器修改/etc/ganglia/gmetad.conf配置文件

- 修改元数据的存储位置

  • 在hadoop101、hadoop102、hadoop 103 修改配置文件/etc/ganglia/gmond.conf 

- 修改hadoop101的gmond.conf 配置

- 同步配置到hadoop102和hadoop103

  • 将hadoop101配置文件/etc/selinux/config中的SELINUX修改为disabled

  • 启动ganglia的监控服务

- 在hadoop101、hadoop02、hadoop103启动gmond服务:sudo systemctl start gmond

- 在hadoop101启动httpd和gmetad服务

  • 访问ganglia的web端页面

 

  •  开启一个flume监控任务,查看ganglia的web端页面查看监控指标

- 在hadoop101服务器上启动一个flume监控任务

bin/flume-ng agent \
-c conf/ \
-n a1 \
-f job/job-netcat-flume-console.conf \
-Dflume.root.logger=INFO,console \
-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=hadoop101:8649

  • 图例说明
图例说明
EventPutAttemptCountsource 尝试写入 channel 的事件总数量
EventPutSuccessCount成功写入 channel 且提交的事件总数量
EventTakeAttemptCount sink 尝试从 channel 拉取事件的总数量。
EventTakeSuccessCountsink 成功读取的事件的总数量
StartTimechannel 启动的时间(毫秒)
StopTimechannel 停止的时间(毫秒)
ChannelSize目前 channel 中事件的总数量
ChannelFillPercentagechannel 占用百分比
ChannelCapacitychannel 的容量

结语

关于Flume数据流监控之Ganglia的安装与部署内容到这里就结束了,我们下期见。。。。。。


http://www.ppmy.cn/news/1092430.html

相关文章

Mac 搭建本地服务器

文章目录 一、启动服务器二、添加文件到本地服务三、手机/其他电脑 访问本机服务器 MacOS 自带Apatch 服务器。所以我这里选择Apatch服务器搭建 一、启动服务器 在safari中输入 http://127.0.0.1/ ,如果页面出现 it works,则代表访问成功。启动服务器 …

qt基础之全局静态变量

Q_GLOBAL_STATIC 用于定义全局静态变量 #define Q_GLOBAL_STATIC(TYPE, NAME) \Q_GLOBAL_STATIC_WITH_ARGS(TYPE, NAME, ())Q_GLOBAL_STATIC_WITH_ARGS 带有参数的全局静态变量宏 在匿名命名空间内定义了命名空间Q_QGS_ ## NAME&am…

Zoom正式发布类ChatGPT产品—AI Companion

9月6日,全球视频会议领导者Zoom在官网宣布,正式发布生成式AI助手——AI Companion。 AI Companion提供了与ChatGPT类似的功能,包括根据文本对话起草各种内容,自动生成会议摘要,自动回答会议相关问题等,以帮…

Hadoop的第二个核心组件:MapReduce框架第四节

Hadoop的第二个核心组件:MapReduce框架 十、MapReduce的特殊应用场景1、使用MapReduce进行join操作2、使用MapReduce的计数器3、MapReduce做数据清洗 十一、MapReduce的工作流程:详细的工作流程第一步:提交MR作业资源第二步:运行M…

文本四字节unicode解析出错

case: ℳ𝒶𝓀ℯ 𝓎ℴ𝓊 𝓈𝒶𝒻ℯ 𝒾𝓃 𝒶𝓃 𝓊𝓃𝓀𝓃ℴ𝓌𝓃 &…

使用docker搭建owncloud Harbor 构建镜像

1、使用mysql:5.6和 owncloud 镜像,构建一个个人网盘。 2、安装搭建私有仓库 Harbor 3、编写Dockerfile制作Web应用系统nginx镜像,生成镜像nginx:v1.1,并推送其到私有仓库。具体要求如下: (1)基于centos基础…

记录使用layui弹窗实现签名、签字

一、前言 本来项目使用的是OCX方式做签字的,因为项目需要转到国产化,不在支持OCX方式,需要使用前端进行签字操作 注:有啥问题看看文档,或者换着思路来,本文仅供参考! 二、使用组件 获取jSign…

redis 配置与优化

目录 一、关系数据库和非关系型数据库 二、关系型数据库和非关系型数据库区别 三、非关系型数据库产生背景 四、redis 1、概念 2、redis的优点 3、redis为什么这么快 五、redis安装与配置 一、关系数据库和非关系型数据库 关系型数据库:关系型数据库是一个结…

网络技术六:TCP/UDP原理

TCP/UDP原理 命令行操作基础 命令类型 常见设备管理命令 H3C路由交换产品连接方法 使用console线本地连接 协议Serial,接口com口,波特率9600 适用于设备的初次调试 使用Telnet远程访问 适用于设备上架配置好后的维护管理 使用SSH远程访问 数据传输…

YOLO目标检测——火焰检测数据集+已标注xml和txt格式标签下载分享

实际项目应用:火灾预警系统、智能监控系统、工业安全管理、森林火灾监测以及城市规划和消防设计等应用场景中具有广泛的应用潜力,可以提高火灾检测的准确性和效率,保障人员和财产的安全。数据集说明:YOLO火焰目标检测数据集&#…

蓝牙协议栈BLE

前言 这阵子用到蓝牙比较多,想写一个专栏专门讲解蓝牙协议及其应用,本篇是第一篇文章,讲解低功耗蓝牙和蓝牙协议栈。 参考网上各大神文章,及瑞萨的文章,参考GPT,并且加入了一些本人的理解。 图片部分源自…

WPF Flyout风格动画消息弹出消息提示框

WPF Flyout风格动画消息弹出消息提示框 效果如图&#xff1a; XAML: <Window x:Class"你的名称控件.FlyoutNotication"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xam…

使用 Python 的高效相机流

一、说明 让我们谈谈在Python中使用网络摄像头。我有一个简单的任务&#xff0c;从相机读取帧&#xff0c;并在每一帧上运行神经网络。对于一个特定的网络摄像头&#xff0c;我在设置目标 fps 时遇到了问题&#xff08;正如我现在所理解的——因为相机可以用 mjpeg 格式运行 30…

【微服务】五. Nacos服务注册

Nacos服务注册 5.1 Nacos服务分级存储模型Nacos服务分级存储模型&#xff1a;服务集群属性&#xff1a;总结&#xff1a; 5.2 根据集群负载均衡总结 5.3 Nacos服务实例的权重设置总结&#xff1a; 5.6 环境隔离namespace总结 5.7 Nacos和Eureka的对比总结 5.1 Nacos服务分级存储…

AR工业远程巡查系统:实时监控设备状态,及时发现潜在问题

随着工业4.0的到来&#xff0c;先进的技术和创新的解决方案正在改变着工业生产的方式。其中&#xff0c;增强现实&#xff08;AR&#xff09;技术带来的工业巡检系统就是一个典型的例子。这种系统通过在现实世界中添加虚拟信息&#xff0c;使得操作人员能够更有效地进行检查和维…

Ubuntu扩容lvm空间

安装 Ubuntu Server 的时候 磁盘分区 选择了 LVM&#xff0c;所以系统根目录默认占用磁盘大小只有4G&#xff0c;在安装软件时发现磁盘空间4G已经无法满足&#xff0c;/dev/mapper/ubuntu--vg-ubuntu--lv 磁盘空间不足报警&#xff0c;所以需要利用 LVM 对磁盘进行扩容Linux。 …

如何利用Socks5代理IP提升网络安全与跨境电商业务

在今天的数字时代&#xff0c;网络安全对于个人和企业来说都至关重要。随着跨境电商和在线游戏等业务的不断发展&#xff0c;保护网络安全变得尤为重要。Socks5代理IP是一项强大的工具&#xff0c;可以帮助您实现更高水平的网络安全&#xff0c;同时促进跨境电商和游戏领域的增…

智能合约安全分析,Vyper 重入锁漏洞全路径分析

智能合约安全分析&#xff0c;Vyper 重入锁漏洞全路径分析 事件背景 7 月 30 日 21:10 至 7 月 31 日 06:00 链上发生大规模攻击事件&#xff0c;导致多个 Curve 池的资金损失。漏洞的根源都是由于特定版本的 Vyper 中出现的重入锁故障。 攻击分析 通过对链上交易数据初步分…

【使用教程】Github(自用)

1.下载Git⼯具 使在windows 命令⾏下边可以输⼊这两个命令&#xff1a; gitssh-keygen 2.配置git信息&#xff1a; 在命令⾏⾥输⼊&#xff1a; $ git config --global user.name “你在Github上注册的账号” $ git config --global user.email 你在Github上注册的邮箱 3. c…

mybatisplus多租户配置

概述 当前mybatisPlus版本 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.3.2</version> </dependency>jdk版本&#xff1a;17 springboot版本&#xff1a;…
最新文章