简介:
时间:2025
期刊:TPAMI
作者:Yifan Feng, Jiangang Huang, Shaoyi Du, Shihui Ying, Jun-Hai Yong
摘要:
①Hyper-YOLO引入一种新的目标检测方法,结合超图计算捕捉视觉特征中的复杂高阶相关性
②为解决传统的YOLO模型在 Neck 结构上的局限,提出了HGC-SCS框架
创新点:
①提出HGC-SCS框架:结合超图计算和高阶信息建模,实现更强的特征表达能力
②设计HyperC2Net(改进 YOLO Neck 结构):突破传统YOLO仅限于相邻层特征融合的局限,实现更高效的信息传播
③引入MANet改进 Backbone:结合不同类型的卷积(标准卷积、深度可分卷积、C2f 模块)提升特征提取能力
方法:
HGC-SCS 框架:
HGC-SCS(Hypergraph Computation Empowered Semantic Collecting and Scattering)是 Hyper-YOLO 的核心框架,主要功能包括语义特征收集、超图计算、语义散射。
过程:
①采用超图构造函数来估计语义空间中特征点之间潜在的高阶相关性
②利用光谱或空间超图卷积方法,通过超图结构在特征点之间传播高阶信息,生成
③将高阶关系信息集成到中,生成的混合特征映射
,由
和
融合产生
语义特征收集:
跨多个层(B1, B2, B3, B4, B5)收集 Backbone 提取的特征
通过矩阵拼接(Concatenation)形成混合特征表示
超图计算:
①通过基于距离的超图构建生成超图结构
通过执行五个基本特征的通道级连接来启动该过程,从而合成跨层视觉特征。
超边构造:
表示所有特征点的集合,每个顶点
都会有一个对应的超边
某个特征点的邻居集合可表示为
所有与 之间的距离小于ϵ的点
(相似性高的),都会被包含在超边中
②使用超图卷积进行高阶信息传播,生成增强特征
两阶段超图信息传递的矩阵表达式:
语义散射:
将网格特征分解为语义空间中的一组特征点,并基于距离构建超边缘,从而允许高阶消息在点集中不同位置的顶点之间传递。结合超图特征和不同层的 Backbone 特征
进行融合,得到最终检测特征
MANet:
MANet作为Hyper-YOLO的Backbone改进模块,目标是增强特征提取能力
特点:
结合 1×1 通道重校准卷积、深度可分离卷积(DSConv)、C2f 模块
通过混合不同类型的卷积操作,实现更强的信息流动
采用跳跃连接,确保梯度流动稳定
流程:
最终特征拼接后的
HyperC2Net:
HyperC2Net 负责跨层、跨位置信息传播。
主要特点:
采用超图构建(Hypergraph Construction)生成高阶特征关系
通过超图卷积(Hypergraph Convolution)在语义空间中传播信息
采用底部向上(Bottom-Up)信息融合,使特征信息更全面
结论:
Hyper-YOLO 通过引入超图计算和高阶特征建模,有效增强了 YOLO 模型的目标检测能力:突破传统 YOLO 仅限于相邻层特征融合的局限;提升跨层 & 跨位置信息传播能力;在 COCO 数据集上取得 SOTA 级别性能。
HyperYOLO的主干,C2f模块被MANet模块取代,MANet采用深度可分离卷积,增加通道数
Hyper2net通过对每个模型尺度采用不同的距离阈值来相应地调整其方法,根据模型规模和特征点分布动态调整阈值