ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification

要点：

1、医学分析中有效的半监督学习需要：有效地处理多类别（病变分类）和多标签（多疾病诊断），以及不平衡（疾病流行率的高差异）；
2、策略之一：基于伪标签 pseudo labeling，但是：
（a）比一致性学习 consistency learning 的准确率低，
（b）并不是专门针对于多分类和多标签问题而设计，
（c）受不平衡学习 imbalanced learning 的影响；
3、传统方法：通过阈值选择置信伪标签 select confident pseudo label by threshold
4、本文的 ACPL：
（a）引入新的技术选择信息性的未标记样本，以处理不平衡和多分类、多标签，
（b）通过分类器的精准集合来估计伪标签，提高伪标签的准确率；
5、SOTA 方法：未标记数据的一致性学习 + 自监督预训练
6、伪标签方法：为高置信度的未标记样本分配标签以重新训练模型，但是，对于不均衡问题，自信分类的未标记样本代表信息最少的样本，这些样本可能属于多数类，这将使得分类偏向多数类，并且极有可能降低少数类别的分类精度；
7、选择高置信度的伪标签样本：
（a）对所有类别使用固定的阈值，
（b）类阈值 class-wise threshold：处理不均衡、多标签的类别相关性，更精确的伪标签预测，但是如果不知道类分布情况将很难估计该阈值，
（c）将模型输出用于伪标记过程，可能导致确认偏差 confirmation bias，分配错误的伪标签将增加模型在错误预测上的置信度，从而降低模型准确率；

ACPL：

1、新的信息含量度量方法 —— 交叉分布样本信息性 cross-distribution sample informativeness

新的方法：选择用于伪标记的最具信息量的未标记数据
（基于本文假设：对于半监督学习，未标记和标记样本之间存在分布转移 distribution shift）
有效的学习课程 learning curriculum 必须关注于离标记样本分布尽可能远的信息性未标记样本 informative unlabeled samples
（选择这些样本，将均衡训练并消除估计类分类阈值的需要）
未标记样本的信息含量度量，将由我们提出的交叉分布样本信息性 cross-distribution sample informativeness 计算，输出未标记样本与标记的锚点样本集合的接近程度（锚点样本是高信息性的已标记样本）

2、新的伪标记机制——信息混合 informative mixup

将模型分类与由样本信息性指导的 K 近邻 K-nearest neighbor (KNN) 分类相结合，提高预测精度并减轻确认偏差

3、锚点集合纯化方法 ASP (anchor set porification)

 选择最具信息的伪标记样本，将其包含在已标记的锚点集合，提升后续训练阶段 KNN 分类器的伪标签准确率

相关的工作：

基于一致性的 SSL：

优化已标记图像的分类预测，最小化未标记图像不同视图下的预测输出
不同视图来源于不同的图像扰动 image perturbation：空间、时间、对抗、数据增强
基于一致性的方法可以通过自监督的预训练提高性能
但是，依赖于需要领域知识的扰动函数，且需要适应每种新的医学图像

伪标记的 SSL：

使用可用的标记数据训练模型
预测根据高置信度分类的未标记样本的伪标签
利用伪标记样本重训练模型
但是，伪标签 SSL 会在不平衡问题中偏向于主要类，不能适应多类和多标签问题，且容易导致确认偏差
改进取决于以下两点：
1、信息性未标记样本的选取 —— 解决主要类偏差和对多类、多标签问题的适应
2、准确的伪标记机制 —— 解决确认偏差

基于信息含量的训练样本选取的现有研究：完全监督的课程和反课程学习方法 fully supervised curriculum and anti-curriculum learning methods

课程学习侧重于早期训练阶段的简单样本，然后逐渐包括后期训练阶段的硬样本
（简单样本：训练期间损失较小的样本；硬样本：损失较大）
反课程学习首先关注于硬样本，训练后期过渡到简单样本

但是，上述都是完全监督的。
现有研究：基于课程学习的伪标记 SSL
本文研究：为了获取不平衡的多类和多标签问题中的准确标签，我们遵循反课程学习：
1、伪标记可能属于少数类的最具信息性的样本 —— 有助于平衡训练
2、不需要估计类分类阈值即可选择样本 —— 无缝适应多类和多标签问题
证明了为伪标记选择高信息性样本的价值，以及从分类器集合选择伪标签的价值

ACPL 优化：
根据反课程策略为未标记样本生成准确的伪标签，在每个训练阶段，高信息性的未标记样本被选取进行伪标记

交叉分布样本信息性 CDSI：
未标记样本的信息标准

信息混合 IM：
信息混合：将模型的结果与使用锚点的K近邻分类器融合
使用信息混合生成信息性未标记样本的伪标签
每个训练结束，锚点集都使用锚点集合纯化方法 ASP 更新 —— 根据 CDSI准则，每次只保留伪标记样本中最具信息量的子集

消融实验：

图表：

ACPL VS 传统的伪标签半监督学习方法

上：ACPL；下：traditional
左：多标签胸部 X 光；右：多类别

ACPL 算法伪代码

 1. 根据 CDSI 和 IM 构建伪标记集2. 根据 ASP 更新锚点集3. 根据已标记集和伪标记集优化损失函数求模型输出4. 更新已标记集和未标记集

ACPL 算法图示

 1. 用已标记数据集和伪标记数据集训练模型2. 从锚点和未标记样本中提取特征3. 使用公式（4）中的 CDSI 估算未标记样本与锚点集的信息含量4. 使用公式（2）将未标记样本分为高、中、低信息含量5. 使用公式（6）中的 IM 为高信息含量的未标记样本分配一个伪标签6. 用新的伪标记样本更新伪标签训练集7. 使用公式（7）中的 ASP 更新锚点集合

ASP 图示

1. 找 D_U 中每个元素的 K 近邻有标记样本
2. 找 D_L 中每个元素的 K 近邻无标记样本
3. 针对 D_U 中的每个元素求两者的交集
4. 将 c(.) 最小的样本加入 D_A

代码：

https://github.com/FBLADL/ACPL