对比学习论文解读

发布于 2021-09-27 18:12

导读

标题：Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination

本文提出将实例间的相似性并与对比学习整合，在实例和局部实例组之间进行跨层次的判别(CLD),而不是直接进行实例分组，例如像DeepCluster一样进行组级别的对比。对比学习是建立在吸引力和排斥的双重力量之上的。

综述解读

表示学习旨在从原始数据中提取潜在或语义信息。通常，模型首先在大型注释数据集上进行训练，然后在小型数据集上进行finetune，以执行下游任务。随着模型变得越来越大和更深，需要更多的注释数据;监督训练已不可行。自监督学习绕过标签，不需要注释，但会更好地完成语义。例如，从其灰度图像中预测物体的颜色不需要标记：然而，做好它需要了解对象是什么。最大的缺点是，代理任务是域特定和手工设计的，它们与下游语义分类没有直接关系。无监督的对比学习已成为直接获胜的替代方案。预训练目标和下游分类是针对判别的，尽管在不同层次上是一致的：训练是判别已知的个别实例，而测试是判别未知的实例组。对比学习方法在两个理念上取得了长足的进步：不变的映射和实例判别。即，对于特定转换的实例版本，所学表示应为 1）稳定，2）针对不同实例具有独特性。这两个方面都可以在没有标签的情况下制定，所学的特征似乎可以自动捕获语义相似性，这是以 CIFAR100 和 ImageNet等标准数据集的下游分类为基准的。但是自然数据可以在类内（例如重复）高度相关，在类间呈现长尾分布。自然的实例间相似性要求实例分组而不是实例判别。因此，按实例进行特征学习是不稳定的，在没有实例分组的情况下表现不佳，而基于无实例判别所学特征的实例分组很容易陷入退化，已有工作使用相互信息最大化以及统一的类分布先验来防止特征退化。

技术解读

本文提出将实例间的相似性并与对比学习整合，在实例和局部实例组之间进行跨层次的判别(CLD),而不是直接进行实例分组，例如像DeepCluster一样进行组级别的对比。对比学习是建立在吸引力和排斥的双重力量之上的。现有方法通常假设在不同实例之间排斥，在已知的实例分组中吸引，例如，在同一数据实例的不同增强视图之间，或从相同物理实例的不同时间、视图或方式捕获的数据之间。具有实例间相似性的特征学习要求在未知组中具有吸引力，而不是在实例之间进行通用排斥。鸡和蛋的挑战是发现这样的分组用于特征学习，而用于分组的特征仍有待学习。

本文的主要见解是，分组不仅可能产生吸引力，而且可能来自常见的排斥。即使不变映射可以通过来自不同增强视图相互吸引的实例内相似度达到。对常见实例组的排斥可以产生实例之间的相似性，这些实例组的中心在发展特征空间中更为稳定。即，为了发现同样遵循自然实例分组的最具有判别性特征，我们希望每个实例都通过增强与最接近的组相吸引，而与其它远离它的实例组相排斥。