【NeurIPS2021】利用预训练对比表示征的逆问题

发布于 2021-10-17 17:33

我们研究了一组新的用于恢复损坏数据表示的逆问题。我们假设可以访问预训练过的表示学习网络R(x)，该网络对干净的图像进行操作，比如CLIP。问题是恢复图像R(x)的表示，如果我们只给一个损坏的版本A(x)，已知的正向算子A。我们提出了一种监督逆方法，使用对比目标，以获得高损坏图像的优秀表示。在我们的鲁棒表示上使用线性探针，在对各种类型的畸变图像(包括模糊、加性噪声和随机像素掩蔽)进行分类时，我们实现了比端到端监督基线更高的精度。我们在ImageNet的一个子集上进行评估，并观察到我们的方法对不同程度的失真具有鲁棒性。我们的方法优于端到端基线，即使在广泛的前向运算符中只有一小部分标记数据。

https://www.zhuanzhi.ai/paper/32e21201202305682f3015909f2c6243