【论文分享沙龙 | 2021第1-3期】基于弱标签的领域自适应语义分割

论文分享沙龙2021第1-3期

分享人：中国矿业大学硕士生  王思凡

 研究方向：计算机视觉

论文标题：Domain Adaptive Semantic Segmentation Using Weak Labels

论文来源：ECCV2020

论文链接：https://arxiv.org/abs/2007.15176

摘要

学习语义分割模型需要大量的像素标记。然而，标记数据可能仅在与期望的目标域不同的域中大量可用，该域仅具有最少或没有注释。本文作者提出了一个新的框架，用于在目标域中使用图像级弱标签进行语义分割的域自适应。弱标签可以基于无监督域自适应(UDA)的模型预测来获得，或者从用于语义分割的新的弱监督域自适应(WDA)范例中的人类注释器获得。使用弱标签既实用又有用，因为(1)在WDA收集图像级别的目标注释相对便宜，并且在UDA中不产生成本，(2)它为分类领域对齐打开了机会。框架使用弱标记来实现特征对齐和伪标记之间的相互作用，在域自适应过程中改进了这两者。

贡献

1）提出了一种使用弱标签改进域适应语义分割的概念;

2）利用弱标签来改善类别层次的对齐以获得更好的特征空间适应;

3）证明本文的方法适用于UDA和WDA设置。

方法

     本文的网络结构首先通过分段网络G传递源和目标图像，并获得它们的特征

, 分割预测，然后上采样像素级别的预测

。其中是通过分割网络后图像的下采样空间尺寸。

除了在源数据上有像素级的标签，在目标数据上也有图像级的弱标签。这样的弱标签可以是估计的(UDA)，也可以是从oracle(WDA)获得的。然后，作者利用这些弱标签以两种不同的方式更新分割网络。首先，作者引入一个学习预测目标图像中存在的类别的模块。第二，作者制定了一个机制来对齐源域和目标域之间每个类别的特征。为此，作者使用由弱标签引导的特定类别域鉴别器D来确定哪些类别应该对齐。

 

 

为了预测特定图像中某些类别是否存在，作者使用弱标签定义图像分类任务，使得分割网络G可以发现这些类别。具体而言，本文使用弱标签并学习预测目标图像中类别是否存在。我们首先馈送目标图像X通过G以获得预测A，然后应用global pooling以获得每个类别的预测的单个向量：

 

使用p和弱标签y，我们可以得到类别的交叉熵损失：

 

给定最后一层的特征F和分割预测A，使用预测A作为特征F的attention。具体而言，本文获得的类别特征F为c类别的2048维矢量，如下所示：

 

为了学习分割网络G，使得源和目标类别级特征对齐，作者使用特定于类别鉴别器的同时使用对抗性损失D：

 

然后，要训练分割网络G的目标图像的对抗损失可以表示如下：

 

将这些损失函数结合起来训练G：

 

实验结果

 

 

排版编辑：徐   静

综合策划：何   欣