选自arXiv
作者：JizhiziLi、DachengTao等
机器之心编译编辑：魔王
相比于人像抠图，长相各异、浑身毛茸茸的动物似乎难度更大。IEEE会士JizhiziLi、陶大程等人开发了一个专门处理动物抠图的端到端抠图技术GFM。
在这个图像和视频逐渐成为主流媒介的时代，大家早已对「抠图」习以为常，说不定还看过几部通过「抠图」拍摄的电视剧呢。然而，相比于人像抠图，长相各异、浑身毛茸茸的动物似乎难度更大。
那么，是否有专用于动物的抠图技术呢？IEEE会士JizhiziLi、陶大程等人就开发了一个专门处理动物抠图的端到端抠图技术。
动物的外观和毛皮特征给现有的方法带来了挑战，这些方法通常要求额外的用户输入（如trimap）。
为了解决这些问题，陶大程等人研究了语义和抠图细节，将任务分解为两个并行的子任务：高级语义分割和低级细节抠图。具体而言，该研究提出了新型方法——GlanceandFocusMattingnetwork(GFM)，使用共享编码器和两个单独的解码器以协作的方式学习两项子任务，完成端到端动物图像抠图。
研究人员还创建了一个新型动物抠图数据集AM-2k，它包含20个类别的张高分辨率自然动物图像，并且具备手动标注的前景蒙版。
此外，该研究通过对前景和背景图像之间的不同差异进行综合分析，来研究合成图像和自然图像之间的领域差距（domaingap）问题。研究人员发现，其精心设计的合成流程RSSN能够降低差异，带来更好的、泛化能力更强的模型。在AM-2k数据集上的实验表明，GFM超过当前最优方法，并且有效降低了泛化误差。
动物图像抠图方法GFM
在给动物图像抠图时，人类首先会浏览一下图像，快速识别出大致的前景或背景区域，然后聚焦于过渡区域，将动物细节与背景区分开来。这可以大致形式化为分割阶段和抠图阶段。注意，这两个阶段可能会出现交叉，因为第二阶段的反馈信息可以纠正第一阶段错误的决策。
为了模仿人类经验，使抠图模型具备处理这两个阶段的能力，有必要将其合并进一个模型，并显式地建模二者之间的协作。因此，研究者提出了新型GFM网络，进行端到端的自然动物图像抠图，模型架构参见下图：
图2：GFM网络架构图示。它包含一个共享编码器和两个单独的解码器，解码器分别负责图像分割和细节抠图。
新型图像合成流程RSSN
为自然图像标注前景蒙版费时费力且成本高昂，常见的操作是基于一些前景图像和成对前景蒙版生成大规模合成图像。
目前常见的蒙版合成流程是通过蒙版混合（alphablending）将一个前景粘贴至不同的背景。但由于前景图像和背景图像通常采样自不同的分布，合成图像会出现大量合成伪影，从而导致合成图像和自然图像之间出现较大的领域差距。合成伪影可能会被模型误以为是cheapfeature，从而导致在合成图像上过拟合，在自然图上出现较大的泛化误差。
该研究系统地分析了引起合成伪影的因素：分辨率差异、语义模糊、锐度差异和噪声差异，并提出了解决方案——一套新的合成流程RSSN和大规模高分辨率背景数据集BG-20k。
RSSN的整体流程如下所示：
下图对比了不同合成图像方法，其中c和d使用的背景图像来自BG-20k数据集：
BG-20k数据集具备以下特征：
动物图像抠图数据集AM-2K
AM-2k数据集包含20个类别的张高分辨率自然动物图像，并且具备手动标注的前景蒙版。研究者将该数据集分割为训练集和验证集，并设置了两个评估track：ORI-Track(OriginalImagesBasedTrack)和COMP-Track(CompositeImagesBasedTrack)。
下表展示了AM-2k数据集与现有抠图数据集的对比情况：
该数据集中的示例参见下图：
实验
定量和主观评估
下表2展示了多种SOTA方法在AM-2kORI-Track上的结果：
与SOTA方法相比，GFM在所有评估指标上均超过它们，通过同时分割前景和背景图像以及在过渡区域抠图，取得了最优性能。
下图6展示了不同方法在AM-2kORI-Track上的定性对比结果：
从图中可以看出，SHM、LF和SSS无法分割一些前景部分，因为其分段式结构导致模型无法显式地分辨前景/背景和过渡区域。语义分割和抠图细节是很难平衡的，分别需要全局语义特征和局部结构特征。HAtt和SHMC无法获得过渡区域的清晰细节，因为全局指引有助于识别语义区域，但对细节抠图的用户就没那么大了。
相比而言，GFM获得了最优结果，这得益于其统一模型，使用单独的解码器处理前景/背景和过渡区域，并以协作的方式进行优化。
模型集成和混合分辨率测试
如下表3所示，模型集成的结果优于单个模型：
控制变量研究
控制变量研究结果如下表4所示：
模型复杂度分析
如下表5所示，使用DenseNet-或ResNet34作为主干网络的GFM在运行速度上超过SHM、LF、Hatt和SHMC，它们处理一张图像分别只需大约0.s和0.s。
论文