用Transformer进行图像语义分割,性能超最先进的卷积方法

作者: 丰色 2021-05-21 10:06:01

 

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

正如大家所知,在进行图像语义分割时,图像被编码成一系列补丁后往往很模糊,需要借助上下文信息才能被正确分割。

因此上下文建模对图像语义分割的性能至关重要!

而与以往基于卷积网络的方法不同,来自法国的一个研究团队另辟蹊径,提出了一种只使用Transformer的语义分割方法。

用Transformer进行图像语义分割,性能超<span><span><span><i 5该方法“效果拔群”,可以很好地捕捉图像全局上下文信息!

用Transformer进行图像语义分割,性能超<span><span><span><i 6要知道,就连取得了骄人成绩的FCN(完全卷积网络)都有“图像全局信息访问限制”的问题。(卷积结构在图像语义分割方面目前有无法打破的局限)

而这次这个方法在具有挑战性的ADE20K数据集上,性能都超过了最先进的卷积方法!

用Transformer进行图像语义分割,性能超<span><span><span><i 8不得不说,Transformer跨界计算机视觉领域真是越来越频繁了、效果也越来越成功了!

那这次表现优异的Transformer语义分割,用了什么不一样的“配方”吗?

使用Vision Transformer

没错,这次这个最终被命名为Segmenter的语义分割模型,主要基于去年10月份才诞生的一个用于计算机视觉领域的“新秀”Transformer:Vision Transformer,简称ViT。

ViT有多“秀”呢?

ViT采用纯Transformer架构,将图像分成多个patches进行输入,在很多图像分类任务中表现都不输最先进的卷积网络。

缺点就是在训练数据集较小时,性能不是很好。

Segmenter作为一个纯Transformer的编码-解码架构,利用了模型每一层的全局图像上下文。

基于最新的ViT研究成果,将图像分割成块(patches),并将它们映射为一个线性嵌入序列,用编码器进行编码。再由Mask Transformer将编码器和类嵌入的输出进行解码,上采样后应用Argmax给每个像素一一分好类,输出最终的像素分割图。

下面是该模型的架构示意图:

用Transformer进行图像语义分割,性能超<span><span><span><i 18解码阶段采用了联合处理图像块和类嵌入的简单方法,解码器Mask Transformer可以通过用对象嵌入代替类嵌入来直接进行全景分割。

效果如何

多说无益,看看实际效果如何?

首先他们在ADE20K数据集上比较不同Transformer变体,研究不同参数(正则化、模型大小、图像块大小、训练数据集大小,模型性能,不同的解码器等),全方面比较Segmenter与基于卷积的语义分割方法。

其中ADE20K数据集,包含具有挑战性的细粒度(fine-grained)标签场景,是最具挑战性的语义分割数据集之一。

下表是不同正则化方案的比较结果:

他们发现随机深度(Stochastic Depth)方案可独立提高性能,而dropout无论是单独还是与随机深度相结合,都会损耗性能。

用Transformer进行图像语义分割,性能超<span><span><span><i 25不同图像块大小和不同transformer的性能比较发现:

增加图像块的大小会导致图像的表示更粗糙,但会产生处理速度更快的小序列。

减少图像块大小是一个强大的改进方式,不用引入任何参数!但需要在较长的序列上计算Attention,会增加计算时间和内存占用。

用Transformer进行图像语义分割,性能超<span><span><span><i 28Segmenter在使用大型transformer模型小规模图像块的情况下更优:

用Transformer进行图像语义分割,性能超<span><span><span><i 29(表中间是带有线性解码器的不同编码器,表底部是带有Mask Transformer作为解码器的不同编码器)

下图也显示了Segmenter的明显优势,其中Seg/16模型(图像块大小为16x16)在性能与准确性方面表现最好。

用Transformer进行图像语义分割,性能超<span><span><span><i 31最后,我们再来看看Segmenter与SOTA的比较:

在最具挑战性的ADE20K数据集上,Segmenter两项指标均高于所有SOTA模型!

用Transformer进行图像语义分割,性能超<span><span><span><i 33(中间太长已省略)

用Transformer进行图像语义分割,性能超<span><span><span><i 34在Cityscapes数据集上与大多数SOTA不相上下,只比性能最好的Panoptic-Deeplab低0.8。

用Transformer进行图像语义分割,性能超<span><span><span><i 35在Pascal Context数据集上的表现也是如此。

用Transformer进行图像语义分割,性能超<span><span><span><i 36剩余参数比较,大家有兴趣的可按需查看论文细节。

论文地址:
https://www.arxiv-vanity.com/papers/2105.05633/

人工智能 神经网络 技术
上一篇:Transformer在计算机视觉领域走到哪了? 下一篇:无人机技术在桥梁检测领域的应用
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI版「女娲」来了!文字生成图像、视频,8类任务一个模型搞定

近来,视觉合成任务备受关注。几天前英伟达的 GauGAN 刚刚上新了 2.0 版本,现在一个新视觉合成模型 Nüwa(女娲)也火了。

机器之心报道 ·  1天前
何恺明MAE大火后,想梳理下视觉Transformer?这篇梳理了100多个

在这篇论文中,Yang Liu 等几位研究者全面回顾了用于三个基本 CV 任务(分类、检测和分割)的 100 多个视觉 Transfomer。

机器之心报道 ·  1天前
抛弃热图回归,滑铁卢大学提出多人姿态估计新方法

近日,来自加拿大滑铁卢大学的研究者提出了一种全新的单阶段多人关键点和姿态检测方法 KAPAO。

机器之心编辑部 ·  1天前
2022年人工智能领域发展七大趋势

人工智能已成为人类有史以来最具革命性的技术之一。“人工智能是我们作为人类正在研究的最重要的技术之一。它对人类文明的影响将比火或电更深刻”。2020年1月,谷歌公司首席执行官桑达尔·皮查伊在瑞士达沃斯世界经济论坛上接受采访时如是说。

刘霞 ·  1天前
三分钟回顾,2021年11月无人机领域动态一览

今年11月,无人机行业便出现不少融资、推新等活动,接下来我们不妨一起来看一下吧!

智能制造网 ·  1天前
华为首次自曝“天才少年”成果:入职不到一年就干成这件大事

2019年入职、拿到200万offer的钟钊,仅用不到1年的时间,就带领团队将AutoML算法研究应用到了千万台华为Mate系列和P系列手机上。

梦晨 丰色 萧箫 ·  2天前
三分钟回顾,2021年11月自动驾驶行业全动态一览

缺芯荒加疫情影响,今年以来自动驾驶行业发展被迫放缓,在此背景下,我们不妨不妨从融资、动态两方面,一起来看看复苏后的自动驾驶是如何极速狂飙的吧!

智能制造网 ·  2天前
2021大盘点,这十家AI初创公司有点“料”!

今年的AI初创公司榜单中,涵盖了用于构建AI语音助手的无代码网络平台,用于组织提升和员工技能再培训的AI人才智能平台,以及AI驱动的地理空间分析平台等等。

至顶网 ·  2天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载