谷歌大脑最新操作玩“复古”:不用卷积注意力,图像分类接近SOTA

作者: 佚名 2021-05-06 15:55:01

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

谷歌大脑的视觉Transformer团队(ViT),搞了个复古操作。

他们不用卷积神经网络(CNN)、也不用Transformer,仅凭最早的AI视觉任务采用的多层感知机(MLP)结构,就实现了接近SOTA的性能,更是在ImageNet图像分类任务上取得了87.94%的准确率。

谷歌大脑最新操作玩“复古”:不用卷积注意力,图像分类接近SOTA

这个架构名为MLP-Mixer,采用两种不同类型的MLP层,可以看做是一个特殊的CNN,使用 1×1卷积进行通道混合(按位操作),同时全感受野和参数共享的的单通道深度卷积进行字符混合(跨位操作)

在JFT-300M数据集上预训练、微调到224分辨率的Mixer-H/14版本取得了86.32%的准确率,比SOTA模型ViT-H/14仅低0.3%,但运行速度是其2.2倍

论文地址:
https://arxiv.org/abs/2105.01601

项目地址:
https://github.com/google-research/vision_transformer/tree/linen

谷歌 Android 开发
上一篇:AI智能语音识别算法 下篇 下一篇:做出电影级的 CG 渲染!斯坦福大学研究人员提出神经光图渲染
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

谷歌推出新AI工具 可识别常见皮肤状况

5月19日消息,据外媒报道,由于人工智能在医疗保健领域有多种用途,谷歌计划使用人工智能帮助用户了解更多常见的皮肤病。当与智能手机等技术相结合时,这种医学知识可以真正改善个人了解自身健康的方式。

Yu ·  2021-05-31 14:57:13
谷歌正在应用AI破解数据中心的下一代地热能

根据谷歌的说法,人工智能有望帮助解决这些问题,并开发出比目前世界各地部署的地热发电厂更高效、发电量更高的下一代地热发电厂。谷歌希望其在这一领域的投资将帮助公司实现到2030年为所有数据中心和办公室提供全天候无碳能源的目标。

佚名 ·  2021-05-25 14:36:47
谷歌推出新功能,利用 AI 工具拍照检测皮肤病

谷歌这项功能会展现每一个相匹配的皮肤状况,目前数据库中共有 280 种皮肤病的信息。此外,这个 AI 工具还是用了专业 CT 检查中用于检测糖尿病、肺癌的技术。

信鸽 ·  2021-05-19 10:10:11
谷歌人工智能实验室DeepMind将在加拿大招募研究人员

2014年被谷歌收购的位于伦敦的人工智能实验室DeepMind将其寻找世界上最好的人工智能研究人员的工作扩展到了加拿大多伦多。

Yu ·  2021-05-06 08:48:30
机器学习新算法更好描述量子系统模型

近日,英国布里斯托大学量子工程技术实验室的研究人员在《自然·物理学》杂志上发表一篇新论文,解释了一种通过充当自主代理,使用机器学习对哈密顿模型进行逆向工程的算法。这种新算法对量子系统基本物理原理提供了宝贵见解,有望带来量子计算和传感领域的重大进步,并有可能翻开科学研究的新篇章。

张佳欣 ·  2021-04-30 15:12:07
谷歌实现2种新的强化学习算法,“比肩”DQN,泛化性能更佳

来自Google Research的研究人员,证明可以使用图表示 (graph representation)和AutoML的优化技术,来学习新的、可解析和可推广的RL算法!

丰色 ·  2021-04-29 14:53:14
袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面,LeCun点赞

Facebook最近公布的腕带式的AR传感器,让你在虚拟世界get绯红女巫同款技能。

子豪 ·  2021-03-22 11:18:53
谷歌解雇伦理学家后三个月,AI伦理研究会议暂停谷歌赞助

ACM公平、责任与透明度大会(FAccT)的会议赞助商联合主席兼Boise State University助理教授Michael Ekstrand于今天证实,该会议已决定中止与Google的赞助关系。

大数据文摘 ·  2021-03-10 23:29:22
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载