谷歌大脑最新操作玩“复古”:不用卷积注意力,图像分类接近SOTA
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转谷歌载请联系出处。
谷歌大脑的视觉Transformer团队(ViT大脑),搞了个复古操作。
他们不用卷积神经网络(CNN)、也不用Trans最新former,仅凭最早的AI视觉任务采用的多层感知机(MLP)操作结构,就实现了接近SOTA的性能,更是在ImageNet图像分类玩“任务上取得了87.94%的准确率。
这个架构名为MLP-Mixe复古r,采用两种不同类型的MLP层,可以看做是一个特殊的CNN,使用 1”:×1卷积进行通道混合(按位操作),同时全感受野和参数共享的的单通道深不用度卷积进行字符混合(跨位操作)。
在JFT-300M数据集上预训卷积练、微调到224分辨率的Mixer-H/14版本取得了86.3注意2%的准确率,比SOTA模型ViT-H/14仅低0.3%,但运行速度力,是其2.2倍。
论文地址:
https://arxiv.org/abs图像/2105.01601
项目地址:
https://github.com/分类google-research/vision_transformer/接近tree/linen
相关文章:
相关推荐:
- 云计算核心技术Docker教程:使用scratch 创建一个简单的父图像
- 标签: 北京市监局 12306 携程 去哪儿
- 英特尔CEO陈立武上任半年首秀:18A制程Panther Lake芯片来了,美国本土最先进制造工艺
- 云计算开发:Python练习实例-求正整数
- 江南农商银行携手京东云 推出全国首个业务办理类数字人
- 沙利文全栈AI云服务报告:阿里云占比40.1%,超第二至第四名总和
- 重拳出击!滴滴首度公开安全AI模型,顺风车风险防控进入“人机协同”新阶段
- 标签: 银河通用 人形机器人 宁德时代 医疗康养
- Scality:容器化和云本地应用将定义2021年的数据存储格局
- 标签: 中国石油 中油电能 塔里木上库 国网新源
栏目分类
最新文章
热门文章
