腾讯优图/浙大/北大提出：重新思考高效神经模型的移动模块 ...

未知使命

一句话总结

本文提出了倒残差移动模块(iRMB)，并提出EMO：一种轻量级网络，很好地权衡了模型精度和效率，性能优于EdgeViT、Mobile-former等网络。
点击关注@CVer计算机视觉，第一时间看到最优质、最前沿的CV、AI工作~
点击进入—>Transformer微信技术交流群




Rethinking Mobile Block for Efficient Neural Models
单位：腾讯优图, 浙大, 北大, 武汉大学
论文下载链接：https://arxiv.org/abs/2301.01146
本文侧重于为密集预测设计具有低参数和FLOPs的高效模型。尽管基于CNN的轻量级方法经过多年的研究取得了惊人的成果，但权衡模型的准确性和受限的资源仍需进一步改进。
这项工作重新思考了MobileNet2中高效倒残差块和ViT中有效Transformer的本质统一，归纳抽象了元移动块的一般概念，我们认为特定的实例化对模型性能非常重要，尽管共享相同的框架。受这一现象的启发，我们为移动应用推导出了一个简单而高效的现代Inverted Residual Mobile Block，它吸收了类似CNN的效率来建模短距离依赖关系，并吸收了类似Transformer的动态建模能力来学习长距离交互。
此外，我们仅基于一系列iRMB为密集应用设计了一个类似ResNet的4-phase Efficient MOdel (EMO)。








算法细节





实验结果

在ImageNet-1K、COCO2017和ADE20K基准测试上的大量实验证明了我们的EMO优于最先进的方法，例如，我们的EMO1M/2M/5M达到71.5、75.1和78.4 Top-1，超过了基于CNN/Transformer的模型，同时很好地权衡了模型精度和效率。








点击进入—>Transformer微信技术交流群
CVer-Transformer交流群

建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer222。加的时候备注一下：Transformer+学校/公司+昵称+知乎，即可。然后就可以拉你进群了。
推荐阅读

微软提出TinyMIM：蒸馏 MIM 预训练模型的实证研究
ConvNeXt V2来了！使用MAE共同设计和扩展ConvNet
Swin MAE：用于小型数据集的掩码自编码器
NeurIPS 2022 | HUMUS-Net：用于加速MRI重建的混合展开多尺度网络结构
CNN再次反击！FCViT：视觉新主干！近距离观察空间建模：从注意力到卷积
CLIP是强大的微调器：用ViT-B和ViT-L实现85.7%和88.0%的准确率
替换U-Net！DiT：基于Transformer的可扩展扩散模型
扩散模型在医学图像上击败GAN
NMS(非极大值抑制)的反击！DETA：基于Transformer的新目标检测器
CCF论文列表(2022拟定)大更新！MICCAI空降B类！PRCV空降C类！ICLR继续陪跑...
DiffusionDet：第一个用于目标检测的扩散模型
65.4 AP刷新COCO目标检测新记录！InternImage：探索具有可变形卷积的大规模视觉基础模型
Sea和北大提出新优化器Adan：深度模型都能用！训练ViT和MAE减少一半计算量！
YOLOv4团队打造YOLOv7！最先进的实时目标检测网络来了！
FAIR提出ConvNeXt：2020 年代的卷积网络
清华提出：最新的计算机视觉注意力机制(Attention)综述！
为何Transformer在计算机视觉中如此受欢迎？
Transformer一脚踹进医学图像分割！看5篇MICCAI 2021有感

狗狗默默长

嘘，低调。