腾讯优图/浙大/北大提出：重新思考高效神经模型的移动模块 ...

未知使命

一句话总结

本文提出了倒残差移动模块(iRMB)，并提出EMO：一种轻量级网络，很好地权衡了模型精度和效率，性能优于EdgeViT、Mobile-former等网络。
点击关注@CVer计算机视觉，第一时间看到最优质、最前沿的CV、AI工作~
点击进入—>Transformer微信技术交流群




Rethinking Mobile Block for Efficient Neural Models
单位：腾讯优图, 浙大, 北大, 武汉大学
论文下载链接：https://arxiv.org/abs/2301.01146
本文侧重于为密集预测设计具有低参数和FLOPs的高效模型。尽管基于CNN的轻量级方法经过多年的研究取得了惊人的成果，但权衡模型的准确性和受限的资源仍需进一步改进。
这项工作重新思考了MobileNet2中高效倒残差块和ViT中有效Transformer的本质统一，归纳抽象了元移动块的一般概念，我们认为特定的实例化对模型性能非常重要，尽管共享相同的框架。受这一现象的启发，我们为移动应用推导出了一个简单而高效的现代Inverted Residual Mobile Block，它吸收了类似CNN的效率来建模短距离依赖关系，并吸收了类似Transformer的动态建模能力来学习长距离交互。
此外，我们仅基于一系列iRMB为密集应用设计了一个类似ResNet的4-phase Efficient MOdel (EMO)。








算法细节





实验结果

在ImageNet-1K、COCO2017和ADE20K基准测试上的大量实验证明了我们的EMO优于最先进的方法，例如，我们的EMO1M/2M/5M达到71.5、75.1和78.4 Top-1，超过了基于CNN/Transformer的模型，同时很好地权衡了模型精度和效率。








点击进入—>Transformer微信技术交流群
CVer-Transformer交流群

建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer222。加的时候备注一下：Transformer+学校/公司+昵称+知乎，即可。然后就可以拉你进群了。
推荐阅读

微软提出TinyMIM：蒸馏 MIM 预训练模型的实证研究
ConvNeXt V2来了！使用MAE共同设计和扩展ConvNet
Swin MAE：用于小型数据集的掩码自编码器
NeurIPS 2022 | HUMUS-Net：用于加速MRI重建的混合展开多尺度网络结构
CNN再次反击！FCViT：视觉新主干！近距离观察空间建模：从注意力到卷积
CLIP是强大的微调器：用ViT-B和ViT-L实现85.7%和88.0%的准确率
替换U-Net！DiT：基于Transformer的可扩展扩散模型
扩散模型在医学图像上击败GAN
NMS(非极大值抑制)的反击！DETA：基于Transformer的新目标检测器
CCF论文列表(2022拟定)大更新！MICCAI空降B类！PRCV空降C类！ICLR继续陪跑...
DiffusionDet：第一个用于目标检测的扩散模型
65.4 AP刷新COCO目标检测新记录！InternImage：探索具有可变形卷积的大规模视觉基础模型
Sea和北大提出新优化器Adan：深度模型都能用！训练ViT和MAE减少一半计算量！
YOLOv4团队打造YOLOv7！最先进的实时目标检测网络来了！
FAIR提出ConvNeXt：2020 年代的卷积网络
清华提出：最新的计算机视觉注意力机制(Attention)综述！
为何Transformer在计算机视觉中如此受欢迎？
Transformer一脚踹进医学图像分割！看5篇MICCAI 2021有感

狗狗默默长

嘘，低调。

聖喆

为毛老子总也抢不到沙发？！！

种豆南山下

我擦！我要沙发！

如唐诗一样的生活

占坑编辑ing

坦然而行

啊啊啊啊啊啊啊啊啊啊啊

找你做任务

珍爱生命，果断回帖。

雅兰居士

佩服佩服！

上山打老虎之今晚打虎

高手云集 果断围观

瞅啥了瞅

LZ敢整点更有创意的不？兄弟们等着围观捏~