涨点神器!谷歌大脑提出:Dual PatchNorm

1
回复
97
查看
[复制链接]

微信扫一扫 分享朋友圈

5

主题

13

帖子

29

积分

新手上路

Rank: 1

积分
29
发表于 2023-3-4 07:35:46 | 显示全部楼层 |阅读模式
一句话总结

本文提出Dual PatchNorm:两个 Layer Normalization层(LayerNorm),即放置在Vision Transformers中的patch embedding层的之前和之后。
点击关注@CVer计算机视觉,第一时间看到最优质、最前沿的CV、AI工作~
点击进入—>Transformer微信技术交流群


Dual PatchNorm



Dual PatchNorm
单位:谷歌大脑
论文:https://arxiv.org/abs/2302.01327
本文证明了Dual PatchNorm优于在Transformer块本身中对替代LayerNorm放置策略进行穷举搜索的结果。


实验结果

在我们的实验中,结合这种微不足道的修改,通常会比调谐良好的视觉Transformer提高精度,而且不会造成伤害。










点击进入—>扩散模型微信技术交流群
CVer-扩散模型交流群

建了CVer-扩散模型交流群!想要进扩散模型交流群的同学,可以直接加微信号:CVer222。加的时候备注一下:缺陷检测+学校/公司+昵称+知乎,即可。然后就可以拉你进群了。
推荐阅读

ICLR 2023 高分论文!ImageNet上的3D生成
BLIP-2:使用冻结图像编码器和大型语言模型的语言-图像预训练
MedSegDiff-V2:基于Transformer和扩散模型的医学图像分割
涨点显著!FAIR提出CutLER:用于无监督目标检测和实例分割的切割和学习
超越YOLOv7、v8!YOLOv6 v3.0 正式发布
YOLOv8来了!YOLOv5官方团队出品!
ConvNeXt V2来了!使用MAE共同设计和扩展ConvNet
替换U-Net!DiT:基于Transformer的可扩展扩散模型
扩散模型在医学图像上击败GAN
NMS(非极大值抑制)的反击!DETA:基于Transformer的新目标检测器
CCF论文列表(2022拟定)大更新!MICCAI空降B类!PRCV空降C类!ICLR继续陪跑...
DiffusionDet:第一个用于目标检测的扩散模型
65.4 AP刷新COCO目标检测新记录!InternImage:探索具有可变形卷积的大规模视觉基础模型
Sea和北大提出新优化器Adan:深度模型都能用!训练ViT和MAE减少一半计算量!
YOLOv4团队打造YOLOv7!最先进的实时目标检测网络来了!
FAIR提出ConvNeXt:2020 年代的卷积网络
清华提出:最新的计算机视觉注意力机制(Attention)综述!
为何Transformer在计算机视觉中如此受欢迎?
Transformer一脚踹进医学图像分割!看5篇MICCAI 2021有感
回复

使用道具 举报

1

主题

4

帖子

4

积分

新手上路

Rank: 1

积分
4
发表于 2023-3-4 07:36:19 | 显示全部楼层
这是什么原理
[发呆]
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表