百度最新！StereoDistill: 用于双目3D目标检测的LiDAR ...

白立杰

论文：https://arxiv.org/pdf/2301.01615.pdf
作者单位：华中科技大学 百度

论文思路：

本文提出了一种跨模态蒸馏方法StereoDistill,通过在响应级从上级激光雷达模型中蒸馏双目（stereo）检测器来缩小，双目和基于激光雷达（stereo and LiDAR-based）的方法之间的差距，这是三维目标检测蒸馏中经常忽略的问题。 StereoDistill的关键设计是：用于回归的X-component Guided Distillation (XGD)和用于分类的Cross-anchor Logit Distillation (CLD)。 在XGD中，本文不采用经验阈值来选择高质量的教师预测作为软目标，而是将预测的3D盒分解为子分量，如果教师分量先导与地面事实一致，则保留相应的部分进行精馏，从而大大提高了正面预测的数量，减轻了学生模型的模仿难度。 对于CLD，本文将所有anchors点在同一位置的概率分布聚合起来，以鼓励最高概率的anchors点，而不是在anchors点级别单独蒸馏分布。 最后，本文的StereDistill在KITTI测试基准上实现了基于双目的三维检测，并在KITTI和Argoverse数据集上进行了大量实验，验证了该算法的有效性。

作者：汽车人 | 自动驾驶之心->：【3D目标检测】技术交流群

点击关注@自动驾驶之心，第一时间看到最前沿与价值的CV/自动驾驶/AI类工作~
强烈推荐！自动驾驶与AI学习社区：欢迎加入国内首个自动驾驶开发者社区！这里有最全面有效的自动驾驶与AI学习路线（感知/定位/融合）和自动驾驶与AI公司内推机会！
主要贡献：

本文验证了响应级的跨模态知识蒸馏可以提高基于双目的三维目标的性能。 提出的X-component Guided Distillation (XGD)回归方法通过在锐角向量的引导下保持有益的X-component作为软目标，避免了激光雷达模型中错误的三维盒的负面影响。
考虑到自动驾驶场景中目标之间不存在重叠，本文引入了简单有效的Cross-anchor Logit Distillation (CLD)进行分类，将所有anchors在同一位置上的概率分布聚合起来，而不是在anchors层上蒸馏分布。
网络设计：



图2：本文的提出的双目蒸馏方法的pipeline。 学生模型和教师模型分别以双目图像和激光雷达点作为输入。 在响应水平上，X-component Guided Distillation(XGD)和Cross-anchor Logit Distillation(CLD)分别应用于三维箱回归和分类头。 在XGD中，本文将3D盒子分解成大小(HWL)、中心(XYZ)和旋转角(θ)等子分量，并在师生对和GT-学生对的矢量角为锐角的情况下将这些分量作为软目标。 在CLD中，本文将落在同一位置的所有anchor点的置信度分数变平，并将其转换为统一的分布，以突出最有价值的anchor点。


图3：本文的X-component Guided Distillation（以中心分量为例，说明教师的预测是否对学生有利。案例(a)描述了学生对GT向量和学生对教师向量之间的钝角，表明教师与GT不一致。相反，在案例(b)中，本文观察到两个向量之间的锐角，验证了作为软目标引导学生向GT方向回归是有利的。


图4：经典logit蒸馏和本文的Cross-anchor Logit Distillation的过程。 来自学生网络和教师网络的信心分数分别用蓝色和绿色标记。 而且颜色越深，信心越高
算法：









实验结果：



图1:LIGA（Guo et al.2021）的KITTI验证集上通过用教师激光雷达模型Second（Yan,Mao,and Li 2018）替换双目模型（Student）的回归和分类结果的3D检测性能（3D地图）。










自动驾驶与AI学习社区

欢迎加入国内首个自动驾驶开发者社区！这里有最全面有效的自动驾驶与AI学习路线（感知/定位/融合）和自动驾驶与AI公司内推机会！
自动驾驶之心—3D目标检测

建了自动驾驶之心3D目标检测交流群！想要进交流群的同学，可以直接加微信号：AIDriver001。加的时候备注一下：3D检测+学校/公司+昵称，即可。然后就可以拉你进群了。
往期回顾

自动驾驶之心 | 卡尔曼滤波实战 | 形象化理解卡尔曼滤（附源码）
自动驾驶之心 | 纯视觉/激光雷达/多传感器融合 | 基于BEV空间的视觉感知算法模型梳理（自下而上&自上而下）
自动驾驶之心 | 轻量ViT王者 | EfficientFormerV2：全新轻量级视觉Transformer
自动驾驶之心 | 纯视觉BEV再度突破！DETR4D：时序融合新思路（南洋理工最新）
自动驾驶之心 | 一文尽览 | 开放世界目标检测的近期工作及简析！（基于Captioning/CLIP/伪标签/Prompt）
自动驾驶之心 | NMS又回来了！DETR中的NMS反击！（得克萨斯大学）
自动驾驶之心 | SDA3D:用于点云三维目标检测的半监督域自适应算法
自动驾驶之心 | 3D激光雷达-IMU无目标外参标定
自动驾驶之心 | 最新综述 | 复杂环境中的计算机视觉问题介绍及解决！
自动驾驶之心 | 高精地图新基线 | SuperFusion：多层次Lidar-Camera融合，nuScenes SOTA！

人都麻了

看起来不错