本文提出了 Deformable PV-RCNN，一种基于点云的高性能 3D 目标检测器。目前，最先进的两阶段检测器使用的proposal细化方法不能充分适应不同尺度的目标对象、不同的点云密度、部分变形和杂波。作者提出了一个受 2D 可变形卷积网络启发的proposal细化模块，该模块可以从存在信息内容的位置自适应地收集特定于实例的特征。作者还提出了一种简单的上下文门控机制，允许关键点为细化阶段选择相关的上下文信息。

1、简介

点云的 3D 目标检测对于自动驾驶和机器人技术至关重要。PV-RCNNs 成功的部分原因是随机采样的关键点捕获多尺度特征以进行proposal细化，同时保留细粒度的定位信息。
然而，随机抽样对潜在的模糊场景无效。例如，在点云中很难区分行人和交通杆。在这种情况下，作者希望将关键点对准最具辨别力的区域，以便可以突出显示行人的主要特征。同样，汽车、行人和骑自行车的人的比例也大不相同。虽然多尺度特征聚合有利于图像特征，但点云的非均匀密度使得使用单个模型很难检测到它们。
作者希望自适应地聚合并关注它们在不同尺度上最显著的特征。最后，为了处理混乱并避免误检，例如，为了避免将所有坐着的人检测为骑自行车的人，需要了解分布不均的上下文信息。
本文构建了 Deformable PV-RCNN，这是一种处理 LIDAR 点稀疏性的 3D 检测器，能够适应非均匀点云密度，尤其是在远距离处，并且可以解决现实世界交通场景中的杂波问题。作者表明，本文方法可以在不同类别上优于 PV-RCNN，尤其是在 KITTI 3D 目标检测数据集上的远距离目标。

2、本文方法

3D 检测的Pipeline如图 1 所示。它由Adaptive Deformation module（图 2）和Context Fusion module（图 3）组成。

2.1、Adaptive Deformation

n 个采样的关键点（在图1中以黄色显示）具有 3D 位置 和对应于 Conv3 或 Conv4 层的特征向量 。Adaptive Deformation模块计算更新的特征 如下：
其中 给出了点云中第 i 个关键点的邻居和 是一个学习的权重矩阵。然后获得新的deformed keypoint位置为:
其中 是一个学习的权重矩阵。然后，继续使用类似于 PV-RCNN 的 PointNet++ 计算deformed keypoint的特征。

2.2、Context Fusion

该模块使用上下文门控从local evidence中动态选择具有代表性和判别性的特征，突出目标特征并抑制clutter。给定一个关键点特征 ，调制特征为:
上下文门控特征计算为:
其中 、、 是从数据中学习的。

3、实验

3.1、SOTA对比

3.2、消融实验

3.3、远距离目标对比

4、参考

[1].Deformable PV-RCNN: Improving 3D Object Detection with Learned Deformations.

长按扫描下方二维码添加小助手并加入交流群，群里博士大佬云集，每日讨论话题有目标检测、语义分割、超分辨率、模型部署、数学基础知识、算法面试题分享的等等内容，当然也少不了搬砖人的扯犊子
长按扫描下方二维码添加小助手。
可以一起讨论遇到的问题

声明：转载请说明出处

扫描下方二维码关注【集智书童】公众号，获取更多实践项目源码和论文解读，非常期待你我的相遇，让我们以梦为马，砥砺前行！
继续阅读
阅读原文