博客

PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

  • Post author:
  • Post category:其他


在这里插入图片描述


paper


code



问题以及创新点



问题

  1. Voxel的方法由于对原始点云做了预处理，虽然能够更有效的提取候选区域，但不够准确
  2. 基于点云的方法，相对位置更加准确，但内存消耗比较大



创新点

  1. 充分利用两种方法的优势，通过voxel有效地获取目标候选区域，通过点云对坐标位置进行更精准的refine。



网络架构

在这里插入图片描述

整个网络包含了两个分支。

上分支： 

 - 原始点云
 - 体素化
 - 3D Sparse convolution提取特征，并完成1×,2×， 4× ，8×下采样。
 - 转化为鸟瞰图
 - RPN预测 3Dbbox

下分支： 

 - 分别以原始点云，以及各层下采样的提速化，BEV作为输入
 - 通过PointNet++ 中 Set Abstraction modue 针对性提取点云特征。将Sparse Convolution主干网络中多个scale的sparse voxel及其特征投影回原始3D空间，然后将少量的keypoint (从点云中sample而来) 作为球中心，在每个scale上去聚合周围的voxel-wise的特征。



Predicted Keypoint Weight

在这里插入图片描述

由于经过Voxel提取的keypoints可能分布在背景中，正通过attention的方法，调整前景以及背景的权重



RoI-grid Pooling via Set Abstraction

在这里插入图片描述

在每个RoI里面均匀的sample一些grid point，然后将grid point当做球中心，去聚合周围的keypoint的特征



experiments

在这里插入图片描述

MMLAB 自己介绍的文章:https://zhuanlan.zhihu.com/p/148942116


版权声明：本文为qq_39791748原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。