题目是AV是Autonomous Vehicles,太长写不下了。如有错漏,还望指正。
Radar-Camera Sensor Fusion for Joint Object
Detection and Distance Estimation in Autonomous Vehicles ()
作者:Ramin Nabati, Hairong Qi
原文传送门:paper
介绍:据作者说,对于一个two-stage的网络,proposals生成的网络比较影响检测精度,所以他们提出的这个网络尝试用雷达点去提高proposals生成的准确程度。具体来说,作者把基于radar和基于camera生成的proposals融合,然后再交给Fast R-CNN去做分类。
文章目录
一、网络结构二、Radar Proposal Network三、Image Proposal Network四、Distance Refinement五、Loss Function一、网络结构
作者把网络里生成proposals的地方成三个部分:
Radar Proposal Network + Image Proposal Network + Distance Refinement
二、Radar Proposal Network
下图红框就是radar proposal network:
步骤:
对每一个radar点生成2n个3D锚框 ( x , y , z , w , l , h , r ) (x,y,z,w,l,h,r) (x,y,z,w,l,h,r),其中:
( x , y , z ) (x,y,z) (x,y,z)——中心点坐标;
( w , l , h ) (w,l,h) (w,l,h)——3D锚框大小,由训练集每个类别的标注框平均大小得到;
( r ) (r) (r)——汽车的相对坐标系的转角,在这篇论文里, r = 0 ° , 90 ° r=0°, 90° r=0°,90°;
n n n——数据集中种类数。用找最小包围框的办法把3D锚框画到图像平面上;依靠雷达点生产的2D proposals和图片卷积以后的特征图一起输入到Radar Proposal Refinement(RPR)里面去。RPR里面的Box Regressor会用在radar proposal里面的图像特征来对proposal的中心点进行回归(具体怎么做还没看代码);Box classification会为每一个radar proposal估计一个表示proposal里面的物体是前景还是背景的objectness score。该文中正负例子的区分阈值和R-CNN系列的是一样的。
三、Image Proposal Network
图像的proposals生成还是沿用RPN,不过在卷积层的顶上加了一层fully connected distance regression layer用来简单估计深度。基于图像生成的proposals有两个好处:一个相比radar proposals,更不容易遗漏像行人这样的小物体;第二个是用两种不同的传感器生成proposals的话,结合起来可能可以互补一下,让结果更好。
四、Distance Refinement
这里先用NMS把多余的proposals过滤掉,具体来说是先算radar proposals和image proposals的IOU,然后把IOU高于阈值radar proposals的深度覆盖image proposals,然后再在下一步对所有proposals做NMS。
五、Loss Function
同Faster R-CNN。