论文阅读：Oriented RepPoints for Aerial Object Detection (CVPR )

paper:/abs/2105.11111

code:GitHub - LiWentomng/OrientedRepPoints: The code for “Oriented RepPoints for Aerial Object Detection (CVPR )”

摘要：与通用对象相比，空中目标通常与具有杂乱环境的任意方向非轴对齐。与回归边界框方向的主流方法不同，本文通过利用自适应点表示，提出了一种有效的自适应点学习方法来进行航空目标检测，该方法能够捕获任意方向实例的几何信息。为此，提出了三种定向转换函数，以方便准确定向的分类和定位。此外，我们提出了一种有效的质量评估和样本分配方案，用于自适应点学习，以便在训练期间选择具有代表性的面向代表的重复点样本，它能够从相邻对象或背景噪声中捕获非轴对齐的特征。引入空间约束来惩罚鲁斯特自适应学习的异常点。在包括 DOTA、HRSC、UCAS-AOD 和 DIOR-R 在内的四个具有挑战性的航空数据集上的实验结果证明了我们提出的方法的有效性。

论文第三章Oriented RepPoints定向重复点

1.Overview

2. Adaptive Points Learning with Orientation基于方向的自适应点学习

3.Adaptive Points Assessment and Assignment 自适应点评估和分配

论文第三章Oriented RepPoints定向重复点

1.Overview

我们没有像传统方法[3,8,9,45]那样直接回归方向，而是利用自适应点集[46]作为细粒度表示，它能够捕捉杂乱环境中方向变化剧烈的空中物体的几何结构。为此，我们引入了可微转换函数，其中代表点被驱动在定向对象上自适应地向适当的位置移动。为了在没有直接点到点监控的情况下有效地学习高质量的自适应点，我们提出了一种在训练阶段选择高质量的自适应点的质量度量方案。为了便于鲁棒自适应点学习，利用空间约束对易受攻击的孤立点进行惩罚，并从复杂的空中环境中找到它们的实例所有者。

2. Adaptive Points Learning with Orientation基于方向的自适应点学习

为了便于使用点集表示的定向检测器，引入转换函数将自适应点转换为定向包围盒。G表示定向转换函数，如下所示：

其中OB表示从学习点集R转换而来的定向框。在本文中，我们研究三个定向转换函数：

Minerarect旨在从定向对象上设置的学习点集找到面积最小的旋转矩形。NearestGTCorner利用地面真值注释。对于每个角点，我们从学习点集中找到最近的点作为预测角点，其中选定的角点用于构建一个四边形作为定向边界框。Convxhull。定向实例多边形可以定义为由Jarvis-March算法[7,11]驱动的一组点的凸包，许多基于轮廓线的方法都使用该算法。

请注意，NearestGtCorner和ConvexHull是可微函数，而Minerarect不是。因此，我们在后处理中使用Minerarect来获得标准旋转矩形预测，并在训练期间使用另外两个可微函数来优化自适应点学习。在有向地面真值标注的监督下，点在分类和定位损失的同时，自适应地向每个航空目标的语义关键点和几何特征移动。

拟议的框架包括两个阶段。初始化阶段通过从对象中心点（feature map bins）细化生成自适应点集。细化阶段通过最小化损失函数进一步获得精确调整，如下所示：

其中λ1和λ2是平衡加权。Lcls表示对象分类损失：

其中，表示基于学习点的预测类置信度，表示指定的地面真值类。Fcls是focal loss[19]。Ncls表示点集的总数。Ls1和Ls2分别代表初始化和细化阶段的空间定位损失。对于每个阶段，Ls可表示为：

其中，Lloc是基于转换定向框的本地化损失，Ls.c.表示空间约束损失。

...

3.Adaptive Points Assessment and Assignment 自适应点评估和分配

由于缺乏直接监控，学习高质量的点对于自适应捕获航空图像中密集且任意方向的目标的几何特征至关重要。为此，我们提出了一种有效的评估和分配方案来衡量学习点的质量，该方案旨在在训练阶段将自适应点的代表性样本分配为正样本。

自适应点的质量度量。首先，我们定义了一个质量度量Q，从四个方面评估学习到的自适应点，包括分类和定位能力Qcls、Qloc、方向对齐Qori和每个方向点集的逐点相关Qpoc。因此，Q的推导如下：

点集Ri的分类能力Qcls直接反映了其分类置信度，其中相应的分类损失Lcls度量点特征与地面真值类标签的兼容性。我们对Qcls的定义如下：

为了评估点位置与地面真值的兼容性，我们采用了基于IoU变换的定位损失作为质量评估指标。当点集的中心靠近对象的几何中心时，它表示空间对齐。因此，Qloc的定义如下：

由于Qloc可以被视为空间位置距离的度量，因此它对方向变化不敏感，尤其是对于航空图像中的方形物体。为了说明方向对齐，我们使用倒角距离[5]来评估预测点集和地面真值框轮廓点之间的方向差异。我们首先采用Minearect转换函数从学习点集获得四个空间角点。然后，从两个相邻的角点以相等的间隔对有序点集Rv（默认为40个点）进行采样。类似地，为地面真值角点fg1生成点。因此，Qori的定义如下：

其中CD表示上述两组采样点之间的倒角距离：

表示预测空间角点的采样点，表示从地面真值角点生成的采样点。

为了度量面向对象的点集上的点关联，我们提取点特征，并利用特征向量之间的余弦相似性作为学习自适应点的相关度量Qpoc。让表示第i组自适应点的第k点特征向量。表示第i个点集中的归一化嵌入特征向量及其平均值：

其中Np表示点集中的点数。默认设置为9。基于上述符号，第i点集的Qpoc可表示为如下逐点特征多样性：

动态k标签分配。动态k标签分配。基于质量度量Q，我们通过一个高效、动态的top k项选择方案在不同的迭代中分配有方向的reppoints样本。对于每个对象，我们根据质量分数对初始化阶段的所有点集样本进行排序。为了检索高质量的自适应点集样本，我们设置了采样率σ，将每次迭代时的前k个样本指定为正样本进行训练，其计算公式如下：

其中Nt表示每个定向对象在初始化阶段的点集样本总数。

在训练期间，点赋值器[46]用于在初始化阶段获得中心点的样本赋值。在细化阶段，使用所提出的自适应点评估和分配（APAA）方案，根据质量度量Q选择高质量的点样本。只有选择的正点集被分配目标的地面真值边界框。如图3所示，APAA方案使检测器能够预测高质量的定位点，以提高分类可信度和定位分数。值得一提的是，该方案仅用于训练，在推理阶段不会产生计算量。