野外双注意力引导注视目标检测

摘要：

凝视目标检测旨在推断场景中每个人正在看的位置。现有工作专注于 2D 凝视和 2D 显着性，但未能利用 3D 上下文。在这项工作中，我们提出了一种三阶段方法来模拟 3D 空间中的人类注视推理行为。在第一阶段，我们引入了一种从粗到细的策略来从头部稳健地估计 3D 凝视方向。预测的凝视被分解为图像平面上的平面凝视和深度通道凝视。在第二阶段，我们开发了一个双注意力模块（DAM），它利用平面凝视产生视野，并根据深度通道凝视屏蔽由深度信息调节的干扰对象。在第三阶段，我们使用生成的双重注意力作为指导来执行两个子任务：

（1）识别注视目标是在图像内部还是外部； (2) 定位目标如果在里面。大量实验表明，我们的方法在 GazeFollow 和VideoAttentionTarget 数据集上的表现优于最先进的方法。