Apollo代码学习笔记之Apollo感知框架

Apollo作为优秀的自动驾驶平台，为广大自动驾驶工程师提供了很好的学习机会，仔细研究它的代码有利于更加深入理解自动驾驶算法的开发。本文学习的是Apollo的感知框架。

一、概览

本文是感知框架介绍，感知框架如图所示，包含点云感知、视觉感知、毫米波感知、红绿灯感知。

绿色的是点云感知，点云感知的流程是线性依赖关系，简洁易理解。蓝色的是视觉感知，视觉感知有三种方式，在运行时需要选择一种。紫色的是毫米波感知，毫米波雷达感知是一个单独的组件。棕色的是多传感融合组件，融合点云感知结果、视觉感知结果以及毫米波感知结果，最终把融合结果输出给预测模块，用于预测障碍物的运动轨迹。粉色的是红绿灯感知，红绿灯感知得到红绿灯检测结果并发送到指定通道。

二、感知框架代码结构

左侧是感知的组件，每个组件都完成独立的功能，完整的感知功能需要组合多个组件完成，开发者可以修改、添加自己的组件，完成自己需要的功能。

这里展开Lidar_detection组件作为说明，其他组件内的代码结构与Lidar_detection类似。Lidar_detection中conf内是组件配置文件；dag文件夹内是dag启动文件；data文件夹里放的是每个detector中的配置，detector中有4个独立的检测模型，在conf配置中需要选择一种检测模型；interface中是接口类，检测模型继承此接口类；launch中是启动文件；object_builder中计算目标的2D多边形，计算包围盒、中心点、长宽高； tools 内是离线工具，用于运行检测功能；build 是编译文件； Cyberfile.xml中完成包定义，以及说明包的依赖项。
Lidar_detection_component.cc和.h 完成此组件的定义以及入口。

三、视觉感知

视觉感知有三种方式。第一种是Multi_stage多阶段的，首先detection组件输出2D框以及长宽高、朝向，estimation组件做深度估计，refinement组件对深度估计结果微调，有了深度信息就能得到目标的3D坐标，最后是目标跟踪，得到目标的速度、track-ID等。第二种是single_stage单阶段的，直接计算得到目标的3D框，紧接着就是目标跟踪，计算目标速度、track-ID等。第三种是BEV，通常使用环视相机，模型直接得到目标的3D信息， BEV后接 camera-tracking计算目标的速度、track-ID等。

四、点云感知

点云感知的组件依赖关系是线性的，能够灵活的修改添加组件。点云预处理模块对点云做过滤，删除异常的、扫描到车身上的点云；基于地图的兴趣区域，根据高精地图的road和 junction边界，判断点云是否在高精地图内，并打上对应的标签。如下图，主车在红点位置，蓝色方格表示 ROI 区域，黄色方格表示非 ROI 区域。

地面点检测功能是检测出地面，对地面点云和非地面点云打标签；目标检测组件完成3D目标检测功能，获得目标结果。其中CX、CY、CZ表示目标中心， length、width、height表示目标的长、宽、高，heading表示目标的朝向，type表示目标的类型。目标检测过滤组件在完成目标检测后，对目标做过滤。下图是目标检测的示例图，每个目标都有一个3D的框，不同类型的目标用不同颜色表示。

最后是多目标跟踪组件，多目标跟踪计算目标运动的历史轨迹，得到更加稳定的朝向、速度、位置、跟踪 ID 等信息。

五、毫米波感知

Radar_detection是一个完整的组件，其中包含了预处理、检测、跟踪以及过滤功能。

上图左部分是Radar感知的流程，首先是预处理，对目标 ID 重分配并修正时间戳，然后获得pose，获取主车周围的高精度地图信息，最后感知部分detect计算Radar目标的3D box、 速度、状态、类别等； ROI FILTER根据ROI过滤目标，只保留ROI内的目标；racking多目标跟踪，通过卡尔曼滤波更新目标状态。

六、多传感器融合

多传感融合是一个单独的组件，下图是多传感融合的工作流程。

多传感融合输入的是Lidar、camera、Radar检测的目标结果，融合的是已得到的目标结果，是一种后融合方法。数据关联是为了关联不同传感器的检测目标，数据关联是一个二分图带权匹配问题，可以用二分图匹配算法，也可以用贪心算法来做匹配。获取数据关联结果后做目标融合，融合内容包含有存在性、运动状态、形状、类别。Gatekeeper判断目标是否能够发布，根据三种传感器，目标有不同的发布策略。最后得到多传感融合的目标结果，可将此结果发布到对应channel，传递给下个模块。

七、红绿灯感知

红绿灯感知检测红绿灯状态。Region_proposal根据高精地图获取红绿灯的候选区，候选区内包含了红绿灯框。 Detection根据候选区检测出其中的红绿灯框。Recognition根据红绿灯框检测出灯色。Tracking根据时序关系得到红绿灯检测结果，能够识别红绿灯是否在闪烁。

上图分别是 6 毫米和 12 毫米相机在同个位置检测红绿灯的效果。其中蓝色框是高精地图标注的红绿灯位置，白色框是候选区。绿色框是 detection 组件检测出的灯框，左上角的绿色表示recognition和tracking之后的结果，从图中可以看到，红绿灯检测的位置和灯色都正确。