在自动驾驶技术中,感知是最基础的部分,没有对车辆周围三维环境的定量感知,就犹如人没有了眼睛,无人驾驶的决策系统就无法正常工作。

与其他应用场景相比,自动驾驶的应用场景相对复杂,尤其面对复杂多变的路况环境,感知技术的突破需要依赖相应的数据采集标注项目的支持。

一.项目背景

车辆前置道路信息采集主要解决两个个关键需求:

  1. 障碍物的距离信息;2. 相对速度向量。

通过对障碍物的连续追踪,根据距离的变化和时间间隔得到相对速度信息,以满足自动驾驶相关业务的需求。

多城市多道路,会带来不同的路况,信号灯种类,人流和车流情况变化,多天气数据会影响图像识别精度。

二.项目方案

☆激光雷达+毫米波雷达+单目摄像头。

通过激光雷达采集点云数据,生成点云连续帧数据。在点云中标注每个障碍物的位置、标签、ID。激光数据可以精确测量障碍物距离本身的距离信息,同时通过前后帧的同ID车辆位置变化,计算出障碍物相对速度向量信息。

通过毫米波雷达,同样可以获得周围环境的点云数据,然后通过对连续帧的标注取得距离和相对速度信息。

三.采集方案

☆采集数据+既有数据收集。

对于激光、毫米雷达波和单目摄像头数据,需要采集新数据。

现有的行车记录仪数据收集,可以收集多城市,多道路,多天气下的数据,按照需求的比例分布。然后根据单目测距的方式进行标注和结果导出。行车记录仪收集的数据可以作为单目摄像头的算法验证。

四.标注规范

☆标注顺序:

从正前方开始找物体——在3D上标注并调框(脑补大小和方向)——在出现的其他方位里标注对应物——选择类型、状态、可见度——顺时针回到正前方。

☆标注对象:车、人、物

-乘用车(设计用来载人的车辆)

-卡车(设计用来拉货的车辆,包括小型皮卡车)

-卡车头

-拖斗(无论有没有被拖车连接都要标注,如:油罐,集装箱)

-巴士(10人以上载客巴士)

-摩托车(有人)

-摩托车(无人)

-自行车(有人)

-自行车(无人)

-自行车架

-集装箱

-其他交通工具(除以上类型车辆、车上有车的情况)

-成年人

-未成年人

-婴儿车

-轮椅

-动物

-交通锥桶

-临时路障

-临时交通标志/路标

-可推拉物体

-杂物和垃圾

-带物体的行人

☆属性:

-3D可见度

0%-25%

26%-50%

51%-75%

76%-100%

☆车辆状态:

1)停放(长时间停放,没有即将运动的趋势)。

2)停止(如等红灯,随时有可能移动的车辆)。

3)运动(正在移动的车辆)。

☆特殊规则:

框体和脑补:

1)紧致贴合扫描完整的边缘,不完整的边缘需要脑补。

2)如果原始点云只扫描到物体的一部分,需要脑补出合理的尺寸。

3)当点阵不完整,框体应贴合离采集车最近的一侧。

4)框体不允许悬空,或是陷入地面。

5)框体不包括车的后视镜、天线。

3D标注范围:

1)可行驶区域 120米(采集车可以开到的区域,人行道)。

2)不可行驶区域 90米(被墙体隔离的停车场等)。

标注原则:

1)任何可能危及采集车行驶安全的物体都要标注。

最小3D点阵:

1)大于等于5个点,并且只要可以确定该物体是我们需要标注的对象。

最小2D框体:

1)20x20 pixels(由于过远导致的,如果脑补超过20x20仍需要标注)。

2)截断(out of image)超过50%仍要标注(只要2D中出现一点点就要标注)。

五.标注对象类型详解

需要标注的对象有21种:

乘用小型车、卡车、卡车头、拖斗、巴士、摩托车、自行车、自行车架、集装箱、其他交通工具、成人行人、未成年行人、婴儿车、轮椅、动物、带物体的行人、杂物或垃圾、交通锥或交通杆、临时路障、临时交通标志/路标、可推拉的物体。

以下选取部分内容简单介绍:

1.乘用小型车

主要给个人使用的机动车。例如:轿车、两厢车、小货车、厢式货车、mini货车、SUV以及吉普车。

1)10座以上叫公交。

2)被设计主要用来拉货物的叫卡车。

2.卡车

主要设计用来拉货的大型机动车。

包括:皮卡、半挂车、卡车、牵引车。在牵引车后的拖斗需要被独立标为“拖斗”。

3.成人行人

注意:框需要包含行人的四肢、动作。例如坐着或站着的成人或小孩。

4.未成年行人

5.交通锥或交通杆

1)所有类型的交通锥标和交通杆。

2)方向朝着采集车,不用太精准。

6.可推拉的物体

物体被设计来让行人推或拉的。例如手推车、手推车、可推式垃圾箱或购物车。通常这些车不是被设计成载人的。

六.硬件平台

☆设备清单:

☆设备配置方案:

☆传感器参数:


七.软件平台

☆软件开发:

☆软件功能:

本系统由4个激光雷达、ECU融合器、同步时钟等设备组成。每个雷达对点云数据进行预处理、分割、特征提取处理后,将信号送入ECU融合器内进行数据融合、目标跟踪、分类等,最终输出目标序列。