多传感器融合|多传感器融合课程笔记------多传感器融合之绪论计算机视觉|人工智能|自动驾驶

多传感器融合之绪论一、传感器类型

摄像头
激光雷达
毫米波雷达
超声波雷达
IMU
GNSS和RTK

1. 摄像头
摄像头根据安装位置，可以分为前视、侧视、后视、内置、环视等。
摄像头相关参数介绍：

焦距
焦距和FOV关系相反。
有效的探测距离
视场角
分辨率大小
最低照度
信噪比
动态范围

2. 激光雷达

文章图片

文章图片

激光雷达参数：

视场角
分辨率
测距范围
刷新频率
扫描频率
激光波长：通常为纳米级，最常见为905nm和1550nm。
最大辐射功率

激光雷达的测距有两种，一种是基于时间的测量方法，也叫飞行时间法(TOF)：脉冲法和三角法；另一种是不基于时间的测距法：相位式测量方法。
3. 毫米波雷达
毫米波是一种波长介于 30~300GHz 频域波长为(1~10nm)的电磁波。其波长短，频段宽，比较容易实现窄波束，具有分辨率高，不易受干扰等特点。毫米波雷达是采用毫米波对目标进行探测，获取目标的相对距离、相对速度、方位的高精度传感器。

文章图片

24GHz毫米波雷达一般用在角雷达。因为它是窄带，所以测距范围短。77GHz毫米波雷达一般用在前后。
毫米波雷达对于静态和动态目标均能做出高精度测量，且能实现远距离感知和探测。但是对于横向目标敏感度低，如对横穿车辆检测效果不佳。同时，对行人反射波较弱，对行人分辨率不高，对高处物体及其小物体检测效果不佳等。
毫米波雷达参数:

距离
速度：最大探测速度，速度分辨率，测速精度
角度：探测视角范围FOV，角分辨率，测角精度。

文章图片

文章图片

4. IMU
惯性测量单元IMU提供的是一个相对的定位信息，其作用是测量相对于起点物体所运动的路线，所以 IMU不能提供所在的具体位置信息，所以经常和GPS一起使用，当在某些GPS信号微弱时，IMU就可以帮助汽车获得绝对位置的信息。
在自动驾驶中的作用是：

IMU可以验证RTK GPS结果的自洽性，并对无法自洽的绝对定位数据进行滤波和修正；
IMU可以在RTK GPS信号消失之后，仍然提供持续若干秒的亚米级定位精度，为自动驾驶汽车争取宝贵的异常处理的时间；

5. GNSS和RTK

文章图片

6. 超声波雷达

文章图片

在自动驾驶中的应用：

泊车车位检测
高速横向辅助

二、传感器同步传感器同步分为时间同步和空间同步。

时间同步
时间同步就是通过统一的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，以做到所有传感器时间戳同步。
空间同步
也就是不同传感器坐标系下的测量值转换到同一坐标系下。也就是外参标定。

1. 时间同步
先来了解一下传感器时间戳。我们主机上，或者说系统上，存在着一个系统时间戳，有时候也成为Unix或POSIX时间戳。而不同的传感器有不同的传感器时间戳，例如：

文章图片

传感器频率也不尽相同。通常Lidar是10Hz，Camera是20Hz。不同传感器之间的数据还存在一定的延时，所以可以通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大，且传感器或障碍物又在运动，那么最终会得到较大的同步误差。
一般时间同步存在两个方法：

硬同步
软同步

所谓的时间硬同步，就是通过唯一的时钟源给各传感器提供相同的基准时间，各传感器根据提供的基准时间校准各自的时钟时间，从硬件上实现时间同步。例如：

文章图片

目前自动驾驶中主流时间同步是以GPS时间为基准时间，采用PTP/gPTP时钟同步协议来完成各传感器之间的时间同步，PTP 前提是需要交换机支持PTP协议，才能实现高精度同步。与PTP同时出现的还有一种NTP，即网络时间协议，不同的是PTP是在硬件级实现的， NTP是在应用层级别实现的。

文章图片

文章图片

由于每个传感器都有自己的时间戳，这里统一时钟就是来同步不同传感器时间戳的。如果传感器支持硬件触发的情况下，可以采用GPS时间戳作为基准进行硬件触发，这时传感器给出的数据中包含的时间戳即为全局时间戳（GPS时间戳）而非传感器时间戳。
除了时间硬件同步，还有时间软同步。时间软同步分为以下几种方法:

时间直接配准法
这种方法适合频率具有整数倍关系的传感器之间，以频率低的为基准，找出时间戳对应的数据即可。类似于ROS机制内，多个话题同时进入回调函数，但需要满足时间戳相近或者对齐。这种方法误差比较大，而且要求传感器之间的帧率是整数倍。

文章图片
时间最小二乘拟合法
最小二乘法是时间配准中常用的一种方法，适合帧率非整数倍关系的传感器之间的时间对齐。就是将其中一个传感器的观测数据通过某种特定的拟合原则得到一个关于时间的曲线，然后通过该曲线得到与另一个传感器对应时刻的数值，即可得到同一时刻两种种传感器的数据配准。

文章图片
内插外推法
内插外推法适用于传感器间帧率不存在倍数关系的情况，或者传感器有帧率不稳定的情况。主要利用两个传感器帧上的时间标签，计算出时间差，然后通过包含有运动信息的目标帧与时间差结合，对帧中每一个目标的位置进行推算，推算出新的帧时各个目标的位置，并于原有的两帧之间建立新的帧。
其他方法
比如虚拟融合方法。

2. 空间同步
空间同步大致为两个部分：

运动补偿
标定

运动补偿分为两类: ego motion和motion from others。

文章图片

运动补偿方法:

纯估计方法
纯估计方法一般是基于激光雷达匀速假设，通过帧间点云匹配来计算激光雷达的位置来进行线性补偿的。常用的方法包括ICP(Iterative Closest Point，迭代最近点算法)以及其相关的变种(VICP)，以及ANN(Approximate Nearest Neighbor)。

文章图片

可是VICP这种方法有缺点：
- 低频率激光，匀速运动假设不成立。
- 数据预处理和状态估计过程耦合。
里程计辅助方法
里程计辅助方法是利用IMU信息对激光数据中每个激光点对应的传感器位姿进行求解，即求解对应时刻传感器的位姿，然后根据求解的位姿把所有激光点转换到同一坐标系下，然后封装成一帧激光数据，发布出去（可以理解为激光点云的去畸变）。
处理流程：
1. 通过IMU与点云数据时间对齐，然后对每个点进行速度补偿，通过时间戳进行线性插值，然后将所有点云数据转换到初始点云的IMU坐标下；
2. 与上一帧的去完畸变的点云数据进行帧间匹配，计算激光姿态。并通过计算的姿态对每个点云进行线性补偿，将所有的点云数据根据时间戳转换到最后一个点云数据时间戳下，即完成了里程计方法的补偿。
这种方法有以下优点：
- 极高的位姿更新频率，能够比较准确地反应运动情况
- 较高精度的局部位姿估计
- 跟状态估计完全解耦
融合方法
Odom与匹配方法的结合。
处理流程：
1. 用里程计方法进行矫正，去除绝大部分的运动畸变；
2. 认为里程计存在误差，但是误差值是线性分布的；
3. 用ICP的方法进行匹配，匹配的结果作为真值，得到里程计的误差值；
4. 把误差值均摊在每一个点上，重新进行激光点位置修正；
5. 再一次进行ICP迭代，直到收敛为止；
位置误差的线性假设比位置线性假设更合理！！！

传感器标定
整车标定，可以理解多所有传感器的联合标定，即在一个专门设计过的封闭开阔区域，有很多信息比较明显的参照物（如车辆周围的标定板或者周围轮廓比较明细的障碍物），利用上述几种方法进行整车所有感知传感器的标定。

文章图片

相机与相机
自动驾驶场景中，一般会有多个相机，长焦距用来检测远处场景，短焦距用来检测近处。对于多相机，一般采用长焦相机投影到短焦相机的融合图像进行标定（已经不再是简单的共视，而是目标对齐）。在融合图像的融合区域内，选择较远物体进行对齐判断，如果重合度高，那么精度则高，如果出现错位，那么就存在一定误差。如果误差大于一定值，就需要重新标定。
相机与Lidar
最常见的激光与相机联合标定方法是将激光产生的点云投影到图像内，然后寻找标记物（可能是标定设备，也可能是具有明显边缘的静止物体），查看其边缘轮廓对齐情况，如果在一定距离内（一般选50-60m）的目标，点云边缘和图像边缘能够重合，则可以证明标定结果的精度很高，如果出现错位，那么标定结果存在一定的误差，当误差超出一定范围时，标定失败。
直接标定法是将雷达和视觉信息在确保时间同步的基础上完成标定。为了保证数据的可靠性，一般采用相机的采样速率为基准，相机每采一帧图像，则选取毫米波上一帧缓存的数据，即完成毫米波与相机融合的一帧数据（共同采样数据），从而保证了毫米波雷达数据与相机数据时间上的同步。完成时间同步后，需要完成空间同步。而空间同步一般需要在标定场进行：把一个角架放置在不同的位置，记录毫米波雷达返回的距离和角度，同时记录摄像头测量的角架下边缘的距离和角度。

文章图片
相机与Radar
- 直接标定法
  接标定法是将雷达和视觉信息在确保时间同步的基础上完成标定。为了保证数据的可靠性，一般采用相机的采样速率为基准，相机每采一帧图像，则选取毫米波上一帧缓存的数据，即完成毫米波与相机融合的一帧数据（共同采样数据），从而保证了毫米波雷达数据与相机数据时间上的同步。完成时间同步后，需要完成空间同步。而空间同步一般需要在标定场进行：把一个角架放置在不同的位置，记录毫米波雷达返回的距离和角度，同时记录摄像头测量的角架下边缘的距离和角度。
- 激光雷达辅助法
  激光雷达辅助标定方法则是为了更好地验证毫米波雷达与相机间外参的标定结果，引入激光雷达作为桥梁，通过同一系统中毫米波雷达与相机的外参和相机与激光雷达的外参，计算得到毫米波雷达与激光雷达的外参，将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合，并画出相应的鸟瞰图进行辅助验证。
Lidar与Lidar
当多激光时，需要考虑拼接以获得更大范围的3D覆盖面，那么这时就需要外参来将多个激光统一到车辆坐标系下，以便能把各个雷达的点云进行很好的拼接。除了多个激光均单独标定外，还可以利用激光SLAM建图的方式来完成点云图的拼接。
【多传感器融合|多传感器融合课程笔记------多传感器融合之绪论】相机与IMU
相机与IMU标定其原理是利用视觉建图与IMU轨迹重合来完成标定的，这里对原理不做过多介绍，等后面实战课展开。可以学习下kalibr，它支持对Camera-IMU标定。