3D视觉|3D视觉 之 线激光3D相机
13D 视觉
【3D视觉|3D视觉 之 线激光3D相机】常见的三维视觉技术，包含双目、ToF、激光三角、结构光等，如下图：
文章图片
1）毫米级
双目、ToF、结构光(散斑)的精度为 mm 级，多见于消费领域，如：导航避障，VR/AR，刷脸支付等
文章图片
文章图片
文章图片
2）微米级
线激光、结构光(编码)的精度是 um 级，主要应用在工业领域，如：表面缺陷检测、三维测量等
文章图片
文章图片
3）纳米级
另外，还有 nm 级精度的光谱共焦技术，可用于透明材质物体的三维测量
2激光三角法
按照激光投射的不同模式，激光三角法有点激光、线激光、多线激光、激光网格等
文章图片
2.1测量原理
为了直观的了解激光三角法，用点激光位移传感器，演示其测量原理如下：
假定相机主光轴和激光平面的夹角为 $\theta$，镜头的像方焦距为 $f^{\prime}$，激光平面和主光轴的交点为 $H_2$，镜头前主点到 $H_2$ 的距离为 $l$
$Z_1$ 和 $Z_2$ 为被测物沿光平面的纵向位移，$z_1^{\prime}$ 和 $z_2^{\prime}$ 为对应在图像传感器上的物理尺寸位移
文章图片
则通过相似三角形，有如下等式
$\quad \begin{split} \frac{z_1^{\prime}}{f^{\prime}} = \frac{Z_1 \cdot sin\theta }{l -Z_1 \cdot cos\theta} \end{split}$（过 $H_3$ 作到主光轴的垂线）
$\quad \begin{split} \frac{z_2^{\prime}}{f^{\prime}} = \frac{Z_2 \cdot sin\theta}{l+Z_2 \cdot cos\theta} \end{split}$（过 $H_1$ 作到主光轴的垂线）
进一步化简得
$\quad \begin{split} Z_1 = \frac{z_1^{\prime} \cdot l}{f^{\prime} \cdot sin\theta + z_1^{\prime} \cdot cos\theta}\end{split}$（近端视场）
$\quad \begin{split} Z_2 = \frac{z_2^{\prime} \cdot l}{f^{\prime} \cdot sin\theta - z_2^{\prime} \cdot cos\theta}\end{split}$（远端视场）
2.2精度范围
在3D视觉技术中，从被测物的大小和纵向精度来考虑，广义三角法 (包含激光三角法) 处于中间的位置，如下：
- 被测物体的大小范围 1mm ~ 8m，对应精度 1um ~ 0.4mm
文章图片
3线激光3D相机
线激光3D相机，是一种基于三角测量原理，通过图像传感器，捕获激光发生器投射在物体表面的激光线信息，重构物体表面轮廓信息的三维相机
其结构示意图，如下：
文章图片
3.1深度测量范围
3.1.1镜头景深
对于普通的3D视觉系统 (物面∥像面)，深度测量范围即镜头的景深，假设放大率 $\begin{split}\beta = \frac{y^{\prime}}{y}\end{split}$，镜头的有效F数为 $(f/nr)_e$，则景深$\begin{split}DOF \approx \frac{2 \cdot (f/nr)_e \cdot \delta}{\beta^2} \end{split}$
当系统设计的光学放大率 $\beta$ 较大时，意味着景深较小，如果要继续增大景深(尤其物体表面和镜头主面不平行)，则只能增加 F数，即减小光圈
文章图片
实际应用中，光圈的减小是有一定限度的：
1)如果光圈太小，则会产生衍射，使得较小的细节信息变的模糊(即在最佳焦点下可解析的特征尺寸会变大)
2)随着光圈的减小，进入图像传感器的光线也会越少，相应地，就要增大(激光器)功率或(相机)曝光时间
文章图片
3.1.2沙姆定律
在光圈调节受限的情况下，如果仍有部分成像不清晰，则可采用沙姆结构，将镜头逐渐倾斜，从而使整个物体表面都可以清晰成像，如下图：
文章图片
文章图片
线激光3D相机，为了增大深度测量范围，通常采用沙姆结构，如下：
- 被摄物平面 (激光平面)、镜头平面、胶片平面 (像平面) 交于一条直线，即沙姆定律(Scheimpflug principle)
文章图片
假设成像芯片的胶深(Depth of Focus)为 ±g，则成像系统的景深(Depth of Field) 为下图中的阴影部分，即从 $\phi_1$ 到 $\phi_2$ 间的扇形区域
文章图片
3.2结构形式
线激光3D相机，基本的结构形式有四种：直射式、斜射式、反射式、同侧式。其它的结构，多是在此基础上的发展演变
文章图片
直射式，布置安装简单，计算结果的应用非常直观，是目前最常用，也是一种通用的结构形式；
斜射式，布置安装简单，计算结果的应用不够直观，多用于对精度要求高的平面物体的特征测量；
反射式，布置安装复杂，计算结果的应用不够直观，多用于反射特性较弱的深色物体的表面测量；
同侧式，多用于高反光件，比较少见 (因为直射式和斜射式，通过俯仰一定的角度，也可达到类似的效果)
3.2.1分辨率
线激光3D相机的分辨率，可分为三个方向：
1）激光条方向 (x轴)：$\Delta x = \dfrac{\text 沿光条的视场宽度}{\text对应像素数量}$
2）运动方向 (y轴)：$\Delta y = \dfrac{\text运动速度}{\text相机帧率}$，或 取决于编码信号
3）深度方向 (z轴)：$\Delta z$ 取决于系统光学放大率、相机光轴和激光平面的夹角、激光条提点精度 (如：$\dfrac{1}{16}$像素，$\dfrac{1}{32}$像素，$\dfrac{1}{64}$像素，...)
相机光轴和激光平面的夹角 $\theta$ 越大，则相应的 $z$ 轴分辨率越高，如下：
文章图片
假定沿激光条方向的分辨率，在以上结构中都为 $\Delta x$，则有：
$\quad\Delta z_{直射式} = \dfrac{\Delta x}{\sin \alpha_1}$，$\quad\Delta z_{斜射式} = \dfrac{\Delta x}{\tan \alpha_2}$
$\quad\Delta z_{反射式} = \dfrac{\Delta x \cdot \cos\beta_3}{\sin (\alpha_3+\beta_3)}$，$\quad\Delta z_{同侧式} = \dfrac{\Delta x \cdot \cos\beta_4}{\sin (\beta_4 -\alpha_4)}$
因此，如果只考虑 θ 角的影响，则 z 向分辨率为：反射式 > 斜射式 > 直射式 > 同侧式
3.2.2光学遮挡
虽然增大相机光轴和激光平面之间的夹角，可以提高 z 轴分辨率，但随着夹角 θ 的增大，光学遮挡现象也会愈发明显
尤其是物体表面有凹凸起伏时，四种结构均存在一定的遮挡：激光线照不到的区域称为阴影，相机接收不着反射光线的区域称为盲区
文章图片
文章图片
因为激光发射线正对被测物，所以直射式的阴影最小；同理，因为相机正对被测物，所以反射式的盲区最小
实际中，大部分被测物的表面，通常都是凹凸起伏的。因此，θ 角的设计，要充分考虑精度(z轴) 和 遮挡(阴影和盲区) 的平衡
此外，也可增加激光器数量，从不同方向投射，来减少阴影；或者增加相机数量，从不同角度拍摄，将多幅图像进行融合，来降低盲区
文章图片
3.3散射特性
当激光束打在不同的被测物上时，考虑物体表面的散射特性，可分为四种情况：
a）激光打在镜面上时，发生镜面反射，反射方向取决于激光和表面的相对方向，反射光一般不会进入相机，表现为无信号
b）激光打在朗伯体上，发生均匀散射，散射的强度正比于观察方向和表面法向量夹角的余弦，是一种最理想的情况
c）激光打在普通物体上，通常发生定向散射，即最大散射强度出现在一个理想的反射方向上，散射分布的角半宽，取决于表面粗糙度
d）激光打在半透明物体上(塑料、玻璃等)，光线会进入物体内部，发生体散射 (volume scattering)
文章图片
实际中，物体表面的散射特性是 a) b) c) d) 的混合，其中占主导地位的散射特征，主要取决于表面粗糙度，如下图：
- 随着表面粗糙度的增加，物体的散射特性，由镜面散射占主导地位，逐渐演变为漫散射占主导
文章图片
如果物体表面的颗粒大小和入射光的波长相近时，激光容易发生相长和相消干涉，产生散斑噪声，如下：
文章图片
此外，激光散斑噪声，也与成像系统的放大率有关，放大率 β 越大，散斑噪声愈发明显。
保持系统结构不变，更换焦距为之前 1/2 的镜头，对于同样的激光条，新拍摄的图像，如下：
文章图片
对于线激光3D相机，如果出现比较明显的散斑噪声，会影响光条中心点的提取精度，如下：
文章图片
3.4多重反射
如果被测物体的表面不均匀，则除了光学遮挡外，还有可能出现多重反射，如下图：
- 光线1是入射光在物体表面发生的第一次反射，光线2是入射光在物体表面发生的第二次反射，这两条光线在探测器上的成像位置不同
文章图片
二次或多次反射的光线，与一次反射的光线相比，在光条图像上会看到明显变粗的倾向，因此，可将宽度超过一定阈值的光条剔除掉
文章图片
但是，对于二次反射的光线，如果其反射的强度大于一次反射的强度，则可能会形成假像，影响测量精度
这种二次反射形成的假像，在物体材质为金属且表面存在小孔洞时，出现的概率较大，目前暂无有效的方法 (潜在可能解决的一个方向是线偏振)
文章图片
4行业浅析
从线激光3D相机到3D视觉产业，再到整个机器视觉的产业链图谱，如下：
1）上游是基础器件的生产商，如镜头、图像传感器、算法平台等；
2）中游为视觉系统制造商，如 ToF相机、线激光3D相机、结构光相机等；
3）下游则是围绕中游提供的视觉系统，深入到各个行业的系统集成商，如3C行业的缺陷检测、汽车制造的质量控制等
随着国家智能制造大战略的推进，整个行业将迎来快速增长期，尤其是国产化替代的进程会大大加快，替代过程会先从产业链的下游，再到中游，最后扩展到上游
文章图片
以线激光3D相机为例，在 2015年以前，第一梯队主要是Keyence、LMI、Cognex等国外品牌，第二梯队有SICK、米铱、SmartRay等众多国外厂家，国内鲜有成规模的企业与之竞争
然而，在 2020年左右，国内涌现出了像是深视智能、中科行智等一批国产厂商，虽然暂时不能完全替代第一梯队，但已经对第二梯队形成了较大的冲击
由此，预测在未来的 5-8年内，机器视觉行业内将会出现不止一家独角兽企业，完成产业链上-中-下游的全面整合，对当前第一二梯队的国外品牌形成全面的冲击，至少完成50%以上的国产化替代
未来机器视觉行业内，独角兽企业的形成有两种可能：
一种可能是，做某行业系统集成的下游企业，在业务拓展到一定规模后，反过来向上收购中游的3D视觉企业，最后把触手伸向上游的基础器件厂家，完成全产业链的整合
另一种则是，中游的视觉系统企业，在给下游企业提供视觉设备时，逐渐积累了具体行业内的应用经验，从而引入新的业务，形成对原来下游企业的成本优势，从而完成产业链的整合
参考资料
景深与焦深
分辨率与对比的限制：艾里斑
Scheimpflung principle
LMI 3D Line Confocal Sensors
GOM High Precision 3D Metrology
Teledyne e2v How does laser triangulation work
Understanding laser-based 3D triangulation methods
《Laser Measurement Technology》ch10
《3D Imaging, Analysis and Applications》2nd, ch5
《Machine Vision: Automated Visual Inspection:Theory, Practice and Applications》
推荐阅读
- Java多线程之线程同步【synchronized、Lock、volatitle】
- python密度函数曲线_python – 用matplotlib样本绘制概率密度函数
- python统计数据画概率曲线_利用Python实现并解释概率图形
- 手持话筒测试软件,无线麦克风有哪些测试方法
- python如何绘制曲线图_如何使用Python的Pandas库绘制折线图
- python根据表格数据生成折线图_Kaggle、Python数据可视化seaborn(二)（折线图）
- python统计数据画概率曲线_[python常用图件绘制#04]核密度曲线图（峰值点显示）...
- python读取excel画折线图_python读取excel数据绘制简单曲线图的完整步骤记录
- python|Python绘制概率曲线三
- python|Python绘制概率曲线二