计算机视觉|我们如何解决了RealSense偏色问题（） OAK相机|人工智能

编辑：OAK中国
首发：oakchina.cn
喜欢的话，请多多???

▌前言 Hello，大家好，这里是OAK中国，我是助手君。
不知道大家有没有用过realsense的D455，用过的朋友一定会发现相机的颜色有点不对劲。

这是什么原因呢？英特尔为啥不解决这个问题呢？今天分享OAK官方Luxonis公司是如何解决这个问题的。
▌背景 Luxonis一向与用户保持紧密联系，秉持着与用户做朋友的原则。因此，当用户向我们提出对他们来说很重要的问题时，我们会倾听。当用户向我们提出如何让他们的机器人在户外工作的建议，以及为什么他们的深度相机不能在户外工作的问题时，我们会倾听。尽管使用的深度相机不是我们制造的。事实上，这些相机是由市场上的现任者RealSense制造的，客户已经在逐步淘汰它们。如下图所示，RealSense深度相机系列的旗舰产品D455无法在户外拍摄有用的图像。

这是一个巨大的问题，因为几乎每个机器人系统都使用颜色数据。在农业和许多行业，这是一个完全的阻碍。那我们做了什么？
嗯，我们对顾客很热情，所以我们为顾客修好了。我们用要求的OV9782全局快门颜色制作了一个版本的OAK-D，并解决了这个问题。怎么解决的呢？
经典的计算机视觉图像传感器调谐问题，这被称为不正确的“镜头阴影校正”(LSC)，它会导致场景中不存在的颜色，但这是图像传感器、镜头和镜头支架相互作用的结果，并有效地“弥补”了不存在的颜色。使用适当的LSC，图像会显示更正确的颜色。

在我们进入如何做的细节之前，让我们快速回顾一下。我们所有的OAK-D-S2和OAK-D-S2-PoE标配IMX378作为RGB摄像头，但因为我们想为客户提供最大程度的灵活性，我们让他们选择用OV9782替换该摄像头，以将FOV从120增加到150。到目前为止，进行这种转换的一个缺点是在室外拍摄视频时可能会变色。
最后我们发现，这个问题与OV9782暴露在强光下引起的过饱和有关。在这种情况下，粉红色或紫色色调会渗入图像。
▌英特尔RealSense D455 -粉色问题我们不是唯一在处理这个问题的人，我们只是唯一解决了这个问题的人（稍后会有更多的介绍）。英特尔是我们在市场上最接近的竞争对手，他们的D455相机——使用与我们的OAK相机相同的OV9782——也在室外色彩蠕变方面苦苦挣扎，但英特尔仍然没有找到解决方案。
在谷歌上搜索几分钟，就会发现他们的客户有多深的顾虑，从直接支持论坛和行业新闻可以发现：

IntelRealSense/librealsense GitHub问题
来自DotProduct，已知问题：RealSense D455和L515的粉色/紫色色差
从他们自己的角度：D455 RGB颜色问题社区页面，有人在评论中说:“这是一个生产问题，英特尔必须像我们一样召回并更换所有受影响的设备。英特尔；您无法通过更新固件解决此问题。我要退掉我的D455，我会建议我的顾客不要买。”

英特尔可能有大牌的权利让这件事就这么过去了，但这不是我们在Luxonis的运作方式。
我们甚至赢得了一个非常棒的新客户，他厌倦了等待英特尔采取行动。Greenzie决定弃用D455有很多原因，但这个着色问题是其中之一。

注：Greenzie公司是有名的商业除草机器人厂商。

▌向前迈进——解决方案和未来该认真对待了！我们如何解决像英特尔这样的大厂无法（或不愿）解决的问题？简单来说，我们是一个不放弃的团队。我们知道正确的色彩表现对我们的用户来说是至关重要的，所以一直在解决这个问题，直到发现一个专门的镜头阴影校正（LSC）实现了巨大的改进。你可以把它想象成给相机镜头戴上一副太阳镜，让它保持更一致的画面。
我们已经看到了之前/之后的图像，但现在让我们来看一个测试视频！即使在强光环境下使用非常短的快门速度，我们也可以看到侵入性着色的存在是如何显著减少的。

OAK相机颜色校正测试#OpenCV AI Kit

更棒的是我们所有的广角相机——当前和未来的型号——现在都提供这种增强的功能，同时仍然允许在IMX378（120 DFOV 12MP滚动快门彩色）和OV9782（150 DFOV 1MP全局快门彩色）之间进行选择。
请务必查看我们的全系列广角相机选项，找到适合你的那一款：

OAK-D-W，USB供电
OAK-D-Pro-W，带红外夜视和主动立体视觉，USB供电
OAK-D-W-PoE，通过以太网供电
OAK-D-Pro-W-PoE，具有夜视和主动立体视觉，通过以太网供电

▌参考资料 https://www.luxonis.com/blog/lens_color_filtering_enhancement
https://docs.oakchina.cn/en/latest/
https://www.oakchina.cn/selection-guide/
OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态
【计算机视觉|我们如何解决了RealSense偏色问题（）】戳「+关注」获取最新资讯↗↗