旷视|手机影像“内卷”的下半场是AI算法?( 二 )


AI算法降噪的原理是对自然光谱进行学习并总结特性,对相机传感器所捕捉的信号进行分辨,哪些是噪声,哪些是成像需要的信号,最后把需要的部分还原,把噪声的部分去掉,最大程度地保留细节同时提升信噪比,这样能让画质提升的同时,细节也能够清晰的表现出来。
旷视|手机影像“内卷”的下半场是AI算法?
文章插图
摄影师通常喜欢用大光圈拍人像,这样可以虚化背景中杂乱的场景,让拍摄的主体更加突出。过去,手机受限于单个镜头中的光圈大小难以拍出自然的虚化效果,即便有算法的帮忙也经常被用户吐槽为“抠图+粘贴”。
图像增强技术不像专业相机的光学景深效果,而是利用手机双摄和AI算法来进行虚化。随着手机多个摄像头的出现以及AI算法的进步,旷视通过不同摄像头之间的间距,利用算法计算出深度图像,进而形成可以媲美专业相机大光圈效果的图像。
AI算法在多摄时代大显身手归功于AI算法与手机硬件系统的协同进化,AI算法在手机厂商的影像“内卷”中扮演的角色也愈加重要。根据艾瑞咨询近期发布的《2020中国人工智能手机白皮书》数据显示,截至2019年,AI拍摄算法在国内不同价位安卓手机中覆盖率达已经到91.6%,在AI+光感知手机算法领域,以旷视为代表的头部企业份额占比接近80%。
人工智能企业能在手机影像领域立足,其中一部分原因也是AI算法迎来了手机多摄像头的时代。如今,即使是对手机影像功能最不敏感的用户,也能明显感觉到手机背后的摄像头明显变多了,主摄、广角、超广角、长焦、潜望式、微距、ToF……双摄已落伍、三个勉勉强强、四个、五个也不嫌多。
手机厂商们热衷于增加摄像头的背后,并不是简单的营销和噱头,除了近年来多摄技术的稳步发展,还有一部分原因在于AI算法为手机多摄提供了跨越式发展的契机,AI算法已逐渐成为摄像头之间联动的纽带,在AI的驱动下摄像头之间的联动可以形成“1+1大于2”的效果。
具体来说,手机后置摄像头数量和类别的不断增加,对AI算法意味着光线、景深、像素等多种可收集类型数据传感器的增多。有些传感器镜头对色彩更敏感,有些捕捉纹理效果较好,有些则在运动焦点的追逐中效果最好。在AI算法与多个摄像头的协调配合下,通过双摄变焦实现多种传感器之间的强强联合获得最佳拍摄效果,如,利用双摄虚化实现媲美单反相机的光圈效果、多摄融合有效提升图片质量等。
多个摄像头虽然使得AI算法能收集到的数据类型和数据信息更加丰富,但同时也带来了系列算法和算力的技术难点,如何在手机有限的算力以及电量限制的情况下尽可能达到成像的完美,这对AI算法本身也提出了不低的要求。
例如,当手机利用不同焦段的镜头来实现数码变焦功能时,多个摄像头的切换需要使用到“平滑缩放算法”,该算法的质量高低将决定手机应用变焦功能时各焦段画面“接缝”的顺滑程度,越好的算法将使得这种过渡更加自然。
基于多年的技术积累和项目工程落地经验,旷视的双摄虚化、多摄平滑变焦、多摄融合等算法均具有很强的泛用性,可适配多种模组组合和排布方式。以多摄融合为例,旷视的多摄融合算法采用神经网络设计模型,可有效解决清晰度不均匀、主体边缘线条弯曲、部分位置重影、线条断裂错位、重复纹理错位等传统多摄融合算法中的常见问题。
旷视|手机影像“内卷”的下半场是AI算法?
文章插图
AI算法在手机影像中扮演的角色日益重要,并不意味着AI算法在未来将取代硬件,而是AI与硬件的协同互动。旷视研究院研究员范浩强在近日的旷视MegTech Lite漫谈AI技术分享会上表示:“手机的整体影像能力提升不是仅依靠镜头多和像素高就可以实现,最重要还是成像系统各个要素间的协同。”

推荐阅读