计算|告别「摄像头军备竞赛」,手机厂商换玩法了

计算|告别「摄像头军备竞赛」,手机厂商换玩法了
文章插图
手机厂商们得到了启发:既然硬件不可能获取媲美专业相机的照片,那缺失的那部分能不能让 AI「猜」,让算法「补」?
撰文 | biu
10 年前,Instagram 之所以能爆火,原因之一是当时手机镜头太差,而滤镜用美化掩盖前者的「无能」。10 年后,今非昔比。手机上的镜头越来越多,摄像模组越来越厚,传感器甚至飙升至一亿像素……但近几年,手机厂商没在「堆料」路上继续狂奔。随着手机空间和芯片工艺的限制,像素和传感器尺寸的增速都在放缓。
但仔细一想,「摄像头军备竞赛」并没有停止,厂商只是换了条赛道奔跑。
自 2019 年起,「计算摄影」的概念在手机上兴起。在手机这种力求便携的设备上,镜头不可能做得太大,厂商干脆换了方向:既然从根上无法突破光学的物理限制,那就从「软」入手,通过 AI 干预来改善摄影。简单来说,就是原来硬件看不到的,AI 来告诉它都有什么。甚至,计算摄影在某些方面已经超越了传统相机,它不只是为了接近后者。
【 计算|告别「摄像头军备竞赛」,手机厂商换玩法了】01
拍照不止于硬件
最具代表性的是三年前的 Google Pixel 3,仅凭单摄就在变焦、夜景、虚化等功能上「吊打」友商。
这都让用户开始意识到,「堆料」不一定能满足拍摄需求。在一部不只单纯为拍摄服务,且存储空间有限的手机上,用户是想拍出一张达到 1 亿像素的照片吗?相比「足够大」,他们更需要的是「足够好」——稳定,均衡,易用,能够激发创作欲。
手机不是传统镜头,它的芯片处理能力是持续进化着的。这给了手机厂商们启发:既然硬件不可能获取媲美专业相机的照片,那缺失的那部分能不能让 AI「猜」,让算法「补」?
那么,AI 在哪些方面改变了传统的手机摄影?
计算|告别「摄像头军备竞赛」,手机厂商换玩法了
文章插图
先以「超分辨率」为例,所谓的超分辨率,就是从一个低分辨率照片,变成了一个高分辨率照片,AI 靠「猜想」补充上了低分辨率照片没有的细节。AI 是怎么拥有这种能力的?简单来说,先拿出一张高分照片 A,然后故意「丢失」一些细节得到低分照片,继而把它等比放大一张高分照片,接着进行一系列的特征提取得到一张有充分细节的高分照片 B,再将 B 和 A 比对,如果二者接近,则说明中间的参数调对了,这样就把 AI 训练好了。
手机能够进行大范围的变焦,就归功于超分辨率。图片放大后,噪声和抖动会非常大,有了这个功能,就能通过 AI 推理修正噪声和抖动,让图片看起来更清楚。
计算|告别「摄像头军备竞赛」,手机厂商换玩法了
文章插图
再说说夜景模式,用户在夜晚拍照时,往往光线不足,噪声明显。这时如果想要进光量充足,就需要长曝光,但长曝光抖动造成的模糊就很明显。曝光时间如果不够,画面就会很昏暗,如果画面有高亮度的灯,长曝光时灯就会过曝,总之,相机很难把明暗处都看得清楚。
传统的解决方案是,用户把设备先固定好,拍一张长曝光,另外再拍短曝光,最后进行后期,将相片手动合成为一张,耗时费力。而现在手机上的 AI,可以先进行智能降噪,然后自动拍摄数张长短曝光照片,自动合成,而且这一系列动作都在用户按下快门的短瞬之间就完成了。就这样,用户最终得到了一张 HDR(高动态范围)的照片。
AI 又是如何帮助照片呈现自然虚化的呢?双摄就相当于是人的两只眼睛,每只眼看同一物体的角度不同,会有视差,这种差异能推断出物体之间的前后关系。如果物体离得较远,这种方法就不奏效,加上长期开启多个摄像头功耗增大,业界开始引入 AI。厂商拿大量的图片素材投喂 AI,进行训练,AI 之后就能通过一张 2D 照片,区分谁在前谁在后。通过这种方法,还可以实现人像和背景的精准分割,比如常见的「魔法换天」功能就是对其中的背景进行处理。

推荐阅读