Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝

如果说手机和相机的拍照差距在哪方面最明显,那应该要数浅景深的拍摄效果了。浅景深的效果,即我们常说的背景虚化效果就没有那么简单了,浅景深效果主要依赖大光圈以及大尺寸感光元件,这两者和体积小巧手机本身就是矛盾关系,因此依旧需要依靠算法来实现。
【 Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝】Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝
文章插图

目前手机实现浅景深效果的方法依旧是利用抠像算法,将拍摄对焦主体独立出来,再将其他区域进行虚化模拟处理,得到一张类似光学浅景深效果的照片。因此这里最为关键的技术就是抠像,在人像拍摄场景,最难「抠」的,就是头发区域,由于几乎没有规律且发丝极细,很多手机的算法都会在此区域露馅。针对这些场景,一向以算法见长的Google在近日发布了一套针对自家Pixel?6系列手机的解决方案。
根据Google?AI?Blog介绍,这套新的人像模式解决方案利用的是Alpha?Matting技术,该技术此前多用于电影制作领域,用于精确的抠像以及背景替换。Google将RGB原照片以及Alpha遮罩低分辨率抠像输入神经网络,利用MobileNetV3预测更高分辨率、更加精确的遮罩,从而帮助主体从背景分离。
Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝
文章插图

Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝
文章插图

从博客公布的效果对比图来看,这套算法的抠像提升还是立竿见影的。样本模特的发型对于目前任意手机来说都是「地狱级」难度,Google能够将卷发的边缘发丝精细地勾勒出来,这样的效果在此之前确实从未见过。通过局部放大的对比图可以看到,由于抠图更加精细,因此发丝边缘的景深过度也相当精准,做到几乎以假乱真的效果。
Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝
文章插图

此外,为了使抠像主体的光线与背景相匹配,Google还使用了一种球形的装置进行样本采集,该装置配备331个自定义彩色LED灯,一系列高分辨率摄像头和一组自定义高分辨率深度传感器。利用多种角度的打光以及摄像头的拍摄来模拟不同光线下,人像应当有怎样的光线效果。
Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝
文章插图

针对这项改进,Google也做了演示。演示中,Google将输入的图像经过一系列的处理,并重新合成到新背景中,整体脸部的光照条件与背景也是较为符合的,相对于原图,其光线在背景中并不会显得特别的突兀。
Pixel6|买算法送手机环节,Google Pixel6人像模式实现抠像精确到发丝
文章插图

值得一提的是,今年的Pixel?6手机是Google有史以来相机硬件最为强大的一代,在此之前,Google一直沿用相当老旧的CMOS进行算法优化,其实际的成像效果虽然依旧出色,但仍然难以比肩最新的顶级拍照旗舰。也许也是意识到了硬件上的鸿沟难以跨域,Google在Pixel?6上使用了大底主摄,以求提升整体的拍摄能力。但实际的市场反馈似乎并没有能够与外界的期待相匹配,这似乎又是计算摄影重要性的一个有力佐证。
手机的硬件虽然重要,但在自动模式下,算法仍然是用户能够得到的优质拍摄效果的最有力的依靠。此前有消息称Google手机计算摄影团队有关键成员离职,而这套全新的人像算法显然给了Google手机用户一个信心,不过目前我们收集到的内容也仅有Google官方的测试,具体的效果仍然需要等Pixel?6系列实装之后,经由外界测试来进行评判好与坏。

推荐阅读