联发科|小米 OV 集体自研 ISP 芯片的背后,真相并不简单( 二 )


此后的三年间,手机行业对于摄像头的关注只增不减,2020腾讯手机行业洞察白皮书指出,消费者对摄像头、用途和电池的关注度显著提升,其中摄像头的关注度增长率仅次于操作系统。
“影像系统其实是一个很长的链条,包括前端传感器、镜头、马达,承载图像处理的核心部件——ISP芯片,以及后端标定和调优等过程。”安谋科技高级产品经理柴卫华对雷锋网表示。
联发科|小米 OV 集体自研 ISP 芯片的背后,真相并不简单
文章插图

图片来自三星
“相同的镜头和传感器经过不同的ISP,也会有不同的效果。”爱芯科技ISP负责人、系统架构师张兴同时表示,“ISP的价值是提升图像质量。但ISP是非标准化的芯片IP,既有客观的性能指标,比如摄像头的数量、分辨率帧率、带宽、功耗、延迟等。也有比较难以完全客观化的图像评价指标,包括亮度指标(动态范围、对比度、曝光准确和速度等)、色彩相关指标(饱和度、色彩准确度、悦目程度等)、清晰度等。从经验中来,关于图像主观和客观的测试,大概有40-60种甚至更多。” 爱芯科技是一家AI视觉芯片创业公司,AI ISP是其自研技术之一。
虽然对于好画质很难有统一的标准,但亮度、色彩和清晰度也有一些客观指标,比如有标准的颜色模型衡量色差。“在客观指标达到一定程度之后,客户通常也会根据不同的需求去调整主观指标。ISP的一个特点是有很多的可调参数,工程师可以调整设计好的ISP硬件参数以适应不同的环境。一款好的通用ISP,要提供有足够灵活性和具备可扩展性。”柴卫华指出。
影像功能是消费者关注的重点,而ISP是实现差异化的关键,并且手机出货量巨大,自研芯片如果成功最终可以转化为整机的成本优势,这是手机巨头们选择自研ISP的初始动力,也是第一个理由。
“华为能够用自研的NPU+ISP实现独具特色的AI拍照功能,相比之下,使用高通和联发科SoC的手机厂商发挥的空间会受到限制。”耀途资本投资总监于光说,“由于硬件迭代的周期比较长,手机厂商的需求也不能被快速满足,特别是差异化的需求,自研ISP芯片实现硬件和软件的紧密结合是一个不错的选择。”
张兴进一步解释,ISP一旦设计完成,可供调的参数大致就确定了,但是这些参数是有限的,如果想要提供调试出所有风格的可调参数,芯片面积又会很大到无法承受,这中间需要进行平衡。
想要实现差异化的手机厂商们,在影像系统领域有了多年的积累,也就有了自研ISP的底气,这也是手机厂商选择自研ISP的第二个理由。
研发ISP芯片的可行性是手机厂商坚定迈入自研芯片之路的关键,也是第三个理由。亿智电子创始人兼CEO陈峰说:“由于ISP芯片更加专用,研发ISP在生态上的限制小很多。研发ISP的主要挑战主要有三点:由于图像算法每年都有新的方法,技术在不断迭代;另外,图像的效果需要在满足图像测试客观指标之外,也需要在主观效果可调整性上下功夫;最后是需要适应不同的场景,ISP要能够做到自适应调整好各个环境下的参数。”
芯片公司最宽的护城河就是生态,既然ISP芯片的生态限制相对较小,再加上手机厂商在算法以及对场景需求的理解上已经有丰富的经验,并且已经各有特色,特别是在场景适应方面,手机厂商都有丰富的经验。
手机厂商研发ISP,还有适应未来视频摄影+AI功能竞争的长远价值,这是第四个理由。
“手机厂商已经在拍照中享受到了AI算法带来的好处,包括超级夜景、AI美颜等功能,从趋势来看未来几年,AI拍照最火的几个功能会从拍照推向视频。这就需要一颗高效的AI ISP芯片,以及将AI算法和传统ISP进行更好的结合。”张兴认为。

推荐阅读