昨天，OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X，这颗芯片采用台积电6nm工艺和DSA新黄金架构，集成自研的MariNeuro AI计算单元以及MariLumi影像处理单元，在设计之初就将AI和图像处理进行了融合，相比传统的ISP有更高灵活性和更高性能，用计算摄影突破手机影像功能的极限。
文章插图
在此之前，小米和vivo也都推出过自研的ISP芯片。问题来了，为什么现在手机厂商这么热衷于ISP的研发，这个模块对成像来说到底有多重要？
文章插图
简单来说，ISP（Image Signal Process, 图像信号处理器，又称成像引擎）是手机拍照/摄像流程中的核心单元之一。一张照片，一段视频，最终呈现的色彩和细节都取决于它。
ISP所扮演的角色
当你按下手机相机APP的（虚拟）快门进行拍照或录像时，就会自动进入一场“视觉处理的接力赛”。
首先，光线通过镜头进入相机模组内部，经过IR Filter过滤红外光，然后到达CMOS传感器。这个时候，CMOS会将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给ISP进行加工处理，再经历AI单元的一轮智能成像算法优化后，最终才能生成肉眼可见的图片或视频文件。
文章插图
问题来了，镜头和CMOS在将光学信号转化为由0、1、0、1组成的数字信号时可能存在细节上的遗漏和错误，而ISP单元的主要任务就是进行“纠错”、“校验”和“补偿”。
这就好比让你用英文翻译一段中文成语或谚语，需要翻译官具备足够的文学素养，才能用英语准确表达出中文语境的博大精深。没错，此时ISP扮演的就是“翻译官”的角色。
细数ISP的补偿任务
智能手机的镜头是由5片起步的镜片、滤光装置、马达、陀螺仪等部件构成，“透光率”是权衡镜头性能的重要指标。
文章插图
通常手机主摄的镜片数量要多于副摄镜片数量
CMOS更是核心部件，传感器尺寸、像素值大小、RGGB或RYYB滤镜结构、单位像素面积、多像素合一技术等等都会影响它的性能。
换句话说，镜头和传感器本身都存在物理缺陷，从7P→8P的镜头到IMX586→IMX700的CMOS，不断的迭代升级只能无限趋近完美，而这就意味着经由它们转化而来的数字信号的原始数据（raw data）都是不完美的。
文章插图
CMOS传感器尺寸越大，理论上其成像底蕴就越好
另一方面，当我们进行拍照或视频录制时的环境光线条件多种多样，需要镜头和CMOS像人眼瞳孔缩放那般适应环境明暗。
作为翻译官的ISP，其主要任务就是对存在物理缺陷的原始数据进行优化补偿，并还原出最符合我们预期的明暗效果，比如防止逆光时过曝，看清暗光时的画面细节等。ISP是由很多功能模块构成，下面我们就简单介绍一下ISP的功能模块以及需要补偿的部分内容：
BLC：黑电平校正
数字信号对纯黑的原始数据定义为0。但由于CMOS存在“漏电流”的缺陷，将镜头放入一个纯黑的环境时，经过镜头和CMOS输出的原始数据却不为0。此时，就需要ISP内的BLC（BlackLevel Correction）模块登场，通过对所有像素减去特性的矫正值，获得一个矫正成功的结果，这一过程即黑电平校正，让原始数据可以显示纯黑画面。
推荐阅读
- 智能汽车|北京产业转型：从“去叶留心”到发展“高”“精”“尖”
- 海外市场|凭借近2亿的年销量，小米三年超越苹果的可能性有多大？
- 满帧跑原神不发烫！首配新一代骁龙8红魔7游戏手机抢先测
- 摩托罗拉|传小米2亿像素超大底曲面屏新机研发中 价格或不便宜
- 数据|K50电竞版首销数据出炉，一分钟狂卖8万台！2.8亿还有谁
- 魅族|库克被起诉？原因是苹果销量下滑，网友表示国产要崛起了
- 旗舰|摩托罗拉 Edge 30 Ultra渲染图曝光，或将首发高通新一代旗舰处理器
- 性价比|有性能、有续航，更有性价比！目前入手这3款手机相当明智了
- 推荐|徐徐道来说手机 篇五十四：适合作为“高级又走心”的节日礼物的手机推荐
- 指纹|比亚迪指纹识别专利获授权，实现两级唤醒避免误触