传感器|趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用( 二 )


文章插图
LSC:镜头阴影校正
在拍照/摄像时,通过镜头到达CMOS中间的光通常要比到达CMOS边缘的光多,导致CMOS捕获的图像中间亮度高,周围边缘亮度低,容易形成所谓的“渐晕”问题。此时,ISP内部的LSC(Lens Shade Correction)镜头阴影校正模块就开始插手了,它会检测出图像中间亮度比较均匀的部分,并以此为基准,计算出周围区域需要补偿的因子。
传感器|趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用
文章插图
Bayer Denoise:降噪模块
除了ADC器件以外,包含模拟部分的CMOS感光器件在信号的传输中也存在一定的噪声,拍摄环境的光线越暗,就越需要放大信号,从而产生更大噪音,落实到成像环节就是照片或视频画面中出现大量彩色雪花状的噪点。ISP内的Bayer Denoise降噪模块可通过多级滤波,显著降低信号中的噪声,减少成像噪点。
传感器|趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用
文章插图
BPC:坏点校正
CMOS传感器属于物理器件,在长时间使用过程中难免出现坏点。ISP中的BPC(Bad Point Correction)坏点校正模块会自动进行坏点检测,找到坏点后则可通过中值滤波替换原来的值,从而纠正坏点,避免在全黑画面中出现彩点和亮点,抑或在纯白画面出现彩点和黑点。
Demosaic:颜色插值
CMOS传感器本身其实是个“色盲”,如果只靠它输出的照片都是黑白的,想要记录颜色,还需要搭配一个名为Bayer(拜耳)色彩滤波阵列(Bayer Color Filter Array,CFA)的滤光板,并将其覆盖在一个感光板上。Bayer色彩滤波阵列的结构主要以RGBW、RWWB、RGGB和RYYB为主,但由于拜耳阵列中的每一个像素只能采集一个颜色通道信息,另外两种颜色信息需要通过插值算法,结合相邻其他颜色的像素信息才能组成一个完整的色彩,这个有点类似于“去马赛克”的过程,就需要依靠ISP内的Demosaic插值算法模块实现。
传感器|趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用
文章插图
传感器|趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用
文章插图
AWB:自动白平衡
人脑的视觉系统可以自我修正,无论是阴天、晴天、室内、室外、白炽灯还是日光灯下都能识别出准确的白色,不会受到光源颜色的影响。但是,CMOS传感器却不具备这一特性,一张白纸在不同光源下输出的颜色存在偏差,比如低色温(如白炽灯)偏黄,高色温(户外阳光)偏蓝。这个时候,ISP中的AWB(Automatic White Balance)自动白平衡模块就能通过检测色温→计算增益→色温矫正这套流程自动校色,从而准确记录不同色温光线下的白色物体。
传感器|趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用
文章插图
CCM:颜色校正
CMOS传感器各颜色块之间因颜色渗透可能产生颜色误差,因此经CMOS获取的图像与我们期望的颜色之间存在偏差。前面提到的AWB可以矫正白色,而CCM(Color Correction Matrix)颜色矫正模块则可校准除白色以外其他颜色的准确度,比如提升颜色饱和度,让画面色彩更艳丽。
传感器|趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用
文章插图
AEC:自动曝光
光照强度会因时间和场景出现变化,人眼由于有着一定的自适应能力,可以根据光照变化作出及时的调整,但CMOS传感器却不具备这个能力。为此,就需要使用ISP中的AEC(Automatic Exposure Control)自动曝光模块根据光照强度自动调节曝光时间,并在必要时进行一定的曝光补偿。
HDR:高动态范围
自然界中的光照强度非常宽,但人眼对高亮度和极暗环境下的细节分辨能力却相对较窄,CMOS传感器能记录的范围则更窄,因此经由后者输出的画面极易丢失高亮和极暗部分的细节。ISP中的HDR高动态范围模块就是为此而生,它能通过Tone Mapping(色调映射)的方式,将像素值在特别暗的区域拉高,在特别亮的区域拉低,从而显露出高亮和极暗部分丢失的画面细节。

推荐阅读