详解|小米 12 系列影像系统详解:重写整个相机架构,异构 / 并行运算

IT之家 1 月 6 日消息,今日小米官方发表文章,对小米 12 系列的影像系统进行详解。小米 12 系列专注于解决以往拍照不够快的问题,同时小米 12 Pro 首发索尼 IMX707 传感器,拥有更出色的夜景拍摄能力。
【 详解|小米 12 系列影像系统详解:重写整个相机架构,异构 / 并行运算】详解|小米 12 系列影像系统详解:重写整个相机架构,异构 / 并行运算
文章插图

小米表示,历时两年重写了整个相机架构,并将软硬件能力整合重建,打造全新的小米影像大脑,而小米 12 系列上搭载的小米影像大脑,共包含意图识别单元、计算单元、加速引擎、生态引擎四个部分。

  • 意图识别单元的作用是判断用户的意图,然后动态调整算法的使用强度,包括智能动态分配内存等等。当用户不停地按下快门,此时小米影像大脑就会认为用户意图是记录下更多的画面,然后就会优先保证拍照速度。
  • 加速引擎则是利用骁龙 8 平台进行赋能,将 CPU、GPU、DSP、ISP 等多个模块的计算能力进行整合与充分调度,让整个过程并行协同,从而达到大幅提升速度的优化效果。
  • 计算单元则是通过强大的计算摄影能力,调用先进算法进行画质上的调优,比如多帧合成、降噪算法、去伪色算法、白平衡校准等等,让画面变得更加清晰自然,从而达到接近甚至超越传统光学摄影的效果。
  • 生态引擎则是打通了硬件到第三方应用的管道,将小米影像大脑的能力通过小米自有 SDK 开放给第三方,这样让第三方应用未来也能够调用小米影像大脑的能力,从而达到画质调优,速度提升的效果。
详解|小米 12 系列影像系统详解:重写整个相机架构,异构 / 并行运算
文章插图

官方表示,小米 12 系列相机启动速度快了 21.2%,拍照速度也快了 53.7%,连续拍照更是快了 209%,夜景拍照速度同样也快了 39.9%。在这其中,小米影像大脑的异构计算与算法并行处理起到了关键作用。
详解|小米 12 系列影像系统详解:重写整个相机架构,异构 / 并行运算
文章插图

为了对拍摄过程进行优化,小米采用了全新的“线程并行化技术”,让处理算法上移,同时并行处理多张照片。此外,将原先的硬件 HAL 层抽象化管理为小米自己的 HAL 层,让硬件算法能够所以组合变化,甚至插件化管理。再加上算法预加载优化与算法并发优化,使得处理多张连拍的能力大幅提高。异构计算能够减少不必要的算法库加载,从而达到降低内存和加快速度的效果。
详解|小米 12 系列影像系统详解:重写整个相机架构,异构 / 并行运算
文章插图

IT之家了解到,小米 12 Pro 首发的索尼 IMX707 CMOS 传感器,尺寸为 1/1.28 英寸,具有 5000 万像素,单像素大小达到 1.22μm,支持像素四合一。该传感器的感光能力相比 IMX766 提升 49%,配合小米自研夜枭 2.0 算法,可以实现纯净的夜景拍摄效果。
不仅如此,感光能力的增强,还使得 IMX707 传感器实现更快的拍照速度、更好的抓拍能力。

    推荐阅读