锐客网

  1. 首页 > 科技 > >

模型|撬开骁龙8一看，满满都是顶会论文

“拍照优化、语音助手以外，手机AI还有什么？”
今年全新一代骁龙8移动平台发布时，高通再次翻译翻译了，什么叫脑洞大开——
让手机学会“听诊”，通过识别出用户可能存在的疾病，比如抑郁症、哮喘；
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

让手机实现“防偷窥”，通过识别陌生用户的视线，实现自动锁屏；
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

让手机游戏搞定超分辨率，将以往PC端才有能力运行的画质，搬到手机上体验……
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

更重要的是，这些AI功能，骁龙8有能力**同时运行**！
高通声称，骁龙8搭载的第7代AI引擎，性能相比上一代最高提升了**4倍**。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

这意味着我们玩手机的时候，同时“多开”几个AI应用也没问题。更重要的是，它不仅仅是简单的AI性能提升，更能给用户带来流畅的应用体验感。
在硬件制程升级如此艰难的今天，高通是如何在第7代AI引擎的性能和应用上“翻”出这么多新花样的？
我们翻了翻高通发表的一些研究论文和技术文档，从中找到了一些“蛛丝马迹”：
在高通发布的AIMET开源工具文档里，就有提到关于“如何压缩AI超分辨率模型”的信息；
在与“防偷窥”相关的一篇技术博客中，介绍了如何在隐私保护的前提下使用目标检测技术……
而这些文档、技术博客背后的顶会论文，全都来自一家机构——高通AI研究院。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

可以说，高通把不少研究院发表的AI论文，“藏”在了第7代AI引擎里。
顶会论文“藏身”手机AI
先来看看第7代AI引擎在**拍照算法**上的提升。
针对智能识别这个点，高通今年将面部特征识别点增加到了300个，能够捕捉到更为细微的表情变化。
但同时，高通又将人脸检测的速度提升了**300%**。这是怎么做到的？
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

在一篇高通发表在CVPR上的研究中，我们发现了答案。
在这篇文章中，高通提出了名为Skip-Convolutions（跳跃卷积）的新型卷积层，它能将前后两帧图像相减，并只对变化部分进行卷积。
没错，就像人的眼睛一样，更容易注意到“动起来的部分”。
这使得骁龙8在做目标检测、图像识别等实时检测视频流的算法时，能更专注于目标物体本身，同时将多余的算力用于提升精度。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

可能你会问，这样细节的人脸识别对于拍照有什么用？
更进一步来说，这次高通与徕卡一起推出了Leica Leitz滤镜，用的是基于AI的智能引擎，其中就包括了人脸检测等算法，使得用户能更不经思考智能地拍出更具艺术风格的照片。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

不止人脸检测，高通在智能拍摄上所具备的功能，还包括超分辨率、多帧降噪、局部运动补偿……
然而，在高分辨率拍摄中的视频流通常是实时的，AI引擎究竟如何智能处理这么大体量的数据？
同样是一篇CVPR论文，高通提出了一个由多个级联分类器组成的神经网络，可以随着视频帧的复杂度，来改变模型所用的神经元数量，自行控制计算量。

推荐阅读


上一篇：聊天记录|当折叠屏撞上ColorOS 12，最到位体验诞生！来看OPPO Find N实测

下一篇：全景相机|理光有望于 2022 年 1 月 18 发布新全 360° 全景相机