锐客网

  1. 首页 > 科技 > >

模型|撬开骁龙8一看，满满都是顶会论文( 二 )


面对智能视频处理这种“量大复杂”的流程，AI现在也能hold住了。
智能拍照以外，高通的语音技术这次也是一个亮点。
像开头提到的，第7代AI引擎支持用手机加速分析用户声音模式，以确定哮喘、抑郁症等健康状况的风险。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

那么，它究竟是如何准确分辨出用户声音，而且又不涉及收录数据的？
具体来说，高通提出了一种手机端的联邦学习方法，既能使用手机用户语音训练模型，同时保证语音数据隐私不被泄露。
像这样的AI功能，有不少还能在高通AI研究院发表的论文中找到。
同样也能寻到蛛丝马迹的，是开头提及的AI提升手机性能的理论支撑。这就不得不提到一个问题：
**同时运行这么多AI模型，高通究竟是怎么提升硬件的处理性能的？**
这里就不得不提到高通近几年的一个重点研究方向**“量化”**了。
从高通最新公布的技术路线图来看，模型量化一直是AI研究院这几年钻研的核心技术之一，目的就是给AI模型做个“瘦身”。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

由于电量、算力、内存和散热能力受限，手机使用的AI模型和PC上的AI模型有很大不同。
在PC上，GPU动辄上百瓦功率，AI模型的计算可以使用16或32位浮点数（FP16、FP32）。而手机SoC只有几瓦功率，也难存储大体积AI模型。
这时候就需要将FP32模型缩小成8位整数（INT8）乃至4位整数（INT4），同时确保模型精度不能有太大损失。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

以AI抠图模型为例，我们以电脑处理器的算力，通常能实现十分精准的AI抠图，但相比之下，如果要用手机实现“差不多效果”的AI抠图，就得用到模型量化的方法。
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

为了让更多AI模型搭载到手机上，高通做了不少量化研究，发表在顶会上的论文就包括**免数据量化**DFQ、**四舍五入机制**AdaRound**，以及联合量化和修剪技术**贝叶斯位**Bayesian Bits等。
其中，DFQ是一种无数据量化技术，可以减少训练AI任务的时间，提高量化精度性能，在手机上最常见的视觉AI模型MobileNet上，DFQ达到了超越其他所有方法的最佳性能：
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

AdaRound则可以将复杂的Resnet18和Resnet50网络的权重量化为4位，大大减少了模型的存储空间，同时只损失不到1%的准确度：
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

贝叶斯位作为一种新的量化操作，不仅可以将位宽度翻倍，还能在每个新位宽度上量化全精度值和之前四舍五入值之间的残余误差，做到在准确性和效率之间提供更好的权衡。
这些技术不仅让更多AI模型能以**更低的功耗**在手机上运行，像原本只能在电脑上运行的游戏AI超分辨率*（类似DLSS）*，现在实现能在骁龙8上运行的效果；
甚至其中一些AI模型，还能“同时运行”，例如其中的姿态检测和人脸识别：
模型|撬开骁龙8一看，满满都是顶会论文
文章插图

事实上，论文还只是其中的第一步。
要想快速将AI能力落地到更多应用上，同样还需要对应的更多平台和开源工具。
将更多AI能力释放到应用上
对此，高通保持一个开放的心态。

推荐阅读


上一篇：聊天记录|当折叠屏撞上ColorOS 12，最到位体验诞生！来看OPPO Find N实测

下一篇：全景相机|理光有望于 2022 年 1 月 18 发布新全 360° 全景相机