CG Kit探索移动端高性能渲染
内容来源：华为开发者大会2021 HMS Core 6 Graphics技术论坛，主题演讲《CG Kit探索移动端高性能渲染》
演讲嘉宾：华为海思麒麟GPU团队工程师
大家好，我来自华为海思麒麟团队的一名GPU研发工程师，今天给大家带来的主题是“CG Kit探索移动端高性能渲染”。
文章图片
华为图形计算服务（Computer Graphics Kit，简称“CG Kit”）提供最前沿计算机图形学领域的渲染框架、插件SDK与GPU扩展接口，协助开发者挖掘硬件极限性能，大幅降低开发难度，帮助开发者创造出体验更佳的产品。
那么，CG Kit能提供哪些解决方案呢？
一、Vulkan渲染框架实践
Vulkan是最新的图形标准API，相较于OpenGL具备一定的优势，并且OpenGL这个标准已经停止演进，未来图形学基本上以Vulkan向前演进。举个例子，移动端的光线追踪就是在Vulkan中描述，并且在OpenGL中是没有的。但问题在于，Vulkan非常灵活，它相较OpenGL有一定的使用门槛，所以就需要有基于Vulkan高性能的渲染框架，以此提供实践架构和方案，充分发挥出硬件性能。
二、高性能渲染插件
CG Kit提供多线程渲染、拍照超分、体积云、遮挡剔除等一系列渲染能力的插件，以便于三方合作的顺利进行，比如去年的网易《天谕》手游就集成了拍照超分的算法。
三、开发者工具链
CG Kit也提供了完整的开发者工具链，我们可以帮助开发者迅速定位解决渲染功能和性能问题。大家可以想象一下，如果未来工具可以自动识别游戏场景中的一些功能/性能问题并反馈给开发者，这将极大提升我们的开发效率。
四、前沿图形技术探索
一直以来CG Kit团队都在对前沿图形技术进行探索，比如，我们如何把AI的技术应用到图形渲染中，目前我们已在AI超分、自动3D人脸建模，AI协同动画生成等方面有所研究成果。
文章图片
Vulkan渲染框架实践
Vulkan渲染框架实践，为开发者提供Vulkan渲染解决方案优化、渲染增强插件和渲染技术文档，比如，文档中会介绍一些API使用策略、资源缓存使用优化、Vulkan的兼容性问题等等。
前面提到Vulkan是比较新的API，它的Command Buffer机制可以天然支持多线程渲染。由于Vulkan比较灵活，CG Kit就会针对Vulkan的API做了简化封装，使用起来更便利。
其次， CG Kit也支持基于物理的渲染，PBR可以真实地反映物体表面光照的属性，通过PBR我们渲染出来的物体会更加的真实。
同时，CG Kit提供了资源管理器，可以将所用到的大量管线资源尽可能地进行复用，从而降低开销，提高渲染性能。
最后，CG Kit同样支持提供HDR10的显示能力，配合HDR屏幕的显示优化，最终出图会有更好的动态范围。
静态超分组件
下面介绍一下游戏拍照超分的插件，游戏是具有社交属性的，分享就是社交里非常重要的一个环节。在游戏过程中经常会遇到一些非常值得分享的精彩时刻，比如完成了一个里程碑的任务，获取了一个限量款精美的皮肤，或者已经完成了一个虚拟人物形象定制……在这些时刻，游戏玩家非常迫切地想把这些精彩的瞬间分享给自己的朋友，那就需要用到拍照的功能，但是如何让拍照的效果更好呢？
针对拍照效果，CG Kit提供了两种解决方案。
【CG Kit探索移动端高性能渲染】第一种解决方案就是针对具有独立NPU的高端手机，例如麒麟980、990和麒麟9000芯片对应的手机，这些具有独立高端NPU的手机可以直接调用AI超分接口，这样画面细节得以显著增加，画面风格更加清晰自然，从下面的对比图可以看出，处理后的图片人物面部细节明显有提升。
文章图片
而针对那些没有独立NPU芯片的手机，我们也提供了一种通用的解决方案，叫作FilterSR，这是基于通用GPU的一种算法，应用这种算法后，没有NPU的手机也可以大幅提升画面效果，并且相较于传统的方法它的锯齿感和画面清晰度也有很大的提升。值得一提的是，《天谕》就集成了我们拍照超分的算法。
文章图片
体积云组件
CG Kit也提供了移动端高性能的体积云插件，体积云技术可以实时动态地渲染出高度真实云海中全局光照场景，并且支持玩家在云中任意地穿梭，画面可以真实还原云朵的物理特性。比如，玩家在穿梭过程中扑面而来的粒子感，还有真实的光照效果，包括云朵边缘的细节等等，都会有非常好的呈现。从下图可以看出，这个云朵的颜色是随着时间的变化在逐步变化的，就是因为我们对光照做了24小时的适配。
在体积云的形态方面，我们支持真实和卡通两个风格，还支持任意形状的Mash转换成体积云，这样可以满足开发者不同的定制需求。
从性能角度看，在麒麟980这个平台上，我们可以做到4毫秒以内渲染1帧，插件显示上，同时提供了PC端和移动端的插件，一般来说开发者是在移动端上进行编辑调试，并在移动端上以SO的方式集成，而它的包体大小只有400K左右。
体积雾组件
下面介绍一下体积雾组件，在一些特定游戏风格的游戏中，具有高度真实的光和雾的效果会给大家带来非常好的体验，比如去年有一款非常火的游戏，叫《赛博朋克2077》，它里面就有很多雾效。
主机3A大作中，体积雾一般是通过体渲染来实现的，不同于表面渲染只需要渲染物体表面，体渲染要渲染物体内部，渲染工作量可能是表面渲染的几十倍上百倍，体渲染对硬件的性能要求非常高，这也是一直没有在移动端落地的原因。
而CG Kit体积雾的组件对传统的体渲染做了很多优化，我简单介绍两种优化。
第一种优化是针对多光源场景下的优化。多光源的时候，渲染的工作量是成几十倍的增加，针对这个问题我们引入了光源剔除技术，让光照计算只发生在光源所影响的局部范围内，这样就可以大幅地降低渲染的工作量。
第二种优化是，为了提升渲染的效率，我们采用了降低采样率的方式，但是降低采样率以后会存在画面细节不足的问题，为了解决这个问题，我们引入了时域滤波技术，把当前帧和上一帧的结果融合，这样也会得到一个非常不错的结果。数据结构也针对这些优化做了相对性的适配。
经过前面一系列的优化之后，我们可以在移动端进行实时高性能的体积雾渲染，从性能角度来看，在麒麟980平台上，可以做到4毫秒一帧渲染；在集成形式上，可以同时提供PC端和移动端插件，支持PC端对编辑调试，移动端以SO方式集成，移动端插件包体小于500KB。
AI捏脸
最后介绍一下AI捏脸，在游戏场景中如果能够做到虚拟形象千人千面，而且它的虚拟形象能够有游戏玩家一部分的脸部特征，就会提升用户的代入感。AI捏脸以正面自拍照的方式输入，在调用我们的AI接口以后，会生成一组高度还原用户脸部特征的捏脸参数，基于捏脸参数自动生成3D模型，同时我们在追求几何相似的同时，还将真实纹理、模型纹理相融合，使得它的纹理能提现玩家的一些面部特征，还原性更高。我们在集成上提供了非常简单的接口，开发者可以便利地进行适配，也可以大幅地提升他的开发效果。
文章图片
因为我们是纯端侧运行，在中高端机型AI捏脸时间小于4s，稳定性很高。同时我们的捏脸范围不但支持面部，而且还支持五官、发型、眼镜等；我们还融入了高度还原的真实纹理，有更好的还原度，并提供美观度调整功能，可以控制最终的输出图美观度。在开发效率上，开发者只需要两步就可以调用我们的功能，第一步PC端进行模型自由适配，第二步在移动端以用户的自拍照为输入就可以调用我们的接口，整个过程非常简单便捷。
希望大家可以进行深度的合作，谢谢！
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址：GitHub、Gitee
关注我们，第一时间了解 HMS Core 最新技术资讯~
推荐阅读
- 移动端h5调试方法
- 读书笔记:博登海默法理学|读书笔记:博登海默法理学 —— 正义的探索（1）
- 探索免费开源服务器tomcat的魅力
- docker镜像探索----dive工具
- 积极探索|积极探索 绽放生命 ???——心心相印计划:青少年心理工作研讨小组全国大型公益行动第二次活动包头市青山区分校圆满成功
- 自我探索之原生家庭1
- Mockito|Mockito mock void methods Example
- python|8. 文件系统——文件的删除、移动、复制过程以及链接文件
- 被催稿了，所以聊聊|被催稿了，所以聊聊 长链接在移动端开发中如何做到和短链接一样高效
- 移动端事件绑定