摘要：通过将沉浸式演唱会应用托管到云 XR 平台上，彼真科技也无需像传统应用一样做大量的终端适配工作，通过 Web 协议即可将虚拟演唱会《故障四方》的国风科幻世界呈现在不同的终端上。云 XR 平台完成了算力调度、渲染、推流、编码和用户管理等工作，彼真科技就可以专注在内容制作与实现上。去年，美国著名说唱歌手 Travis Scott 在游戏《堡垒之夜》中举办了一场名为 “Astronomical” 的演唱会，吸引千万玩家观看。这场现象级的演唱会，引发了全球的关注，也让更多的艺人、企业开始关注沉浸式体验。
近期，国内一场由音乐人陈陈陈发起的《故障四方》的沉浸式虚拟演唱会，于 2022 年 5 月 26 日举办了首场限定公测演出。彼真科技作为虚拟空间平台方案商、联合出品方以及 3D 内容制作方，为本场演出进行了全方位的技术和制作支持。
文章图片
别样的演唱会，天马行空的沉浸式世界 《故障四方》是新武林系列首场演出，新武林是彼真科技为音乐人构建的一个国风科幻虚拟世界。不像线下的演出，会受真实生活的“限制”，在虚拟世界中，音乐人通过高精度的模型，将脑海中的天马行空制造出来。
在新武林的世界中，彼真科技就为音乐人建造了东商，西徴，南角，北羽，中宫五个舞台；有拱桥、花车、凉亭、屏风等多种国风元素，还有千佛洞、四大神像、巨像战斗等多个符合中国传统审美的奇观化场景。同时，场景设计上采用了科幻化的风格，将电子与国风以独特的方式结合。
文章图片
不限设备、轻松与“新武林”世界交互 参与观看《故障四方》演出的观众，不需要提前预装软件，也不会占用实际储存空间，只需点击邀请函链接，即可直接进入新武林的虚拟世界。对观众的设备基本没有要求，也不限平台终端，包括了手机、PC、平板电脑和 VR 头显等，一键式进入虚拟世界，大大降低了参与门槛，提供了更便捷高效的参与方式。
彼真科技为音乐人和观众提供可自定义的形象塑造，观众可以用个性化定制的虚拟形象，在虚拟世界中探索。
文章图片
演唱会虚拟形象定制界面
实时传输，最大程度还原演出真实感 为了最大程度地还原演出的实时与互动感，本次演出无论是灯光还是演出，都是“实时”的，通过与原来使用的线下设备打通，灯光师可以实时打光，艺人表演穿着动捕服演唱，将动作实时同步给虚拟形象。技术将本来依靠线下大型场所的表演，在线上以更奇妙的方式呈现。
文章图片
艺人表演动图
精美效果背后对云端视觉计算技术的要求 演唱会需要为观众呈现极佳的视觉与听觉体验，对画质和音质的要求很高，这意味着场景、人物形象与地图等相关的视觉高保真模型数据量巨大，据悉，本次演唱会如果封装成安装包在终端上运行，安装包将有 40 多 GB 大。再加上，这场演唱会并非事先录制，而是每一位观众都有着自身的视角，每一帧画面都需要在演员与观众的互动中生成，便需要大量的实时计算，如此精细的模型对渲染需要的计算力要求很高。
文章图片
这些都并非普通的 PC 或者手机可以实现的，需要依靠云端的强大算力。同时，演唱会所需要的计算资源，会随着观众接入数量增加而增长，具有用量大、突发性强。如果使用线下 IDC 周期长，且将造成巨大浪费。因此，云端实时渲染几乎是必选项。然而，云端视觉计算应用的架构与传统本地计算的应用不同，其渲染与成像分离，增加了编解码、推流等环节，这个过程中都有可能产生画面与声音的失真，此外需要对云端算力进行调度与管理。
文章图片
【云上解锁Web3.0 阿里云XR平台助力彼真科技呈现沉浸式演唱会】云端视觉计算应用架构图
新武林系列作为演唱会，其对音质的高保真需求远超常见的远程会议、即时语音等场景。普通人的耳朵听不出来的失真效果，在音乐人“耳中”变得无法接受。同时，为了还原演唱会的场景体验，新武林有着丰富的声音效果，观众如果距离舞台比较远，声音则会变小，离舞台更近，声音就会变大，这些精细化的、身临其境的效果，彼真都希望能够逼真地还原。
因此，彼真科技选择与领先云应用平台平行云和云计算厂商阿里云合作。
云 XR 平台助力彼真科技完美呈现新武林 针对云端视觉计算应用，平行云与阿里云联合推出了云 XR 平台。彼真科技将新武林的应用直接托管到云 XR 平台上，无需像传统应用一样做大量的终端适配工作，通过 Web 协议即可将新武林的世界呈现在不同的终端上，实现零客户端解锁 Web3.0 体验。云 XR 平台完成了算力调度、渲染、推流、编码和用户管理等工作，彼真科技就可以专注在内容制作与实现上。
同时，通过平台提供的完善的二次开发接口，彼真科技实现了丰富的业务系统，与用 UE 开发的 XR 系统分离，以实现各自的单独开发，大大降低开发的难度与人员的投入成本。
云 XR 平台由阿里云与平行云联合研发，阿里云主要提供自研神龙架构的超强云端算力，及自研流媒体编码技术；平台层则由平行云对渲染、编码与推流等服务进行高效封装，集成了阿里云底层 IaaS 能力，支持 NVIDIA Cloud XR 平台。
基于阿里云自研神龙架构、搭载 NVIDIA A10 GPU 的 GN7i GPU 云服务器实例，提供超高性能渲染能力，支持硬件实时光线追踪 AI CG 优化，DLSS（深度学习超级采样）技术利用 AI 优化视频画质，在相同算力的情况下大幅提高帧率，支持全硬件编码至 8K 高清，为演唱会生成精美清晰的图像。神龙架构带来的超高网络转发能力高达 2400 万 PPS，延时低至 15 微秒，大大提升了转发效率，降低了串流延时。
文章图片
彼真科技虚拟演唱会架构
在为彼真科技提供上述云渲染基础能力以外，XR 平台还针对虚拟演唱会的形式进行了优化，实现高保真音质。日常生活中，每当我们听到一段美秒的旋律，打电话实时给朋友分享的时候会发现，声音在传输过去往往已经丢失了大量的细节，电话那头的朋友听到的旋律已经不是我们听到的这般模样。
同理，在云端生成的图像和画面，要做到无损地传输到观众的设备上，而且要做到“音乐人”满意的高保真，难度可想而知。为了满足线上音乐会的要求，平行云与阿里云工程师在对音频的编码上，专门进行了优化与提升。
本次演唱会的特别之处还在于其实时性，需要艺人的动捕服、灯光师的打灯设备等非标设备接入平台，云 XR 平台的数据通道有着强大兼容性，支持不同垂直行业的特定组件，以及来自物联网、摄像头等多形态的数据通道。
文章图片
最终，《故障四方》作为新武林系列的首场限定公测演出，公测当天，预约量超百万，万众瞩目。在多方的努力下，《故障四方》演唱会有了令音乐人与观众惊艳的效果，被多家业内媒体关注与报道。
文章图片
图片使用说明：本文部分配图来自彼真科技。
相关参考资料：
彼真科技RT3D云渲染虚拟演唱会首秀圆满举行，助力音乐人打造全真音乐体验
平行云助力彼真科技打造3D实时云渲染虚拟演唱会首秀
新武林虚拟世界首次公测《故障四方》精彩瞬间
为什么都在关注「虚拟演出」
这场百万预约量的虚拟演唱会，为疫情下的音乐人带来了什么？
DS TALK｜揭秘首个国风武侠题材的虚拟音乐世界《新武林》
重磅 | 国风科幻虚拟世界《新武林》限定公测
