投稿|6000字实录放送：从游戏引擎到虚拟制片，现状、瓶颈与未来方向投稿|游戏

文章图片

图片来源@视觉中国

文 | 竞核

第九艺术领域，还有哪些我们未曾了解的秘密？
7月6日，竞核联合钛媒体发起了 “游戏引擎的高级骗术，虚拟制片的现状与未来”线上分享会。试图从投资机构、行业专家、资深从业者身上获取些许答案。
线性资本执行董事刘牧、天图万境创始人图拉古、却月数字科技（上海）CTO 胡宁、点维制作人部门负责人Gavin等汇聚竞核直播间，分享了自己对“游戏引擎&虚拟制片”的理解与认识。
游戏引擎跨业发展有哪些，影视动画、工业建造、航天航空是否是答案之一？若技术发展的方向是提升效率，他们又将如何平衡成本、效率、效果三大产业维度？
本期分享会，从投资布局、产业实践等多个视角出发，把脉游戏引擎、虚拟制片等数字内容发展现状以及未来方向，四位嘉宾从各自领域、不同视角给出了极具参考价值的干货分享。以下是本期分享会精彩实录。
从游戏引擎到万物引擎承上启下，这是刘牧对引擎在产业链中的一种定位。
大家常说资本是敏锐的，很大程度上这是对认知深度的一种评价。作为一家高科技风险投资公司的执行董事，刘牧拥有十多年的创新、创业和创投工作经验。
他曾主导投资了不鸣科技BoomingTech、Fasion.AI、奇异火科技CryptoSpace、云智软通等Metaverse产业链上下游相关的一系列高科技公司。与此同时，刘牧还是一位业余科幻写作爱好者。
或正是基于工作、爱好侧重高科技领域，刘牧坚信前沿科技是第一生产力，并致力于推动前沿科技产业落地发展。其中，引擎就是他重点关注的方向之一。
“梳理整个Metaverse产业链，我们会发现从底层硬件到软件层，再到下游的应用层，引擎起到了承上启下的关系”刘牧表示， “引擎的技术驱动力要求非常高，它在整个软硬件以及应用层的产业生态中，是至关重要的驱动力。”
从起源来讲，引擎来自实战游戏开发，从众多游戏中提取出来的公共代码和工具，形成了引擎的概念。其早期更多是给游戏开发者使用的开发操作系统，功能多在降低游戏开发门槛、提升开发效率，以及赋能游戏内容生产等。
站在底层架构的角度，游戏引擎由Runtime Engine和Toolchain组成，并有丰富的素材库协助创作者创作。可以说，它跨的维度和范围都是都十分广。
换句话说，引擎在可交互的场景和复杂宏大的虚拟世界实现方面，潜力不菲。它能够更好的帮助反映物理世界，模拟物理世界，同时能有效降低生产成本、优化生产效率，而且这种能力不仅仅体现在游戏领域。
物理世界的仿真是游戏引擎所代表的一层，它正逐渐被越来越多人关注，同时也渗透到各个领域和方向中。其中包括建筑设计、工程建造、工业制造、航空航天、影视动画、交通运输、模拟训练、仿真加速、虚拟偶像等。
例如在虚拟制片领域，相比传统制片，它能够降低整个内容开发和制作门槛，提高开发效率。而这主要得益于实时引擎的资源复用能力，并基于此实现团队协同。

文章图片

电影制作的数字化发展演变，大致经历了数字中间片（Digital Intermediate）——>数字非线性编辑（Non－Linear Editing）——>虚拟制片（Virtual Production）三个阶段。
而实时引擎在虚拟制片领域的应用能力，就包括了实时性：实时物理效果；实时光纤追踪；远程及多用户协作。以及资源创建：从视觉效果到最终呈像阶段能频繁地利用资源；资源具备可塑性，能在拍摄场景中快速更新；相同的制作资源可以在相应的其他领域重复利用。

刘牧认为，虚拟制片未来越来越需要通过实时引擎来去支撑。与此同时，它泛化到其他场景中，也会让引擎在整个未来虚拟世界的市场越来越大。
那下一代游戏引擎，或者说下一代引擎会呈现怎样的发展变化呢？刘牧给出了自己的三点理解与判断。大体上，整个路线与科技互联网变革时间线基本吻合，可划分为PC时代、移动时代、云时代。
新的硬件：端侧摩尔定律失效，算力提升困难，服务器端算力仍有上涨空间。
过去50年，摩尔定律（集成电路上容纳的元器件每隔18-24个月会增加一倍）指引着处理器芯片性能的提升和全球算力的增长。晶体管密度的提升推动计算设备的小型化进程，并带动个人电脑、手机、AIoT等品类的迭代和性能进步。
基于目前硅半导体的技术演进，晶体管密度已经逐渐接近物理极限，算力的提升在单芯片方面已经逐渐达到了瓶颈期，所以端侧算力难以提升。在服务器端的摩尔定律依然有效，服务器端的超级算力可以赋能下一代内容体验。然而传统引擎难以满足复杂内容形态，因此基于服务器云原生引擎迫在眉睫。
新的带宽：云技术，高速宽带和5G奠定基础，技术的代际革新都将驱动下游内容方式的升级和革新。
5G具有超高速（4G速度的100X），低延迟（4G延时的1/50）和多连接（连接设备超过地球人口100x）的特点，可以支持大型3D手游, ， VR/AR 游戏等在云端运行，极大的解放终端算力、内存与存储需求，云游戏将是5G在2C领域最广泛的应用。
新的载体：所有终端设备都将成为高质量互动内容的入口，海量的需求将推动内容的升级。
终端本地算力局限，高质量互动内容智能在非常有限的设备上运行（高性能电脑+主机）；随着算力云化，所有终端都将被高质量互动内容渗透；高质量内容互动内容的“全民化” ，将推动内容更丰富、更多元，朝下一代互动内容演变。
而下一代的内容，特别是云原生内容，需要新的运行环境和新的创作工具——云原生引擎。
“随着技术的迭代，游戏将被赋予新的玩法，促进更复杂多样的内容生产。基于云原生，下一代超级游戏或超级应用也将诞生。”刘牧坚信。
LED与绿幕，谁才是虚拟制片的主流？思考与实用的结合，就能够产生明确的概念，就能够找到一些简便方法。
从2006年开始扎根数字内容行业，至今胡宁仍喜欢用“捣鼓”来形容自己的事业。当然，这肯定是一种自谦的表达。
毕竟现任却月数字科技CTO的胡宁， 16年里足迹遍及汽车广告拍摄、实时引擎等多个领域，参与过上海视博会等一系列高端全案。同时，他作为国内第一位介绍虚幻引擎在游戏开发以及影视流程的专业人士，从2010年起一直活跃在虚幻引擎开发者社群。
2021年，胡宁转战虚拟制片领域，专注在绿幕& LED 虚拟制片方面研发流程以及相关工具软件以及硬件。本次分享会，胡宁基于自己的专业领域，详细地为我们解答了“虚拟制片多问”——What？Why？How？……

文章图片

虚拟制片这个名字，现在听起来很时尚，其实并非新鲜物件。早前它可能被叫做PreViz (Pre-visualization)“可视化预览” ，更多是为了降低时间与成本，做一些大概的模拟。
关键问题还在于，为什么要用虚拟制片？相比传统制片它的优势有哪些，又能多凸出？
首先是它能够拍摄一些传统技术不可能实现的故事场景。比如有外星人造访的上海夜景，你不可能真的请来外星人在空中飞。
这时就可以采用LED方式，在外面搭一层画面去实现。简单来说，就是实景和虚拟背景做一个结合。当然也可以用绿幕去做后期，只不过是用的方法不同而已
其次是加速拍摄效率。以拍摄汽车广告为例，很多时候我们为了等一个黄昏场景，需要登上一天时间。天气条件不好的情况下，甚至要花更长时间去等待。而虚拟制片的好处就是， 24小时全天候都可以有自己定格瞬间。例如，月亮不漂亮，云层质感不好，那就换一个月亮、云层。
“虚拟拍摄真的能够在现阶段，为我们提供一个很好的释放和拍摄能力。”胡宁表示， “以前我们很多创意都做不了，而在虚拟制片中可以去尝试，而且成本还不高。”
再则就是拓展故事维度。2020年底，团队与B站UP主起小点合作，通过RTX光追的方式进行了场景的实时合成。当然，虚拟制片的应用领域还包括直播、创意视频拍摄等。
目前市面上的虚拟制片方案分为绿幕和LED两大流派。对于二者的优劣势，基于多年的实战经验，胡宁也出了自己的理解。
具体而言，绿幕的优势包括：布景成本低；传统方案使用很多年，流程清晰；场地布置简易，布光难度低；实时处理难度低；后期处理空间大等。劣势则有：减法操作流程；演员对着空气演戏；灯光设置不好，影响后期合成；表面/环境反射问题；全透明 / 半透明抠像；技术无法解决的问题等。
“原则上来说，如果我的灯光和环境是可控情况，例如绿幕场景做的很漂亮，灯光也非常棒，那我抠出来画面和最后合成效果会很好。”胡宁坦言， “这需要基于一些可控条件，当然它做后期修改也很方便，成本相对较低。”
那LED又是否是完美的方案呢？答案是不一定。优势方面， LED在场景上，可以角度转换自由；摄影上，现实与虚拟的自由；表演上，体验与感知的自由。
细化而言，其特性包括：导演和主创团队可以直观看到拍摄环境，根据剧本实时修改场景效果，沟通效率大幅增高；演员可以直接感受拍摄环境、光影变化，有利于表演；节省转场对时间和精力的消耗。
此外，它能够解决了传统抠像中棘手的问题，比如半透明玻璃；能够呈现准确的光源，反射体的折射和反射效果真实；所见即所得，出片效率高；在小空间里完成大场景的拍摄。
当然， LED也存在跨屏幕同步问题。有些项目，现场用眼睛观看还可以，但要是用相机拍摄可能就会出现网状色线。
在胡宁看来， LED虚拟拍摄方案的主要不足点包括：物理线性摩尔纹；安装平整度 & 坏点；跨屏幕的同步问题；跨屏幕的光晕问题；角度 & 色差问题；夹胶烘烤变黄；均属于技术可以解决的问题等。
需要提出的是，很多时候无论是绿幕还是LED虚拟制片，其劣势大多与团队或者说现阶段技术有关。换言之，这些问题后续都是能够通过技术去解决的，当然这需要一定积累过程。
感知虚拟制作，探索真三维智能渲染世上本无路，只是走的人多了，也就成了路。
在当下，引擎已经开始融入更多场景，而虚拟制片无疑是其中最火爆的一大领域。作为浸润在影视行业中多年的“老兵” ，天图万境创始人图拉古也有着相似的经验与感受。
本期分享会，他从虚拟制片环境、虚拟制片的未来趋势和如何一站式输出这三个方面分享了他对虚拟制片的看法。

文章图片

目前，整个虚拟制片可以分为三代：第一代是传统的扣绿制作，拍完之后做后期，比如像《阿凡达》。再或者就是在LED屏幕后面播一个视频，让这个视频来做背景。
第二代是基于实时抠像的虚拟制作和基于实时渲染的LED虚拟制作，这两类代表作主要是《奇幻森林》和《曼达洛人》。第一代到第二代的过渡其实是因为GPU算力的提升，在算法和基础上变化并不是很大。
而第三代虚拟制片是基于人工智能的感知虚拟制作，它是基于强劲的人工智能算法，像《三体·不要回答》就是采用感知虚拟制作生产出来的。
图拉古认为：“万物数字化的时代，它一定是有一个万物都往数字化聚拢的阶段。而科学是要讲究连续性和继承关系的。”
这也就解释了为什么感知虚拟制作依然还在绿幕下工作，因为传统绿幕有非常丰富的工具集和算法生态，人才与经验也极具优势。
新技术、新行业成熟不是一蹴而就的，我们并不是要立刻摒弃旧方法，而是要让新技术与之兼容发展。这种人工智能算法+绿幕制作的模式，图拉古将其定义为“最适者生存方案” 。
遵循着科学性的理念，图拉古展望了虚拟制片行业未来的六大趋势：即降本增效、低投入高产出、专注算法技术、注重迭代关系、肩负社会责任、稳步增加就业。
至于为什么会走向这六大趋势，这就要结合当下的国际形势、发展方向和行业变化来看。
首先，站在全球视角，低碳化、数字化的发展方向势不可挡，新一代科技革命蓄势待发；其次，发展科技、自主创新、增强文化软实力也是我们国家发展的重要导向；最后，当前影视行业资本收紧、市场低迷的环境是客观存在的，而行业也会变得更加务实。
当然，仅仅是环境变化一方面要素不足以推动整个虚拟制片行业的发展，其核心依然是科学技术的进步、是感知虚拟制作技术相比起LED技术更大的效益优势。
那么，感知虚拟制作的优势究竟在哪？这就要从它和LED制作的差异说起。
LED制作的技术点主要有三个：视椎体的渲染、分布式渲染和屏幕质量。而这三点很大程度上都是在拼硬件，像Epic、英伟达、京东方这样的公司都可以提供方案和硬件来解决。
换句话说， LED制作是基于“真物理”的拍摄。也就是将虚拟世界的所有的资产放到了实际的世界里，通过一个屏幕显示出来，最后再用摄影机把屏幕的内容拍出来。所以最终的结果好坏其实很大程度上取决于摄影机和屏幕、取决于物理设备的极限。
我们都知道，硬件的迭代速度是很快的，更新换代的成本也很高。以英伟达的GPU为例，消费级市场基本两年迭代一次。而要做到分布式渲染是需要成百上千台计算机的，两年一换的成本压力并不小，更不用提那些一年一升级、半年一换代的硬件了。
而感知虚拟制作它是真正可以连接虚拟和现实的，它是一种基于“真三维”的拍摄。感知虚拟制作可以用摄影机将画面取下来，然后把画面放到渲染引擎中，从而在渲染引擎的渲染加持下得出各种各样的结果。
感知虚拟制作的优势在于既可以兼容绿幕，也允许高自由度的后期修改，甚至可以一次性输出3D和VR版本，同时还能运用人工智能技术进一步拓展分辨率。而LED制作因为成像在摄影机内，都没办法做到上面几点。
在降本增效方面，感知虚拟制作是轻资产运营，重心在技术层面，硬件比较少，绿墙也不会发电，碳排放和成本都更低；而LED制作依赖硬件，属于重资产运营，碳排放和成本比较高。
基于这两大技术的差异，虚拟制片行业的未来趋势也就更加清晰了。
至于如何完成一站式输出，图拉古认为这和虚拟制作的趋势是殊途同归的，即以引擎为重点、减少硬件依赖。
既然把引擎作为重点，我们就要依托于引擎的重点功能，用Gamepaly的逻辑来做电影。同时，引擎的声场技术、VR技术、跨平台输出能力、二次开发后的数字化回批能力都可以应用在影视制作中，从而完成影视作品的一站式输出。
未来会如何演变？从前面三位专家交流的内容来看，大家正沿着不同的方向观察探索虚拟制片，比如实时扣绿、实时渲染LED ，感知虚拟制作等。
上述方向各有利弊，需要综合考虑拍摄场景、物体、演员、时间周期等因素。如果量化这些因素，可归结到成本上。在互联网行业强调降本增效的当天，成本可控显得尤为重要。
点维广告长期服务腾讯游戏，在虚拟制作方向探索已久，先后推出了《黑色沙漠手游》TVC、《王者荣耀小王子CG》等。如何以低成本，推出更高品质的作品，是点维广告一直在思考的事情。
在圆桌讨论环节，点维制作人部门负责人 Gavin认为虚拟制片有三大优势：首先是可以利用游戏本身研发的一些资产搭建较为完善的资产库；其次是重复利用原有的CG资产，进行二次开发；再次则是避免多余转场，节省前期的执行成本.
具体到拍摄方案选择上，究竟是选择实时扣绿还是实时渲染LED ，亦或是感知虚拟制作？这得取决于拍摄场景、时间周期等因素。如果演员穿蓝色衣服，道具没有半透明状物体，不需要扣绿，那可以选择实时扣绿方案，时间少成本也低。
假设是拍摄汽车，场景里有玻璃杯，那可以选择实时渲染LED方案。倘若是处理一些复杂场景是，则可以选用感知虚拟制作。
天图万境创始人图拉古表示，未来打算把LED、绿幕结合起来，以便更好地呈现作品。他强调，不能把这三种方案拆分开，它是一个整体，有各自适合的场景领域。
对此，却月数字科技CTO 胡宁表示赞同。他说，绿幕、LED只要能达到最终要求，什么方案方便就可以用什么。不一定非要限制在某一项工具上，毕竟工具是为人服务的。
展望未来虚拟制作的发展趋势，嘉宾们纷纷亮出了自己的看法。胡宁认为，绿幕依然会存在， LED作为新鲜事物只要标价合理能够够得上，会有越来越多厂商乐于尝试。
图拉古的观点跟胡宁有些类似。他预判，未来2~3年甚至更长一点时间，大家会看到感知虚拟虚拟制作成为大型工业级产品的标准配置。此外，小型工作室会陆续尝试LED方案。
在影视、广告等领域，虚拟制作会出现上述发展趋势。究竟同为数字内容的游戏领域会有哪些新趋势呢？Gavin表示，未来实时渲染LED、XR、动作捕捉等技术，会愈发紧密。得益于技术融合，相应地成本会有所降低。在场景上，虚拟制作会渗透至游戏线上发布会、电竞比赛等场景。
线性资本执行董事刘牧总结道，普适的产业发展大致上沿着有两种路径进化：
第一：在更高的技术指标维度去解决问题，让满足同一需求场景中的解决方案变得更快、更好、更便宜；第二：利用更小型化、分布式、性价比高的方案扩大受众，降低使用技术的门槛，实现技术平民化。
【投稿|6000字实录放送：从游戏引擎到虚拟制片，现状、瓶颈与未来方向】刘牧认为，从扩大受众角度来讲，核心是让科技平民化。具体到虚拟制片行业，随着技术进化，内容开发的门槛逐渐降低，它会提升内容供给侧的丰富度，推动行业变革。