英伟达|英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门( 二 )


英伟达|英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门
文章图片

用一句互联网黑话表示,就是所有现实世界中物理存在或不存在的东西,都值得在Omniverse上再做一遍 。可这么看来,Omniverse不就和游戏引擎一样了嘛,但老黄说了Omniverse是面向数据中心的规模来设计的,在未来或可能达到全球数据规模,也就是说英伟达的预期是未来的Omniverse能真的为物理世界建模 。
当然,让Omniverse中的虚拟物品与物理世界中的人进行实时交互仍存在诸多挑战 。黄仁勋表示:“如何使用Omniverse模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车,甚至是虚拟形象的数字孪生,是一个永恒的主题 。”
英伟达|英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门
文章图片

接下来黄仁勋展示了Omniverse Avatar结合英伟达各项技术后生产出来的实时应用程序 。首先是用于客户支持的Project Tokkio,“Tokkio”是一款智能操作台应用程序,在视频案例中“Tokkio”在一家快餐店服务,与两位顾客直接对话并帮助顾客进行了点餐服务 。
英伟达|英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门
文章图片

基于Omniverse Avatar制作的智能操作台应用程序Tokkio
如果将Omniverse Avatar与Drive Concierge相结合,可爱的自定义行车虚拟助手便出现了 。
英伟达|英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门
文章图片

Omniverse Avatar展示的另一个例子则是老黄自己的AI化身,英伟达的员工们早就开始用老黄的声音构建出了一个会对话的语音合成AIToy-Me——一个玩具AI老黄 。不得不说,老黄确实懂得多,玩具版的AI老黄在视频案例中轻松回答了气候、天文、生物三个领域专家的专业问题 。
黄仁勋表示:“你会看到这个虚拟形象是基于目前训练的最大语言模型的语言处理打造,包括声音也是用我自己的语音进行合成,还可以看到实时基于光线追踪的精美图像 。”
英伟达|英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门
文章图片

实时对话AI机器人“Toy Jensen Omniverse Avatar”
老黄还将Omniverse Avatar与视频会议平台Maxine相结合,为虚拟协作和内容创建应用添加了音视频功能 。在视频案例中,一位女士在嘈杂的咖啡厅中可以视频会议中简单的去除背景噪音后通话,同时,她的英文可以被实时转化为多种语言,并生成对应口型及语调的虚拟形象 。
英伟达|英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门
文章图片

一个看似简单AI数字人其实并不简单,Omniverse Avatar能够如此强大的原因在于其背后英伟达近年来的技术突破,老黄直称在几年前想要实现上述案例的功能几乎不可能 。如今,Omniverse Avatar的推荐引擎采用Merlin方案,该框架允许企业能够建立处理大量数据的深度学习推荐系;感知能力则来自计算机视觉框架Metropolis;头像动画由Video2Face和Audio2Face(二维和三维AI驱动的面部动画和渲染技术)驱动 。

推荐阅读