投稿|上了云的冬奥会,看起来像黑客帝国?( 二 )


除了高清外,提升用户观看体验也是重要的一环 。今年冬奥会转播已经实现将几十路高清画面实时传输,再由智能算法进行毫秒级合成和建模,将超慢动作、全景观看的电影特效式画面,带进冬奥赛事转播中 。据悉,冬奥会的云顶滑雪场坡面障碍技巧、冰壶等项目上将首次出现《黑客帝国》中“子弹时间”的特效技术 。
本次冬奥会还能提供自由选择的慢动作回放,不需要小猎豹,在家也能慢动作仔细研究决赛中赛点 。试想一下,当你在家躺在温暖的床上,观看着短道速滑的决赛时,可以任意视角、360度旋转观察武大靖和任子威的滑行动作,包括他们的服装、头盔,甚至可以拉近屏幕看到任子威夺冠时激动的表情 。
投稿|上了云的冬奥会,看起来像黑客帝国?
文章图片

除了观看效果更加酷炫,云上转播也为用户带来了更多实用性 。
如同上文所介绍到的,通过“3D+AI”技术,不仅能够拆解运动员的瞬时动作进行时空定格,更打造出“同场竞技”系统,将单人比赛项目变成“多人比赛”,实现了冠、亚军比赛画面的三维恢复和虚拟叠加,方便观众通过一个赛道看到不同选手的实时动作 。
对此,光锥智能向百度了解到,该技术的实现采用的便是转播中的直播视频作为源内容,分为三个模块:第一通过多个视角360度还原3D空间,根据大跳台标准尺寸模型,构建3D-2D映射点对,求解摄像机的空间位姿和朝向;第二利用深度学习模型,从视频中恢复运动员的三维人体姿态;最后求解各个局部姿态在三维空间的整体位姿 。
这项技术也不止于服务观众 。据了解,该技术目前已经逐步实践到工程机械、机器人、竞技体育、电视观影等各领域 。以竞技体育为例,早在此次冬奥前,该技术已经应用在了中国跳水梦之队的训练中 。
训练流程是这样的:首先在运动员不到2秒的高速运动状态中,通过人体三维重建技术,让跳水全过程进行三维再现,实现对跳水动作精准的量化评估 。比如起跳高度、入水角度、旋转速度等等;紧接着,利用系统的深度学习功能,针对这些数据给出改进、细节优化建议,结合人类教练,共同帮助梦之队夺金 。
投稿|上了云的冬奥会,看起来像黑客帝国?
文章图片

不过,百度也坦然,目前这项技术仍存在许多难点和挑战:“百度的‘3D+AI’技术不是平地起高楼,而是‘拿着锤子找钉子’,关键难点是做好‘技术’与‘行业’的结合 。因为不了解行业的‘真需求’走过很多弯路 。比如在跳水运动员的训练中,运动员不能佩戴传感设备,因为带着不舒服,影响肌肉记忆,这都给团队带来很大挑战 。最终我们决定采用非接触的3D视觉解决方案,在保证运动员训练的情况下做技术研究,这是技术与行业的结合 。”百度相关负责人说道 。
目前来看,“3D+AI”技术是一对“完美搭档”,AI理解分析能力强,可以帮助人们从繁冗复杂的工作中解放出来,3D则帮助人们突破时间、空间的限制,再造自然 。
数字管理,三个核心系统同步上云相比于观众能看到的,可能许多人更加好奇奥运村内的数字化是怎样的?
“纯绿电巴士、冬奥村的机器人、从天上上菜的智慧餐厅,村内用数字化观影,村内数字化管理着衣食住行 。”社交平台上,一位冬奥村志愿者这样分享到 。

推荐阅读