建模|华为 HDC2021 的手语翻译火了,为什么「她」可以如此心灵手巧?

由硬及软的华为,需要被重新理解。
10 月 22 日华为开发者大会 2021(Together)在东莞松山湖正式开幕,华为在主题演讲中正式发布了全新的多终端、跨 OS、全场景的华为移动核心服务能力 HMS Core 6,与开发者共建共享共赢 HMS 新生态。但它不仅仅属于开发者,还可能属于我们每一个人。软件基础技术离我们的距离,其实并不遥远。
HMS Core(华为移动核心服务)是华为软硬件开放能力的合集,它运行在操作系统之上,供应用调用各项开放能力,提供丰富多样的服务。作为 HMS 生态组成的重要部分,HMS Core 连接开发者与用户,在赋能开发者高效开发,应用创新的同时,提升用户体验。
如果以盖房子来比较,华为在此提供了砖、瓦、混凝土、钢筋、卡车、玻璃等等建筑材料和工具,至于是盖成乡间木屋,还是郊区别墅亦或是市中心百货大楼,则由开发者来决定。

建模|华为 HDC2021 的手语翻译火了,为什么「她」可以如此心灵手巧?
文章插图

虽然 HDC2021 是主要面向开发者的大会,但也有不少出圈的新闻,比如那位伴随大会直播的手语翻译,和之前我们在电视台左下角看到的真人翻译不同,这次华为派出的翻译却是一位「数字人」,「她」真正做到了心灵手巧,心灵是源自「机器翻译算法」,手巧则来自「多模态数字人生成算法」。
这位手语翻译并不仅仅是华为最新技术的展示,还是能够普惠到众多开发者的基础技术,只要开发者愿意,就可以和华为一样,在自己的应用里面也安排一位类似的手语翻译。
这位手语翻译,就是刚刚发布不久的 HMS Core 6 当中一个重要能力的具体体现。
到了 2021 年,HMS Core 6 早已经跳脱出了为手机应用开发的局限,那么局限之外,它的舞台还能拓展到哪里?
HMS Core 6 能帮开发者做什么?【 建模|华为 HDC2021 的手语翻译火了,为什么「她」可以如此心灵手巧?】明白 HMS Core 6 是什么之后,我们就可以琢磨,它能干什么?手语翻译是本次 HMS Core 6 能力的一个具体体现,实际上它背后的技术叫做 SignPal Kit,既然后面有个 Kit(工具套装),那么就意味着开发者可以用它做更多的事情。简言之,手语服务(SignPal Kit)提供手语生成能力,可以将文本实时翻译为流畅、自然且符合听障群体表达习惯的手语动作数据,帮助构建信息无障碍创新应用。
比想象中更严重的是,世界卫生组织最新数据显示,全球大约有 4.66 亿人患有残疾性听力损失,几乎超过全世界人口的 5%,因此,帮助这些人也能轻松使用电子产品,实现信息无障碍几乎是各大企业重要的社会责任之一。SignPal Kit 是授人以渔的工具,但完成它其实并不简单,先华为完成了自研预训练语言大模型、机器翻译算法、多模态数字人动作生成算法,同时携手信息无障碍研究会,以及北京师范大学教育学部合作,融合手语语言学专家知识,实现连贯、自然手语身体姿态,手势动作和表情的生成。

建模|华为 HDC2021 的手语翻译火了,为什么「她」可以如此心灵手巧?
文章插图

目前它已有 10000 多个词汇量,准确率也超过了 90%,并且开发者还可以自定义 3D 人物形象,表达出自然流畅,符合人类习惯的手部动作、身体姿态和面部表情。
3D 建模能力(3D Modeling Kit)则是 HMS Core 6 另外一个重要更新,其实 3D 建模能力并不算新,但这次不同之处在于,仅需普通 RGB 相机,通过手机便可高效生成 3D 模型。
其中的关键是降低了「门槛」,前几年在不少科技展会上,我已经见过不少 3D 扫描和建模设备,它们无不笨重且昂贵,但如今仅仅靠一部普通的智能手机,加上这个 3D Modeling Kit,就能够支持物体背景分割,重建出的模型没有背景,边缘更清晰干净。这个能力最容易理解的场景应该就是购物应用,现在想看一件商品的全貌,要么是配上八九张图片,要么是拍一段视频,现在生成一个 3D 模型就能够立体展示商品了。当然这个能力也不仅仅局限于购物场景,很多游戏道具的建模往往也基于现实物品再进行重绘,3D Modeling Kit 自然也可以方便游戏开发者。

推荐阅读