前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本

前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本
文章图片

钛媒体注:本文来自于量子位(ID:QbitAI),作者为丰色,钛媒体经授权发布 。
许多人日常在用的智能手表,它的文本输入要么靠语音,要么靠打字或手写 。
但有时你可能不方便说话,或者在那么小的屏幕上戳键盘实在有点“局促” 。
那咋办?
也许可以试试“隔空打字”法 。
浙江大学就开发了这样一个名叫AirText的应用,只需你动动手指和手腕,手表就确识别空中字符,错误率低至3.9% 。
还配备联想和推荐功能,让拼写速度更快 。
前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本
文章图片

给智能手表配上“隔空打字”功能开发AirText的一个主要挑战在于如何让它理解手腕运动和指尖拼写动作的对应关系 。
就像下面这张图所展示的,拼写时手腕呈现出来的轨迹和正常字母差得还挺多的 。
前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本
文章图片

为此,研究团队先借助了一个现成工具Leap Motion,它可以用红外传感器跟踪手势 。
然后八名志愿者使用五种不同的智能手表拼出超过25000个字符,用Leap Motion收集相关的手腕和手指运动数据 。
前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本
文章图片

再将数据输入神经网络模型,进行训练,最终AirText可以根据用户手腕微小的动作变化推断指尖的轨迹 。
然后,仅通过智能手表就可以高效、准确地将推断出的轨迹识别为相应的字符 。
为了加快拼写速度,他们还给系统配上了单词预测和推荐功能 。
预测单词会显示在手表屏幕的四个方向,我们可以将手表向上下左右倾斜就能进行选择(晃动手表可以退格) 。
前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本
文章图片

词错误率为3.9%首先来看AirText的准确性测试 。
衡量指标为WER(词错误率,Word Error Rate),计算方法就是将错误字/识别正确的字 。
其中错误字涉及三种类型:漏字(用I表示,即校对成正确的拼写时需要再插入的字的数量)、多字(用D表示,即需要删除的字数量)、错字(用S表示,即需要替换的字数量) 。
前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本
文章图片

将AirText与俩基线方法(IMU-CNN和BLSTM)相比,最终AirText得分最低,也就是准确性最高 。
三者平均分分别为3.9%、30.9%和57.1% 。
前沿科技|空气输入法,浙大最新研究:空中动动手指,就能给智能手表输入文本

推荐阅读