人机交互实现智能关键一步 人机交互( 二 )


在人体手臂姿态估计模型的帮助下,智能手表内置的MEMS传感器收集的数据可以转换为与手臂运动密切相关的自由度数据 。
交互式动作识别流程图
一般来说,用户只需要在家中与智能家居产品进行交互 。此时,智能手表和智能家居连接到同一个Wi-Fi路由器 。因此,当智能手表检测到家庭Wi-Fi路由器的SSID时,认为其已经进入动作识别场景,否则认为其已经离开动作识别场景 。
进入动作识别场景后,智能手表开始收集内置的MEMS传感器数据 。接下来 , 我们需要从DOF数据的运动段中提取特征 。这种提取方法使得识别动作更加可行 。
实例验证
我们邀请了五名志愿者将LG G手表戴在他们的左手腕上,与他们的手背方向相同,以参加测试 。
LG G Watch(型号W100,代号Dory)是LG和谷歌于2014年6月25日发布的一款基于Android Wear的智能手表 。它有512兆内存和高通12千兆赫的CPU 。配备9轴手表(陀螺仪/加速度计/指南针)、气压计和PPG,可感知位置、姿势、高度和心率 。
【人机交互实现智能关键一步 人机交互】每人独立进行70组实验,每组实验包括2个触发动作、4个历史交互动作和1个随机动作 。然后通过Kinect估计性能分析了手臂姿态估计模型的可靠性和准确性 。
选择几个基本动作进行验证,取一组圆测试数据进行展示 。测试者用他的手表在空中随机画一个圆 。下图是肘和腕对应的轨迹 。左边是模型估算的结果,右边是Kinect的结果 。可以发现 , 虽然左右两个图形的形状略有不同,但两个图形的运动轨迹却有着相同的趋势 。
绘制圆形轨迹的模型估计结果和Kinect观察结果(单位:m)
一些相关的历史交互,比如装上顶 , 装下底 , 放上东西 , 扔东西,它们的识别准确率如下图所示 。
从历史交互结果可以看出,智能手表识别的准确率很高,不到0.3m 。
结论
本文智能家居人机交互的解决方案主要包括手臂姿态估计模型和轨迹估计模型 。利用arm约束和MEMS传感器记录的历史信息 , 实现了基于细粒度运动识别的智能家居与粗粒度MEMS传感器的交互 。
此外,为了应对低成本内置传感器的挑战,还引入了一种更高效的去噪滤波算法 。此外 , 我们可以将轻量级深度学习网络(如MobileNet)移植到可穿戴设备上 , 以推断用户的活动 。
随着智能手表和智能商品的普及,其计算能力和品类也将快速增加 。智能家电最终会走向智能家居,人机交互是未来的既定趋势 。

推荐阅读