锐客网

  1. 首页 > 睿知 > >

人机交互实现智能关键一步 人机交互

生活知识睿知

人机交互(人机交互实现智能化的关键步骤)
随着智能硬件和移动计算的快速发展，物联网已经广泛应用于许多领域，如车载自组织网络(VANET)、边缘计算、智能家居或智能设备交互和控制等 。智能家居系统控制照明、室温、娱乐设施和电器，如智能空调谐器、冰箱和电视 。如何控制它们或者以一种自然的方式与它们进行交互已经成为一个公开的问题，这关系到用户的体验 。
目前智能家居场景的人机交互主要有三种解决方案 。第一种是结合手机触发控制，比如在手机上安装相关app控制家电 。这种交互只是把手机当遥控器，延长控制距离 。二是利用语音识别将人类语言转化为机器指令，提供人机交互体验 。但在一些特殊的安静场景下，语音识别并不适用，或者有语言障碍的人无法使用该功能 。最后一种方法是使用基于摄像机或非基于摄像机的运动识别 。基于摄像头的动作识别是一种相对成熟的方式，但隐私泄露的风险极大地限制了它的应用 。非基于摄像头的运动识别使用从商用MEMS传感器(如加速度计、陀螺仪和磁传感器)收集的多个传感信号来帮助智能设备理解用户的行为意图 。
近年来，随着科技的发展，智能设备层出不穷 。智能手机、智能手环、智能手表、智能眼镜等一系列智能设备开始进入人们的生活 。
文中提到的智能手表，提前嵌入了MEMS以外的各种传感器，使用了RFID相关技术 。手腕姿态由手表内置传感器识别，手指识别主要由柔性机械传感器实现，可用于检测肌腱的运动和手腕形状的变化 。
智能手表是常见的可穿戴设备，通常配有陀螺仪、加速度计、磁力计等MEMS传感器 。这些传感器可以收集大量与手腕和手臂运动相关的数据 。这种交互方式成本低，使用方便，适用范围广 。然而，这种解决方案面临许多困难 。首先，低精度和高噪声是智能手表中MEMS传感器的共同特征 。这对动作识别的准确性非常不利 。其次，智能手表内置的MEMS传感器数量有限，通常不到三个，一个用户佩戴多个智能手表显然不现实 。最后，腕表佩戴者的手臂动作复杂多样 。即使用各种方法校准传感器，用各种算法对数据去噪，运动识别的解空还是很大的 。因此，仅使用有限数量的精度较差的内置MEMS传感器，很难在相对较大的空时间内准确识别出结果 。
【人机交互实现智能关键一步 人机交互】这种解决方案的主要思想是通过智能手表记录用户与设备之间的最新交互，然后猜测目标的位置和轨迹 。该方法主要包括两个步骤:手臂姿态估计和轨迹识别 。
基于摄像头的交互式动作识别
一种常用的基于摄像头的商业体感交互解决方案可能是Kinect系统，它使用红外投影仪和探测器来避免光照变化或复杂背景的影响，捕捉3D 空房间中的深度信息，如体感游戏和智能控制 。虽然基于摄像头的解决方案可以准确捕捉动作和交互意图，但它们面临着光照变化、复杂背景和部分遮挡物体的挑战，并且额外的红外传感器会导致成本过高 。
研究人员使用射频信号和内置的MEMS传感器来推断用户的运动和位置 。苹果公司推出了Apple Watch，它利用肌肉活动的感应来实现人机交互 。但由于不挖掘历史信息轨迹和限制臂长，无法实现与多个智能家电的复杂交互 。
随着智能手表的应用越来越多，我们通过内置MEMS传感器，提出了基于可穿戴设备的智能家居人机交互解决方案 。
使用智能手表进行动作识别 。
通过对人体手臂骨骼的数学建模，将智能手表中MEMS传感器采集的数据转换成与手臂运动密切相关的DOF数据 。向量机(SVM)的分类模型可以通过训练手臂的自由度数据，对特定人机交互场景下的动作进行分类识别 。然后将识别结果应用于智能家居的交互控制 。智能手表是采集数据、运行识别算法、发出交互控制指令的主体 。
虽然智能家居的人机交互控制需求有很多种，但最广泛的类型可以分为三类 。第一种是开和关 。所有的智能家居产品都需要这样的交互 。二是定量加减法 。比如控制智能空温控的升降，控制智能电视音量的升降 。第三类是方向控制 。比如控制智能窗帘靠左太近，控制智能电视的菜单光标向右移动，控制smart 空调炸等等 。对于这三种人机交互，当智能手表识别出相应的动作，就可以进行智能家居的交互控制 。
首先，通过数学建模构建手腕姿态和手臂自由度到手臂骨骼的映射关系 。根据人体生理结构，手臂的运动是由肩、肘、腕关节、下臂和上臂这两个连接器决定的 。三个关节和两个连接器有一定的运动范围(旋转或位移) 。为了描述手臂的运动范围，我们需要使用自由度(DOF)的概念 。智能手表一般戴在前臂上，我们可以忽略手的独立运动 。
在人体手臂姿态估计模型的帮助下，智能手表内置的MEMS传感器收集的数据可以转换为与手臂运动密切相关的自由度数据 。
交互式动作识别流程图
一般来说，用户只需要在家中与智能家居产品进行交互 。此时，智能手表和智能家居连接到同一个Wi-Fi路由器 。因此，当智能手表检测到家庭Wi-Fi路由器的SSID时，认为其已经进入动作识别场景，否则认为其已经离开动作识别场景 。
进入动作识别场景后，智能手表开始收集内置的MEMS传感器数据 。接下来，我们需要从DOF数据的运动段中提取特征 。这种提取方法使得识别动作更加可行 。
实例验证
我们邀请了五名志愿者将LG G手表戴在他们的左手腕上，与他们的手背方向相同，以参加测试 。
LG G Watch(型号W100，代号Dory)是LG和谷歌于2014年6月25日发布的一款基于Android Wear的智能手表 。它有512兆内存和高通12千兆赫的CPU 。配备9轴手表(陀螺仪/加速度计/指南针)、气压计和PPG，可感知位置、姿势、高度和心率 。
每人独立进行70组实验，每组实验包括2个触发动作、4个历史交互动作和1个随机动作 。然后通过Kinect估计性能分析了手臂姿态估计模型的可靠性和准确性 。
选择几个基本动作进行验证，取一组圆测试数据进行展示 。测试者用他的手表在空中随机画一个圆 。下图是肘和腕对应的轨迹 。左边是模型估算的结果，右边是Kinect的结果 。可以发现，虽然左右两个图形的形状略有不同，但两个图形的运动轨迹却有着相同的趋势 。
绘制圆形轨迹的模型估计结果和Kinect观察结果(单位:m)
一些相关的历史交互，比如装上顶，装下底，放上东西，扔东西，它们的识别准确率如下图所示 。
从历史交互结果可以看出，智能手表识别的准确率很高，不到0.3m 。
结论
本文智能家居人机交互的解决方案主要包括手臂姿态估计模型和轨迹估计模型 。利用arm约束和MEMS传感器记录的历史信息，实现了基于细粒度运动识别的智能家居与粗粒度MEMS传感器的交互 。
此外，为了应对低成本内置传感器的挑战，还引入了一种更高效的去噪滤波算法 。此外，我们可以将轻量级深度学习网络(如MobileNet)移植到可穿戴设备上，以推断用户的活动 。
随着智能手表和智能商品的普及，其计算能力和品类也将快速增加 。智能家电最终会走向智能家居，人机交互是未来的既定趋势 。

    推荐阅读


    上一篇：40件送给父母长辈的实用礼物清单 给老人买什么礼物

    下一篇：漫的拼音 茸的拼音