bci|Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制

近年来,Facebook、Valve、Neurallink都入局了脑机接口,这项技术原本是为脑瘫等失去语言能力的患者打造的,而未来似乎也将用于AR/VR等下一代计算平台。为了探索脑机接口在AR/VR应用的前景,过去四年来,Facebook一直在探索BCI技术在AR/VR的应用,并取得较大成果。
bci|Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制
文章插图
据青亭网了解,Facebook的BCI项目主要包括两个部分:1)内部团队研究的穿戴式光学BCI;2)与加州大学旧金山分校(UCSF)合作研发的植入式BCI。其中,Facebook更关注非侵入式脑机接口的研究方向,而植入式脑机接口的技术和算法未来可能会应用于EMG腕带等非侵入式接口,未来应用场景包括全天候AR眼镜。
近期,Facebook和UCSF在《新英格兰医学杂志》上公开了最新的脑机接口研究方案:Project Steno。据悉,该方案可以分析瘫痪患者大脑皮层负责语言的部分,并解码为完整的文字,特点是严重失语的人第一次使用也有很好的表现。
目前,市面上已经有各种不同形式的侵入式和非侵入式脑机接口技术,其中大多数的功能是控制机械臂、操作菜单界面、识别生物信息等等,很少可以将脑信号直接转写成文字。而且,体积小巧、轻便的脑机接口设计也不多见。
bci|Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制
文章插图
将脑中的想法变成文字,似乎是科幻电影中描绘的理想效果,不过这一功能已经在Project Steno上实现。该方案可快速解读大脑运动皮层向声道发送的信号,识别打招呼、描述状态等简单对话。共可区别50个单词,并组合生成1000句话,文字识别准确率可达93%,速度达每分钟18个单词。
实际上,Facebook Reality Labs从2017年就开始探索BCI项目,其长期目标是开发一种无声的非侵入式语音接口,可以将使用者脑中的想法转成文字,帮助失语者恢复自然交流能力。
而Project Steno从2019年开始研发,这项脑机接口技术标志着神经科学的一个重要里程碑,与此同时,也标志着Facebook与UCSF合作项目的落幕。本次合作项目结束后,Facebook会将脑机接口软件开源,并与科研人员和同行共享头戴式脑机接口原型,希望能够推动脑机接口生态和技术的继续发展,将其应用于帮助语言障碍患者交流等医疗辅助场景。
bci|Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制
文章插图
Facebook表示:这项脑机接口技术可用于临床实验场景,也可能用于光学BCI、EMG腕带等非侵入式消费级产品,甚至作为AR眼镜的输入方式。
【 bci|Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制】不过,短期内Facebook似乎对于植入式技术并无兴趣。接下来,Facebook会将重心从脑机接口向EMG腕带转移,加速腕带式神经接口与AR/VR的结合。也就是说,未来Facebook会将BCI团队基础研究成果用来优化腕带输入方式,同时将放弃无声的非侵入式语音接口。
关于Project Steno
Facebook表示:目前,该脑机接口对于患者来讲,Project Steno比16年来他使用过的所有BCI方案都更轻便,同时这项技术对于神经科学领域也是一个关键里程碑。
两年前,该方案可实时识别大量词语,误差极低。后来在去年,科研人员利用机器学习技术实现了对完整句子的识别。
bci|Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制
文章插图
UCSF神经外科系主任Edward Chang表示:我们在UCSF的科研团队已经从事“语音神经假肢”的研究十年多时间。在过去5年来,随着机器学习技术发展,语音神经假肢技术得到长足发展。因此利用Facebook的机器学习专业技术,以及资金支持,我们加速了脑机接口的研发,更好的分析大脑处理语言任务的方式。

推荐阅读