想象一下以下场景,在没有键盘的情况下在电脑上打字,在没有控制器的情况下玩电子游戏,在没有方向盘的情况下驾驶汽车。这么炫酷的场景,似乎只有科幻影片中才会出现。

如今,由加州大学伯克利分校的工程师们开发出的一种新型可穿戴设备或许可以实现这些场景。该设备通过将可穿戴生物传感器与人工智能(AI)相结合,可以根据设备佩戴者前臂的电信号模式,识别出他计划做出的手势。研究人员表示,该设备有望用于控制假肢,并且可与各种类型的电子设备进行交互。

相关研究以“A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition”为题,于 12 月 21 日在线发表在 Nature Electronics 上。

(来源:Nature Electronics)

对此,该设备的研发工程师之一、加州大学伯克利分校电子工程和计算机科学系博士 Ali Moin 表示:“假肢是这项技术的重要应用之一,它同时也提供了一种非常直观的、可与计算机交互的方式。” 改善人机交互的方式有多种,比如使用摄像头和计算机视觉技术,但读取手势是一个很好的解决方案,还可以保护个人隐私。

让科幻场景成为现实

近年来,可穿戴式生物传感器在健康监测和人机界面交互领域得到了广泛的应用。但是,想要使无线信号处理系统实现对生理信号的实时分析,还存在通信时延、安全性等问题。

虽然引入机器学习模型进行本地信号处理的系统具有许多优势,但同样面临着多种问题,在低功耗嵌入式处理器中,所使用的机器学模型通常需要事先进行离线训练,如果训练达不到预期效果,模型的分类精度就会降低,导致性能欠佳或用户体验不佳等问题。

为了解决当前可穿戴生物传感设备面临的技术壁垒,Moin 等人通过检测人体皮肤表面肌电图(surface electromyography,sEMG),研发了可穿戴的高密度 sEMG 生物传感系统。该可穿戴系统总重量为 26g,也就是一块表的重量,佩戴十分方便;系统所使用的电池为 3．7V、240mAh 的锂离子电池,连续手势识别续航时间长达 6 小时。

图 | sEMG 可穿戴生物传感系统。a． 位于前臂上的设备;b． 丝网印刷过程的图解;c． 定制设计的 16*4 电极阵列;d． 小型八层 PCB 电路板;e． 构成可穿戴系统的主要组件的框架图。(来源:Nature Electronics)

为了创建手势识别系统,该团队与加州大学伯克利分校电子工程教授 Ana Arias 合作,设计了一个灵活的臂带。该臂带可以读取佩戴者前臂上 64 个不同点的电信号,并将电信号输入到一个使用 AI 算法编程的电子芯片中。与其他人工智能算法一样,该算法首先要“学习”手臂上检测到的电信号,并与特定的手势相关联。要实现这一点,每个用户都必须戴上臂带,同时逐一做出手势。

(学术头条制作,素材来自 YouTube)

(学术头条制作,素材来自 YouTube)

(学术头条制作,素材来自 YouTube)

该生物传感系统穿着舒适,并且可以提供快速的初始训练,自适应性较强,这一特点对于可穿戴的人机界面应用至关重要。但是,目前该系统所检测的生理信号会因用户而异,并且不稳定。

竖起你的大拇指

与其他先进的手势识别系统相比,该设备使用超维计算(HDC)来实现传感器中的自适应学习,通过本地数据实时训练、推理和模型更新,来适应不断变化的情境,对手势分类进行实时推断的实时推断。例如,如果设备佩戴者的手臂上有汗水或手臂举过头顶,与特定手势相关的电信号会发生变化,HD 算法可以将这些新信息纳入其模型。

Moin说:“在手势识别中,sEMG 信号会随着时间的推移而改变,这可能会影响模型的性能,我们能够通过更新设备上的模型来大大提高分类精度。”

图 | 研究中使用的手势类别和 sEMG 记录特征(来源:Nature Electronics)

通过模型训练,该系统成功识别了 21 个单独的手势,包括竖起大拇指、握拳、平手、举起单个手指和数数字。

该设备的另一个优势是,所有的数据运算都在芯片上进行,无需将个人数据传送到附近的电脑或设备上,这不仅加快了计算速度,还确保了个人生物数据的私密性。

Moin 表示:“当你想让手部肌肉收缩时,你的大脑会通过颈部和肩部的神经元向手臂和手部的肌肉纤维发送电信号。从本质上讲,臂带中的电极所检测到的就是这个电信号。它并不是那么精确,从某种意义上说,我们无法精确地指出到底是哪些纤维被触发了,但由于电极的分布密度较高,它仍然可以学习识别某些模式。”

论文通讯作者之一、加州大学伯克利分校的电机工程和计算机科学系杰出教授 Jan Rabaey 表示:“当亚马逊或苹果公司创建他们的算法时,他们会在云端运行一堆软件来创建模型,然后将模型下载到设备上。但是,在设备的使用过程中,往往会被所输入的特定模型所困。如今,我们实现了一个在设备本身完成学习的过程,而且它的速度极快,你只需要执行一次,它就会开始做这项工作。你做的次数越多,设备的性能就会变得越好。它在不断学习,这也是人类的工作方式。”

Rabaey 表示,该设备尚未准备好商用,可能还需要进行一些调整。

“这些技术大多数已经存在于其他地方,但是该设备的独特之处在于,它将生物传感、信号处理和解释以及 AI 集成到一个系统中,而且该系统具有尺寸小、设计灵活、低功率等优点。”