研发进展

主页 >>技术研发>>研发进展>>解读神经信号,和机械手玩“石头剪刀布”
解读神经信号,和机械手玩“石头剪刀布”
  • 中国首次用病人颅内植入电极意念控制机械手,并成功完成高难度的肢体运动“石头、剪刀、布”这一猜拳动作;
  • 有望帮助临床上因中风、脊髓及肢体神经损伤、肌萎缩侧索硬化(渐冻人)等肢体运动功能障碍患者恢复运动功能、改善生活质量。

2021-05-18

与机械手玩“石头剪刀布”

如果让你和机械手比赛剪刀石头布,你能获胜吗?单纯从概率角度来说大家的胜率是一样的,但是,如果机器可以在你出招前预判你的想法呢?

浙大脑机接口团队此前就完成了这一试验。一位癫痫患者小刘(化名)的颅骨内植入了ECoG电极。起先,机械手只是模仿人的动作,小刘出了“剪刀”,机械手也伸出两根“手指”;小刘摊开手掌,出了“布”,机械手“迟疑”了一小会儿,也摊开了手掌。但是,玩了几轮之后,这只机械手就真刀真枪地跟小刘玩起了猜拳:小刘打出“布”,机械手毫不犹豫地打出“剪刀”;小刘再出剪刀,机械手马上握起了拳头。

它好像读懂了小刘的心思,回回都能赢。

图1. “石头剪刀布”基本原理示意图

通过神经信号判断手势的原理

小刘是一位难治性癫痫患者,为了切除癫痫病灶,医生将硅橡胶片覆盖在病人的大脑皮层上,硬脑膜下,采集皮层脑电信号ECoG来检测癫痫病灶,监测异常脑电。而这个ECoG电极,正好可以精确捕捉 “意念控制机械手”所需要的神经信号。

图2. 植入硬脑膜下的ECoG电极

虽然ECoG电极能够分辨出单个手指运动相关的神经信号,可如果多个手指同时运动,信号分辨的难度就大大增加。但是,借由循环神经网络(RNN)这一机器学习算法,可以把多个手指同时运动的神经信号分类,推测手部运动的结果是“剪刀”、“石头”还是“布”。结果显示,当解析时间间隔为0.3s时,准确率可超过75%,而当解析时间为0.5s时,准确率可以超过80%,而当时间延长到1s时,准确率可高达90%

图3. 红色线为当前算法在不同时间间隔下的判断准确程度

相关文献:

Pan, G., Li, J.-J., Qi, Y., Yu, H., Zhu, J.-M., Zheng, X.-X., Wang, Y.-M., & Zhang, S.-M. (2018). Rapid decoding of hand gestures in electrocorticography using recurrent neural networks. Frontiers in Neuroscience, 12. https://doi.org/10.3389/fnins.2018.00555

高时空分辨微型大脑钙成像显微系统 BrainScope

高时空分辨微型大脑钙成像显微系统 BrainScope

由浙大西投脑机智能研究中心孵化的科技型企业“领脑科技”已推出一款重量不足2.9g,单细胞分辨率级别的高精度长时间钙离子成像系统,可长期稳定佩戴在自由活动的实验动物头部,实时观测其神经细胞活动,将为功能性神经环路的探索,神经精神疾病的研究,神经系统药物的开发带来变革性的新武器。[wpforms_selector form_id="54854" show_title="on" _builder_version="4.10.4" _module_preset="default" global_colors_info="{}"...

小型可移动旋转的MRI系统:开启便携新时代

小型可移动旋转的MRI系统:开启便携新时代

随着医疗影像科技不断进步,患者期待能够在诊断过程中获得更好的体验,院方或科研机构希望获得更加物美价廉的诊断设备,影像科和研究人员希望成像质量得到保证。
浙大西投脑机智能研究中心开启了一款超乎想象的新型磁共振成像(MRI)系统的研发,帮助解决这些难题。一年以来,一款小型可移动旋转的1.5T MRI系统已有基本雏形,将引领一个便携式磁共振的新时代。

国家级脑机融合平台I/O子平台完成验收

国家级脑机融合平台I/O子平台完成验收

脑机接口将在脑与机器之间形成一条直接通路,实现脑与外部设备的双向信息交互。为了迎接脑机智能时代的到来,应对硬件兼容难、软件重用难、标准互通难、临床试验难等重重挑战,我国将打造一个脑机融合计算平台。浙大西投脑机智能研究中心作为平台建设的重要参与者之一,已初步建成脑机IO子平台,未来将进一步发展脑信息分析与计算子平台,帮助打破脑机研究壁垒,助力脑机应用落地。