脑机I/O子平台,顾名思义,就是一个用于脑机智能设备读写的平台。它能从采集神经活动的设备中读取信息,也能给调控神经活动的设备写入信息。
那为什么我们需要这样一个平台呢?
现在,想象你打算把你的家改造成一个智能化的家庭。你有A品牌的灯具,B品牌的温湿度控制器,C品牌的人体感应器,当然,你还有电脑、手机、好几个音响……每个品牌都有自己的App供你使用,可是他们之间却无法联动。
这时,你发现有一款能集成这些不同设备的平台,它能让不同品牌、不同功能的产品联通互动,这才有了真正的智能化——音响里的歌曲随着你的移动可以一台一台接力地播放,电脑上的下载软件把电影下载好了你身边的灯可以变一下色温提醒你,甚至你的手机桌面可以根据房间的温度自动切换……
同样的,在脑机接口领域有许许多多不同的设备和品牌,他们有的可以收集脑部神经活动的信息,有的可以调控脑部的神经活动。
收集的方面不仅涵盖了不同尺度的神经电信号——头皮脑电(EEG)、皮层脑电(ECoG)、局部场电位(LFP)、峰电位(Spikes),也涵盖了血氧水平的变化、血流速度变化和钙离子通道的变化等。涉及包含脑电帽、皮层脑电贴片电极、侵入式电极阵列、功能性磁共振成像、功能性近红外光成像、功能性经颅多普勒超声、光学成像系统等多种不同设备。
调控的方面,涵盖了通过电磁手段调控的经颅电刺激、经颅磁刺激、深部脑刺激,通过力学效应调控的经颅聚焦超声、改变光感离子通道的光遗传学,同样涉及了许多不同的设备。
图1. 常见脑机接口相关设备与技术(图源:BrainMind,翻译:周飔澍)
他们各自有自己的传输协议和软件,却难以沟通兼容。
但是,近来许多神经科学及脑机接口方面的研究都趋向于多模态结合,互相弥补单一模态的不足之处,从而更全面地解析神经信号,更高效地调控神经环路,实现1+1>2的效果。
因而,一个能让多种不同设备协同工作、让多种不同信号数据可以以标准化的结构存储的平台就成了必要条件。
一个多模态的脑机读写平台
我们的脑机I/O子平台,目前已可通过蓝牙、LAN、USB、PCIe、串口、无线射频等多种硬件传输协议同时接入多台与神经观测和调控相关的光、电、声与磁设备。软件平台将自动发现并标识接入的硬件设备。为各种设备之间建立沟通互联的逻辑关系提供了基础。
一个实时读写的脑机平台
而且,我们脑部的信息量远远大于一个智能家庭的信息量。
作为智能家居爱好者,小编家中有133个智能设备,大部分传感器的检测频率为1-3分钟一次。
而我们的脑呢,恐怕任意一个采集数据的传感器,其采样频率每秒少则数百次,多则上万次。绝大多数传感器更是有几十个通道。如果类比智能家的话,大概就是一个密密麻麻布满智能设备的家在一秒内过完数十年的信息量。而且,住在这个家里的神经元们还一个个活泼好动,即便传感器们能精确感应到这些神经元的活动,也要快速处理,找到真正有用的信息。对于这样瞬息万变的神经活动来说,我们最关注的是祛除噪音以后的神经信号何时发生,何地发生。
这就对数据的传输、存储、定位有了极高的要求。我们的脑机I/O子平台可实现多模态异构脑数据的同步存储标准化规范。这意味着它可以通过实时的数据清洗、预处理以及特征提取,在保留关键时间空间信息的前提下,高效地压缩数据量。
一个可自由定制的脑机平台
平台的另一个好处是高度可定制化。
脑机智能的研究要取得突破,就要对各种假设进行验证,这意味着研究人员需要对各项参数能进行自由地调控。我们的I/O子平台能够为通用科研仪器提供虚拟仪器操作面板,方便研究人员直观地设置各种参数,灵活度高。
对于希望进一步达到个性化实验设计的研究人员,我们提供开放的标准读写接口及传输协议,并配有包括Python、MATLAB、C/C++等神经科学领域主流编程语言SDK开发库。从软件平台导出的数据也能快速导入主流神经科学数据处理软件,做进一步分析。
一个可快速上手的脑机平台
如果你用过类似Home Assistant的物联网集成平台,并且是一个没怎么接触过代码的人,你大概率会因为学习YAML的时间成本和调试各种莫名其妙的错误被劝退。
幸运的是,出现了一个插件,你可以轻轻松松通过拖拽展现你的智能家居控制逻辑,而这个插件会帮你直接把背后的代码写好。流程图的模式,不但省去了学习代码的时间,还能清晰地呈现控制的逻辑流,帮助你定位错误的发生。
与之相似,脑机接口的实验涉及许多不同的分析或调控参数和期待呈现的可视化数据。对于不少精专于神经科学而非计算机的研究者来说,虽说也可以自己花大量的时间学习编程完成仅适用当前实验的代码,可不但后期修改实验设计时调试容易出错,在交接工作的时候更是需要花费更多的时间和精力在实验控制代码的解释说明之上。这些额外的时间成本侵蚀着本应更加得到关注的实验设计、分析方法设计和分析结果解读,进而埋没了原本也许更快就能发现的科学真相或发明的新方法。
这时候,如果有一个可拖拽的,组件式用户交互系统,不但可以节约学习繁复代码的时间,更能清晰地呈现实验逻辑,将数据可视化呈现,便于后期修改调整实验方案、交流讨论。
目前,我们的I/O子平台可通过GPU加速、分级渲染、采样率适配、离屏裁剪等技术,同时将多个采集到的神经信号或者干预信号可视化呈现。在未来的几年中,脑机融合计算平台还将不断发展壮大,不仅在读写上,更在分析计算上突飞猛进,打造一个低代码、可配置、易扩展,面向研究人员的敏捷开发平台。
总结
总体来说,脑机I/O子平台能
-
-
-
- 同时接入多个品牌、多种模态的脑机智能设备,为多模态研究提供基础;
- 在保留高精度时空特征的前提下,实时地读写关键信息,帮助建立多模态信号之间的逻辑关系;
- 给予研究人员高度的自由,快速调控各项参数,用于对不同研究假说的验证;
- 能将读写的神经信息可视化呈现,帮助直观地了解实验进程。
-
-
在未来加入脑机分析平台以后,更将通过可拖拽的,组件式用户交互系统,极大地缩短实验程序编写的时间,减少程序编写的错误或冗余,降低沟通成本,提高实验效率和可重复性。
浙大西投脑机致力于打造一个能让脑机研究没有壁垒,让脑机应用走入临床的脑机融合计算平台。我们将逐步向脑机智能研究领域的科研伙伴开放平台的共享使用,不断对系统进行完善。