3D卷积神经网络从神经生理学高度解码复杂大脑活动

从EEG中准确解码出特定大脑活动是BCI技术中的关键步骤，最常用的手段就是深度神经网络。但是以往的深度神经网络往往都对大脑运动任务进行粗略分类，难以从神经生理学的高度解码EEG中精细的活动特征。今年1月份，Neeles和 Konstantinos团队发表在《Nature》子刊《Scientific reports》上的一篇报道提出了一个可以在神经生理学高度解释的三维卷积神经网络(3D-CNN)，该网络能够捕获运动过程中EEG特征的时空特性，保留了大脑诱发活动中至关重要的时间成分。且在测试其对相似运动模式的分类时，准确率达到了80%以上。相比现在的2D-CNN，3D-CNN的这一改进使得网络分类决策过程和大脑活动的神经生理学吻合度更高，这对复杂大脑活动的实时分类是一个重大进步。

该团队已经使用3D-CNN预测了使用背负式康复机器人在平面上进行手部运动时EEG的复杂组成部分。该网络的特别之处在于接收保留地形特征的EEG输入后，在Sensor-space进行二维卷积，在temporal space进行一维卷积，提取区分任务的时空特征。训练结束后测试该网络在未受训练运动模式分类中的准确率。

图1 实验设置和研究工作流程；(A)12名被试进行目标定向运动任务和EEG采集；右侧为位移运动数据的获得过程；(B)3D-CNN对手部运动的复杂成分进行识别分类；(C)梯度加权类别激活图

3D-CNN在运动模式分类中考虑到了时间信息，因此团队首先估计了EEG信号中时间间隔差异具有统计学意义的类别。他们发现在所有的分类任务中，运动开始前的EEG都有明显的类别区分差异。时间间隔的确定使得网络能在EEG事件上应用逻辑回归分类器，并建立一个基线结果来比较分类的准确性。

图2 (A) EEG sensors的时空聚类统计显示类间的ERP的时间和位置（通道）差异中；(B）位移相关皮层电位(MRCP)表现为运动前约0.25秒触发的负电位；(C)使用逻辑回归分类器对留一对象法进行原始EEG epochs三种任务分类的准确性评估

团队开发了一个5层3D-CNN，提取EEG中具有任务判别性的时空特征，使用了留一对象(Leave-one-subject-out)方法进行分类。RT的平均准确率为79.81%±2.37%，主动/被动分类的平均准确率为81.23%±4.87%，方向分类的平均准确率为82.00%±6.24%；均优于2D-CNN，尤其在RT和方向分类上分别超过LSTM网络12.32%和29.84%。

图3 3D-CNN架构；5层网络接收3D EEG输入，并在sensor space 和temporal space进行卷积；将提取的特征输入分类层进行分类预测

表1 3D-CNN分类准确度

图4使用留一法评估混淆矩阵的三个分类任务时的精确度，数字表示百分比。

团队开发了一种梯度加权类别激活图(Grad-CAM)方法计算与各类别最相关激活脑区的时空图。

图5 分类结果对神经生理学网络的映射。例如：Grad-CAM识别出在慢速和快速RT分类中，最相关的脑区覆盖对侧辅助运动区(SMA)、前运动皮质(PMC)、初级运动皮质(M1)和眶额皮质区域，这些脑区的激活与关于上肢各种运动的实验研究相一致

这项研究表明神经生理活动的相关性在3D-CNN中对于准确解码来自EEG的复杂运动成分的重要性，对RT、运动模式(主动或被动)以及运动方向这三个运动成分的准确预测可以告知机器设备对象的运动意图，从而实现对运动的实时控制。另外该研究中Grad-Cam的分类结果与潜在神经生理学有稳定对应关系，进一步说明3D-CNN在增强功能运动恢复应用中的可靠性。

论文信息：

Kumar, N., Michmizos, K.P. A neurophysiologically interpretable deep neural network predicts complex movement components from brain activity. Sci Rep 12, 1101 (2022). https://doi.org/10.1038/s41598-022-05079-0

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：913607986

  欢迎来稿  

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

2.加入社区成为兼职创作者，请联系微信：RoseBCI

助力脑机接口发展

点个在看祝你开心一整天!