摘要
近年来，脑机接口（BCI）系统的发展引起了神经科学家的广泛关注。脑机接口可以作为一种沟通手段，并恢复运动障碍患者的运动功能。脑-机接口（BCI）设计的一个重要部分是正确分类大脑信号。这些信号过去是通过脑电图采集的。然而，最近的研究表明，当EEG与fNIRS等其他神经成像方法相结合时，分类结果更可靠。
传统的分类方法需要进行先验特征预处理来训练模型。这样的特征选择是一个比较困难和研究较多的问题。通过使用深度神经网络（DNN），记录可以直接反馈给算法进行训练，避免了特征选择的需要。本研究探讨了DNNS在运动想象（MI）和精神负荷（MWL）混合EEG fNIRS记录分类中的应用。采用五层全连通网络进行分类。
这项研究利用了柏林科技大学收集的两个开源元数据集，第一个数据集包括26名健康参与者在三项认知任务中的大脑活动记录：①n-back（0-、2-和3-back），（2）辨别/选择反应任务（DSR）③单词生成（WG）任务；第二个数据集（运动表象）由左右手运动表象任务组成，每个任务有29名健康参与者。
我们的结果表明，与单独的EEG或fNIRS记录相比，多模式记录的分类准确性要高得多。相对于传统的支持向量机（SVM），该算法提高了分类性能，两个任务的平均准确率均达到90％，比SVM性能高8％，这些结果证明了使用多模式BCI和深度学习实现强大分类性能的可行性。
1、背景
BCI可以用作交流工具，神经康复工具以及恢复患有肌萎缩性侧索硬化症（ALS）和脊髓损伤等运动障碍的人和处于持续锁定状态的人的运动功能的手段（LIS），BCI技术的新进展允许他们在大脑活动期间使用从头皮收集的电或血液动力学信号与周围环境联系，操纵或改变周围环境。
BCI的主要目的是检测和解码指示用户意图的大脑信号，并将其转换为可实现用户意图（通常是运动意图）的设备命令。这些命令或运动想象（MI）主要来自主要运动皮层，并且由一系列上肢或下肢运动组成。
为了实现必要的解码，BCI系统需要执行一组信号处理操作并将信号分类为相应的命令，独立脑电图（EEG）和功能近红外光谱（fNIRS）已广泛用于大脑成像。然而，近年来，这些方法的组合已在神经影像学中显示出令人鼓舞的结果，这是由于它们具有互补的分辨率，可以在时间和位置上准确识别大脑活动，脑电的高时间分辨率和fNIRS的高空间分辨率。
然而，基于fNIRS和EEG信号的认知任务分类涉及解决复杂的模式识别问题，常规分类方法需要先验特征选择和预处理，而这些特征和预处理并不能始终保证能导致最佳分类，深度神经网络（DNN）可以克服这一挑战：DNN直接从fNIRS和EEG信号中提取特征，并且它们需要最少的特征预处理。此外，随着最近计算能力的提高，深度神经网络（DNN）已成为高精度分类的一种实用选择。
在基于脑电图的BCI中，许多机器学习方法已用于对大脑活动进行分类，并且显示出很高的分类准确度，在参考文献[6，7]中描述了关于深度学习的脑信号翻译能力的最早研究，Hajinoroozi等人使用了一个深层的信念网络。
参考文献[8]基于EEG的驾驶员认知状态分类，通过使用一些EEG记录通道和An等人的DNN分类器，研究了运动想象分类（左对右）。参考文献[9]的平均记录的准确性约为80％。
在基于fNIRS的BCI分类中，已经研究了针对BCI应用的各种类型的fNIRS实验，包括使用精神工作量[见参考文献10，11]，运动图像[见参考文献12]，运动执行[见参考文献13，14]和其他方法。
但是，深度学习仅在少数研究中得到了应用，Abibullaev等人[参考文献14]研究了使用DNN分类器进行心理工作量任务分类，对于四类实验，所提出的方法达到了94％的准确度。
Hennrich等[参考文献15]研究了三种心理任务的DNN分类效率；准确性类似于常规分类算法，例如线性判别分析（LDA）和SVM。
Nguyen等[参考文献16]将DNN应用于运动想象任务分类（左与右），平均准确度为85％。
最近，在[参考文献17]中，研究了DNN和卷积神经网络（CNN）在三类运动执行任务分类中对fNIRS信号的应用，在每层中具有不同数量过滤器的浅层卷积神经网络，并将结果与人工神经网络（ANN）和SVM进行了比较。
混合神经影像学方法尚处于起步阶段，据我们所知，很少有出版物使用EEG和fNIRS的组合来进行分类，在2017年的一项研究中，Croce等人[参考文献18]将混合式EEG-fNIRS与独立式EEG进行了比较，并报告了分类准确性的提高，其他科学家也发表了类似的结果。
在机器学习算法领域，Fazli等人[参考文献13]和[参考文献20]分别采用LDA和高斯径向基核SVM对运动想象任务进行分类，Lee等人[参考文献21]也使用了LDA。
布奇诺等[参考文献22]针对三种情况（左手，右手和休息）运动想象的混合EEG和fNIRS分类，两种方法的平均分类准确率分别约为65％和75％。
Khan等[参考文献10]和Hong[参考文献1]使用选定运动区域通道的EEG峰值振幅和血液动力学响应的平均值作为特征集，并获得了80％至95％的准确度。
在深度学习中，Jirayucharoensak等人成功地应用了DNN，基于脑电功率谱密度特征将价和唤醒分为三个等级，达到约50％的准确度。在最近对脑电图+ fNIRS运动想象任务分类（3类）的研究中，Chiarelli等人引入并应用了5层DNN，与SVM和LDA方法相比，准确性提高了10％。
2、数据集和信号处理
这项研究利用了Jaeyoung Shin等人在柏林科技大学收集的两个开源元数据集，第一个数据集包括头皮的同时脑电图（30个传感器）和fNIRS（36个通道）记录，用于精神工作量，其中包括在三项认知任务中对26名健康参与者的大脑活动记录：①n-back（0-、2-和3-back）②辨别/选择反应任务（DSR）③单词生成（WG）任务。
第二个数据集是运动想象，由左手运动想象任务和右手运动想象任务组成，每个任务都包含29位健康参与者，根据5-10系统，EEG活性电极分布在整个头皮上。在MWL实验中，将16个光源和16个探测器放置在额骨（16个通道），运动（4个通道），顶壁（4个通道）和枕骨（4个通道）区域。
在MI实验中，将15个光源和16个fNIRS检测器放置在额叶（9个通道），运动（12个通道）和视觉（3个通道）区域。
第一个和第二个数据集的头皮上的EEG和fNIRS通道的位置图可以在[参考文献24，25]中找到，数据集的规格在下面简要描述：
数据集1.A:n-back
数据集由9个系列的0-、2-、和3-back任务组成，顺序平衡。单个系列包括一个显示任务类型的2秒指令（0、2或3-back）、40秒任务周期和20秒休息周期。
数据集1.B:DSR
该数据集包括9组平衡顺序的DSR，单次试验包括2秒指令、40秒任务期和20秒休息期。在任务期间，符号O和符号X以随机顺序每2秒给出一次。志愿者被要求在符号O出现时按一个按钮（目标），在符号X出现时按另一个按钮（非目标）
数据集1.C：单词生成
每节课包括20个随机顺序的单词生成（WG）和基线（BL）试验（每个10），对于WG，参与者被要求在2s指令中不断思考以给定字母开头的单词，而对于BL，他们被要求放松并凝视固定十字以获得低认知负荷。
数据集2.A：左侧心肌梗死与右侧心肌梗死
实验分为左右手心肌梗死3个阶段。每次实验包括1分钟的实验前休息时间，20次重复给定的任务，以及1分钟的实验后休息时间。这项任务开始于2秒的视觉介绍，接着是10秒的任务期和15到17秒的休息期。要求受试者以1赫兹的速度想象握手（张开和合拢双手）
所有数据集的试验次数、系列次数和试验次数的总结见表1。
2.1信号处理
脑电采样频率为200hz，脑电数据存储在长度为2～5s的窗口上，并使用二阶Butterworth滤波器从1～40hz进行带通滤波，考虑多个窗口长度来研究这个超参数对分类精度的影响，对所有数据集进行了事件相关的去同步和同步分析（ERD/ERS）。
ERD/ERS是皮层激活/失活的常规指标，广泛应用于各种运动和工作负荷记忆任务。ERD代表在实际运动之前节律活动的短暂持续和局部振幅降低，相反，ESD表现出相对于其余部分振幅的增加[26，27]。为了计算ERD，在1秒内对信号进行平方和平均以获得功率估计，即ERD/ERS=（a−R）/R，其中a是任务期间时间窗口内的平均功率，R是任务开始前2 s窗口内的平均功率（其余）。
fNIRS采样频率为10hz，脱氧血红蛋白和氧合血红蛋白数据，HbR和HbO，最初是根据fNIRS光密度修正的比尔-朗伯定律（mBLL）计算的。与EEG数据一样，我们考虑了几个窗口长度，从1到5s，来评估窗口长度对分类精度的影响。用二阶Butterworth滤波器从0和0.08hz对加窗记录进行滤波，以去除由于运动伪影、心脏搏动和呼吸引起的生理噪声，将信号HbR和HbO除以窗口样本的最大值进行归一化处理。为了计算HbR和HbO相对于静息的变化，计算窗口的HbR和HbO之间的差值以及窗口之前静息期（基）的HbR和HbO的平均值，并用于构建特征以反馈给DNN。
3、深度神经网络和输入功能
提出的深层神经网络由四个隐藏层组成，如图1所示，每个层有60个神经元，输入层神经元的数目是HbO/HbR和EEG通道的总和。输出层由两个、三个或四个单元组成，具体取决于实验中的类数，软最大激活表示类的概率分布。这个架构是在尝试了几种不同的架构之后选择的，包括浅层和宽层。
图1 建议的DNN的规范。DNN由四个隐藏层组成，每层包含60个神经元，输出层由两个，三个或四个单元组成，具体取决于实验中的类别数量，其中的soft-max激活表示类别上的概率分布。
DNN的输入特征定义为N个样本，每个样本都包含在所有通道的选定时间窗口内平均得到的ERD，D HbO和D HbR值。N的值取决于时间窗口的长度。由于fNIRS的采样率较低，因此数据集相对较小，必须谨慎选择窗口。选择的窗口长度既不应导致N足够小而不会导致过度拟合，也不应使窗口太大以至于影响精度。为了确保这一点，选择了3 s的窗口长度。输入功能的数量取决于所使用的记录而有所不同。对于全混合fNIR-EEG，样本具有102（36 + 36 + 30）个特征。为了比较完整的混合fNIRS-EEG系统与独立的fNIRS和EEG的分类准确性，测试了其他四种情况：合并的EEG和D HbO，独立的EEG，D HbO和D HbR的组合以及独立的D HbO。表2显示了每种情况对应的特征数。
分类过程的流程如图2所示。滤波后，将fNIRS衍生的特征进行平方，然后在窗口上求平均值，以计算D HbR和D HbO。同样，滤波后，EEG衍生的特征在窗口上求平均值，而ERD对结果执行/ ERS分析。然后将所有功能馈入DNN算法以训练网络。
表1.实验规格摘要：所有数据集的实验次数，系列数和实验次数
表2.调查的每个场景的功能数
图2.分类处理流程：过滤后，将fNIRS衍生的特征平方并在窗口上求平均值，以计算D HbO和D HbR，同样在过滤之后，将在窗口上对源自EEG的特征进行平均，并对结果执行ERD / ERS分析，然后将所有功能馈入DNN算法以训练网络。
4、结果
表3-6分别为n-back、DSR、WG和MI任务报告了所有检查记录组合（EEG、fNIRS（D HbO−D HbR）、fNIRS（D HbO）、EEG+fNIRS（D HbO）和EEG+fNIRS（D HbO−D HbR））基于DNN的分类和基于SVM的分类的单受试者准确性。计算了26名被试和29名被试的平均准确率。
表3 单学科和平均分类成绩，n-back任务
对于所有事件，与独立方法相比，全混合EEG fNIRS具有最高的平均精确度。实验结果表明，采用DNN作为分类器比传统的SVM具有更高的分类性能分类器DSR任务的改善率最高为8%。总的来说，2类实验（MI、DSR和WG）的平均分类准确率高于4类n-back测试，这是由于n-back测试中可能存在更多的类，提出的DNN分类器对WG任务的准确率最高，DNN为92%，SVM为86%。
使用ELU激活函数生成表中所示的结果，为了研究激活函数对分类性能的影响，我们应用了最近引入的两种激活函数，并比较了它们在该应用中的性能。应用的激活函数是校正线性单元（ReLU）函数，由于其非饱和特性，该函数已被证明能抑制消失梯度问题；指数线性单元（ELU）表现出快速收敛到零的代价，当采用ELU活化函数时，分类准确率平均比采用ReLU时高2%。
表4 单科目和平均分类表现，DSR
所有实验的混淆矩阵如图3所示，这些矩阵的行表示预测条件标签，而列表示引用标签。对于所有的实验，在所有的个体类别中都取得了显著的表现，并且在混淆矩阵（深棕色的对角线元素）中它们得到了主要和正确的识别。
在n-back测试中，3-back类相对于其他类的真阳性分类最高，2-back类的真阳性分类最低。3-back和2-back试验显示错误分类最多，3-back被归类为2-back，反之亦然，错误分类的模式表明，当项目被错误分类时，他们更容易与难度相近的项目混淆。在MI测试中，右手运动的解码性能较好，左手运动的真阳性分类最小。在两级实验中进行的分类比四级实验产生了更高的总体精确度（a），WG和DSR中，两个类的真阳性分类率相似，错误分类在两个类中几乎均匀发生。
表5 单个主题和平均分类性能，WG
表6 单项和平均分类表现，MI
图3 所有实验的混淆矩阵
5、结论
我们研究了运动想象（MI）和心理负荷（MWL）任务的混合EEG-fNIRS混合记录分类中DNN结构的性能，我们的结果表明，与单独的EEG或fNIRS记录相比，多模式记录的分类准确性要高得多。
相对于传统的算法，该算法大大提高了分类性能，MI任务的平均准确率达到90％，比SVM性能高8％。对于n-back任务，提出的DNN可以达到87％的精度，而使用SVM分类器则可以达到82％的精度；选择ELU激活功能是因为它相对于ReLU具有更高的精度，本文提出的结果证明了使用多模式BCI和完全连接的DNN实现强大分类性能的可行性。
若需英文原文，请联系我们（微信：cheitech）
联系我们 扫描二维码 获取更多 点击添加
本篇由BCIduino脑机接口开源社区整理或撰写。BCIduino脑机接口社区由来自北京航空航天大学、康奈尔大学、北京大学、首都医科大学等硕博发起成立，欢迎扫码加入社群，备注”BCI”，也欢迎采购BCIduino脑电模块（某宝搜索即可）
欢迎关注我们的微信公众平台
————BCIduino脑机接口社区