融合脑电与近红外脑地形图特征学习的多模式分类

脑地形图可以用来可以监测大脑的活动状态,为了准确提取被试大脑活动产生信号的空间特征以及有效提高分类准确率,结合脑地形图和卷积神经网络提出一种多模态脑地形图神经网络分类算法(MBTMNN),对运动想象和心算进行分类识别。对脑电和近红外信号进行预处理,提取脑电的能量特征和近红外中氧合血红蛋白浓度特征,结合各自电极位置统一所有样本的colormap后生成脑地形图,将二者同时输入到卷积神经网络并在特征层进行融合得到训练模型。利用2017年柏林脑电-近红外公开数据集进行六折交叉验证实验,数据集包含29名被试,各300个样本,在运动想象左/右、心算/静息、运动想象/心算/静息和运动想象左/右/心算/静息等4种分类场景中,分别达到了82.91%、94%、90.34%和78.18%的准确率,高于同数据集的近期研究和单模态方法。所提出方法能够有效融合脑电和近红外信号以提高分类精度。