基于卷积循环神经网络的阿尔茨海默症早期诊断

早期准确诊断能延迟阿尔茨海默症(Alzheimer′s disease,AD)病情的恶化。磁共振成像(MRI)和正电子发射断层扫描(PET)已被证明有助于了解AD相关的解剖和功能性神经变化。近期研究表明,多模态特征的融合可以提高分类性能。本研究提出了一种基于卷积循环神经网络的多模态数据分类新框架,新框架结合了2D卷积神经网络和循环神经网络,以学习3D MRI和3D PET图像切分为2D切片序列之后的切片内、切片间特征,完成AD的早期诊断。本研究方法在AD与NC的分类实验中ACC为93.3%,AUC为98.1%;在MCIc与NC的分类实验准确率为83.8%,AUC为91.9%;MCIc与MCInc的分类实验准确率为79.0%,AUC为88.9%。结果表明该方法具有良好的分类性能。     

基于非线性高阶特征和超图卷积神经网络的阿尔茨海默症分类

阿尔茨海默症（AD）是一种不可逆转的大脑神经退化性疾病，会损害患者记忆力和认知能力。因此，AD诊断具有重要意义。大脑感兴趣区域（ROI）之间往往是多个区域以非线性的方式协同交互，充分利用此类非线性高阶交互特征有助于提高AD诊断分类的准确性。为此，提出基于非线性高阶特征提取和三维超图神经网络相结合的AD计算机辅助诊断框架。首先针对ROI数据使用基于径向基函数核的支持向量机回归模型训练出基估计器，再通过基于基估计器的递归特征消除算法提取功能性磁共振成像（fMRI）数据中的非线性高阶特征，进而将特征构造成超图，最后基于fMRI数据的四维时空特性搭建超图卷积神经网络模型来进行分类。阿尔茨海默症神经影像倡议（ADNI）数据库上的实验结果表明，所提框架在AD/正常对照（NC）分类任务上的效果相较于Hyper Graph Convolutional Network(HyperGCN)框架提高了8%，相较于传统二维线性特征提取方法提高了12%。综上，本文框架在AD分类效果上较主流深度学习方法有所提升，可为AD计算机辅助诊断提供有效依据。     

基于典型相关分析与双模态数据融合的抑郁症辅助诊断

为了充分提取抑郁症患者的磁共振影像信息,提高抑郁症的诊断准确率,本研究将功能磁共振图像与结构磁共振图像作为研究对象,提出一种双模态数据融合的抑郁症分类算法。首先构建4种不同尺度的功能脑网络,提取功能磁共振图像的数据特征,然后使用迁移学习处理的三维密集连接卷积神经网络,提取结构磁共振图像的数据特征,接着使用典型相关分析方法融合两种特征,最后使用支持向量机对融合特征进行分类,从而将受试者识别为健康者或抑郁症患者。实验结果表明,本文提出的方法可获得89.56%的分类准确率与95.48%的召回率,与单模态数据分类相比,基于双模态数据的分类方法具有更好的分类性能。此外,典型相关分析法可以有效融合双模态的图像特征。     

基于多模态典型相关特征表达的阿尔兹海默病诊断

对阿尔兹海默(AD)疾病进程的建模研究,有利于在其早期阶段--轻度认知障碍(MCI)进行更准确的诊断。不仅利用多模态影像数据,还分析模态间特征关系,用于增强与AD/MCI相关的特征表达能力。首先,基于典型相关分析融合不同模态间多个感兴趣区域并生成多模态关系特征表达;其次,基于稀疏最小二乘回归损失函数,以此获得稳定且有识别力的相关性表达特征;最后,使用交叉验证方法将随机选择的训练样本用于支持向量机分类模型,再对测试集受试者进行疾病阶段诊断。实验基于Alzheimer′s Disease Neuroimaging Initiative(ADNI)公共数据库的805位受试者,包括AD,MCI和正常受试者(NC)。此方法对于AD vs NC,MCI vs NC和p-MCI(进行性轻度认知障碍)vs s-MCI(稳定性轻度认知障碍)等3种不同类型数据,诊断结果分别为92.01%,74.83%和70.27%。与其他算法相比,分类准确率都有明显提高。表明所提出的方法能够有效应用于多模态数据对阿尔兹海默病的诊断分析研究。     

儿童脑发育及神经发育障碍的多模态MRI研究进展

目的 总结多模态MRI技术在儿童脑发育及神经发育障碍（NDDs）中的应用研究进展。方法 在中国知网、万方数据、PubMed及Web of Science 等中英文数据库,以“儿童脑发育”“神经发育障碍”“磁共振成像”以及“brain development” “neurodevelopmental disorders” “children” “MRI”等为关键词,检索1999年1月—2021年1月有关脑发育及NDDs疾病的MRI研究的相关文献,共检索到7 974篇文献,排除内容不相符、无法获取全文、质量较低、证据等级不高、重复研究的文献,最终纳入49篇英文文献,对其进行总结、分析。结果 多模态脑影像学技术（如形态学、解剖学及功能MRI）结合当前机器学习分析技术（如脑年龄预测）和影像遗传学技术,从结构到功能、从局域到网络性质,描绘了正常和异常儿童脑发育的轨迹,促进了对NDDs病理生理机制的理解。结论 结合定量化分析的多模态MRI技术,可用于对NDDs疾病的大脑结构及功能改变进行观察和对NDDs疾病机制的研究,并提供影像生物标志物,在儿童脑发育及NDDs疾病的早期诊断、分类和预后方面具有较高的应用价值。     

基于3D深度残差网络和多模态MRI的脑胶质瘤自动分级

目的:利用3D深度残差网络和多模态MRI实现对脑胶质瘤的自动分级。方法:利用BraTS2020公共数据集的293例高级别胶质瘤（HGG）和76例低级别胶质瘤（LGG）的多模态MRI数据训练和测试3D深度残差卷积网络模型。多模态MRI图像经过3D剪裁、重采样和归一化的预处理,随机分组为训练（64%）、验证（16%）和测试（20%）样本,将预处理后的多模态MRI图像和分级标注输入到网络模型进行训练、验证和测试。利用准确率（ACC）和受试者工作特征（ROC）曲线下面积（AUC）评价分级结果。结果:在59例（48例HGG和11例LGG）验证数据集上,ACC和AUC分别为0.93和0.97,在75例（62例HGG和13例LGG）测试数据集上,ACC和AUC分别为0.89和0.93。结论:3D深度残差网络在多模态MRI数据集上获得了较好的脑胶质瘤自动分级结果,可以为确定治疗方案和预测预后方面提供重要参考。     

图像增强下基于生成对抗网络和卷积神经网络的CT与MRI融合方法

针对多模态医学图像融合中的重要特征丢失、细节表现不突出和纹理不清晰等问题,提出一种图像增强下使用生成对抗网络（GAN）和卷积神经网络（CNN）进行电子计算机断层扫描（CT）图像与磁共振成像（MRI）图像融合的方法。生成器针对高频特征图像,双鉴别器针对逆变换后的融合图像;高频特征图像通过GAN模型进行特征融合,低频特征图像通过基于迁移学习的CNN预训练模型进行特征融合。实验结果表明,与当前先进融合算法相比,所提方法在主观表现上纹理细节特征更加丰富,轮廓边缘信息更加清晰突出;在客观指标评估中,融合质量评价指标（QAB/F）、信息熵（IE）、空间频率（SF）、结构相似性（SSIM）、互信息（MI）和融合视觉信息保真度（VIFF）等关键指标比其他最佳测试结果分别提高了2.0%、6.3%、7.0%、5.5%、9.0%和3.3%。融合后图像可以有效地应用于医学诊断,进一步提高诊断效率。     

基于双模态磁共振成像和决策层融合的抑郁症辅助诊断

本研究提出一种基于结构和功能双模态磁共振成像数据融合的抑郁症分类算法,首先利用功能脑网络和深度学习网络分别提取功能和结构磁共振成像数据特征,并计算类概率,然后使用软投票法和加权投票法在决策层对两种类概率数据进行融合,充分提取功能与结构磁共振成像的数据信息,得到更加准确的分类效果。试验结果表明,数据融合方法可以显著提高抑郁症分类效果,获得91.34%的准确率和96.62%的召回率,更好地实现了抑郁症的辅助诊断与预后。     

基于小波变换和CNN-LSTM的肺音分类算法

目的：针对如何建立有助于电子听诊诊断的肺音分类模型,提出一种基于卷积神经网络（CNN）-长短期记忆网络（LSTM的混合深度学习肺音分类模型方法。方法：首先使用小波变换对数据集进行特征提取,使肺音信号转化为能量熵、峰值等特征;在此基础上构建CNN和LSTM的混合算法分类模型,其中将小波变换提取的特征先输入CNN模块,能够获得数据的空间维度特征,再通过LSTM模块获得数据的时间维度特征,融合两类特征,通过模型可以将肺音分类,从而达到辅助判断患者的肺部疾病。结果：CNN-LSTM混合模型准确率、F1分数均明显高于其他单一模型,可达到0.948和0.950。结论：提出的CNN-LSTM混合模型分类准确率更高,在智能听诊领域具有广泛的潜在应用价值。     

基于特征融合神经网络的运动想象脑电分类算法

运动想象-脑机接口（MI-BCI）技术为运动障碍患者提供了一种新的与外界交流的能力。应用卷积神经网络（CNN）处理运动想象（MI）脑电分类问题时,多提取最后卷积层的特征,忽视了中间层大量可用信息,导致MI-BCI的分类性能较差。针对这一问题,提出模型内层融合（WMFF）和模型间层融合（CMFF）两种特征融合策略。WMFF策略提取CNN每一层特征进行融合;CMFF策略融合CNN和长短时记忆网络并提取每一层特征。本研究用BCI竞赛IV Datasets 2a数据集对所提方法进行验证,WMFF和CMFF MI脑电信号四分类平均正确率分别达到76.19%和80.46%。结果表明,所提方法可有效提高MI脑电信号分类正确率,为MI脑电信号分类提供了新的思路。     

影像与基因特征分析方法在阿尔茨海默病中的研究进展

阿尔茨海默病(AD)是一种最常见的神经退行性疾病,且已有研究证实其表型易受遗传因素的影响。近年来,随着多模态脑成像和高通量基因组学在医学影像中广泛应用,通过数据挖掘、数学建模等方法,探索影像与基因的关联分析已成为新的热点。目前,用影像与基因特征联合分析来研究AD,并在AD的早期诊断、分类和预后分析等方面该技术的应用已经取得了重大的进展。首先对影像与基因特征分析技术进行概述,然后阐述了统计学及机器学习方法在影像与基因特征联合分析中的应用,最后对该技术的发展前景进行了展望。     

基于全脑功能连接的网络游戏障碍分类研究

目的：利用静息态磁共振数据构建全脑功能连接网络，通过多元模式分析建立诊断模型，实现网络游戏障碍(internet gaming disorder, IGD)和正常对照组之间的分类识别。方法：采集71例IGD患者及88例正常对照的大脑静息态磁共振数据，采用功能连接分析技术构建全脑功能连接网络。将大脑功能连接作为分类特征，采用支持向量机和多种特征选择方法，探索IGD患者区别于正常人的异常网络模式。综合多种特征选择方法筛选的共有特征最终确定IGD客观识别的影像学标志。结果：基于全脑功能连接建立的分类模型准确率最高可达80.6%（敏感性为78.5%，特异性为81.2%）。用于区分IGD患者和正常对照的神经影像学标记主要位于左侧背外侧前额叶、右侧前扣带回、左侧眶额回、右侧海马旁回和双侧颞叶等负责认知控制、动机和学习记忆的脑区。结论：基于静息态全脑功能连接的诊断模型对IGD有较好的区分能力，未来可以为临床智能诊断提供补充手段。     

融合脑电与近红外脑地形图特征学习的多模式分类

脑地形图可以用来可以监测大脑的活动状态，为了准确提取被试大脑活动产生信号的空间特征以及有效提高分类准确率，结合脑地形图和卷积神经网络提出一种多模态脑地形图神经网络分类算法(MBTMNN),对运动想象和心算进行分类识别。对脑电和近红外信号进行预处理，提取脑电的能量特征和近红外中氧合血红蛋白浓度特征，结合各自电极位置统一所有样本的colormap后生成脑地形图，将二者同时输入到卷积神经网络并在特征层进行融合得到训练模型。利用2017年柏林脑电-近红外公开数据集进行六折交叉验证实验，数据集包含29名被试，各300个样本，在运动想象左/右、心算/静息、运动想象/心算/静息和运动想象左/右/心算/静息等4种分类场景中，分别达到了82.91%、94%、90.34%和78.18%的准确率，高于同数据集的近期研究和单模态方法。所提出方法能够有效融合脑电和近红外信号以提高分类精度。     

多模态医学图像融合技术的研究与进展

医学图像融合技术是影像学技术在医学上极具特色的应用,它将解剖影像与功能影像两者有机的结合起来,实现了从单一的形态学诊断进入到功能与形态相结合的综合影像诊断。重点介绍了多模态医学图像融合的意义、融合技术的分类以及各实现方法的原理,主要包括加权平均法、多分辨金字塔法、小波变换法等常用技术,并分析了当前该领域存在的技术难点以及发展前景。     

基于中心化自动加权多任务学习的早期轻度认知障碍诊断

轻度认知障碍(MCI)是阿尔茨海默病(AD)的早期阶段,是治疗AD的最佳时期,因此对MCI的诊断非常重要。多模态数据可以全面分析疾病的状况,有利于疾病的准确诊断,但是现有方法并不能同时有效地分析多个模态数据之间的关系,无法有效结合功能态数据和结构态数据之间的优势。提出一种中心化自动加权多任务学习方法用于MCI的诊断。该方法可以同时学习不同模态的数据,有效地结合数据之间的优势。首先,分别对功能态数据rs-fMRI和结构态数据DTI构造脑网络;其次,基于多模态数据设计新的多任务特征学习模型,每个任务的重要性和模态之间的平衡关系会被自动学习,包括不同模态间的相似性和特异性,以获得稳定且有识别力的表达特征;最后,将选取的特征输入支持向量机模型进行分类诊断。实验基于Alzheimer′s Disease Neuroimaging Initiative(ADNI)公共数据库,包括明显记忆问题(SMC)、早期轻度认知障碍(EMCI)、晚期轻度认知障碍(LMCI)和正常受试者(NC)。所提出的方法对于NC vs SMC、SMC vs EMCI、SMC vs LMCI和EMCI vs LMCI等4种不同类型数据,诊断结果分别为76.67%、79.07%、80.56%和74.29%,与其他传统算法相比,分类准确率都有明显的提高,有望应用于对早期轻度认知障碍的诊断分析。     

基于特征选择的阿尔茨海默症辅助诊断

阿尔茨海默症（AD）是一种在老年人中多发的脑部神经疾病,致病原因迄今未明,在疾病发展早期难以诊断。随着 计算机和人工智能技术的大力发展,利用磁共振成像（MRI）技术和机器学习方法辅助医生对AD进行辅助诊断不断取得 新的成果。本研究提出一种基于支持向量机递归特征消除（SVM-RFE）和线性判别分析（LDA）的AD辅助诊断方法。首 先对MRI图像进行预处理,获得90个大脑脑区的灰质体积;然后使用SVM-RFE和LDA相结合的方法,对90个大脑脑区 灰质体积进行特征选择;最后通过SVM进行分类。通过对来自于ADNI数据库中的34名AD、26名主观记忆衰退（SMC） 患者和50名正常被试（NC）的MRI图像分析,得到AD/NC、AD/SMC和NC/SMC的平均分类准确率分别为94.0%、100.0% 和93.6%。实验结果证明,本研究提出的方法可有效提取样本特征,辅助医生诊断AD。     

基于深度学习的磁共振液体衰减反转恢复序列图像合成方法

磁共振能够获得不同对比度的多模态图像，为临床诊断提供了丰富的信息。但是常常由于患者难以配合或扫描条件限制造成某些对比度图像没有被扫描或者获得的图像质量不能达到诊断要求。图像合成技术是弥补这种图像缺失的一种方法。近年来，深度学习在磁共振图像合成领域得到了广泛应用。本文提出了一种基于多模态融合的合成网络，首先利用特征编码器将多个单模态图像分别进行特征编码后，再通过特征融合模块将不同模态图像特征进行融合，最终生成目标模态图像。通过引入基于图像域和K空间域的动态加权组合损失函数，改进了网络中目标图像与预测图像的相似性度量方法。经实验验证并定量比较，本文提出的多模态融合深度学习网络可以有效合成高质量的磁共振液体衰减反转恢复（FLAIR）序列图像。综上，本文提出的方法可以减少患者的磁共振扫描时间，以及解决FLAIR图像缺失或图像质量难以满足诊断要求的临床问题。     

基于多模态磁共振影像的精神分裂症患者多特征分类研究

精神分裂症(SZ)的分类研究已经被广泛报道,但是之前比较多的研究都是基于单个模态的或者单个特征的。本研究提出了一种基于多模态磁共振影像的自动分类方法,采集了44例SZ患者与56例健康正常人的结构与功能磁共振影像,基于自动解剖标签模板提取了90个感兴趣区域的灰质体积、局部一致性、低频振荡振幅和度中心度作为分类模型的输入特征。为了降低特征维度,利用递归特征消除法获取对分类有效的主要特征,然后采用支持向量机对SZ患者和正常人进行分类。结果表明,将4种多模态特征组合起来作为分类特征时,分类准确率达到94.47%,明显优于单独将这些特征作为分类模型的输入特征时取得的分类效果,并且研究发现分类权重最大的脑区主要集中在额叶、颞叶和枕叶。研究结果有助于理解SZ患者的病理机制与进展规律及实现自动诊断。     

基于卷积神经网络和集成学习的阿尔茨海默症早期诊断

阿尔茨海默症(AD)是一种典型的神经退行性疾病,临床上表现为失忆、丧失语言能力、丧失生活自理能力等。迄今为止,AD病因尚不明确且病程不可逆,也没有治愈的方法,因此,AD的早期诊断对于研发新型药物和措施以减缓病情发展具有重要意义。轻度认知障碍(MCI)是一种介于AD和正常老化(HC)之间的状态。研究表明,MCI患者比没有患过MCI的人更有可能发展成AD,因此,对MCI患者的准确筛查成为了AD早期诊断的研究热点之一。随着神经影像技术和深度学习的飞速发展,越来越多的研究者使用深度学习方法对大脑神经影像如磁共振影像(MRI)进行分析,用于AD的早期诊断。于是,本文提出基于卷积神经网络(CNN)和集成学习的多切片集成分类模型用于AD早期诊断。与只用单切片训练获得的CNN分类模型相比,本文采用三个维度上的多个二维切片进行训练而获得的集成分类器模型,能更充分地利用MRI包含的有效信息,从而提高分类的准确率和稳定性。     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。