基于生成对抗网络的多模态MR图像缺失模态合成

提出一种基于生成对抗网络的多模态磁共振（MR）图像缺失模态合成方法，在不同缺失情况下均能预测出完整的模态序列。该模型将生成对抗网络作为模态合成的基本框架，生成对抗网络由生成器和判别器2个部分组成。其中生成器有3个阶段：特征提取、特征融合和图像生成。在特征提取过程中，使用U-Net网络进行编码。然后将4个模态的特征进行融合，并将融合结果输入混合注意力模块。这样使网络能够自适应地调整不同模态的权重，最后进行图像生成。判别器部分由4个相同的判别器组成，对4种不同的模态进行判别，其网络结构基于PatchGan进行改进。通过与其他具有代表性的模态合成算法比较，此方法无论在视觉效果还是客观评价指标上都取得了更好的效果，其中峰值信噪比均在23 dB以上，结构相似性均在0.99以上。     

基于层次聚类的多模态磁共振脑肿瘤图像的自动分割方法

多模态磁共振脑肿瘤图像分割是医学图像应用的基础,在病理分析与手术引导等领域具有广泛的应用价值,为提升分割效率及精度,研究基于层次聚类的多模态磁共振脑肿瘤图像自动分割方法.利用Tamura的特征提取方法,以粗糙度与对比度为特征提取的定量分析指标,提取多模态磁共振脑肿瘤图像的纹理特征构建数据集;通过融合稀疏代表点的亲和传播...     

基于多模态特征融合的脑瘤图像分割方法

针对目前大多数医学图像分割方法难以对多模态图像进行特征融合进而完成精确分割任务的问题,提出一种基于编码器-解码器总体架构的多模态脑瘤图像特征融合策略。首先,编码阶段利用孪生网络对不同模态数据进行特征提取,孪生网络结构参数和权值共享的特性可有效减少网络参数量;其次,在进行特征提取的编码阶段加入级间融合,保留不同模态的共性特征的同时强调其互补特征;然后,在解码阶段引入密集跳跃连接思想,最大程度结合不同尺度特征图的低级细节和高级语义信息;最后,设计混合损失函数,在网络生成的预测图受真值图监督的同时让最高级特征融合图也受同倍下采样真值图的监督。所提方法在公开数据集BraTS2019上进行实验,并用图像分割常用的5种指标进行评估。在脑瘤及水肿区域分割任务中得到平均Dice系数为0.884,阳性预测率为0.870,灵敏度为0.898,豪斯多夫距离为3.917,平均交并比达到79.1%,与较先进的算法U-Net和PA-Net相比多项指标均有提升。实验结果说明,级间融合和层间跳跃连接的加入对多模态医学图像的分割效果有所提升,在医学上对脑肿瘤磁共振图像进行病变区域分割具有重要的应用价值和理论意义。     

基于典型相关分析与双模态数据融合的抑郁症辅助诊断

为了充分提取抑郁症患者的磁共振影像信息,提高抑郁症的诊断准确率,本研究将功能磁共振图像与结构磁共振图像作为研究对象,提出一种双模态数据融合的抑郁症分类算法。首先构建4种不同尺度的功能脑网络,提取功能磁共振图像的数据特征,然后使用迁移学习处理的三维密集连接卷积神经网络,提取结构磁共振图像的数据特征,接着使用典型相关分析方法融合两种特征,最后使用支持向量机对融合特征进行分类,从而将受试者识别为健康者或抑郁症患者。实验结果表明,本文提出的方法可获得89.56%的分类准确率与95.48%的召回率,与单模态数据分类相比,基于双模态数据的分类方法具有更好的分类性能。此外,典型相关分析法可以有效融合双模态的图像特征。     

基于广义卷积神经网络的阿尔茨海默病多模态磁共振图像分类方法研究

阿尔茨海默病（AD）是一种进行性、不可逆的神经系统退行性疾病,基于磁共振成像（MRI）的神经影像学检查是进行AD筛查与诊断最直观、可靠的方法之一。临床上头颅MRI检测会产生多模态影像数据,为解决多模态MRI处理与信息融合的问题,本文提出基于广义卷积神经网络（gCNN）的结构MRI和功能MRI特征提取与融合方法。该方法针对结构MRI提出基于混合注意力机制的三维残差U型网络（3D HA-ResUNet）进行特征表示与分类;针对功能MRI提出U型图卷积神经网络（U-GCN）进行脑功能网络的节点特征表示与分类。在两类影像特征融合的基础上,基于离散二进制粒子群优化算法筛选最优特征子集,并使用机器学习分类器输出预测结果。来自AD神经影像学计划（ADNI）开源数据库的多模态数据集验证结果表明,本文所提出的模型在各自数据域内都有优秀的表现,而gCNN框架结合了两类模型的优势,进一步提高使用单一模态MRI的方法性能,将分类准确率和敏感性分别提升了5.56%和11.11%。综上,本文所提出的基于gCNN的多模态MRI分类方法可以为AD的辅助诊断提供技术基础。     

基于多模态磁共振图像特征选择的脑胶质瘤分割

脑胶质瘤分割通常需要将肿瘤区域细分为多个不同性质的子区域,往往需要使用多种不同模态的磁共振(MR)图像。近年来,基于深度学习的脑胶质瘤分割研究已成为主流。然而,大多数基于深度学习的方法只是将不同模态MR图像(或底层特征)进行通道维度堆叠后输入到分割网络中,并且在特征提取阶段忽略不同性质子区域分割时所需模态特征的差异性,导致分割性能不够精良。本研究提出一种基于多模态MR图像特征选择的两阶段分割框架进行脑胶质瘤分割。一方面,设计多模态特征选择模块并嵌入到分割网络框架中,对当前分割任务所需多模态MR图像特征进行自动提取和有效选择;另一方面,将多个不同性质的病变组织子区域分为两阶段分割任务,利用第一阶段分割任务结果提供第二阶段分割目标的定位信息。本方法和对比方法分别在BraTS2018(训练集285个患者,验证集66个患者)、BraTS2019(训练集335个患者,验证集125个患者)和BraTS2020(训练集369个患者,验证集125个患者)公开数据集上进行了实验。在BraTS2018数据集上,本方法在完整肿瘤、肿瘤核心和增强肿瘤区域的Dice相似系数分别为0.898、0.854和0.818,Hausdorff距离分别为4.072、6.179和3.763;在BraTS2019数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.892、0.839和0.800,Hausdorff距离分别为6.168、7.077和3.807;在BraTS2020数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.896、0.837和0.803,Hausdorff距离分别为6.223、7.033和4.411。对比实验结果表明,所提方法在增强肿瘤区域和肿瘤核心区域的分割性能具有明显优势,特别是增强肿瘤区域分割性能在BraTS2020数据集上最佳。基于多模态特征选择模块的两阶段分割框架,针对每阶段分割目标实现了不同模态MR图像特征的自动和充分学习,取得了理想的分割结果,为计算机辅助肿瘤诊断提供了可能的解决方案。     

基于磁共振图像的帕金森病计算机辅助诊断研究进展

近年来,由于帕金森病(PD)的临床复杂性与多模态磁共振(MR)图像的高维性,如何有效挖掘图像中特异性标记PD的影像生物标志物、建立高效的PD计算机辅助诊断(CAD)模型是研究中极具挑战性的问题。综述目前国内外研究进展,进一步分析MR多模态特征提取、特征选择、分类器模型等传统机器学习方法建立CAD模型的关键技术,并简要概述基于深度学习方法在早期PD分类诊断中的应用。指出基于多模态MR图像,采用机器学习或深度学习方法构建CAD模型,能够客观、准确地识别PD患者,对提高早期PD诊断的准确性具有很大价值和应用前景。今后研究应更深入挖掘多模态MR图像中的潜在标记PD的影像生物指标,开发更高阶的CAD模型,以辅助早期PD的临床智能诊断。     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。     

图像增强下基于生成对抗网络和卷积神经网络的CT与MRI融合方法

针对多模态医学图像融合中的重要特征丢失、细节表现不突出和纹理不清晰等问题,提出一种图像增强下使用生成对抗网络（GAN）和卷积神经网络（CNN）进行电子计算机断层扫描（CT）图像与磁共振成像（MRI）图像融合的方法。生成器针对高频特征图像,双鉴别器针对逆变换后的融合图像;高频特征图像通过GAN模型进行特征融合,低频特征图像通过基于迁移学习的CNN预训练模型进行特征融合。实验结果表明,与当前先进融合算法相比,所提方法在主观表现上纹理细节特征更加丰富,轮廓边缘信息更加清晰突出;在客观指标评估中,融合质量评价指标（QAB/F）、信息熵（IE）、空间频率（SF）、结构相似性（SSIM）、互信息（MI）和融合视觉信息保真度（VIFF）等关键指标比其他最佳测试结果分别提高了2.0%、6.3%、7.0%、5.5%、9.0%和3.3%。融合后图像可以有效地应用于医学诊断,进一步提高诊断效率。     

基于双模态磁共振成像和决策层融合的抑郁症辅助诊断

本研究提出一种基于结构和功能双模态磁共振成像数据融合的抑郁症分类算法,首先利用功能脑网络和深度学习网络分别提取功能和结构磁共振成像数据特征,并计算类概率,然后使用软投票法和加权投票法在决策层对两种类概率数据进行融合,充分提取功能与结构磁共振成像的数据信息,得到更加准确的分类效果。试验结果表明,数据融合方法可以显著提高抑郁症分类效果,获得91.34%的准确率和96.62%的召回率,更好地实现了抑郁症的辅助诊断与预后。     

基于频域约束和交叉融合特征网络的磁共振图像超分辨率重建算法

磁共振（MR）图像常用于临床医学诊断，获得高分辨率MR图像有利于进行医学分析。目前主流的基于参考的图像超分辨率重建算法重建的图像，其视觉效果取得了明显的提升，但仍存在明显的伪影问题。针对该问题，提出频域约束和交叉融合特征网络（FCCF）模型，即引入频域损失函数作为约束条件，并构建一种多分辨率特征融合机制，通过交叉融合不同分辨率的图像特征来提高生成图像的质量，使重建结果具有更清晰的细节，没有明显的伪影。在合成和真实的MR图像数据集上分别用PSNR和SSIM指标进行评估，实验结果明显优于现有的超分辨率重建方法。     

一种基于生成对抗网络的无监督域自适应磁共振图像分割方法EI北大核心CSCD

智能医学图像分割方法正在快速地发展和应用,但面临着域转移挑战,即由于源域和目标域数据分布不同导致算法性能下降。为此,本文提出了一种基于生成对抗网络(GAN)的无监督端到端域自适应医学图像分割方法。设计网络训练调整模型,由分割网络和鉴别网络组成。分割网络以残差模块为基本模块,增加对特征的复用能力,降低模型优化难度,并将分割损失与对抗损失相结合,在鉴别网络的作用下学习图像特征层面的跨域特征。鉴别网络采用卷积神经网络,并带入源域标签训练,用来区分生成网络的分割结果是来自源域或目标域,整个训练过程无监督。使用膝关节磁共振(MR)图像公开数据集和采集的临床数据集进行实验,与经典的特征级域自适应方法和图像级域自适应方法对比,所提方法的平均戴斯相似性系数(DSC)分别提高了2.52%与6.10%。本文方法有效提高了分割方法的域自适应能力,显著提高了对胫骨和股骨的分割精度,可以较好地解决磁共振图像分割中的域转移问题。     

基于3D深度残差网络和多模态MRI的脑胶质瘤自动分级

目的:利用3D深度残差网络和多模态MRI实现对脑胶质瘤的自动分级。方法:利用BraTS2020公共数据集的293例高级别胶质瘤（HGG）和76例低级别胶质瘤（LGG）的多模态MRI数据训练和测试3D深度残差卷积网络模型。多模态MRI图像经过3D剪裁、重采样和归一化的预处理,随机分组为训练（64%）、验证（16%）和测试（20%）样本,将预处理后的多模态MRI图像和分级标注输入到网络模型进行训练、验证和测试。利用准确率（ACC）和受试者工作特征（ROC）曲线下面积（AUC）评价分级结果。结果:在59例（48例HGG和11例LGG）验证数据集上,ACC和AUC分别为0.93和0.97,在75例（62例HGG和13例LGG）测试数据集上,ACC和AUC分别为0.89和0.93。结论:3D深度残差网络在多模态MRI数据集上获得了较好的脑胶质瘤自动分级结果,可以为确定治疗方案和预测预后方面提供重要参考。     

基于多模态典型相关特征表达的阿尔兹海默病诊断

对阿尔兹海默(AD)疾病进程的建模研究,有利于在其早期阶段--轻度认知障碍(MCI)进行更准确的诊断。不仅利用多模态影像数据,还分析模态间特征关系,用于增强与AD/MCI相关的特征表达能力。首先,基于典型相关分析融合不同模态间多个感兴趣区域并生成多模态关系特征表达;其次,基于稀疏最小二乘回归损失函数,以此获得稳定且有识别力的相关性表达特征;最后,使用交叉验证方法将随机选择的训练样本用于支持向量机分类模型,再对测试集受试者进行疾病阶段诊断。实验基于Alzheimer′s Disease Neuroimaging Initiative(ADNI)公共数据库的805位受试者,包括AD,MCI和正常受试者(NC)。此方法对于AD vs NC,MCI vs NC和p-MCI(进行性轻度认知障碍)vs s-MCI(稳定性轻度认知障碍)等3种不同类型数据,诊断结果分别为92.01%,74.83%和70.27%。与其他算法相比,分类准确率都有明显提高。表明所提出的方法能够有效应用于多模态数据对阿尔兹海默病的诊断分析研究。     

基于全卷积神经网络的低剂量CT去噪算法

针对低剂量医学CT图像因减少辐射剂量而引入大量噪声，导致图像质量显著下降的问题，提出一种基于残差注意力机制和自适应特征融合的低剂量CT图像去噪算法，该算法使用全卷积神经网络来完成低剂量CT图像去噪。在网络框架中引入残差注意力机制和选择性内核特征融合模块，以过滤噪声信息，提取有效特征并自适应地融合图像特征，避免重建过程中的细节损失，提高图像质量，使去噪后的图像在感知上更接近原始图像。定性和定量实验表明，与现有的算法相比，在真实的临床数据集上，所提出的算法能够有效地抑制噪声，并恢复低剂量CT图像中更详细的纹理。与低剂量CT图像相比，所提出的算法将峰值信噪比提高14.94%，结构相似度提高4.68%，均方根误差降低40.11%，可以满足医学成像的诊断要求。     

基于改进V型网络的磁共振图像前列腺区域分割

磁共振（MR）成像技术是前列腺癌诊断的重要工具，通过计算机辅助诊断技术准确分割磁共振前列腺区域对于前列腺癌的诊断具有重要意义。本文使用深度学习方法，对传统V型网络（V-Net）网络进行了改进，提出了一种改进的端到端的三维图像分割网络，以期提供更精确的图像分割结果。本文首先将软注意力机制融合进传统V-Net的跳跃连接中，结合短跳跃连接、小卷积核进一步提升网络分割精度。然后使用前列腺MR图像分割评估2012年挑战赛（PROMISE 12）数据集，针对前列腺区域进行了分割，使用戴斯相似系数（DSC）和豪斯多夫距离（HD）对模型进行了评估，分割模型的DSC值和HD值分别可达到0.903和3.912 mm。实验结果表明，本文算法能够提供更准确的三维分割结果，可以准确高效地分割前列腺MR图像，为临床诊断和治疗提供可靠的依据。     

基于双稀疏字典的医学图像融合算法及在脑血管疾病诊断中的应用

目的通过图像融合方法结合解剖和功能医学图像以提供更多有用的信息并辅助医生诊断。方法利用稀疏表示能很好地反映图像特征的优势。首先,选取医院脑梗死和脑出血的CT和MRI的临床图像,采用双稀疏字典算法得到稀疏字典,再通过结合空间域信息的最大选择法作为融合规则对其进行融合,并与基于主成分分析(principal component analysis,PCA)和离散小波变换(discrete wavelet transform,DWT)方法的图像融合结果在主观方面以及客观方面的QAB/F和Piella指标上进行比较。结果本文提出的方法所获得的融合图像主观评价优于另外两种方法。QAB/F和Piella的均值分别为0.9139和0.7213,客观评价指标也优于另外两种方法。结论基于双稀疏字典的图像融合算法得到的融合图像更清晰,对比度更高,并且特征保留效果更好,有助于医生的诊断。     

超声图像融合专家知识的EfficientNet卵巢包块良恶性诊断方法

目的 提出一种基于深度网络特征融合的分类方法，以提高良恶性分类的准确率，辅助医生提高术前诊断卵巢包块良恶性的准确率。方法 纳入深圳市人民医院943幅经活检、手术病理等证实的患者术前卵巢超声图像，按照6∶2∶2的比例随机设置训练集、验证集和测试集。首先，提取医生勾画的感兴趣区域（region of interest,ROI）即包块图，用微调后的EfficientNet网络提取其深度特征；然后用基于Chan-Vese模型的水平集方法得到包块边缘轮廓图，再用微调后的EfficientNet网络提取其深度特征；接下来将包块图的深度特征和边缘轮廓图的深度特征分别归一化后并拼接为融合特征；最后，将融合特征输入到全连接层分类器中，将超声图像分为良恶性。结果 本文提出的超声图融合专家知识的EfficientNet卵巢包块良恶性诊断方法在测试集上的准确度、特异度、敏感度和曲线下面积分别为0.81、0.78、0.88、0.91，全部优于当前主流的深度学习方法。结论 该特征融合网络能够取得较好的分类效果，一定程度上能够为临床诊断卵巢包块的良恶性提供参考。     

基于中心化自动加权多任务学习的早期轻度认知障碍诊断

轻度认知障碍(MCI)是阿尔茨海默病(AD)的早期阶段,是治疗AD的最佳时期,因此对MCI的诊断非常重要。多模态数据可以全面分析疾病的状况,有利于疾病的准确诊断,但是现有方法并不能同时有效地分析多个模态数据之间的关系,无法有效结合功能态数据和结构态数据之间的优势。提出一种中心化自动加权多任务学习方法用于MCI的诊断。该方法可以同时学习不同模态的数据,有效地结合数据之间的优势。首先,分别对功能态数据rs-fMRI和结构态数据DTI构造脑网络;其次,基于多模态数据设计新的多任务特征学习模型,每个任务的重要性和模态之间的平衡关系会被自动学习,包括不同模态间的相似性和特异性,以获得稳定且有识别力的表达特征;最后,将选取的特征输入支持向量机模型进行分类诊断。实验基于Alzheimer′s Disease Neuroimaging Initiative(ADNI)公共数据库,包括明显记忆问题(SMC)、早期轻度认知障碍(EMCI)、晚期轻度认知障碍(LMCI)和正常受试者(NC)。所提出的方法对于NC vs SMC、SMC vs EMCI、SMC vs LMCI和EMCI vs LMCI等4种不同类型数据,诊断结果分别为76.67%、79.07%、80.56%和74.29%,与其他传统算法相比,分类准确率都有明显的提高,有望应用于对早期轻度认知障碍的诊断分析。     

面向临床肿瘤诊疗决策的多模态医学影像融合

恶性肿瘤严重危害人类健康,早期诊断和有效治疗可降低致死率.借助在体和无创等优势,现代生物医学影像技术能为肿瘤诊疗提供大量有价值的结构和功能信息.由于肿瘤是一种多因素的发展型疾病,并且每种成像模态也都存在自身缺陷,单一时间点、单一模态的医学影像检查,无法揭示其本质、发生和发展过程.不同模态医学图像信息融合,可以实现信息互补和交叉验证,是揭示肿瘤机理、实现早期准确诊断和有效治疗的必然选择.本文在分析各模态成像技术特点的基础上,从配准、多模态医学图像融合方法和肿瘤诊疗中融合应用等3个方面分别进行综述,并指出了未来需要研究的问题.