基于多模态特征融合的脑瘤图像分割方法

针对目前大多数医学图像分割方法难以对多模态图像进行特征融合进而完成精确分割任务的问题,提出一种基于编码器-解码器总体架构的多模态脑瘤图像特征融合策略。首先,编码阶段利用孪生网络对不同模态数据进行特征提取,孪生网络结构参数和权值共享的特性可有效减少网络参数量;其次,在进行特征提取的编码阶段加入级间融合,保留不同模态的共性特征的同时强调其互补特征;然后,在解码阶段引入密集跳跃连接思想,最大程度结合不同尺度特征图的低级细节和高级语义信息;最后,设计混合损失函数,在网络生成的预测图受真值图监督的同时让最高级特征融合图也受同倍下采样真值图的监督。所提方法在公开数据集BraTS2019上进行实验,并用图像分割常用的5种指标进行评估。在脑瘤及水肿区域分割任务中得到平均Dice系数为0.884,阳性预测率为0.870,灵敏度为0.898,豪斯多夫距离为3.917,平均交并比达到79.1%,与较先进的算法U-Net和PA-Net相比多项指标均有提升。实验结果说明,级间融合和层间跳跃连接的加入对多模态医学图像的分割效果有所提升,在医学上对脑肿瘤磁共振图像进行病变区域分割具有重要的应用价值和理论意义。     

基于广义卷积神经网络的阿尔茨海默病多模态磁共振图像分类方法研究

阿尔茨海默病（AD）是一种进行性、不可逆的神经系统退行性疾病,基于磁共振成像（MRI）的神经影像学检查是进行AD筛查与诊断最直观、可靠的方法之一。临床上头颅MRI检测会产生多模态影像数据,为解决多模态MRI处理与信息融合的问题,本文提出基于广义卷积神经网络（gCNN）的结构MRI和功能MRI特征提取与融合方法。该方法针对结构MRI提出基于混合注意力机制的三维残差U型网络（3D HA-ResUNet）进行特征表示与分类;针对功能MRI提出U型图卷积神经网络（U-GCN）进行脑功能网络的节点特征表示与分类。在两类影像特征融合的基础上,基于离散二进制粒子群优化算法筛选最优特征子集,并使用机器学习分类器输出预测结果。来自AD神经影像学计划（ADNI）开源数据库的多模态数据集验证结果表明,本文所提出的模型在各自数据域内都有优秀的表现,而gCNN框架结合了两类模型的优势,进一步提高使用单一模态MRI的方法性能,将分类准确率和敏感性分别提升了5.56%和11.11%。综上,本文所提出的基于gCNN的多模态MRI分类方法可以为AD的辅助诊断提供技术基础。     

基于多模态磁共振图像特征选择的脑胶质瘤分割

脑胶质瘤分割通常需要将肿瘤区域细分为多个不同性质的子区域,往往需要使用多种不同模态的磁共振(MR)图像。近年来,基于深度学习的脑胶质瘤分割研究已成为主流。然而,大多数基于深度学习的方法只是将不同模态MR图像(或底层特征)进行通道维度堆叠后输入到分割网络中,并且在特征提取阶段忽略不同性质子区域分割时所需模态特征的差异性,导致分割性能不够精良。本研究提出一种基于多模态MR图像特征选择的两阶段分割框架进行脑胶质瘤分割。一方面,设计多模态特征选择模块并嵌入到分割网络框架中,对当前分割任务所需多模态MR图像特征进行自动提取和有效选择;另一方面,将多个不同性质的病变组织子区域分为两阶段分割任务,利用第一阶段分割任务结果提供第二阶段分割目标的定位信息。本方法和对比方法分别在BraTS2018(训练集285个患者,验证集66个患者)、BraTS2019(训练集335个患者,验证集125个患者)和BraTS2020(训练集369个患者,验证集125个患者)公开数据集上进行了实验。在BraTS2018数据集上,本方法在完整肿瘤、肿瘤核心和增强肿瘤区域的Dice相似系数分别为0.898、0.854和0.818,Hausdorff距离分别为4.072、6.179和3.763;在BraTS2019数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.892、0.839和0.800,Hausdorff距离分别为6.168、7.077和3.807;在BraTS2020数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.896、0.837和0.803,Hausdorff距离分别为6.223、7.033和4.411。对比实验结果表明,所提方法在增强肿瘤区域和肿瘤核心区域的分割性能具有明显优势,特别是增强肿瘤区域分割性能在BraTS2020数据集上最佳。基于多模态特征选择模块的两阶段分割框架,针对每阶段分割目标实现了不同模态MR图像特征的自动和充分学习,取得了理想的分割结果,为计算机辅助肿瘤诊断提供了可能的解决方案。     

基于层次聚类的多模态磁共振脑肿瘤图像的自动分割方法

多模态磁共振脑肿瘤图像分割是医学图像应用的基础,在病理分析与手术引导等领域具有广泛的应用价值,为提升分割效率及精度,研究基于层次聚类的多模态磁共振脑肿瘤图像自动分割方法.利用Tamura的特征提取方法,以粗糙度与对比度为特征提取的定量分析指标,提取多模态磁共振脑肿瘤图像的纹理特征构建数据集;通过融合稀疏代表点的亲和传播...     

基于多模态磁共振放射组学与临床指标的前列腺癌智能检测及风险预测模型建立

目的：利用多模态磁共振放射组学开发前列腺癌自动检测模型,并使用列线图构建多因素回归模型,将前列腺MRI放射组学特征与临床多个检测指标进行整合,从而对患前列腺癌风险性进行预测。方法：回顾性研究于2019年2月～2021年10月病理证实为前列腺癌和其他前列腺良性肿瘤的患者133例。所有病例均行前列腺直肠指检(DRE)、前列腺特异性抗原(PSA)、游离前列腺特异性抗原(F-PSA)、FPSA/PSA检测。治疗前多模态前列腺MRI图像(DWI+DCE+T₂WI)用于提取放射特征,最大相关最小冗余(m RMR)算法用于消除混杂变量,使用最小绝对收缩和选择算子(LASSO)逻辑回归进行放射特征选择。通过曲线下面积(AUC)、准确性、特异性、敏感性评估放射特征的诊断性能;通过多元logistic回归选择临床指标和放射组学特征模型来制定放射组学列线图,并使用校准曲线和Hosmer-lemeshow试验验证其可靠性。结果：两名观察者测量的所有数据ICC均在0.80以上。所有前列腺MRI图像随机分为训练组和验证组(7:3)。在训练组中,DWI、DCE和T₂WI的...     

基于深度学习的磁共振液体衰减反转恢复序列图像合成方法

磁共振能够获得不同对比度的多模态图像,为临床诊断提供了丰富的信息。但是常常由于患者难以配合或扫描条件限制造成某些对比度图像没有被扫描或者获得的图像质量不能达到诊断要求。图像合成技术是弥补这种图像缺失的一种方法。近年来,深度学习在磁共振图像合成领域得到了广泛应用。本文提出了一种基于多模态融合的合成网络,首先利用特征编码器将多个单模态图像分别进行特征编码后,再通过特征融合模块将不同模态图像特征进行融合,最终生成目标模态图像。通过引入基于图像域和K空间域的动态加权组合损失函数,改进了网络中目标图像与预测图像的相似性度量方法。经实验验证并定量比较,本文提出的多模态融合深度学习网络可以有效合成高质量的磁共振液体衰减反转恢复（FLAIR）序列图像。综上,本文提出的方法可以减少患者的磁共振扫描时间,以及解决FLAIR图像缺失或图像质量难以满足诊断要求的临床问题。     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。     

基于人工智能的多模态影像辅助海马体自动勾画研究

目的:利用基于深度学习的人工智能算法,结合头颅MRI和CT的多模态影像,开发海马结构自动勾画技术,为头颅放疗过程中海马体的保护提供高效、准确的自动勾画方法。方法:收集清华大学第一附属医院放疗科从2020年1月~12月就诊的40例脑转移癌患者的定位头颅CT及MRI影像,分别在CT图像、CT-MRI配准图像的两个数据集上训练3D U-Net、3D U-Net Cascade、3D BUC-Net 3个深度学习模型,计算3个模型自动分割的左右海马体与对应的人工标注之间的Dice相似系数（DSC）和95%豪斯多夫距离（95 HD）,以及两者的体积作为模型的分割准确性的评估,并且以对同一大小patch图像的自动分割耗时作为模型效率的评估。结果:引入MRI图像信息对左右海马的自动分割精度有明显的提升;模型3D BUC-Net在CT-MRI数据集上对左右海马体的自动分割都取得最好分割结果（DSC:0.900±0.017,0.882±0.026;95HD:0.792±0.084,0.823±0.093）,而且该模型的分割效率更高。结论:模型3D BUC-Net能在多模态影像上实现高效、准确的海马区的自动勾画,为头颅放疗过程中海马区的保护提供方便。     

多模态医学图像配准技术的分类与研究进展

多模态医学图像配准技术是目前医学图像处理中的研究热点 ,对于临床诊断和治疗有重要意义。本文首先分析了图像配准的过程 ,并在此基础上对配准方法进行了反映其本质的分类 ,然后综述了目前的一些主要的多模态医学图像的配准方法 ,最后提出了医学图像配准研究中的几个主要问题。     

多模态医学图像配准技术的分类与研究进展

多模态医学图像配次技术是目前医学处理中的研究热点,对于核准 重要意义。本文首先分析了图像配准的过程,并在此基础上对配准方法进行了反映其本质的分类。然后综述了目前的一些主要的多模态医学图像的配准方法,最后提出了医学图像配准研究中的几个主要问题。     

基于磁共振图像的乳腺癌分子分型研究进展

在基因表达水平上,乳腺癌分子亚型的分析对评价乳腺癌的恶性程度及制定个体化治疗方案具有重要的临床应用价值.除免疫组织化学染色和基因芯片技术外,影像组学的兴起也为乳腺癌分子分型提供新的预测方式.综述基于磁共振成像的乳腺癌分子分型的研究现状.在概述乳腺磁共振成像原理和特点的基础上,分别从统计学分析及机器学习方法的角度,阐述乳...     

多模态MRI影像组学在脑胶质瘤中的应用进展

影像组学在肿瘤的诊断、预后评估, 以及评价肿瘤对治疗的反应等方面均发挥着关键作用。多模态磁共振成像(MRI)影像组学可以将肿瘤的影像组学表现与其分子表型联系起来, 在脑胶质瘤的分级和治疗反应的预测和预后方面具有更大的优势。它利用常规和先进技术将脑肿瘤与非肿瘤性病变进行区分, 可用于脑胶质瘤的诊断和脑胶质瘤与脑转移瘤的鉴别;半自动和自动化的肿瘤分割技术也被开发用于评估脑胶质瘤的复发情况。主要对多模态MRI影像组学在预测胶质瘤重要分子生物学标志物、胶质瘤分级诊断、与脑转移瘤的鉴别诊断及评估术后复发方面的研究进展进行综述。     

无监督的磁共振图像重建方法研究进展

近年,深度学习技术在磁共振(magnetic resonance, MR)图像重建领域飞速发展。然而,由于有监督的MR图像重建方法所依赖的高质量配对MR数据难以获取,无监督的MR图像重建方法逐渐成为了研究者们关注的重点,并展现出巨大的应用前景。当前关于此类问题的研究层出不穷,但仍缺乏系统性的归纳和分析。为此,本文综述了无监督MR图像重建方法的研究进展。首先,本文对无监督的MR图像重建方法进行了总结,无监督的MR图像重建方法能够从图像域或K空间域数据学习先验信息,实现在缺少配对数据情况下的MR图像重建;其次,本文根据学习先验信息的作用域的不同,将这些方法分为基于K空间域、基于图像域和基于混合域的无监督MR图像重建方法,并重点对各类方法的算法模型和实现流程进行了详细的介绍。最后,本文对无监督MR图像重建领域的进展和各类方法的特点进行了较为全面的总结,并对未来的发展方向进行了展望,以期为实现无监督MR图像重建提供思路和参考,并促进MR成像的临床应用。     

基于GRU的多模态麻醉深度评估方法研究

常见的麻醉深度评估法普遍存在一定局限性,本研究提出一种基于GRU的多模态麻醉深度评估方法。采集20例 临床数据进行验证分析,发现通过GRU网络后输出的数值与BIS值存在较小差异和较高的关度,具有较好的麻醉深度评 估价值     

基于生成对抗网络的多模态MR图像缺失模态合成

提出一种基于生成对抗网络的多模态磁共振（MR）图像缺失模态合成方法,在不同缺失情况下均能预测出完整的模态序列。该模型将生成对抗网络作为模态合成的基本框架,生成对抗网络由生成器和判别器2个部分组成。其中生成器有3个阶段：特征提取、特征融合和图像生成。在特征提取过程中,使用U-Net网络进行编码。然后将4个模态的特征进行融合,并将融合结果输入混合注意力模块。这样使网络能够自适应地调整不同模态的权重,最后进行图像生成。判别器部分由4个相同的判别器组成,对4种不同的模态进行判别,其网络结构基于PatchGan进行改进。通过与其他具有代表性的模态合成算法比较,此方法无论在视觉效果还是客观评价指标上都取得了更好的效果,其中峰值信噪比均在23 dB以上,结构相似性均在0.99以上。     

基于心脏电影磁共振图像的左心肌分割新进展

左心肌分割不仅可计算左心室体积,还可计算心肌质量、追踪心肌运动、重建心脏等,可用于临床评估心脏功能,对心肌梗死、心肌肥大等心脏疾病的诊疗具有重要的意义。心脏电影磁共振图像时空分辨率高,被广泛应用于左心肌分割及功能评价。然而,左心肌外部毗邻灰度相近的组织,内部有可能与小梁肌、乳头肌等相连,给左心肌分割带来不小的难度,大量研究者一直致力于左心肌分割算法的研究。全面回顾基于心脏电影磁共振图像的左心肌分割方法,首先对传统的左心肌分割方法及其优缺点进行归纳比较,然后重点讨论包括光流法、深度学习在内的新的左心肌分割方法,最后简单介绍左心肌分割方法的常用评估标准。从目前来看,基于深度学习的左心肌分割方法精度高、速度快,将会是今后一段时间内研究者密切关注的相关方法,但深度学习中仍需解决海量数据需求和超参数确定等问题。     

基于深度学习的甲状腺疾病超声图像诊断研究综述

近年来,甲状腺疾病的发病率显著升高,超声检查是甲状腺疾病诊断的首选检查手段。同时,基于深度学习的医疗影像分析水平快速提高,超声影像分析取得了一系列里程碑式的突破,深度学习算法在医学图像分割和分类领域展现出强大的性能。本文首先阐述了深度学习算法在甲状腺超声图像分割、特征提取和分类分化三个方面的应用,其次对深度学习处理多模态超声图像的算法进行归纳总结,最后指出现阶段甲状腺超声图像诊断存在的问题,展望未来发展方向,以期促进深度学习在甲状腺临床超声图像诊断中的应用,为医生诊断甲状腺疾病提供参考。     

基于CvT-13和多模态图像融合的心电分类算法

心电(ECG)信号是心律失常和心肌梗死诊断的重要依据。为进一步提升心律失常和心肌梗死分类效果,提出了一种基于Convolutional vision Transformer(CvT)和多模态图像融合的心电分类算法。通过格拉姆求和角场(GASF)、格拉姆差分角场(GADF)和递归图(RP)将ECG一维信号转化成三种不同模态的二维图像,并融合生成包含了更多特征的多模态融合图像。CvT-13模型对融合后的图像进行处理可以兼顾局部和全局信息,从而有效提升了分类性能。在MIT-BIH心律失常数据集和PTB心肌梗死数据集上,该算法对五种心律失常分类的综合准确率达到99.9%,对心肌梗死分类的综合准确率达到99.8%。实验表明,高精度计算机辅助的智能分类方法具有一定的优越性,可以有效提高心律失常以及心肌梗死等心脏疾病的诊断效率。