基于DenseCUT网络由头部锥形束CT图像生成合成CT图像

提出一种由头部锥形束CT(CBCT)图像生成合成CT(sCT)图像的无监督深度学习网络,并与循环生成对抗（CycleGAN）网络及对比非配对转换（CUT）网络进行比较。本研究共获取56例脑部肿瘤患者的计划CT(pCT)和CBCT数据（其中49例用于训练,7例用于测试）,分别使用CycleGAN网络、CUT网络以及本研究提出的密集对比非配对转换（DenseCUT）网络由CBCT图像生成sCT。DenseCUT网络有两点创新之处：将CUT网络与密集块网络结合;在损失函数中加入结构相似性。与pCT-CBCT相比,pCT-sCT(DenseCUT网络)的HU值平均绝对误差从34.38 HU降低到17.75 HU,峰值信噪比从26.19 dB提升到29.83 dB,结构相似性从0.78提升到0.87。本文方法可在不改变解剖结构的情况下从CBCT图像中生成高质量的sCT图像,同时降低图像伪影,使CBCT应用于剂量计算和自适应放疗计划成为可能。     

基于循环一致性生成对抗网络的盆腔伪CT生成方法

目的:基于循环一致性生成对抗网络（CycleGAN）,利用非配对患者盆腔部位数据,实现MRI和CT图像之间的相互转换,并对基于该模型生成的盆腔伪CT（sCT）进行精度和剂量性能的评估。方法:该CycleGAN网络包含两个生成器和两个判别器。先基于全卷积网络（FCNs）构建两个生成器,一个将2D盆腔MRI转换为2D盆腔sCT图像,另一个将CT图像转换为伪MRI（sMRI）图像。再基于FCNs构建两个判别器,用于对真实图像和生成的伪图像进行判别,提升生成图像的质量。为保证sCT图像与MRI图像的一致性,引入归一化互信息作为相似性约束损失项,对模型进行改进。训练集包括35例患者盆腔部位的T1-MRI图像和另外36例患者盆腔部位的CT图像,测试集包括10例盆腔部位患者的MRI和CT图像,评估方法包括sCT与CT图像的误差和放疗剂量伽马通过率。结果:对于测试集中所有病例,生成的sCT与真实CT图像之间的平均绝对误差（MAE）为35.537（±4.537） HU;基于体素的平均剂量差异最大为0.49%;以3%/3 mm、2%/2 mm和1%/1 mm为标准的平均伽马通过率分别高于99%、98%和95%。结论:使用CycleGAN网络和非配对患者训练数据可以生成准确且符合临床剂量精度要求的盆腔部位sCT图像。     

一种基于生成对抗网络的无监督域自适应磁共振图像分割方法EI北大核心CSCD

智能医学图像分割方法正在快速地发展和应用,但面临着域转移挑战,即由于源域和目标域数据分布不同导致算法性能下降。为此,本文提出了一种基于生成对抗网络(GAN)的无监督端到端域自适应医学图像分割方法。设计网络训练调整模型,由分割网络和鉴别网络组成。分割网络以残差模块为基本模块,增加对特征的复用能力,降低模型优化难度,并将分割损失与对抗损失相结合,在鉴别网络的作用下学习图像特征层面的跨域特征。鉴别网络采用卷积神经网络,并带入源域标签训练,用来区分生成网络的分割结果是来自源域或目标域,整个训练过程无监督。使用膝关节磁共振(MR)图像公开数据集和采集的临床数据集进行实验,与经典的特征级域自适应方法和图像级域自适应方法对比,所提方法的平均戴斯相似性系数(DSC)分别提高了2.52%与6.10%。本文方法有效提高了分割方法的域自适应能力,显著提高了对胫骨和股骨的分割精度,可以较好地解决磁共振图像分割中的域转移问题。     

基于循环生成对抗网络的鼻咽癌CBCT图像修正

目的:利用循环生成对抗网络模型（CycleGAN）进行锥形束CT （CBCT）图像迁移,生成伪CT（sCT）图像,从而实现CBCT图像的HU值矫正。方法:回顾性分析在福建省肿瘤医院行放射治疗的鼻咽癌患者39例,所有患者均接受临床CT与CBCT扫描。以CBCT图像为基准,采用刚性配准算法对临床CT和CBCT进行配准,获得重采样计划CT（pCT）。经阈值分割及形态学处理获取配对影像的外轮廓内部区域作为掩膜,对配对影像进行掩膜操作及归一化预处理。建立CycleGAN神经网络,训练sCT生成模型。基于体素点计算平均绝对误差（MAE）和平均误差（ME）,用于比较测试集sCT与pCT之间的差异。结果:测试集的sCT图像与pCT图像相比较,在体外轮廓内的MAE和ME分别为（99.00±15.37） HU和（-24.00±12.64） HU;软组织区域的MAE和ME分别为（48.00±7.45） HU和（-7.00±8.96） HU。结论:CycleGAN能修正CBCT图像的HU值,迁移生成的sCT图像具有与pCT图像近似的HU值及平滑性,可用于放射治疗剂量计算。     

基于循环一致生成对抗网络的多模态影像刚性配准

目的:采用循环一致生成对抗网络(CycleGAN)方法在保证医学影像刚性配准精度的同时,降低图像配准的时间以及训练数据获取难度。方法:首先对训练数据进行标准化与归一化,同时对图像进行重采样与剪裁,去除多余的空气部分。其次采用阈值法与扫描线法获取图像的外轮廓信息,基于CycleGAN建立两个生成器与两个判别器,生成器输入配准图像对和输出配准结果,判别器输入配准图像对和输出配准程度。在原始CycleGAN损失函数基础上,增加轮廓损失项,以约束网络训练方向,提高收敛速度。结果:选取75例腹部病例,其中65例作为训练数据集,10例作为测试数据集,配准结果与配准软件Elastix对比。计算测试图像集外轮廓Dice系数,配准前图像对的平均Dice系数为0.858,Elastix配准后的平均Dice系数为0.926,本方法配准后的平均Dice系数为0.925。配准时间上Elastix的平均配准时间为12.1 s,本研究方法的平均配准时间为0.04 s,加速比达到302。结论:本方法在保证图像配准精度的同时极大降低了图像配准所需的时间,提高了配准流程工作效率。除此之外,与其他深度学习网络相比,本方法不需要真实配准结果以及传统相似性测度。     

正常踝关节的高场强磁共振成像扫描

目的:探讨正常踝关节高场强磁共振(MR)扫描技术.方法:6例人踝关节新鲜标本磁共振成像(MRI)扫描,应用两种不同的扫描条件分别行T1加权像(T1WI)、T2加权像(T2WI)、质子密度加权(PDW)、T2WI脉冲序列(SPAIR)冠状位、水平位,T2WI快速梯度回波(FFE)矢状位扫描.结果:在高场强的MRI运用小视野(FOV)(130 mm)、薄层扫描(2.0/1.0)、较大矩阵(410×510)及运用表面柔性线圈可提高踝关节MRI的分辨率.T1WI及PDW可提供最佳的解剖结构;提示T2WI能清晰地显示病变组织;提示SPAIR成像可良好地显示骨及软骨病变及区分脂肪组织内病变结构.结论:高场强MRI扫描是踝关节的理想影像学检查方法.     

基于生成对抗网络的无监督动态对比增强磁共振分解方法

为排除动态对比增强磁共振(DCE-MRI)中造影剂对图像定量分析的影响,可以使用图像分解的方法,将图像中造影剂造成的灰度变化分解出去,并保持其他内容不变。本文提出一种基于生成对抗网络的无监督图像分解方法,以实现对DCEMRI中造影剂造成的灰度变化的分解。该方法假设增强图像由增强成分和解剖成分组成,基于对各成分复杂度的先验设计生成器,通过双路生成网络,同时但独立地提取解剖成分和增强成分的信息。同时,引入图像重构损失作为反馈信号来约束生成。在MNIST数据集上基于MSE、SSIM、PSNR与现有的方法进行对比,验证了该方法的有效性。并在临床的肝部DCEMRI数据进行了实验。实验表明该方法可以在没有成对训练数据的情况下有效实现DCE-MRI图像分解。     

腰椎磁共振影像组学对女性骨质疏松症的诊断价值

背景:磁共振成像(MRI)在骨质疏松症诊断中发挥着越来越重要的作用。影像组学作为一种新的图像分析方法在骨质疏松症诊断中有潜在的临床意义。目的:探讨基于腰椎磁共振影像组学模型对骨质疏松症的诊断价值。方法:纳入2017年2月至2018年10月河北医科大学第一医院门诊女性患者50例,年龄40-84岁,同期进行腰椎MRI及双能X射线骨密度测量。双能X射线骨密度测量结果显示骨质疏松症28例及骨质正常22例,分别在腰椎MRI矢状位T1WI及T2WI序列图像选取L2-4椎体中间连续5个层面进行图像分割,提取影像组学特征,建立诊断模型,并与临床特征结合建立影像临床特征模型,使用曲线下面积(AUC)评估模型效能。试验获河北医科大学第一医院伦理委员会批准。结果与结论:①在50例受试者T1WI、T2WI序列及联合序列分别提取出396×3个特征,通过特征降维后分别筛选出最相关的T1WI序列4个特征、T2WI序列6个特征,T1WI及T2WI联合序列图像筛选出4特征,建立诊断模型,T1WI、T2WI单序列诊断模型AUC值分别为0.810,0.820,T1WI+T2WI联合序列诊断模型AUC值为0.937,高于单个序列;②将T1WI+T2WI组学特征与临床资料结合构建了适用于女性的联合临床资料的影像组学诊断模型,其AUC值为0.960;③结果表明,基于常规腰椎MRI的影像组学特征可以区分骨质疏松及骨量正常,结合临床特征建立的联合诊断模型能够提高诊断效能,对诊断骨质疏松症有较高的临床价值。     

基于深度学习的磁共振液体衰减反转恢复序列图像合成方法

磁共振能够获得不同对比度的多模态图像，为临床诊断提供了丰富的信息。但是常常由于患者难以配合或扫描条件限制造成某些对比度图像没有被扫描或者获得的图像质量不能达到诊断要求。图像合成技术是弥补这种图像缺失的一种方法。近年来，深度学习在磁共振图像合成领域得到了广泛应用。本文提出了一种基于多模态融合的合成网络，首先利用特征编码器将多个单模态图像分别进行特征编码后，再通过特征融合模块将不同模态图像特征进行融合，最终生成目标模态图像。通过引入基于图像域和K空间域的动态加权组合损失函数，改进了网络中目标图像与预测图像的相似性度量方法。经实验验证并定量比较，本文提出的多模态融合深度学习网络可以有效合成高质量的磁共振液体衰减反转恢复（FLAIR）序列图像。综上，本文提出的方法可以减少患者的磁共振扫描时间，以及解决FLAIR图像缺失或图像质量难以满足诊断要求的临床问题。     

脑白质高信号与阿尔茨海默病的相关性

脑白质高信号(white matter hyperintensity,WMH)为磁共振成像(magnetic resonance imaging,MRI)中T2加权像(T2 weighted imaging,T2WI)或T2液体衰减反转恢复序列(fluid attenuation inversion recovery,...     

3D Isotropic Super-resolution Prostate MRI Using Generative Adversarial Networks and Unpaired Multiplane Slices

We developed a deep learning–based super-resolution model for prostate MRI. 2D T2-weighted turbo spin echo (T2w-TSE) images are the core anatomical sequences in a multiparametric MRI (mpMRI) protocol. These images have coarse through-plane resolution, are non-isotropic, and have long acquisition times (approximately 10–15 min). The model we developed aims to preserve high-frequency details that are normally lost after 3D reconstruction. We propose a novel framework for generating isotropic volumes using generative adversarial networks (GAN) from anisotropic 2D T2w-TSE and single-shot fast spin echo (ssFSE) images. The CycleGAN model used in this study allows the unpaired dataset mapping to reconstruct super-resolution (SR) volumes. Fivefold cross-validation was performed. The improvements from patch-to-volume reconstruction (PVR) to SR are 80.17%, 63.77%, and 186% for perceptual index (PI), RMSE, and SSIM, respectively; the improvements from slice-to-volume reconstruction (SVR) to SR are 72.41%, 17.44%, and 7.5% for PI, RMSE, and SSIM, respectively. Five ssFSE cases were used to test for generalizability; the perceptual quality of SR images surpasses the in-plane ssFSE images by 37.5%, with 3.26% improvement in SSIM and a higher RMSE by 7.92%. SR images were quantitatively assessed with radiologist Likert scores. Our isotropic SR volumes are able to reproduce high-frequency detail, maintaining comparable image quality to in-plane TSE images in all planes without sacrificing perceptual accuracy. The SR reconstruction networks were also successfully applied to the ssFSE images, demonstrating that high-quality isotropic volume achieved from ultra-fast acquisition is feasible.

     

Medical image translation using an edge-guided generative adversarial network with global-to-local feature fusion

In this paper, we propose a framework based deep learning for medical image translation using paired and unpaired training data. Initially, a deep neural network with an encoder-decoder structure is proposed for image-to-image translation using paired training data. A multi-scale context aggregation approach is then used to extract various features from different levels of encoding, which are used during the corresponding network decoding stage. At this point, we further propose an edge-guided generative adversarial network for image-to-image translation based on unpaired training data. An edge constraint loss function is used to improve network performance in tissue boundaries. To analyze framework performance, we conducted five different medical image translation tasks. The assessment demonstrates that the proposed deep learning framework brings significant improvement beyond state-of-the-arts.     

用于肿瘤调强放射治疗影像分析与转换的深度学习方法

癌症已成为严重威胁人类健康的主要公共卫生问题。60%~70%的癌症患者需要进行放射治疗。调强放疗是当前主要的临床放疗技术。对近几年基于深度学习的影像分析与转换方法在肿瘤调强放疗计划中的应用进展及关键技术进行综述,包括计算机断层扫描(CT)、锥形束CT(CBCT)、磁共振成像(MRI)、正电子发射断层扫描(PET)引导的肿瘤调强放疗技术应用现状与发展趋势,肿瘤CT/CBCT/MRI/PET影像放疗靶区分割、影像配准以及转换深度卷积神经网络、生成对抗网络的有监督或无监督学习方法,并对未来的研究方向进行展望。     

Arterial spin labeling MR image denoising and reconstruction using unsupervised deep learning

Arterial spin labeling (ASL) imaging is a powerful magnetic resonance imaging technique that allows to quantitatively measure blood perfusion non-invasively, which has great potential for assessing tissue viability in various clinical settings. However, the clinical applications of ASL are currently limited by its low signal-to-noise ratio (SNR), limited spatial resolution, and long imaging time. In this work, we propose an unsupervised deep learning-based image denoising and reconstruction framework to improve the SNR and accelerate the imaging speed of high resolution ASL imaging. The unique feature of the proposed framework is that it does not require any prior training pairs but only the subject's own anatomical prior, such as T1-weighted images, as network input. The neural network was trained from scratch in the denoising or reconstruction process, with noisy images or sparely sampled k-space data as training labels. Performance of the proposed method was evaluated using in vivo experiment data obtained from 3 healthy subjects on a 3T MR scanner, using ASL images acquired with 44-min acquisition time as the ground truth. Both qualitative and quantitative analyses demonstrate the superior performance of the proposed txtc framework over the reference methods. In summary, our proposed unsupervised deep learning-based denoising and reconstruction framework can improve the image quality and accelerate the imaging speed of ASL imaging.     

基于卷积神经网络的超声图像散斑去噪算法

为了提高超声图像质量,解决传统去噪算法在抑制散斑噪声和保留超声图像纹理特征方面的难题,提出一种基于卷积神经网络的超声图像散斑去噪算法DSCNN(De-speckling CNN)。本文提出的算法利用卷积神经网络强大的拟合能力来学习从超声图像到其相应的高质量图像的复杂映射,同时,通过改进损失函数的方式来减少去噪过程中纹理信息的损失和细节的模糊。不同于以往简单地假设超声散斑噪声为乘性噪声,本文利用基于超声图像采集模型和散斑噪声形成模型的模拟超声成像技术为去噪模型生成更贴合真实超声图像的训练数据,解决深度学习方法训练数据匮乏以及在临床上无法获得与超声图像空间配准作为标签的无噪声图像的难题。通过与其他具有代表性的超声图像去噪算法比较,经DSCNN去噪后的超声图像无论在视觉效果还是图像质量评价指标上都取得了更好的结果,其中SSIM达到0.856 9,在文中所有方法中最高。     

Off-line determination of the optimal number of iterations of the robust anisotropic diffusion filter applied to denoising of brain MR images

Although anisotropic diffusion filters have been used extensively and with great success in medical image denoising, one limitation of this iterative approach, when used on fully automatic medical image processing schemes, is that the quality of the resulting denoised image is highly dependent on the number of iterations of the algorithm. Using many iterations may excessively blur the edges of the anatomical structures, while a few may not be enough to remove the undesirable noise. In this work, a mathematical model is proposed to automatically determine the number of iterations of the robust anisotropic diffusion filter applied to the problem of denoising three common human brain magnetic resonance (MR) images (T1-weighted, T2-weighted and proton density). The model is determined off-line by means of the maximization of the mean structural similarity index, which is used in this work as metric for quantitative assessment of the resulting processed images obtained after each iteration of the algorithm. After determining the model parameters, the optimal number of iterations of the algorithm is easily determined without requiring any extra computation time. The proposed method was tested on 3D synthetic and clinical human brain MR images and the results of qualitative and quantitative evaluation have shown its effectiveness.