基于图像自相似性的多尺度稀疏表示肺4D-CT图像超分辨率重建

针对肺四维计算机断层摄影(4D-CT)数据层间分辨率远低于层内分辨率的各项数据异性问题,提出一种基于图像自相似性的多尺度稀疏表示超分辨率重建方法,用以提升肺4D-CT图像的分辨率。所提出的方法通过探索验证肺4D-CT数据横断面与冠矢状面图像的自相似性,以横断面图像代替冠矢状面图像,组成高分辨率和低分辨率图像块对,构建训练集;引入多尺度策略,根据四叉树原理划分得到不同尺度的图像块,训练得出全局多尺度字典,以捕获更多肺部解剖结构特征;通过稀疏表示超分辨算法重建得出冠矢状面的高分辨率图像。利用仿真数据和真实数据对提出的算法进行实验验证,量化评价与视觉效果均体现本研究算法在提升图像清晰度以及改善图像细微结构显示质量方面的优越性,同时还可有效避免对算法精度及耗时产生影响的运动估计过程。     

一种基于元学习的小样本核磁共振图像分割方法

将深度学习算法应用于核磁共振（MR）图像分割时，必需以大量经标注后图像作为训练集的数据支撑。然而，MR图像的特殊性导致采集大量的图像数据较困难，制作大量的标注数据成本高。为降低MR图像分割对大量标注数据的依赖，本文提出了一种用于小样本MR图像分割的元U型网络(Meta-UNet)，能够利用少量的图像标注数据完成MR图像分割任务，并获得良好的分割结果。其具体操作为：通过引入空洞卷积对U型网络（U-Net）进行改进，增加网络模型感受野从而提高模型对不同尺度目标的灵敏度；通过引入注意力机制提高模型对不同尺度目标的适应性；通过引入元学习机制，并采用复合损失函数对模型训练进行良好的监督和有效的引导。本文利用提出的Meta-UNet模型，在不同分割任务上进行训练，然后用训练好的模型在全新的分割任务上进行评估，实现了目标图像的高精度分割。新的分割方法比起常用的无监督医学图像配准分割方法——体素变形网络（VoxelMorph）、数据增强医学图像分割方法——转换学习数据增强模型（DataAug）和基于标签转移的医学图像分割方法——标签转移网络（LT-Net）三种模型平均戴斯相似性系数（DSC）有一定提高...     

基于多模态磁共振图像特征选择的脑胶质瘤分割

脑胶质瘤分割通常需要将肿瘤区域细分为多个不同性质的子区域,往往需要使用多种不同模态的磁共振(MR)图像。近年来,基于深度学习的脑胶质瘤分割研究已成为主流。然而,大多数基于深度学习的方法只是将不同模态MR图像(或底层特征)进行通道维度堆叠后输入到分割网络中,并且在特征提取阶段忽略不同性质子区域分割时所需模态特征的差异性,导致分割性能不够精良。本研究提出一种基于多模态MR图像特征选择的两阶段分割框架进行脑胶质瘤分割。一方面,设计多模态特征选择模块并嵌入到分割网络框架中,对当前分割任务所需多模态MR图像特征进行自动提取和有效选择;另一方面,将多个不同性质的病变组织子区域分为两阶段分割任务,利用第一阶段分割任务结果提供第二阶段分割目标的定位信息。本方法和对比方法分别在BraTS2018(训练集285个患者,验证集66个患者)、BraTS2019(训练集335个患者,验证集125个患者)和BraTS2020(训练集369个患者,验证集125个患者)公开数据集上进行了实验。在BraTS2018数据集上,本方法在完整肿瘤、肿瘤核心和增强肿瘤区域的Dice相似系数分别为0.898、0.854和0.818,Hausdorff距离分别为4.072、6.179和3.763;在BraTS2019数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.892、0.839和0.800,Hausdorff距离分别为6.168、7.077和3.807;在BraTS2020数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.896、0.837和0.803,Hausdorff距离分别为6.223、7.033和4.411。对比实验结果表明,所提方法在增强肿瘤区域和肿瘤核心区域的分割性能具有明显优势,特别是增强肿瘤区域分割性能在BraTS2020数据集上最佳。基于多模态特征选择模块的两阶段分割框架,针对每阶段分割目标实现了不同模态MR图像特征的自动和充分学习,取得了理想的分割结果,为计算机辅助肿瘤诊断提供了可能的解决方案。     

基于频域约束和交叉融合特征网络的磁共振图像超分辨率重建算法

磁共振（MR）图像常用于临床医学诊断，获得高分辨率MR图像有利于进行医学分析。目前主流的基于参考的图像超分辨率重建算法重建的图像，其视觉效果取得了明显的提升，但仍存在明显的伪影问题。针对该问题，提出频域约束和交叉融合特征网络（FCCF）模型，即引入频域损失函数作为约束条件，并构建一种多分辨率特征融合机制，通过交叉融合不同分辨率的图像特征来提高生成图像的质量，使重建结果具有更清晰的细节，没有明显的伪影。在合成和真实的MR图像数据集上分别用PSNR和SSIM指标进行评估，实验结果明显优于现有的超分辨率重建方法。     

基于医学图像的超分辨率重建算法综述

随着临床对医学图像高分辨率的要求,基于低分辨率医学图像的超分辨率重建算法已成为研究热点,该类方法在不需要改进硬件设备的情况下,可以显著提高图像分辨率,因此对其进行综述具有重要意义。针对医学图像领域中特有的超分辨率重建算法,首先分析了该类算法的研究现状,并将其分为三类:基于插值的超分辨率重建、基于重构的超分辨率重建和基于学习的超分辨率重建。同时,基于MR图像、CT图像、超声图像等细分医学图像领域,深入分析了超分辨率重建算法的研究进展,并对不同类型的算法进行了归纳总结和比对分析。其次,对超分辨率重建算法所对应的评价标准也进行了介绍。最后,展望了超分辨率重建技术在医学图像领域的发展趋势。当前应用于医学图像领域的超分辨重建算法已经发展到一定水平,逐步突破基于单一方法的研究形式,通过与机器学习和稀疏表示等理论的深度融合,形成了更高效的算法。     

基于深度学习的低剂量CT图像去噪

目的:提出一种基于深度学习的方法用于低剂量CT（LDCT）图像的噪声去除。方法:首先进行滤波反投影重建,然后利用多尺度并行残差U-net（MPR U-net）的深度学习模型对重建后的LDCT图像进行去噪。实验数据采用LoDoPaB-CT挑战赛的医学CT数据集,其中训练集35 820张图像,验证集3 522张图像,测试集3 553张图像,并采用峰值信噪比（PSNR）与结构相似性系数（SSIM）来评估模型的去噪效果。结果:LDCT图像处理前后PSNR分别为28.80、38.22 dB,SSIM分别为0.786、0.966,平均处理时间为0.03 s。结论:MPR U-net深度学习模型能较好地去除LDCT图像噪声,提升PSNR,保留更多图像细节。     

基于生成对抗网络的乳腺癌组织病理图像样本均衡化

针对乳腺癌组织病理图像中各类样本的不均衡性,本研究构建了基于条件控制和深度卷积的两种乳腺癌组织病理图像样本生成对抗网络并生成人造样本,以实现样本均衡化。实验验证了两种网络用于数据均衡化的可靠性,发现在处理不均衡数据时基于深度卷积的生成对抗网络效果更好,基于条件控制的生成对抗网络鲁棒性更强;分析了增加人造样本对深度学习算法的影响。结果表明,本研究提出的数据均衡化方法将训练所得网络的分类准确率平均提升了近5%,生成对抗网络可以缓解深度学习在医学领域的应用中数据分布不平衡的问题。     

改进的YOLOv4算法在肺结核检测中的应用研究

针对CT影像中肺结核病灶复杂且尺度变化大造成检测精度低的问题,提出了一种改进特征融合方法的YOLOv4网络用于肺结核的检测。首先,采用尺度均衡的金字塔卷积来捕获不同尺度特征层之间的相互作用,并在此基础上以自适应空间特征融合的方式过滤掉不同尺度上的冲突信息,以进行特征的有效融合。其次,在低层特征上引入了坐标注意力以进一步提高小目标的检测精度。根据北京胸科医院提供的300例病患信息,搭建了一套规范的肺结核CT数据集,并在所构建的数据集上进行了实验。输入图片分辨率设定为512×512,与原始YOLOv4相比本文模型mAP提升了4.96%,且该指标优于现有主流肺结核检测算法,如Faster R＿CNN、SSD、RetinaNet等。结果表明改进的YOLOv4算法能够有效解决检测目标尺度变化和小目标检测问题,提高检测精度。     

无线胶囊内窥镜图像小肠息肉的自动识别

息肉是小肠常见疾病之一。无线胶囊内窥镜(WCE)是检查小肠疾病的常规手段,但每次检查都会产生大量图像,却仅可能包含少数病变图像。目前WCE病变的筛查高度依赖于医生的临床经验,耗时费力,且可能发生漏检或误检,因此实现WCE图像小肠息肉的自动识别意义重大。基于深度学习框架,结合数据增强技术和迁移学习策略,提出实现小肠息肉识别的新方法。基于原始数据集(包含4 300张正常图像和429张息肉图像)和拓展数据集(包含6 920张正常图像和6 864张息肉图像),对比分析不同的深度卷积神经网络模型(AlexNet、VGGNet和GoogLeNet)对息肉的识别效果。实验结果表明,在随机初始化的卷积神经网络中,GoogLeNet模型对息肉的识别效果最好,其敏感性、特异性和准确性分别达到97.18%、98.78%和97.99%,说明增加网络深度可以有效提高识别率。但网络深度增加需要更高的硬件配置和训练时间,因此结合迁移学习策略,AlexNet模型的敏感性、特异性和准确性分别达到了96.57%、98.89%和97.74%,AUC为0.996,表明该方法能有效提高模型整体性能,同时降低对训练时间和实验配置的要求。与传统手工提取图像特征或仅基于深层卷积神经网络进行分类的方法相比,所提出的方法可以在有限的训练数据和实验环境下为小肠息肉的自动识别提供有效的解决方案,有望帮助医生高效完成基于WCE检查的消化道疾病的精准诊断。     

基于改进V型网络的磁共振图像前列腺区域分割

磁共振（MR）成像技术是前列腺癌诊断的重要工具，通过计算机辅助诊断技术准确分割磁共振前列腺区域对于前列腺癌的诊断具有重要意义。本文使用深度学习方法，对传统V型网络（V-Net）网络进行了改进，提出了一种改进的端到端的三维图像分割网络，以期提供更精确的图像分割结果。本文首先将软注意力机制融合进传统V-Net的跳跃连接中，结合短跳跃连接、小卷积核进一步提升网络分割精度。然后使用前列腺MR图像分割评估2012年挑战赛（PROMISE 12）数据集，针对前列腺区域进行了分割，使用戴斯相似系数（DSC）和豪斯多夫距离（HD）对模型进行了评估，分割模型的DSC值和HD值分别可达到0.903和3.912 mm。实验结果表明，本文算法能够提供更准确的三维分割结果，可以准确高效地分割前列腺MR图像，为临床诊断和治疗提供可靠的依据。     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。     

3D Isotropic Super-resolution Prostate MRI Using Generative Adversarial Networks and Unpaired Multiplane Slices

We developed a deep learning–based super-resolution model for prostate MRI. 2D T2-weighted turbo spin echo (T2w-TSE) images are the core anatomical sequences in a multiparametric MRI (mpMRI) protocol. These images have coarse through-plane resolution, are non-isotropic, and have long acquisition times (approximately 10–15 min). The model we developed aims to preserve high-frequency details that are normally lost after 3D reconstruction. We propose a novel framework for generating isotropic volumes using generative adversarial networks (GAN) from anisotropic 2D T2w-TSE and single-shot fast spin echo (ssFSE) images. The CycleGAN model used in this study allows the unpaired dataset mapping to reconstruct super-resolution (SR) volumes. Fivefold cross-validation was performed. The improvements from patch-to-volume reconstruction (PVR) to SR are 80.17%, 63.77%, and 186% for perceptual index (PI), RMSE, and SSIM, respectively; the improvements from slice-to-volume reconstruction (SVR) to SR are 72.41%, 17.44%, and 7.5% for PI, RMSE, and SSIM, respectively. Five ssFSE cases were used to test for generalizability; the perceptual quality of SR images surpasses the in-plane ssFSE images by 37.5%, with 3.26% improvement in SSIM and a higher RMSE by 7.92%. SR images were quantitatively assessed with radiologist Likert scores. Our isotropic SR volumes are able to reproduce high-frequency detail, maintaining comparable image quality to in-plane TSE images in all planes without sacrificing perceptual accuracy. The SR reconstruction networks were also successfully applied to the ssFSE images, demonstrating that high-quality isotropic volume achieved from ultra-fast acquisition is feasible.

     

医学图像语义概念识别方法研究

医学图像语义概念识别是医学图像知识表示的重要技术环节。研究医学图像语义概念识别方法,有助于机器理解和学习医学图像中的潜在医学知识,在影像辅助诊断和智能读片等应用中发挥重要作用。将医学图像的高频概念识别问题转化为多标签分类任务,利用基于卷积神经网络的深度迁移学习方法,识别有限数量的高频医学概念;同时利用基于图像检索的主题建模方法,从给定医学图像的相似图像中提取语义相关概念。国际跨语言图像检索论坛ImageCLEF于2018年5月组织ImageCLEFcaption 2018评测,其子任务“概念检测”的目标是给定222 314张训练图片和9 938张测试图片,识别111 156个语义概念。上述两种方法的实验结果已被提交。实验结果表明,利用基于卷积神经网络的深度迁移学习方法识别医学图像高频概念,F1值为0.092 8,在提交团队中排名第二;基于图像检索的主题模型可召回部分低频相关概念,F1值为0.090 7,然而其性能依赖于图像检索结果的质量。基于卷积神经网络的深度迁移学习方法识别医学图像高频概念的鲁棒性优于基于图像检索方法的鲁棒性,但在大规模开放语义概念的识别技术研究上仍需进一步完善。     

Highly undersampled MR image reconstruction using an improved dual-dictionary learning method with self-adaptive dictionaries

Dual-dictionary learning (Dual-DL) method utilizes both a low-resolution dictionary and a high-resolution dictionary, which are co-trained for sparse coding and image updating, respectively. It can effectively exploit a priori knowledge regarding the typical structures, specific features, and local details of training sets images. The prior knowledge helps to improve the reconstruction quality greatly. This method has been successfully applied in magnetic resonance (MR) image reconstruction. However, it relies heavily on the training sets, and dictionaries are fixed and nonadaptive. In this research, we improve Dual-DL by using self-adaptive dictionaries. The low- and high-resolution dictionaries are updated correspondingly along with the image updating stage to ensure their self-adaptivity. The updated dictionaries incorporate both the prior information of the training sets and the test image directly. Both dictionaries feature improved adaptability. Experimental results demonstrate that the proposed method can efficiently and significantly improve the quality and robustness of MR image reconstruction.     

Analyzing Transfer Learning of Vision Transformers for Interpreting Chest Radiography

Limited availability of medical imaging datasets is a vital limitation when using “data hungry” deep learning to gain performance improvements. Dealing with the issue, transfer learning has become a de facto standard, where a pre-trained convolution neural network (CNN), typically on natural images (e.g., ImageNet), is finetuned on medical images. Meanwhile, pre-trained transformers, which are self-attention-based models, have become de facto standard in natural language processing (NLP) and state of the art in image classification due to their powerful transfer learning abilities. Inspired by the success of transformers in NLP and image classification, large-scale transformers (such as vision transformer) are trained on natural images. Based on these recent developments, this research aims to explore the efficacy of pre-trained natural image transformers for medical images. Specifically, we analyze pre-trained vision transformer on CheXpert and pediatric pneumonia dataset. We use CNN standard models including VGGNet and ResNet as baseline models. By examining the acquired representations and results, we discover that transfer learning from the pre-trained vision transformer shows improved results as compared to pre-trained CNN which demonstrates a greater transfer ability of the transformers in medical imaging.Supplementary InformationThe online version contains supplementary material available at 10.1007/s10278-022-00666-z.     

基于深度学习单投影的CT断层成像三维重建

【摘要】目的:提出一种基于深度学习的计算机断层扫描（CT）单视图断层成像三维（3D）重建方法,在减少数据采集量和降低成像剂量的情况下对不同患者进行CT图像的3D重建。方法:对不同患者的CT图像进行数据增强和模拟生成对应的数字重建放射影像（DRR）,并进行数据归一化操作。利用预处理后的数据通过卷积神经网络训练出一个普适于不同患者的神经网络模型。将训练好的神经网络模型部署在测试数据集上,使用平均绝对误差（MAE）、均方根误差（RMSE）、结构相似性（SSIM）和峰值信噪比（PSNR）对重建结果进行评估。结果:定性和定量分析的结果表明,该方法可以使用不同患者的单张2D图像分别重建出质量较高的3D CT图像,MAE、RMSE、SSIM和PSNR分别为0.006、0.079、0.982、38.424 dB。此外,相比特定于单个患者的情况,该方法可以大幅度提高重建速度并节省70%的模型训练时间。结论:构建的神经网络模型可通过不同患者的2D单视图重建出相应患者的3D CT图像。因此,本研究对简化临床成像设备和放射治疗当中的图像引导具有重要作用。     

Application of Super-Resolution Convolutional Neural Network for Enhancing Image Resolution in Chest CT

In this study, the super-resolution convolutional neural network (SRCNN) scheme, which is the emerging deep-learning-based super-resolution method for enhancing image resolution in chest CT images, was applied and evaluated using the post-processing approach. For evaluation, 89 chest CT cases were sampled from The Cancer Imaging Archive. The 89 CT cases were divided randomly into 45 training cases and 44 external test cases. The SRCNN was trained using the training dataset. With the trained SRCNN, a high-resolution image was reconstructed from a low-resolution image, which was down-sampled from an original test image. For quantitative evaluation, two image quality metrics were measured and compared to those of the conventional linear interpolation methods. The image restoration quality of the SRCNN scheme was significantly higher than that of the linear interpolation methods (p < 0.001 or p < 0.05). The high-resolution image reconstructed by the SRCNN scheme was highly restored and comparable to the original reference image, in particular, for a ×2 magnification. These results indicate that the SRCNN scheme significantly outperforms the linear interpolation methods for enhancing image resolution in chest CT images. The results also suggest that SRCNN may become a potential solution for generating high-resolution CT images from standard CT images.     

融合感知损失的深度学习在常规MR图像转换的研究

目的:研究在完全无监督的条件下深度神经网络实现常规磁共振图像间相互转换的可行性。方法:在循环生成式对抗网络(CycleGAN)中引入感知损失,使网络利用对抗损失学习图像结构信息的同时,结合循环一致性损失和感知损失生成高质量的磁共振图像,并将生成图像与CycleGAN模型以及有监督的CycleGAN模型(S_CycleGAN)生成的图像进行定量比较。结果:引入感知损失后的网络生成的图像定量评估值均高于CycleGAN模型生成的图像,生成的T1加权图像(T1WI)的定量评估值也均高于S_CycleGAN模型生成的T1WI,生成的T2加权图像(T2WI)与S_CycleGAN模型生成的T2WI的定量评估值相似。结论:在CycleGAN中引入感知损失,可以在完全无监督的条件下生成高质量的磁共振图像,进而实现高质量的常规磁共振图像的相互转换。     

医学图像深度学习处理方法的研究进展

由于医学图像数据爆炸式增长,传统依靠医生人工对医学图像进行分析诊断,不仅工作效率低下,工作量大,还容易误诊、漏诊。随着人工智能(artificial intelligence,AI)技术的发展与应用,机器学习(machine learning,ML),尤其是深度学习(deep learning,DL)在医学图像分析领域发挥着越来越重要的作用。本文对DL在医学图像自动分割和分类识别中的研究进展进行综述,为DL在解决医学图像分析诊断方面提供有益参考。