基于对抗训练的U-Net神经网络在稀疏投影CT图像增强的应用

目的:针对稀疏投影的CT重建图像附带噪声和伪影的特性,使用神经网络模型对稀疏投影得到的低质量CT重建 图像进行图像增强。方法:在残差编码-解码卷积神经网络基础上提出一种基于对抗训练的U-Net神经网络模型,并使用 公开数据集TCGA-CESC癌症CT影像进行模型训练和测试。评价模型处理效果的指标包括峰值信噪比（PSNR）、结构相 似性（SSIM）和均方根误差（RMSE）。结果:在对180 次探测的CT重建图像的测试中,模型处理后的图像相比未处理图 像,PSNR、SSIM和RMSE指标平均值分别提升15.10%、37.89%和38.20%。在PSNR和SSIM指标平均值意义下,模型处 理后的图像优于1 800次探测的未处理CT重建图像。结论:本研究提出的神经网络模型能够减少伪影和噪点,对稀疏投 影CT图像增强有一定效果。     

基于深度学习单投影的CT断层成像三维重建

【摘要】目的:提出一种基于深度学习的计算机断层扫描（CT）单视图断层成像三维（3D）重建方法,在减少数据采集量和降低成像剂量的情况下对不同患者进行CT图像的3D重建。方法:对不同患者的CT图像进行数据增强和模拟生成对应的数字重建放射影像（DRR）,并进行数据归一化操作。利用预处理后的数据通过卷积神经网络训练出一个普适于不同患者的神经网络模型。将训练好的神经网络模型部署在测试数据集上,使用平均绝对误差（MAE）、均方根误差（RMSE）、结构相似性（SSIM）和峰值信噪比（PSNR）对重建结果进行评估。结果:定性和定量分析的结果表明,该方法可以使用不同患者的单张2D图像分别重建出质量较高的3D CT图像,MAE、RMSE、SSIM和PSNR分别为0.006、0.079、0.982、38.424 dB。此外,相比特定于单个患者的情况,该方法可以大幅度提高重建速度并节省70%的模型训练时间。结论:构建的神经网络模型可通过不同患者的2D单视图重建出相应患者的3D CT图像。因此,本研究对简化临床成像设备和放射治疗当中的图像引导具有重要作用。     

基于稀疏分解的医学CT图像去噪

医学CT图像成像过程中,由于成像机制的影响,不可避免的引入噪声。图像中的噪声会降低图像质量,影响临床诊断。因此,有必要对医学CT图像进行去噪处理。本文采用图像的稀疏分解方法来对混有噪声的肝癌CT图像进行消噪处理,提出分块稀疏分解去噪。实验表明,本文算法对医学图像中噪声去除有一定效果。在分解原子个数相同的条件下,本文方法去噪后重建图像比在整幅图像上进行稀疏去噪重建的计算速度提高了约15倍。     

基于卷积神经网络的宫颈CT图像的金属伪影去除

目的:为了消除宫颈CT图像中存在的金属伪影,提出一种利用卷积神经网络（CNN）去除金属伪影的策略。方法:首先通过数值仿真得到金属伪影图像与目标图像（无伪影图像）,构造训练测试数据集,利用含金属伪影的宫颈CT图像和对应的无伪影图像训练已搭建的CNN,进而得到去除宫颈CT图像金属伪影的CNN模型。结果:训练网络之前金属伪影图像与目标图像峰值信噪比（PSNR）平均值为26.098 0 dB。不同尺寸（25×25、50×50、100×100）的图像块训练网络得到去除金属伪影的图像与目标图像PSNR平均值分别为34.607 9、38.375 1、38.183 8 dB。结论:通过对仿真数据和临床数据进行实验,研究结果表明,本文方法能够快速有效地消除宫颈CT图像中的金属伪影,并且可以保留完整的组织结构信息。     

基于卷积神经网络的超声图像散斑去噪算法

为了提高超声图像质量,解决传统去噪算法在抑制散斑噪声和保留超声图像纹理特征方面的难题,提出一种基于卷积神经网络的超声图像散斑去噪算法DSCNN(De-speckling CNN)。本文提出的算法利用卷积神经网络强大的拟合能力来学习从超声图像到其相应的高质量图像的复杂映射,同时,通过改进损失函数的方式来减少去噪过程中纹理信息的损失和细节的模糊。不同于以往简单地假设超声散斑噪声为乘性噪声,本文利用基于超声图像采集模型和散斑噪声形成模型的模拟超声成像技术为去噪模型生成更贴合真实超声图像的训练数据,解决深度学习方法训练数据匮乏以及在临床上无法获得与超声图像空间配准作为标签的无噪声图像的难题。通过与其他具有代表性的超声图像去噪算法比较,经DSCNN去噪后的超声图像无论在视觉效果还是图像质量评价指标上都取得了更好的结果,其中SSIM达到0.856 9,在文中所有方法中最高。     

基于时空曲率正则化的细胞图像序列去噪

目的显微细胞成像系统获取的图像序列由于光照、电磁干扰等因素的影响,不可避免地存在一定程度的噪声,消除噪声得到清晰的细胞图像是后续细胞形态特征提取和分析的首要步骤。本文引入细胞图像序列的时域信息来构建时空曲率正则化约束,以实现细胞图像序列的去噪处理。方法首先,利用细胞图像序列的空域和时域相关性,构建基于时空曲率正则化的图像序列去噪模型;然后,通过增广拉格朗日乘子法实现模型的优化求解;最后,分别通过对叠加有不同高斯白噪声水平的纤维母细胞和多能干细胞图像序列进行去噪实验,以验证去噪效果。结果与总变分去噪法、三维阈值剪切去噪法和空间曲率正则化去噪法相比较,基于时空曲率正则化的细胞图像序列去噪方法应用于2组细胞图像序列去噪的视觉效果,及峰值信噪比(peak signal to noise ratio,PSNR)和结构相似度(structural similarity,SSIM)都优于其他3种方法。结论与其他3种去噪方法相比,此方法更加充分利用了细胞图像序列的时域信息,去噪后能有效地维持图像对比度,振铃效应不明显,对高斯噪声具有更好的适应性和稳定性,可应用于细胞形态变化检测的前期处理阶段。     

基于贝叶斯粗糙集的肺部肿瘤CT图像抗噪算法设计

贝叶斯粗糙集处理噪声数据能力强,分类肺部肿瘤CT图像结果准确,为图像去噪提供精准的图像分类结果。基于此,设计基于贝叶斯粗糙集的肺部肿瘤CT图像抗噪算法,基于贝叶斯粗糙集分类模型进行肺部CT图像分类,约简贝叶斯粗糙集属性和决策规则,基于决策规则预测肺部CT图像类别;对存在肿瘤的CT图像噪声小波系数构建拉普拉斯数学模型,基于贝叶斯最大后验概率估计小波系数概率密度,计算噪声方差和子代小波系数标准差,使去噪算法具备自适应性;基于小波系数的概率密度得到最大后验(maximum a posteriori,MAP)估计值,对该值做小波反变换,实现肺部肿瘤CT图像自适应去噪。结果表明,该算法去除肺部肿瘤CT图像噪声效果好,抗噪能力强,较好保留图像细节特征,视觉效果佳。     

基于小波软阈值滤波的医学图像去噪

目的:为了更好的去除DR医学图像噪声.方法:通过分析其噪声来源,在小波去噪的基础上进行改进.引入方差不变性变换来调整原始图像的噪声模型为高斯噪声模型.图像分解为不同频率的不同子带的小波系数,分别进行不同阈值的滤波.结果:与普通的全局小波去噪方法相比,该方法不但可以保留图像的边缘信息,而且能提高去噪后图像的峰值信噪比.结论:用此方法处理DR图像在噪声去除、细节质量及骨骼锐化等方面比传统的高斯滤波及小波全局阈值滤波等方法效果要好.     

基于参考图像的压缩感知磁共振扩散张量成像

基于参考图像的压缩感知磁共振扩散张量成像方法,利用相邻方向的扩散加权图像差异较小的特点,采用压缩感知理论实现快速扩散张量成像,回顾性选取扩散张量图像数据进行实验研究,在采样率为50%的均匀分布辐射线欠采样方式下进行基于参考图像的压缩感知扩散张量图像重建,结果表明重建后的扩散加权图的平均结构相似性（MSSIM）和峰值信噪比（PSNR）分别为0.904±0.044、（37.92±3.89） dB,各向异性分数图的MSSIM和PSNR分别为0.992、41.64 dB。因此,该方法在保证重建图像质量的前提下,可显著缩短数据采集时间,减少由于时间过长引起的图像伪影等问题。     

利用数字几何技术重建个性化骨骼模型

背景:由于医学CT体数据存在各向异性的特点,导致CT序列图像重建网格模型时产生阶梯表面,从而影响后续的医学诊断。目的:利用数字几何处理技术重建个性化骨骼模型。方法:首先基于互信息的图像配准算法对骨骼CT序列图像进行配准,接着使用图像分割提取骨骼轮廓集并转化为三维点云,然后使用高斯加权的主成分分析方法估算点云法向量并对点云进行三边滤波去噪,最后对点云进行自适应圆球覆盖及网格化处理,完成个性化骨骼模型重建。结果与结论:文章所提的方法可以生成光顺的个性化骨骼表面网格模型,所形成的三角网格形状规则且自适应分布,可以为计算机辅助制造、有限元分析及3D打印提供准确的三维模型。     

基于分段B样条形变配准方法的头颈部伪CT生成研究

目的:探讨分段B样条形变配准方法在头颈部伪CT(sCT)生成中的应用,以及对sCT生成精度的影响。方法:收集已经进行调强放射治疗的鼻咽癌患者45例,每例计划均包括头颈部T1加权核磁共振成像(MRI)和CT图像。使用3D Slicer软件对MRI和CT图像分别进行分段B样条形变配准、整体B样条形变配准、分段刚性配准和整体刚性配准4种方法配准,比较配准后的MRI图像和真实CT图像的Dice相似性系数(DSC)值。随机选取其中的30例患者作为训练集,15例患者为测试集,将配准后的MRI和CT图像通过pix2pix网络进行模型训练生成sCT,对生成的sCT和真实CT进行平均绝对误差(MAE)、结构相似性系数(SSIM)和峰值信噪比(PSNR)值的比较,分析通过阈值法分割为不同组织(骨头、软组织、空气和脂肪)的MAE值。结果:配准后的MRI和真实CT图像比较,分段B样条形变配准方法的DSC值最优;使用4种配准方法生成的sCT和真实CT图像进行MAE、SSIM和PSNR值比较,分段配准方法比整体配准方法好,B样条形变配准方法比刚性配准方法好。分段B样条形变配准方法的MAE值为(74.783±9.8...     

3D Isotropic Super-resolution Prostate MRI Using Generative Adversarial Networks and Unpaired Multiplane Slices

We developed a deep learning–based super-resolution model for prostate MRI. 2D T2-weighted turbo spin echo (T2w-TSE) images are the core anatomical sequences in a multiparametric MRI (mpMRI) protocol. These images have coarse through-plane resolution, are non-isotropic, and have long acquisition times (approximately 10–15 min). The model we developed aims to preserve high-frequency details that are normally lost after 3D reconstruction. We propose a novel framework for generating isotropic volumes using generative adversarial networks (GAN) from anisotropic 2D T2w-TSE and single-shot fast spin echo (ssFSE) images. The CycleGAN model used in this study allows the unpaired dataset mapping to reconstruct super-resolution (SR) volumes. Fivefold cross-validation was performed. The improvements from patch-to-volume reconstruction (PVR) to SR are 80.17%, 63.77%, and 186% for perceptual index (PI), RMSE, and SSIM, respectively; the improvements from slice-to-volume reconstruction (SVR) to SR are 72.41%, 17.44%, and 7.5% for PI, RMSE, and SSIM, respectively. Five ssFSE cases were used to test for generalizability; the perceptual quality of SR images surpasses the in-plane ssFSE images by 37.5%, with 3.26% improvement in SSIM and a higher RMSE by 7.92%. SR images were quantitatively assessed with radiologist Likert scores. Our isotropic SR volumes are able to reproduce high-frequency detail, maintaining comparable image quality to in-plane TSE images in all planes without sacrificing perceptual accuracy. The SR reconstruction networks were also successfully applied to the ssFSE images, demonstrating that high-quality isotropic volume achieved from ultra-fast acquisition is feasible.

     

DEep learning-based rapid Spiral Image REconstruction (DESIRE) for high-resolution spiral first-pass myocardial perfusion imaging

The objective of the current study was to develop and evaluate a DEep learning-based rapid Spiral Image REconstruction (DESIRE) technique for high-resolution spiral first-pass myocardial perfusion imaging with whole-heart coverage, to provide fast and accurate image reconstruction for both single-slice (SS) and simultaneous multislice (SMS) acquisitions. Three-dimensional U-Net–based image enhancement architectures were evaluated for high-resolution spiral perfusion imaging at 3 T. The SS and SMS MB = 2 networks were trained on SS perfusion images from 156 slices from 20 subjects. Structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), and normalized root mean square error (NRMSE) were assessed, and prospective images were blindly graded by two experienced cardiologists (5: excellent; 1: poor). Excellent performance was demonstrated for the proposed technique. For SS, SSIM, PSNR, and NRMSE were 0.977 [0.972, 0.982], 42.113 [40.174, 43.493] dB, and 0.102 [0.080, 0.125], respectively, for the best network. For SMS MB = 2 retrospective data, SSIM, PSNR, and NRMSE were 0.961 [0.950, 0.969], 40.834 [39.619, 42.004] dB, and 0.107 [0.086, 0.133], respectively, for the best network. The image quality scores were 4.5 [4.1, 4.8], 4.5 [4.3, 4.6], 3.5 [3.3, 4], and 3.5 [3.3, 3.8] for SS DESIRE, SS L1-SPIRiT, MB = 2 DESIRE, and MB = 2 SMS-slice-L1-SPIRiT, respectively, showing no statistically significant difference (p = 1 and p = 1 for SS and SMS, respectively) between L1-SPIRiT and the proposed DESIRE technique. The network inference time was ~100 ms per dynamic perfusion series with DESIRE, while the reconstruction time of L1-SPIRiT with GPU acceleration was ~ 30 min. It was concluded that DESIRE enabled fast and high-quality image reconstruction for both SS and SMS MB = 2 whole-heart high-resolution spiral perfusion imaging.     

基于3DV-Net的肺结节检测分割算法

目的：提出基于深度学习的肺结节识别与分割算法,以辅助医生进行肺部疾病检测。方法：针对LUNA16数据集数据量大以及肺结节种类大小多样性等特征,采用基于改进的深度神经网络3DV-Net实现多种肺结节的检测分割,然后使用ResNet对结节图像和非结节图像进行分类。对LUNA16数据集中的肺部CT图像进行图像去噪、插值采样等预处理,然后生成粗分割图像和Mask图像,再使用改进的3DV-Net模型对数据进行多次训练预测。网络层级越深,出现梯度消散、梯度爆炸等问题的概率越大,改进的3DV-Net使用残差连接来改善这一问题。结果：改进的3DV-Net的Dice相似系数和IoU分别达到88.29%和88.25%。结论：本文方法有助于肺结节的检测分割,在肺结节的辅助诊断方面有重要意义。     

基于纵向时间深度网络融合的乳腺癌新辅助化疗疗效预测

新辅助化疗提高了乳腺癌的治愈率,但并不是对所有患者都有效,准确预测化疗疗效可以为患者治疗方案的制定提供参考价值。本研究使用深度学习的方法,融合纵向时间的动态增强磁共振成像(DCE-MRI)的影像特征对新辅助化疗疗效进行预测。分析164例进行了乳腺癌新辅助化疗患者的DCE-MRI影像,从每例患者影像数据集中挑选肿瘤最大径及上下2张切片以扩充数据量至442例,并随机划分为训练集312例,测试集130例。DCE-MRI影像共6个序列,分割每个序列的乳房区域,去除皮肤和胸腔,使用深度学习模型分别根据化疗前影像、2个疗程化疗后影像、化疗前和2个疗程化疗后影像相融合对新辅助化疗疗效进行预测,并绘制预测结果的ROC曲线,计算对应曲线下面积(AUC)评估模型的分类性能。深度学习模型对化疗前影像、2个疗程化疗后影像的疗效预测的最佳AUC分别为0.775和0.808,融合化疗前和2个疗程化疗后影像对疗效进行预测的最佳AUC为0.863,预测效果优于仅使用化疗前的影像。实验结果表明,相较于单独使用化疗前影像,融合使用纵向时间的影像可以提高对新辅助化疗疗效的预测性能。     

Robust-Deep: A Method for Increasing Brain Imaging Datasets to Improve Deep Learning Models’ Performance and Robustness

A small dataset commonly affects generalization, robustness, and overall performance of deep neural networks (DNNs) in medical imaging research. Since gathering large clinical databases is always difficult, we proposed an analytical method for producing a large realistic/diverse dataset. Clinical brain PET/CT/MR images including full-dose (FD), low-dose (LD) corresponding to only 5 % of events acquired in the FD scan, non-attenuated correction (NAC) and CT-based measured attenuation correction (MAC) PET images, CT images and T1 and T2 MR sequences of 35 patients were included. All images were registered to the Montreal Neurological Institute (MNI) template. Laplacian blending was used to make a natural presentation using information in the frequency domain of images from two separate patients, as well as the blending mask. This classical technique from the computer vision and image processing communities is still widely used and unlike modern DNNs, does not require the availability of training data. A modified ResNet DNN was implemented to evaluate four image-to-image translation tasks, including LD to FD, LD+MR to FD, NAC to MAC, and MRI to CT, with and without using the synthesized images. Quantitative analysis using established metrics, including the peak signal-to-noise ratio (PSNR), structural similarity index metric (SSIM), and joint histogram analysis was performed for quantitative evaluation. The quantitative comparison between the registered small dataset containing 35 patients and the large dataset containing 350 synthesized plus 35 real dataset demonstrated improvement of the RMSE and SSIM by 29% and 8% for LD to FD, 40% and 7% for LD+MRI to FD, 16% and 8% for NAC to MAC, and 24% and 11% for MRI to CT mapping task, respectively. The qualitative/quantitative analysis demonstrated that the proposed model improved the performance of all four DNN models through producing images of higher quality and lower quantitative bias and variance compared to reference images.     

基于融合多网络深层卷积特征和稀疏双关系正则化方法的乳腺癌图像分类研究

乳腺癌是全球女性癌症死亡的主要原因之一。现有诊断方法主要是医生通过乳腺癌观察组织病理学图像进行判断,不仅费时费力,而且依赖医生的专业知识和经验,使得诊断效率无法令人满意。针对以上问题,设计基于组织学图像的深度学习框架,以提高乳腺癌诊断准确性,同时减少医生的工作量。开发一个基于多网络特征融合和稀疏双关系正则化学习的分类模型:首先,通过子图像裁剪和颜色增强进行乳腺癌图像预处理;其次,使用深度学习模型中典型的3种深度卷积神经网络(InceptionV3、ResNet-50和VGG-16),提取乳腺癌病理图像的多网络深层卷积特征并进行特征融合;最后,通过利用两种关系(“样本-样本”和“特征-特征”关系)和l_F正则化,提出一种有监督的双关系正则化学习方法进行特征降维,并使用支持向量机将乳腺癌病理图像区分为4类—正常、良性、原位癌和浸润性癌。实验中,通过使用ICIAR2018公共数据集中的400张乳腺癌病理图像进行验证,获得93%的分类准确性。融合多网络深层卷积特征可以有效地捕捉丰富的图像信息,而稀疏双关系正则化学习可以有效降低特征冗余并减少噪声干扰,有效地提高模型的分类性能。