基于循环对抗生成网络的胸部锥形束CT校正及剂量计算准确性

目的:采用循环对抗生成网络算法建立胸部锥形束CT（CBCT）校正模型,探讨该模型用于提升CBCT质量的可行性,评估校正的CBCT（CCBCT）用于剂量计算的准确性。方法:选择食管癌或肺癌患者已配准的CBCT和定位CT 70例,随机选取其中60例作为训练集,用来训练循环对抗生成网络,生成CBCT的校正模型。剩余10例作为测试集,对CBCT、CCBCT和定位CT之间的CT值平均绝对误差、峰值信噪比、归一化互相关进行统计学分析。将原调强计划（CT Plan）移植到CCBCT上,生成CCBCT Plan,以CT Plan剂量分布为参考,对CCBCT Plan进行三维剂量γ分析。结果:CBCT经校正后散射伪影显著减少,CT值平均绝对误差降低了52.74[%±]6.47%,峰值信噪比和归一化互相关分别提高了7.95[%±]3.56%和1.68[%±]3.38%,差异均有统计学意义（t=18.47、-7.31、-6.77, P[<]0.05）。在2 mm/2%、2 mm/1%和1 mm/1%条件下,CCBCT Plan三维剂量平均γ通过率分别为99.16[%±]0.34%、98.01[%±]0.72%、93.95[%±]1.62%。结论:基于循环对抗生成网络构建的CBCT影像校正模型用于提升CBCT影像质量是可行的,经校正的胸部CBCT可用于放疗剂量计算,为CBCT用于自适应放疗剂量计算奠定基础。     

基于循环一致性生成对抗网络的盆腔伪CT生成方法

目的:基于循环一致性生成对抗网络（CycleGAN）,利用非配对患者盆腔部位数据,实现MRI和CT图像之间的相互转换,并对基于该模型生成的盆腔伪CT（sCT）进行精度和剂量性能的评估。方法:该CycleGAN网络包含两个生成器和两个判别器。先基于全卷积网络（FCNs）构建两个生成器,一个将2D盆腔MRI转换为2D盆腔sCT图像,另一个将CT图像转换为伪MRI（sMRI）图像。再基于FCNs构建两个判别器,用于对真实图像和生成的伪图像进行判别,提升生成图像的质量。为保证sCT图像与MRI图像的一致性,引入归一化互信息作为相似性约束损失项,对模型进行改进。训练集包括35例患者盆腔部位的T1-MRI图像和另外36例患者盆腔部位的CT图像,测试集包括10例盆腔部位患者的MRI和CT图像,评估方法包括sCT与CT图像的误差和放疗剂量伽马通过率。结果:对于测试集中所有病例,生成的sCT与真实CT图像之间的平均绝对误差（MAE）为35.537（±4.537） HU;基于体素的平均剂量差异最大为0.49%;以3%/3 mm、2%/2 mm和1%/1 mm为标准的平均伽马通过率分别高于99%、98%和95%。结论:使用CycleGAN网络和非配对患者训练数据可以生成准确且符合临床剂量精度要求的盆腔部位sCT图像。     

基于生成对抗网络的肝脏CT图像分割

目的 从腹部计算机断层扫描(computed tomography,CT)图像中分割出肝脏区域,对于肝脏疾病早期诊断、肝脏大小估计以及3D重建十分重要,精准快速地分割出肝脏边缘成为研究要点.方法 采用公开发表的肝脏肿瘤数据集为研究对象,融合生成对抗网络和Unet网络对CT图像实现肝脏的自动分割.首先将腹部CT图像输入到Unet网络进行分割预测,然后通过生成对抗网络(generative adversarial networks,GAN)进行对抗训练,使得预测结果更加接近于真实结果,同时在进行对抗训练的过程中探索了不同的距离约束函数对于分割结果的影响;预测的分割结果通过Dice分数(dice similarity coefficient,Dice)、IoU分数(intersection over union,IoU)、像素精确度(pixel accuracy,PA)、相对体积误差(relative volume difference,RVD)以及相对表面积误差(relative surface area error,RSSD)在CT-核磁健康腹部器官分割挑战数据集[combined(CT-MR)healthy abdominal organ segmentation challenge data,CHAOS]数据集上进行评价.结果 L2距离约束的Gan-Unet网络可以很好地对肝脏进行分割,其Dice、IoU和PA分别达到了94.9％、91.3％、99.4％,相比于Unet的Dice、IoU和PA为92.3％、86.7％、95.8％有明确的提升.在三维指标中,本文的方法在RVD、RSSD为0.026、0.079,相比于Unet的0.042、0.191有明显下降.结论 通过对Unet网络进行生产对抗训练以及在训练过程中引入距离约束函数可以提高肝脏分割的性能,肝脏分割结果可以应用于计算机辅助诊断系统中.     

基于DenseCUT网络由头部锥形束CT图像生成合成CT图像

提出一种由头部锥形束CT(CBCT)图像生成合成CT(sCT)图像的无监督深度学习网络,并与循环生成对抗（CycleGAN）网络及对比非配对转换（CUT）网络进行比较。本研究共获取56例脑部肿瘤患者的计划CT(pCT)和CBCT数据（其中49例用于训练,7例用于测试）,分别使用CycleGAN网络、CUT网络以及本研究提出的密集对比非配对转换（DenseCUT）网络由CBCT图像生成sCT。DenseCUT网络有两点创新之处：将CUT网络与密集块网络结合;在损失函数中加入结构相似性。与pCT-CBCT相比,pCT-sCT(DenseCUT网络)的HU值平均绝对误差从34.38 HU降低到17.75 HU,峰值信噪比从26.19 dB提升到29.83 dB,结构相似性从0.78提升到0.87。本文方法可在不改变解剖结构的情况下从CBCT图像中生成高质量的sCT图像,同时降低图像伪影,使CBCT应用于剂量计算和自适应放疗计划成为可能。     

基于循环一致生成对抗网络的多模态影像刚性配准

目的:采用循环一致生成对抗网络(CycleGAN)方法在保证医学影像刚性配准精度的同时,降低图像配准的时间以及训练数据获取难度。方法:首先对训练数据进行标准化与归一化,同时对图像进行重采样与剪裁,去除多余的空气部分。其次采用阈值法与扫描线法获取图像的外轮廓信息,基于CycleGAN建立两个生成器与两个判别器,生成器输入配准图像对和输出配准结果,判别器输入配准图像对和输出配准程度。在原始CycleGAN损失函数基础上,增加轮廓损失项,以约束网络训练方向,提高收敛速度。结果:选取75例腹部病例,其中65例作为训练数据集,10例作为测试数据集,配准结果与配准软件Elastix对比。计算测试图像集外轮廓Dice系数,配准前图像对的平均Dice系数为0.858,Elastix配准后的平均Dice系数为0.926,本方法配准后的平均Dice系数为0.925。配准时间上Elastix的平均配准时间为12.1 s,本研究方法的平均配准时间为0.04 s,加速比达到302。结论:本方法在保证图像配准精度的同时极大降低了图像配准所需的时间,提高了配准流程工作效率。除此之外,与其他深度学习网络相比,本方法不需要真实配准结果以及传统相似性测度。     

不同配准方式下鼻咽癌千伏级CBCT图像引导放疗的摆位误差

目的:比较鼻咽癌千伏级锥形束CT（CBCT）不同配准方式得出的配准结果,为摆位修正提供参考。方法:回顾性分析2018年5月~2019年8月在广州医科大学附属肿瘤医院进行治疗的100例鼻咽癌患者的CBCT图像。按照大区域（Large）即全扫描范围、小区域（Small）即计划靶区范围、骨性（Bone）、灰度（Grey）的不同组合方式,对千伏级CBCT图像分别采用大区域骨性（LB）、大区域灰度（LG）、小区域骨性（SB）、小区域灰度（SG）这4种方式进行配准,并对平移误差和旋转误差结果进行分析。结果:4种方式等中心点平移误差均值范围为-0.29~1.07 mm,旋转误差均值范围为-0.10°~0.61°。除LB与SB在Y方向的平移误差存在显著性差异（P=0.00）之外,其余平移和旋转误差均无显著性差异（P=0.05~0.82）。LG与SG的所有平移和旋转误差均无显著性差异（P=0.14~0.64）。而LG与LB相比除Y方向的平移和旋转误差无显著性差异（P=0.67, 0.57）外,其余所有误差均有显著性差异（P=0.00~0.02）。SB与SG相比除X方向平移误差和Y方向旋转误差无显著性差异（P=0.36, 0.72）外,其余所有误差均有显著性差异（0.00~0.02）。Pearson相关性分析表明三维方向上所有平移和旋转摆位误差结果均呈正相关（R=0.48~0.98, P<0.01）。采用LG和SG进行配准得出的摆位误差在X、Y、Z平移和旋转方向上的95％一致性限度分别为［1.19, -1.25］、［0.95, -1.01］、［1.13, -1.31］和［0.80, -0.85］、［0.69, -0.60］、［1.02, -1.13］。按照2 mm和2°界值标准二者摆位误差具有一致性。结论:在鼻咽癌的图像引导放疗中用千伏级CBCT进行自动模式下的图像配准时,三维方向上的配准结果可能因骨性或灰度配准方式的不同而有差别。配准区域选择靶区或全扫描范围时,配准结果差异不明显。     

基于生成对抗网络的乳腺癌组织病理图像样本均衡化

针对乳腺癌组织病理图像中各类样本的不均衡性,本研究构建了基于条件控制和深度卷积的两种乳腺癌组织病理图像样本生成对抗网络并生成人造样本,以实现样本均衡化。实验验证了两种网络用于数据均衡化的可靠性,发现在处理不均衡数据时基于深度卷积的生成对抗网络效果更好,基于条件控制的生成对抗网络鲁棒性更强;分析了增加人造样本对深度学习算法的影响。结果表明,本研究提出的数据均衡化方法将训练所得网络的分类准确率平均提升了近5%,生成对抗网络可以缓解深度学习在医学领域的应用中数据分布不平衡的问题。     

基于生成对抗网络的多模态MR图像缺失模态合成

提出一种基于生成对抗网络的多模态磁共振（MR）图像缺失模态合成方法,在不同缺失情况下均能预测出完整的模态序列。该模型将生成对抗网络作为模态合成的基本框架,生成对抗网络由生成器和判别器2个部分组成。其中生成器有3个阶段：特征提取、特征融合和图像生成。在特征提取过程中,使用U-Net网络进行编码。然后将4个模态的特征进行融合,并将融合结果输入混合注意力模块。这样使网络能够自适应地调整不同模态的权重,最后进行图像生成。判别器部分由4个相同的判别器组成,对4种不同的模态进行判别,其网络结构基于PatchGan进行改进。通过与其他具有代表性的模态合成算法比较,此方法无论在视觉效果还是客观评价指标上都取得了更好的效果,其中峰值信噪比均在23 dB以上,结构相似性均在0.99以上。     

基于生成对抗网络的彩色眼底图像硬性渗出检测方法

糖尿病视网膜病变(DR)是糖尿病严重的并发症,是视力损害最常见的原因之一。硬性渗出物(HE)是DR早期的症状之一,从眼底图像中对硬性渗出的准确检测是DR筛查的关键步骤。提出一种基于生成对抗网络(GANs)的视网膜硬性渗出的自动检测方法。相比一般的卷积神经网络,生成对抗网络由生成式模型G和判别式模型D组成,两者之间的博弈与竞争使得生成对抗网络能够更加精确地检测眼底图像中的硬性渗出。首先,为了避免视盘对后续硬性渗出检测的干扰,根据血管分布信息与全局灰度信息,准确定位视盘(OD)中心并掩盖视盘;然后,交替迭代训练生成式模型G和判别式模型D,得到在验证集上分割效果最佳的模型并保存。所提出的算法在e-ophtha EX数据库上训练和验证,并进行像素级评估,获得88.6％、84.3％和86.4％的平均灵敏度、PPV和F-score。在另一个独立的DIARETDB1数据库上进行测试,获得的平均灵敏度、特异性和准确性分别为100％、96.2％和97.8％。综上所述,两个视网膜图像数据库的评估结果证明,生成对抗网络的博弈模式能够有效地检测彩色眼底图像中的硬性渗出。     

基于神经网络学习的锥形束CT图像超分辨率重建算法

针对锥形束CT（CBCT）图像质量较差的问题,提出一种基于卷积神经网络的超分辨率重建（SRCNN）方法,旨在提高CBCT图像的分辨率。本研究分别对头颈、盆腔、胸部的CBCT图像进行研究,先使用非局部均值（NLM）方法对图像进行降噪处理,再分别使用双三次插值重建（BIC）方法和SRCNN重建方法进行超分辨率重建。结果表明,BIC方法和SRCNN重建方法均能提高CBCT图像的分辨率,SRCNN重建方法较BIC方法有更高的峰值信噪比,而在结构相似度和特征相似度上,BIC方法和SRCNN重建方法的差别不大。从图像峰值信噪比及特征相似度上看,此方法对盆腔部CBCT图像处理效果更为显著,对头颈部及胸部处理效果相近。     

Medical image translation using an edge-guided generative adversarial network with global-to-local feature fusion

In this paper, we propose a framework based deep learning for medical image translation using paired and unpaired training data. Initially, a deep neural network with an encoder-decoder structure is proposed for imageto-image translation using paired training data. A multi-scale context aggregation approach is then used to extract various features from different levels of encoding, which are used during the corresponding network decoding stage. At this point, we further propose an edge-guided ge...     

基于生成对抗网络的无监督动态对比增强磁共振分解方法

为排除动态对比增强磁共振(DCE-MRI)中造影剂对图像定量分析的影响,可以使用图像分解的方法,将图像中造影剂造成的灰度变化分解出去,并保持其他内容不变。本文提出一种基于生成对抗网络的无监督图像分解方法,以实现对DCEMRI中造影剂造成的灰度变化的分解。该方法假设增强图像由增强成分和解剖成分组成,基于对各成分复杂度的先验设计生成器,通过双路生成网络,同时但独立地提取解剖成分和增强成分的信息。同时,引入图像重构损失作为反馈信号来约束生成。在MNIST数据集上基于MSE、SSIM、PSNR与现有的方法进行对比,验证了该方法的有效性。并在临床的肝部DCEMRI数据进行了实验。实验表明该方法可以在没有成对训练数据的情况下有效实现DCE-MRI图像分解。     

基于条件生成对抗网络的三维肝脏及肿瘤区域自动分割

肝脏计算机断层扫描成像(CT)的三维(3D)肝脏和肿瘤分割对于辅助医生的诊断及预后具有非常重要的临床价值。为了准确快速地分割肝脏及肿瘤区域,本文提出了一种基于条件生成对抗网络(cGAN)的肿瘤3D条件生成对抗分割网络(T3scGAN),同时采用了一个由粗到细的3D自动分割框架对肝脏及肿瘤区域实施精准分割。本文采用2017年肝脏和肿瘤分割挑战赛(LiTS)公开数据集中的130个病例进行训练、验证和测试T3scGAN模型。最终3D肝脏区域分割的验证集和测试集的平均戴斯(Dice)系数分别为0.963和0.961,而3D肿瘤区域分割的验证集和测试集的平均Dice系数分别为0.819和0.796。实验结果表明,提出的T3scGAN模型能够有效地分割3D肝脏及其肿瘤区域,因此能够更好地辅助医生进行肝脏肿瘤的精准诊断和治疗。     

鼻咽癌调强放射治疗中心点Y轴精度分析

目的:分析鼻咽癌（NPC）调强放射治疗中心点Y轴的精度情况。方法:选取200例NPC患者为观察对象,将其随机分为A、B两组,每组100例。A组采用双弧容积旋转调强放射治疗（VMAT）逆向优化设计,B组采用传统的调强放射治疗（IMRT）逆向优化设计,两组均采用Eclipse13.5计划系统进行优化设计。比较两组优化设计放疗中心点与重建放射图像中心点Y轴精度情况。结果:A组Y轴移动的发生率为43.00%,B组为58.00%,A组低于B组（P<0.05）。A组Y轴移动的方向向下移动的占比为53.49%,B组Y轴移动方向向上移动占比为68.97%。在摆位误差方面,A组上移摆位误差为（1.07±1.01） mm,B组为（2.15±1.38） mm,A组下移摆位误差为（1.12±1.13） mm,B组为（2.07±1.24） mm,A组均低于B组（P<0.05）。在治疗中心点1层,A组占比为38.00%,B组占比为44.00%,两组无统计学差异（P>0.05）。在治疗中心点2层,A组占比为62.00%,B组占比为56.00%,两组无统计学差异（P>0.05）。中心点层数移动方面,A组移动主要发生在2层,发生率为69.35%。B组1层移动的发生率为36.36%,2层移动的发生率为75.00%。位于治疗中心点1层,B组的移动方向主要是向上移动。位于治疗中心点2层,A组上移的发生率为46.51%,下移的发生率为53.49%。B组在这一层中,主要是上移,发生率为51.72%。结论:NPC调强放射治疗过程中,采用VMAT逆向优化设计更具优势,能够提高调强放射治疗过程中治疗中心点Y轴的精度,具有应用和推广价值。     

鼻咽癌放疗中红外定位系统与锥形束CT的摆位精度比较

目的:量化研究鼻咽癌放射治疗过程中红外定位系统OPS与锥形束CT(CBCT)摆位精度的差异。方法:随机选取南通市肿瘤医院2018年4月~11月收治的鼻咽癌患者21例,使用头颈肩热塑膜固定体位,CT扫描前,在热塑膜上粘贴OPS专用定位球6个。首次治疗时使用千伏级CBCT进行位置验证,并移床校正,记录CBCT移床值和移床后的OPS监测偏差值。选择CBCT肿瘤中心摆位值作为理想放疗摆位参考,对室内激光定位系统的肿瘤中心摆位值和OPS肿瘤中心摆位值进行比较和分析。当摆位误差在2.0 mm内,则被认定与CBCT摆位临床一致。结果:与室内激光定位系统摆位相比,OPS大大提高了鼻咽癌放疗摆位的精度。OPS与CBCT在鼻咽癌放疗摆位一致性结果为:患者左右方向(用x轴表示)95.2%、腹背方向(用y轴表示)71.4%、头脚方向(用z轴表示)100.0%。腹背偏差较大主要是因为放射治疗计划系统选择颈椎骨作为参考点,此时选择CBCT摆位将无法消除颈椎骨弯曲产生的偏差。结论:OPS实现了在鼻咽癌放疗中实时、准确和快速的患者摆位,代替室内激光定位系统大大提高了鼻咽癌放疗摆位精度。在鼻咽癌放疗摆位精度方面,OPS和CBCT表现出较高的一致性,而且在每次放疗中均可使用。     

基于增强CT的手动勾画与基于PET-CT的自动勾画方法在鼻咽癌放疗中的对比研究

目的:探究基于增强CT的手动勾画与基于PET-CT的自动勾画方法在鼻咽癌放疗中的优劣性及应用价值。方法:采集34例鼻咽癌患者的PET-CT数据,比较医生分别在增强CT和PET-CT图像上勾画靶区的差异性,以CSCO指南在PET-CT双模态融合图像上手动勾画的靶区作为金标准,应用Matlab软件计算单一标准摄取值（SUV）阈值分割法和MIM软件自带的PET-EDGE分割法两者的重叠率Dice和豪斯多夫距离HD值,并采用t检验进行统计学分析。结果:基于增强CT图像的手动勾画法、基于PET-CT图像的单一SUV阈值法以及PET-EDGE自动勾画法,3者靶区分割结果的Dice值分别为0.706、0.736、0.806,HD值分别为12.601、11.631、6.143 mm。以PET-CT双模态图像作为参考的靶区手动勾画法与基于增强CT的手动勾画存在差异（Dice:P=8.33×10-7;HD:P=1.065×10-18）;MIM软件自带的PET-EDGE靶区分割法Dice和HD值高于单一SUV阈值法,差异具有统计学意义（Dice:P=0.019 8;HD:P=0.013 7）。结论:在鼻咽癌肿瘤靶区的分割性能上,基于PET-CT图像的自动勾画优于基于增强CT图像的手动勾画,MIM软件自带的PET-EDGE分割法优于单一SUV阈值分割法。     

基于非线性估计的CBCT几何标定算法

针对传统的几何标定算法由标定模体位姿误差导致的CBCT成像系统参数标定精度不高的问题,提出一种基于解析几何和非线性优化的CBCT几何标定算法。首先,设计一种插帧追踪的方法,提取特征点的坐标,使得标定模体与投影图像中的特征点实现一一对应。然后,利用投影图片与设计的标定模体之间的空间几何关系,计算相关参数。最后,对检测的特征点进行非线性估计,进一步提高几何参数的计算精度。仿真数据实验表明,本文算法能够较为精确地计算出CBCT成像系统的几何参数,并在标定模体出现位姿偏差时仍然保持较高的计算精度。通过非线性估计模型,本文所提出的算法突破了现有算法标定模体位于等中心点的限制,提高了CBCT成像系统中参数标定的精度。