基于生成对抗网络的肝脏CT图像分割

目的 从腹部计算机断层扫描(computed tomography,CT)图像中分割出肝脏区域,对于肝脏疾病早期诊断、肝脏大小估计以及3D重建十分重要,精准快速地分割出肝脏边缘成为研究要点.方法 采用公开发表的肝脏肿瘤数据集为研究对象,融合生成对抗网络和Unet网络对CT图像实现肝脏的自动分割.首先将腹部CT图像输入到Unet网络进行分割预测,然后通过生成对抗网络(generative adversarial networks,GAN)进行对抗训练,使得预测结果更加接近于真实结果,同时在进行对抗训练的过程中探索了不同的距离约束函数对于分割结果的影响;预测的分割结果通过Dice分数(dice similarity coefficient,Dice)、IoU分数(intersection over union,IoU)、像素精确度(pixel accuracy,PA)、相对体积误差(relative volume difference,RVD)以及相对表面积误差(relative surface area error,RSSD)在CT-核磁健康腹部器官分割挑战数据集[combined(CT-MR)healthy abdominal organ segmentation challenge data,CHAOS]数据集上进行评价.结果 L2距离约束的Gan-Unet网络可以很好地对肝脏进行分割,其Dice、IoU和PA分别达到了94.9％、91.3％、99.4％,相比于Unet的Dice、IoU和PA为92.3％、86.7％、95.8％有明确的提升.在三维指标中,本文的方法在RVD、RSSD为0.026、0.079,相比于Unet的0.042、0.191有明显下降.结论 通过对Unet网络进行生产对抗训练以及在训练过程中引入距离约束函数可以提高肝脏分割的性能,肝脏分割结果可以应用于计算机辅助诊断系统中.     

基于多模态磁共振图像特征选择的脑胶质瘤分割

脑胶质瘤分割通常需要将肿瘤区域细分为多个不同性质的子区域,往往需要使用多种不同模态的磁共振(MR)图像。近年来,基于深度学习的脑胶质瘤分割研究已成为主流。然而,大多数基于深度学习的方法只是将不同模态MR图像(或底层特征)进行通道维度堆叠后输入到分割网络中,并且在特征提取阶段忽略不同性质子区域分割时所需模态特征的差异性,导致分割性能不够精良。本研究提出一种基于多模态MR图像特征选择的两阶段分割框架进行脑胶质瘤分割。一方面,设计多模态特征选择模块并嵌入到分割网络框架中,对当前分割任务所需多模态MR图像特征进行自动提取和有效选择;另一方面,将多个不同性质的病变组织子区域分为两阶段分割任务,利用第一阶段分割任务结果提供第二阶段分割目标的定位信息。本方法和对比方法分别在BraTS2018(训练集285个患者,验证集66个患者)、BraTS2019(训练集335个患者,验证集125个患者)和BraTS2020(训练集369个患者,验证集125个患者)公开数据集上进行了实验。在BraTS2018数据集上,本方法在完整肿瘤、肿瘤核心和增强肿瘤区域的Dice相似系数分别为0.898、0.854和0.818,Hausdorff距离分别为4.072、6.179和3.763;在BraTS2019数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.892、0.839和0.800,Hausdorff距离分别为6.168、7.077和3.807;在BraTS2020数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.896、0.837和0.803,Hausdorff距离分别为6.223、7.033和4.411。对比实验结果表明,所提方法在增强肿瘤区域和肿瘤核心区域的分割性能具有明显优势,特别是增强肿瘤区域分割性能在BraTS2020数据集上最佳。基于多模态特征选择模块的两阶段分割框架,针对每阶段分割目标实现了不同模态MR图像特征的自动和充分学习,取得了理想的分割结果,为计算机辅助肿瘤诊断提供了可能的解决方案。     

基于新型深度全卷积网络的肝脏CT影像三维区域自动分割

肝脏分割对于肝肿瘤肝段切除及肝移植体积测量具有重要的临床价值。由于在CT影像中肝脏与邻近脏器的灰度值相似性很高,因此对肝脏区域的三维自动分割是一项具有挑战性的难题。为解决精准肝脏分割的问题,提出一种新型的深度全卷积网络结构3DUnet-C2。该结构充分利用肝脏CT图像的三维空间信息,并有效结合肝脏区域的浅层特征和深层特征。特别地,还提出一种新的3DUnet-C2网络训练策略,通过选取清晰图像,并从图像中截取肝脏区域作为样本进行训练的方式,得到初步3DUnet-C2模型权重,并使用该权重来初始化3DUnet-C2的网络参数,从而使网络达到收敛。最后,针对3DUnet-C2网络分割肝脏边界不精准的问题,在原有3DUnet-C2网络模型的基础上,运用三维条件随机场构建3DUnet-C2-CRF模型来优化肝脏分割边界。为了验证所提出三维分割模型的性能,从ISBI2017 Liver Tumor Segmentation Challenge的数据集中选取100张CT图像用于训练、验证和测试,3DUnet-C2-CRF模型在随机选取的20张测试集上的分割准确率的Dice系数为96.9%,高于3DUnet和Vnet模型的Dice系数。实验结果表明,3DUnet-C2-CRF模型具有更好的特征表达能力以及更强的泛化性能,从而可提升模型的分割准确率。     

基于全卷积神经网络的直肠癌肿瘤磁共振影像自动分割方法

目的直肠肿瘤(rectum cancer,RC)的图像精确分割是直肠癌诊断和治疗的基础和关键。目前,直肠肿瘤的分割通常是由放射科医生逐切片进行,这种方式主观性强,工作量大。为此,本文提出了一种直肠肿瘤磁共振影像全自动分割网络,在有效减少放射科医生负担的同时提高了肿瘤分割结果的可重复性。方法首先采用一个预训练的ResNet50提取特征,并在网络隐藏层添加3个边输出模块,实现图像数据的多尺度特征提取,最后融合3个边输出模块获得最终的分割结果。将所提网络架构的分割结果与基于U-net网络架构的分割结果进行比较,并分析不同损失函数和感兴趣区域(region of interest,ROI)尺寸对所提网络分割性能的影响。结果本研究使用中山大学附属第六医院512例患者的影像数据对模型进行训练及测试,其中随机选取的461例患者的T2加权磁共振影像用于网络训练,剩下51例患者的T2加权磁共振影像用于网络测试。结果表明,所提网络分割结果的平均Dice相似性系数(Dice similarity coefficient,DSC)、平均敏感度(sensitivity)、平均特异度(specificity)及平均豪斯多夫距离(Hausdorff distance,HD)分别达到了83.61%、89.10%、96.36%和8.49,均优于基于U-net的分割方法。对于包含了肿瘤组织的ROI,尺寸越小,分割效果越好。对于给定尺寸的ROI,几种损失函数并无太大差异。结论该算法能够准确地勾画肿瘤边界,有助于提升医生工作效率。     

基于级联式三维卷积神经网络的肝肿瘤自动分割

目的:根据肝肿瘤CT影像中的特异性、分割难点以及残差网络思想,提出一种基于级联式卷积神经网络的全自动CT图像肝脏肿瘤分割方法。方法:首先根据临床知识对CT数据进行预处理,减少干扰;然后基于一个肝脏粗分割网络对肝脏进行分割,并根据分割结果坐标选取肝脏作为感兴趣区域;最后在感兴趣区域内对肿瘤进行精准分割。结果:通过级联式网络分割可以有效减少计算时间以及避免其它组织的干扰,从而实现肝肿瘤的快速分割。本研究提出的方法在2017年MICCAI肝肿瘤分割公开比赛数据集LiTS中进行测试,平均Dice分数为0.663,证实了其对肝肿瘤分割的有效性。结论:基于级联式卷积神经网络的全自动CT图像肝脏肿瘤分割方法可以实现肿瘤的快速分割。后期研究将继续增加数据量,对肿瘤进行分类,从而进一步完善模型。     

基于3D深度残差全卷积网络的头颈CT放疗危及器官自动勾画

头颈部肿瘤放射治疗危及器官的准确勾画是放疗计划的关键步骤,然而头颈部放疗危及器官的精确分割挑战性很大,目前临床医生手动勾画危及器官非常繁琐、耗时且缺乏一致性。提出基于3D深度残差全卷积网络的头颈部肿瘤放疗危及器官自动分割方法,通过改进的V-Net网络分割模型,有效地结合危及器官CT影像的深层特征和浅层特征,同时根据特别设计的端到端监督学习确定危及器官分割模型参数。为了解决小器官类分布极不平衡问题,提出利用器官位置先验约束采样区域与随机采样相结合的训练样本选择策略,同时采用Dice损失函数对网络进行训练。该策略不仅可加速训练过程,提升分割性能,而且可保证小器官的分割准确率。该方法在2015年MICCAI头颈自动分割挑战赛数据集PDDCA上验证,各器官分割的Dice系数平均值分别为:颌下骨0.945、左腮腺0.884、右腮腺0.882、脑干0.863、左颌下腺0.825、右颌下腺0.842、左视神经0.807、右视神经0.847、视交叉0.583。大多数器官的95% Hausdorff距离小于3 mm,所有器官的勾画平均距离均小于1.2 mm。实验结果表明,该方法在除脑干以外的危及器官分割中性能比其他对比方法更优。     

基于完全融合集成网络候选框的肋骨骨折检测方法

目的 提出一种新型的肋骨骨折检测网络Rib-Net，探讨其进行肋骨骨折检测的可行性与准确性，以减少骨折漏诊案例。 方法 采用公开数据集RibFrac Dataset，其数据集划分为训练集（420例）、验证集（80例）及测试集（160例）。Rib-Net由目标检测集成网络ED-Net、完全候选框融合算法（CBF）与分割模型3D Unet构成。首先，集成Retina Unet、UFRCNN+与Mask RCNN组成ED-Net，预测肋骨骨折候选框；其次，设计全新的CBF，融合存在重叠的骨折候选框，生成定位精准、置信度准确的候选框；最后，利用Unet对肋骨骨折进行分割，实现肋骨骨折的进一步精确定位。 结果 在“MICCAI 2020 RibFrac Challenge: Rib Fracture Detection and Classification”挑战赛平台上，Rib-Net检测结果达到了最优成绩，其召回率、无限制接受者操作特性曲线（FROC）值及Dice相似指数分别为92.3%，0.859和0.61。 结论 Rib-Net网络可高效精准地对胸部CT影像进行肋骨骨折检测定位，有效协助医生做出准确诊断。     

基于三维U-NET深度卷积神经网络的头颈部危及器官的自动勾画

勾画危及器官是放射治疗中的重要环节。目前人工勾画的方式依赖于医生的知识和经验,非常耗时且难以保证勾画准确性、一致性和重复性。为此,本研究提出一种深度卷积神经网络,用于头颈部危及器官的自动和精确勾画。研究回顾了496例鼻咽癌患者数据,随机选择376例用于训练集,60例用于验证集,60例作为测试集。使用三维(3D)U-NET深度卷积神经网络结构,结合Dice Loss和Generalized Dice Loss两种损失函数训练头颈部危及器官自动勾画深度卷积神经网络模型,评估参数为Dice相似性系数和Jaccard距离。19种危及器官Dice相似性指数平均达到0.91,Jaccard距离平均值为0.15。研究结果显示基于3D U-NET深度卷积神经网络结合Dice损失函数可以较好地应用于头颈部危及器官的自动勾画。     

基于改进注意力机制的臂丛神经超声图像分割网络研究

目的 提出一种改进注意力机制的卷积神经网络,用于臂丛神经超声图像精准分割。方法 基于U-Net的编码器-解码器结构,应用注意力机制使网络专注于图像中的重要区域和抑制无关的背景干扰,同时添加规范层和丢弃层以防止梯度消失和增加网络泛化能力,使用卷积和残差连接对跳跃连接进行改进,以减小语义差距。在Kaggle竞赛的公共数据库臂丛神经超声图像数据集上,用五折交叉验证的方法对网络进行训练和评估,计算平均Dice系数和Jaccard系数作为评价指标,并与U-Net、SegNet和Attention U-Net进行对比分析。结果 本文提出的网络的各项评价指标均高于对比网络,平均Dice值和Jaccard值分别达到了66.78%和50.84%。结论 这表明本文提出的网络能够更加精准地将臂丛神经从背景中自动分割出来,在不借助医生手工标注的情况下,为临床诊断提供更可靠的依据。     

新型乳腺磁共振增强图像肿瘤区域的自动分割模型

乳腺磁共振增强图像上,乳腺癌主要有肿块型和非肿块型两种强化方式。由于乳腺肿瘤区域相对较小,肿块型和非肿块型之间形态学差异大,非肿块型自身差异性复杂,因而很难精确分割出乳腺肿瘤区域。针对这些问题,提出一套新颖的粗检测细分割的深度学习模型(YOLOv2+SegNet)。该模型在精准分割之前,首先运用YOLOv2网络在乳腺可能的肿瘤区域进行粗检测,从而得到大致可能的肿瘤区域;接下来在粗检测的基础上,针对检测到可能的肿瘤区域,运用SegNet网络进行精细分割,从而实现算法最优的性能。为了验证YOLOv2+SegNet模型的有效性,从医院采集的数据集中选取560张乳腺MRI增强图像作为训练和测试(其中训练和测试集分别为415张和145张乳腺MRI数据)。在实验的过程中,运用YOLOv2+SegNet模型,分别对乳腺肿块型、非肿块型、肿块和非肿块混合型3类MRI数据进行肿瘤区域自动分割的实验。实验结果表明:YOLOv2+SegNet模型和SegNet网络分割结果的Dice系数相比有约10%的提升,与传统的C-V模型、模糊C均值聚类、光谱映射主动轮廓模型以及深度模型U-net、DeepLab相比有更为明显的提升。     

基于空洞空间金字塔池化的U-Net网络在肺部图像分割上的应用

目的：胸部X线图像中肺野的自动分割是相关疾病筛查和诊断的关键步骤,为了适应计算机辅助诊断系统的要求,提出一种基于空洞空间金字塔池化的U-Net网络对胸部X线图像中肺野进行自动分割。方法：在编码和解码之间引入带有空洞卷积的空间金字塔池化用于扩大接受域;同时,在多个尺度上获取图像上下文信息,用于从胸片中分割肺野,使用Montgomery数据集及深圳数据集进行验证。根据医学图像分割常用指标准确性、Dice相似系数及交并比评价基于空洞空间金字塔池化的U-Net网络分割肺野的性能。结果：验证准确性为98.29%,Dice相似系数为96.61%,交并比为93.47%。结论：本文提出一种基于空洞空间金字塔池化的U-Net网络用于分割肺野,相较于其他方法学习到更多边缘分割特征,取得更好的分割结果。     

颞骨CT内面神经、迷路、听骨结构深度学习的自动化分割方法

目的 探讨神经网络的深度学习方法,进行颞骨CT内面神经、迷路及听骨结构的自动化分割的可行性和精确性。方法 选择常规颞骨CT检查患者的数据,随机分为两组,一组为训练集（20例）,另一组为测试集（5例）。在上述颞骨CT中采用手工分割的方法,分割出迷路、听骨及面神经结构。选择三维卷积神经网络3D U-Net作为深度学习中的神经网络结构部分,通过对训练集的训练,得到该网络的平均精度。用该网络模型对5组测试集中的不同解剖标志自动分割的结果与手工分割的结果进行测试,分别获得面神经、迷路及听小骨的测试精度。并将上述精度与另一种基于三维卷积神经网络结构的V-Net网络模型获得的精度进行比较。结果 在颞骨CT标本中,采用面神经、迷路及听小骨分别对3D U-Net-plus和V-Net网络结构的自动分割进行训练,在训练样本中,3D U-Net-plus网络结构的平均误差为0.016,V-Net网络结构的平均误差为0.035,两者差异有统计学意义（P<0.05）;利用3D U-Net-plus神经网络自动分割的迷路、听小骨及面神经与手工分割图像的Dice相似指数分别为0.618±0.107、0.584±0.089和0.313±0.069, 利用V-Net神经网络自动分割的迷路、听小骨、面神经与手工分割图像的Dice相似指数分别为0.322±0.089、0.176±0.100和0.128± 0.077,两者差异有统计学意义（P<0.001）。结论 采用3D U-Net-plus神经网络,在颞骨内听骨、迷路及面神经的自动识别和分割方面具有可行性,该方法优于V-Net神经网络。随着网络结构的优化和学习样本的扩大,其将更加接近人工分割的效果。     

基于级联3D U-Net的CT和MR视交叉自动分割方法

目的:基于级联3D U-Net,利用配对患者头颈部数据［CT和磁共振图像（MRI）］,取得比仅CT数据更高分割精度的视交叉自动分割结果。方法:该级联3D U-Net由一个原始3D U-Net和改进的3D D-S U-Net（3D Deeply-Supervised U-Net）组成,实验使用了60例患者头颈部CT图像及MRI图像（T1和T2模态）,其中随机选取15例患者数据作为测试集,并使用相似性系数（DSC）评估视交叉的自动分割精度。结果:对于测试集中的所有病例,采用多模态数据（CT和MRI）的视交叉的DSC为0.645±0.085,采用单模态数据（CT）的视交叉的DSC为0.552±0.096。结论:基于级联3D U-Net的多模态自动分割模型能够较为准确地实现视交叉的自动分割,且优于仅利用单模态数据的方法,可以辅助医生提高放疗计划制定的工作效率。     

基于深度学习的危及器官自动勾画软件系统DeepViewer在放疗中的应用及评估

目的:将一款基于深度学习的危及器官自动勾画软件系统DeepViewer应用于临床,实现自动勾画肿瘤患者治疗计划中危及器官的功能。方法:DeepViewer使用改进后的全卷积神经网络U-Net来实现自动勾画患者CT扫描部位所包含的危及器官,并使用Dice相似性系数（DSC）对比分析这22种危及器官自动勾画与手动勾画的差异。结果:11种危及器官DSC平均值在0.9以上,5种危及器官DSC平均值为0.8~0.9,5种器官DSC平均值为0.7~0.8,视交叉DSC平均值最低,为0.676。总体结果表明DeepViewer系统能够较准确地自动勾画出危及器官,特别是左、右肺、膀胱、脑干等器官,已基本满足临床需求。结论:DeepViewer软件系统可以实现放疗肿瘤患者危及器官的自动勾画,准确性较高。同时,DeepViewer系统勾画完毕后,可以通过网络系统自动传输RTStructure DICOM3.0文件,无需其他操作,能极大地提高临床医生工作效率,降低治疗计划流程中的勾画总时间。     

利用深度反卷积神经网络自动勾画放疗危及器官

目的:勾画危及器官是放射治疗中非常重要的常规工作。然而,目前的人工勾画非常耗时,而且依赖于医生的知识和经验。为此,本研究提出一种深度反卷积神经网络,用于自动和精确地勾画危及器官。 方法:深度反卷积神经网络是一个用于自动分割的端到端框架。实验使用了230例头颈部患者的数据,在其中随机选择了184例作为训练集,用于调制自动分割模型的参数,其余46例用作测试集评估方法的性能。用于分割的危及器官包括脑干、脊髓、左腮腺、右腮腺、左颞叶、右颞叶、甲状腺、喉、气管9个危及器官。自动分割精度的量化指标使用戴斯相似性系数和豪斯多夫距离。 结果:所有危及器官自动分割的戴斯相似性系数值均在0.70以上（平均值为0.81）,豪斯多夫距离值在5.0 mm内（平均值为4.3 mm）,表明本研究提出的自动分割方法能准确地分割危及器官。 结论:利用深度反卷积神经网络建立了一种自动分割危及器官的方法,可以得到较准确的结果,为放射治疗流程自动化提供了技术支持。