基于人工智能的多模态影像辅助海马体自动勾画研究

目的:利用基于深度学习的人工智能算法,结合头颅MRI和CT的多模态影像,开发海马结构自动勾画技术,为头颅放疗过程中海马体的保护提供高效、准确的自动勾画方法。方法:收集清华大学第一附属医院放疗科从2020年1月~12月就诊的40例脑转移癌患者的定位头颅CT及MRI影像,分别在CT图像、CT-MRI配准图像的两个数据集上训练3D U-Net、3D U-Net Cascade、3D BUC-Net 3个深度学习模型,计算3个模型自动分割的左右海马体与对应的人工标注之间的Dice相似系数（DSC）和95%豪斯多夫距离（95 HD）,以及两者的体积作为模型的分割准确性的评估,并且以对同一大小patch图像的自动分割耗时作为模型效率的评估。结果:引入MRI图像信息对左右海马的自动分割精度有明显的提升;模型3D BUC-Net在CT-MRI数据集上对左右海马体的自动分割都取得最好分割结果（DSC:0.900±0.017,0.882±0.026;95HD:0.792±0.084,0.823±0.093）,而且该模型的分割效率更高。结论:模型3D BUC-Net能在多模态影像上实现高效、准确的海马区的自动勾画,为头颅放疗过程中海马区的保护提供方便。     

基于2D/3D U-plus-net的心脏自动分割

目的:利用2D/3D U-plus-net 提高心脏自动分割的准确率。方法:收集郑州大学第一附属医院60 例患者胸部扫 描CT图像（数据A）及中国科学技术大学附属第一医院45 例患者胸部扫描CT图像（数据B）。基于改进的AlexNet 将 CT 图像分为两类:心脏CT 图像和无心脏CT 图像。在2D/3D U-net 拓扑结构基础上,通过减小网络深度、在长连接中 增加新节点、增加解码器中卷积次数的方法,得到改进后的2D/3D U-plus-net;将靠近腹部的心脏CT图像（图像张数由 预实验决定）输入3D U-plus-net,其余图像输入2D U-plus-net;采用5 倍交叉验证法对模型进行训练及测试。最后通过 Dice 系数、HD95 和平均表面距离（MSD）评估自动分割精度。结果:数据A自动分割的Dice 系数为0.941±0.012,MSD 为（3.918±0.201）mm,HD95为（5.863±0.561）mm;数据B自动分割的Dice系数为0.934±0.014,MSD为（4.112±0.320）mm, HD95 为（6.035±0.659）mm。结论:基于2D/3D U-plus-net 的分割方法提高了心脏自动分割准确率。     

结合伪MRI信息的腹部CT危及器官自动勾画

目的:结合伪MRI（sMRI）软组织信息,提出新的腹部器官自动勾画模型,改进CT软组织的勾画效果。方法:使用两个独立的深度神经网络分步完成病人腹部危及器官的自动勾画。首先,基于CycleGAN网络构建由CT图像转换sMRI图像的模型,采用去噪判别器等改进方法,得到器官轮廓一致的高清晰度sMRI。其次,使用sMRI与手工勾画信息训练自动勾画模型Residual U-Net,在CT和sMRI上分别自动勾画危及器官轮廓,Residual U-Net的残差模块能够充分利用提取到的特征来区分不同的器官。采用戴斯相似性系数（DSC）作为自动勾画模型分割精度的评价标准,35例宫颈癌与35例前列腺癌患者用于自动勾画模型的训练和评估。结果:结合sMRI信息的自动勾画模型在直肠、膀胱、左右股骨头的平均DSC分别为0.779±0.021、0.944±0.006、0.834±0.006、0.845±0.021。结论:使用结合sMRI信息的腹部CT自动勾画方法,可以在直肠获得更精确的自动勾画结果。     

基于3D深度残差网络和多模态MRI的脑胶质瘤自动分级

目的:利用3D深度残差网络和多模态MRI实现对脑胶质瘤的自动分级。方法:利用BraTS2020公共数据集的293例高级别胶质瘤（HGG）和76例低级别胶质瘤（LGG）的多模态MRI数据训练和测试3D深度残差卷积网络模型。多模态MRI图像经过3D剪裁、重采样和归一化的预处理,随机分组为训练（64%）、验证（16%）和测试（20%）样本,将预处理后的多模态MRI图像和分级标注输入到网络模型进行训练、验证和测试。利用准确率（ACC）和受试者工作特征（ROC）曲线下面积（AUC）评价分级结果。结果:在59例（48例HGG和11例LGG）验证数据集上,ACC和AUC分别为0.93和0.97,在75例（62例HGG和13例LGG）测试数据集上,ACC和AUC分别为0.89和0.93。结论:3D深度残差网络在多模态MRI数据集上获得了较好的脑胶质瘤自动分级结果,可以为确定治疗方案和预测预后方面提供重要参考。     

基于DPU-Net的直肠癌肿瘤分割与T分期研究

基于MRI图像对直肠癌肿瘤进行分割与T分期识别在直肠癌术前诊断与治疗方案制定中起着重要作用。为了准确分割肿瘤并进行T分期,提出一种多任务学习模型DPU-Net,联合分割与分期任务。在分割分支中,针对直肠癌MRI图像结构复杂的特点,结合注意力机制与多尺度特征加强模型对肿瘤的关注度以及边缘特征提取能力,提高分割效果。在分类分支中,为解决直肠癌肿瘤T分期难的问题,引入诊疗文本,充分利用医疗数据。提出基于动态加权的多模态融合模型,结合图像特征与文本特征对肿瘤T分期识别。将本文模型与主流模型进行对比,实验结果表明,本文模型分割精度DSC为82.88%,相比于U-Net提升了17.96%。分类准确率为76.24%,相比于Dense-Net提高了9.43%。本文模型具备辅助医生诊断的可行性。     

颞骨CT内面神经、迷路、听骨结构深度学习的自动化分割方法

目的 探讨神经网络的深度学习方法,进行颞骨CT内面神经、迷路及听骨结构的自动化分割的可行性和精确性。方法 选择常规颞骨CT检查患者的数据,随机分为两组,一组为训练集（20例）,另一组为测试集（5例）。在上述颞骨CT中采用手工分割的方法,分割出迷路、听骨及面神经结构。选择三维卷积神经网络3D U-Net作为深度学习中的神经网络结构部分,通过对训练集的训练,得到该网络的平均精度。用该网络模型对5组测试集中的不同解剖标志自动分割的结果与手工分割的结果进行测试,分别获得面神经、迷路及听小骨的测试精度。并将上述精度与另一种基于三维卷积神经网络结构的V-Net网络模型获得的精度进行比较。结果 在颞骨CT标本中,采用面神经、迷路及听小骨分别对3D U-Net-plus和V-Net网络结构的自动分割进行训练,在训练样本中,3D U-Net-plus网络结构的平均误差为0.016,V-Net网络结构的平均误差为0.035,两者差异有统计学意义（P<0.05）;利用3D U-Net-plus神经网络自动分割的迷路、听小骨及面神经与手工分割图像的Dice相似指数分别为0.618±0.107、0.584±0.089和0.313±0.069, 利用V-Net神经网络自动分割的迷路、听小骨、面神经与手工分割图像的Dice相似指数分别为0.322±0.089、0.176±0.100和0.128± 0.077,两者差异有统计学意义（P<0.001）。结论 采用3D U-Net-plus神经网络,在颞骨内听骨、迷路及面神经的自动识别和分割方面具有可行性,该方法优于V-Net神经网络。随着网络结构的优化和学习样本的扩大,其将更加接近人工分割的效果。     

基于分段B样条形变配准方法的头颈部伪CT生成研究

目的:探讨分段B样条形变配准方法在头颈部伪CT(sCT)生成中的应用,以及对sCT生成精度的影响。方法:收集已经进行调强放射治疗的鼻咽癌患者45例,每例计划均包括头颈部T1加权核磁共振成像(MRI)和CT图像。使用3D Slicer软件对MRI和CT图像分别进行分段B样条形变配准、整体B样条形变配准、分段刚性配准和整体刚性配准4种方法配准,比较配准后的MRI图像和真实CT图像的Dice相似性系数(DSC)值。随机选取其中的30例患者作为训练集,15例患者为测试集,将配准后的MRI和CT图像通过pix2pix网络进行模型训练生成sCT,对生成的sCT和真实CT进行平均绝对误差(MAE)、结构相似性系数(SSIM)和峰值信噪比(PSNR)值的比较,分析通过阈值法分割为不同组织(骨头、软组织、空气和脂肪)的MAE值。结果:配准后的MRI和真实CT图像比较,分段B样条形变配准方法的DSC值最优;使用4种配准方法生成的sCT和真实CT图像进行MAE、SSIM和PSNR值比较,分段配准方法比整体配准方法好,B样条形变配准方法比刚性配准方法好。分段B样条形变配准方法的MAE值为(74.783±9.8...     

基于3D卷积网络和多模态MRI的脑胶质瘤自动分割

目的:基于三维（3D）卷积神经网络和多模态MRI实现脑胶质瘤的自动分割。方法:首先对来自BraTS2020公共数据集的369例脑胶质瘤的4个模态MRI数据进行3D剪裁、重采样、去伪影、归一化的预处理。其次将MRI数据和脑胶质瘤标注信息输入到基于U-net的3D卷积神经网络模型进行训练和测试。利用相似性系数、召回率和精确率评价整体肿瘤区域、核心肿瘤区和增强肿瘤区的分割结果。结果:在74例测试数据集上,整体肿瘤区域、核心肿瘤区域和增强肿瘤区域的相似系数平均值分别为0.88、0.77和0.73,中位值分别为0.90、0.84和0.81,召回率平均值分别为0.88、0.78和0.78,中位值分别为0.90、0.84和0.84,精确率平均值分别为0.89、0.83和0.75,中位值分别为0.91、0.89和0.79。结论:基于U-net的3D卷积神经网络在多模态MRI数据集上获得了较好的分割结果,显示其在脑胶质瘤自动分割方面的潜力,可为临床诊断分级和治疗策略选择提供参考。     

基于2.5D级联卷积神经网络的CT图像胰腺分割方法

目的:由于胰腺体积小、形态个体差异性大，影像上的准确分割较为困难。本文提出一种基于2.5D级联卷积神经网络的CT图像胰腺分割方法。方法:实验中使用的数据为NIH胰腺分割公开数据集，共包含82例腹部CT图像，随机选取其中56、9、17例分别作为训练集、验证集和测试集；训练过程中使用旋转、拉伸、平移、裁剪等操作对数据进行扩增。实验中提出一种用于胰腺分割的、结合概率图的2.5D级联深度监督UNet，即CSNet（Cascading deep Supervision UNet）。该网络由3个部分组成:第1部分基于UNet，输入连续5层图像，输出中间3层对应的粗分割图像，设置适当的阈值，使其变成二值的粗分割结果；第2部分将第1层、第3层的粗分割结果与中间层的原始图像相结合，输入另一个深度监督UNet网络，得到中间层的精细分割；第3部分将第1部分网络输出的中间层的粗分割概率图与第2部分网络输出的细分割概率图通过1×1卷积进行概率融合得到最终的输出结果。3个子网络同时进行训练，对应的能量函数联合优化，从而得到更精准的分割结果。最后，使用DSC对分割结果进行评估。结果:在独立测试集上，CSNet实现了（83.74±5.27）%的DSC值。结论:CSNet可以准确分割出CT图像上的胰腺区域。     

基于3D U-Net 实现人体耳软骨MRI图像的解剖结构分割

自体肋软骨雕刻法是目前治疗先天性小儿畸形的临床标准疗法,而耳软骨组织工程和3D生物打印是有前景的治疗方案。可是,这些治疗方案的核心—(复合物)支架构造缺乏基于医学图像的耳软骨自动分割方法。基于3D U-Net提出改进的网络模型,能够实现MRI图像的人体耳软骨解剖结构的自动分割。该网络模型结合残差结构和多尺度融合等设计,在减少网络参数量的同时实现12个耳软骨解剖结构的精确分割。首先,使用超短回波时间(UTE)序列采集40名志愿者单侧外耳的MRI图像;然后,对所采集的图像进行预处理、耳软骨和多解剖结构手动标注;接下来,划分数据集训练改进的3D U-Net模型,其中32例数据作为训练集、4例为验证集、4例为测试集;最后,使用三维全连接条件随机场对网络输出结果进行后处理。模型经过10折交叉验证后,耳软骨12个解剖结构的自动分割结果的平均Dice相似度系数(DSC)和平均95%豪斯多夫距离(HD95)分别为0.818和1.917,相比于使用基础的3D U-Net模型,DSC指标分别提高6.0%,HD95指标降低了3.186,其中耳软骨关键结构耳轮和对耳轮的DSC指标达到了0.907和0.901。实验结果表明,所提出的深度学习方法与专家手动标注两者之间的结果非常接近。在临床应用中,根据患者健侧UTE核磁图像,本研究提出的方法既可以为现有自体肋软骨雕刻法快速、自动生成三维个性化雕刻模板,也可以为组织工程或者3D生物打印技术构建耳软骨复合物支架提供高质量的可打印模型。     

基于深度学习的危及器官自动勾画软件系统DeepViewer在放疗中的应用及评估

目的:将一款基于深度学习的危及器官自动勾画软件系统DeepViewer应用于临床,实现自动勾画肿瘤患者治疗计划中危及器官的功能。方法:DeepViewer使用改进后的全卷积神经网络U-Net来实现自动勾画患者CT扫描部位所包含的危及器官,并使用Dice相似性系数（DSC）对比分析这22种危及器官自动勾画与手动勾画的差异。结果:11种危及器官DSC平均值在0.9以上,5种危及器官DSC平均值为0.8~0.9,5种器官DSC平均值为0.7~0.8,视交叉DSC平均值最低,为0.676。总体结果表明DeepViewer系统能够较准确地自动勾画出危及器官,特别是左、右肺、膀胱、脑干等器官,已基本满足临床需求。结论:DeepViewer软件系统可以实现放疗肿瘤患者危及器官的自动勾画,准确性较高。同时,DeepViewer系统勾画完毕后,可以通过网络系统自动传输RTStructure DICOM3.0文件,无需其他操作,能极大地提高临床医生工作效率,降低治疗计划流程中的勾画总时间。     

智能放疗云平台自动勾画食管癌患者心脏结构的应用

【摘要】目的:测试和评估智能放疗云平台（RAIC.OIS）在食管癌患者心脏结构自动勾画中的应用。方法:选取2018年2月~11月收治的20例食管癌患者进行研究。首先,将20例患者的放疗定位CT图像从Eclipse治疗计划系统传输至连心医疗的智能放疗云平台（RAIC.OIS）;然后,使用RAIC.OIS的自动勾画工具,对CT图像中的心脏结构进行自动勾画;最后,将勾画好的结构文件传输并导入Eclipse。通过比较自动勾画和手工勾画的体积差异、位置差异、形状一致性和勾画时间,评估该软件的自动勾画工具应用于心脏结构自动勾画的可行性。结果:根据测量的数据结果,发现有1例患者的心脏形状和位置比较特殊,排除该患者的数据,对余下19例患者的数据进行统计分析。自动和手工两种方式勾画食管癌患者心脏结构的体积差异为（-17.08±8.66）%,相似性指数值为0.87±0.05。x、y和z这3个方向的位置差异分别为（0.12±0.09）、（0.11±0.08）和（0.22±0.16） cm,总位置差异为（0.31±0.14） cm。19例患者的自动勾画时间为（83±12） s,手工勾画时间为（284±58） s。结论:智能放疗云平台的自动勾画工具,对绝大部分食管癌患者的心脏勾画能够达到满意的结果。使用该工具可缩短心脏结构的勾画时间,提高放疗工作效率。     

U-Net改进及其在新冠肺炎图像分割的应用

CT成像已成为检测新型冠状病毒肺炎（COVID-19）最重要的步骤之一。针对手动分割患者胸部CT图像中毛玻璃混浊区域繁琐的问题提出了一种自注意力循环残差U型网络模型来实现COVID-19患者肺部CT图像的自动分割,辅助医生诊断。在U-Net模型的基础上引入了循环残差模块和自注意力机制来加强对特征信息的抓取从而提升分割精度。在公开数据集上的分割实验结果显示,该算法的Dice系数、敏感度和特异度分别达到了85.36%、76.64%和76.25%,与其他算法相比具有良好的分割效果。     

基于级联式深度网络模型的胃及胰腺自动分割研究

目的:旨在研究自主创新设计的级联式深度卷积神经网络VB-Net在胃和胰腺上的自动分割精度及效率。方法:回顾分析150例胰腺癌患者临床资料,随机选取132例非增强CT数据和其中116例胰腺期增强CT以及结构数据进行胃及胰腺的分割模型训练。对剩余18例患者的非增强CT和胰腺期增强CT给予模型测试,使用戴斯相似性系数量化分析模型的分割精度,同时评估其分割效率。结果:基于非增强CT的胃、胰腺的自动分割平均DSC值分别为87.93%、80.05%;基于胰腺期增强CT的胃、胰腺自动分割平均DSC值分别为89.71%、84.79%。胃及胰腺的自动分割平均时间为1.22、0.84 s,手动分割平均时间为158.70、115.52 s。结论:基于VB-Net的胃及胰腺自动分割模型测试结果较为准确,且极大提高了器官分割的效率。