医学图像语义概念识别方法研究

医学图像语义概念识别是医学图像知识表示的重要技术环节。研究医学图像语义概念识别方法,有助于机器理解和学习医学图像中的潜在医学知识,在影像辅助诊断和智能读片等应用中发挥重要作用。将医学图像的高频概念识别问题转化为多标签分类任务,利用基于卷积神经网络的深度迁移学习方法,识别有限数量的高频医学概念;同时利用基于图像检索的主题建模方法,从给定医学图像的相似图像中提取语义相关概念。国际跨语言图像检索论坛ImageCLEF于2018年5月组织ImageCLEFcaption 2018评测,其子任务“概念检测”的目标是给定222 314张训练图片和9 938张测试图片,识别111 156个语义概念。上述两种方法的实验结果已被提交。实验结果表明,利用基于卷积神经网络的深度迁移学习方法识别医学图像高频概念,F1值为0.092 8,在提交团队中排名第二;基于图像检索的主题模型可召回部分低频相关概念,F1值为0.090 7,然而其性能依赖于图像检索结果的质量。基于卷积神经网络的深度迁移学习方法识别医学图像高频概念的鲁棒性优于基于图像检索方法的鲁棒性,但在大规模开放语义概念的识别技术研究上仍需进一步完善。     

基于深度学习的胎儿颜面部超声标准切面自动识别

在常规胎儿超声诊断过程中,精确识别出胎儿颜面部超声标准切面(FFSP)至关重要。传统方法是由医生进行主观评估,这种人工评判的方式不仅耗费时间精力,而且严重依赖操作者经验,所以结果往往不可靠。因此,临床超声诊断亟需一种FFSP自动识别方法。提出使用深度卷积网络识别FFSP,同时还分析不同深度的网络对于FFSP的识别性能。对于这些网络模型,采用不同的训练方式:随机初始化网络参数和基于ImageNet预训练基础网络的迁移学习。在研究中,数据采集的是孕周20~36周胎儿颜面部超声图像。训练集包括1 037张标准切面图像(轴状切面375张,冠状切面257张,矢状切面405张)以及3 812张非标准切面图像,共计4 849张;测试集包括792张标准切面图像和1 626张非标准切面图像,共计2 418张。最后测试集实验结果显示,迁移学习的方法使得网络识别结果增加9.29%, 同时当网络结构由8层增加至16层时,分类结果提升3.17%,深度网络对于FFSP分类最高正确率为94.5%,相比之前研究方法的最好结果提升3.66%,表明深度卷积网络能够有效地检测出FFSP,为临床自动FFSP检测方法打下研究基础。     

深度卷积神经网络在放射治疗计划图像分割中的应用

目的:结合全卷积神经网络(Fully Convolutional Network,FCN)和多孔卷积(Atrous Convolution,AC)的深度学习方法,实现放射治疗计划图像的组织器官自动勾画。方法:选取122套已经由放疗医师勾画好正常器官结构轮廓的胸部患者CT图像,以其中71套图像(8 532张轴向切层图像)作为训练集,31套图像(5 559张轴向切层图像)作为验证集,20套图像(3 589张轴向切层图像)作为测试集。选取5种公开的FCN网络模型,并结合FCN和AC算法形成3种改进的深度卷积神经网络,即带孔全卷积神经网络(Dilation Fully Convolutional Network,D-FCN)。分别以训练集图像对上述8种网络进行调优训练,使用验证集图像在训练过程中对8种神经网络进行器官自动识别勾画验证,以获取各网络的最佳分割模型,最后使用测试集图像对充分训练后获取的最佳分割模型进行勾画测试,比较自动勾画与医师勾画的相似度系数(Dice)评价各模型的图像分割能力。结果:使用训练图像集进行充分调优训练后,实验的各个神经网络均表现出较好的自动图像分割能力,其中改进的D-FCN 4s网络模型在测试实验中具有最佳的自动分割效果,其全局Dice为94.38%,左肺、右肺、心包、气管和食道等单个结构自动勾画的Dice分别为96.49%、96.75%、86.27%、61.51%和65.63%。结论:提出了一种改进型全卷积神经网络D-FCN,实验测试表明该网络模型可以有效地提高胸部放疗计划图像的自动分割精度,并可同时进行多目标的自动分割。     

基于深度学习的前房角开闭状态自动识别

目的 基于深度学习(deep learning,DL)和前房角超声生物显微镜(ultrasound biomicroscopy,UBM)图像进行前房角开闭状态的自动识别,为原发性闭角型青光眼的临床自动诊断提供辅助分析.方法 数据集为天津医科大学眼科医院采集的眼科疾病患者的前房角UBM图像,由眼科专家将UBM图像分为房角开放和房角关闭两类,按照6:2:2的比例随机设置训练集、验证集和测试集.为提高深度学习模型的鲁棒性和识别精度,对训练集图像随机进行了旋转、平移和反转等不影响房角形态的数据增强操作.比较VGG16、VGG19、DenseNet121、Xception和InceptionV3网络模型在本文数据集上的迁移学习结果,根据迁移学习结果对VGG16进行卷积层和全连接层的微调,用微调后的VGG16模型实现前房角开闭状态的自动识别.用接收者操作特征曲线下面积和准确率等评价指标对模型识别结果进行定量评价,用类激活热力图可视化模型识别前房角开闭状态时的主要关注区域.结果 类激活热力图表明微调后的VGG16模型识别前房角开闭状态的主要关注区域为房角中心区域,与眼科专家的识别依据一致.该模型的识别准确率为96.19％,接收者操作特征曲线下面积为0.9973.结论 基于深度学习和前房角UBM图像能够以较高的准确率实现前房角开闭状态的自动识别,有利于原发性闭角型青光眼自动诊断技术的发展.     

基于卷积神经网络的外周血白细胞分类

白细胞图像的自动分类有助于提高临床诊疗效率,但仍需进一步改进方法以提高分类正确率。探索用卷积神经网络(CNN)进行外周血白细胞图像的自动分类识别。在深度学习框架Caffe上,以AlexNet和LeNet为网络原型构建CNN训练平台;用CellaVision DM96采集外周血涂片中的5类白细胞图像,经人工鉴定后按训练∶校验∶测试=7∶2∶1的比例,随机分配图像构建原始数据集,再通过平移、旋转及镜像构建扩充数据集;训练时采用随机梯度下降算法优化模型权值,以分类准确率>95%为目标评估训练结果及优化调整网络结构。结果发现,AlexNet的训练误差无法收敛,陷入局部极小,LeNet则达到预期目标。随后对LeNet网络进行删减优化,获得一轻量高效的新结构--CCNet,其在模型大小、训练用时和分类用时上分别仅为LeNet的1/1000、1/3和1/30。两者对979张5类细胞图像的最佳分类准确率分别达到99.69%和99.18%,高于目前同类研究报道。结果表明,CNN可用于5类白细胞图像的“端对端”分类识别,特别是CCNet模型兼具准确与效率优势。     

基于高效时空图卷积的异常步态识别算法研究

为实现人体异常步态的自动识别,本研究提出一种基于高效时空图卷积神经网络的异常步态识别算法,使用两个Kinect深度相机传感器提取人体三维骨架数据,基于时空图卷积采用早期多分支融合策略,生成关节、运动和骨骼三类特征。经特征融合后,使用两个时空图卷积块作为主流网络进行训练,结合时空关节注意力机制增强模型鉴别能力。在两个公开数据集上测试分别取得了99.37%和96.10%的平均准确率,实验结果高于其他基于骨架的图卷积神经网络方法。本研究提出的高效时空图卷积网络能有效鉴别异常步态,有助于异常步态的早发现、早诊断和早治疗。     

基于深度级联网络的乳腺淋巴结全景图像的癌转移区域自动识别

淋巴结癌转移区域的自动识别是乳腺癌病理分期的重要前提。但由于全景图像尺寸巨大, 组织形态复杂多样, 在乳腺淋巴结全景图像中自动检测和定位癌转移区域具有很大的难度。设计一种基于深度级联网络的方法, 实现对乳腺淋巴结全景图像癌转移区域的自动定位与识别。采用由粗定位到精定位的两个深度网络模型级联的方式, 首先基于医生标记的癌转移区域, 提取阳性与阴性图像块训练粗定位网络VGG16得到粗定位结果, 然后对比粗定位结果与医生标记提取阳性和假阳性区域的图像块, 再训练精定位的ResNet50网络用于识别阳性和假阳性区域。为了验证所提出深度级联网络的有效性, 选用Camelyon16公开的共400张乳腺淋巴结全景图像数据集用作训练和测试。结果表明, 所提出的VGG16+ResNet50级联网络模型的定位指标FROC得分达到0.891 2, 分别比单个深度网络模型VGG16和ResNet50的FROC得分高0.153 1和0.147 0, 比AlexNet+VGG16级联的网络模型FROC得分高0.028 8, 显示深度级联网络模型对淋巴结癌转移区域可以实现更加精准的识别。     

结合迁移学习与深度卷积网络的心电分类研究

为解决一维深度卷积网络（1D-DCNN）在心电分类方面存在的多类疾病识别不准、难以提取最佳特征等问题,提出一种结合迁移学习与二维深度卷积网络（2D-DCNN）直接识别心电图像的方法。首先,截取R波前后75 ms内的心电信号,并将一维心电电压信号转化为二维灰度图像信号。接着,构建2D-DCNN对心电节拍样本进行分类训练,权值初始化采用在ImageNet大规模图像数据集上进行预训练的AlexNet参数值。本文提出方法在MIT-BIH心电数据库上进行性能验证,其准确率达到98%,并在不同信噪比下保持较高的准确率,证明了所述模型在心电分类上具有良好的鲁棒性。为了验证2D-DCNN的识别性能,实验部分与采用不同激活函数的1D-DCNN、近些年性能较好的深度学习方法进行比较。量化结果表明,结合迁移学习和2D-DCNN方法,比最优1D-DCNN算法,其准确率提升2%、敏感度提升0.6%、特异性提高4%;在二分类与多分类任务中,均好于现有的其他算法。     

基于浅层与深层特征融合的胃癌前疾病识别

胃癌前疾病识别对降低癌变风险及胃癌发病率具有重要意义。提出一种基于胃镜图像浅层特征与深层特征融合的胃癌前疾病识别方法。首先,根据胃镜图像性质,手工设计75维浅层特征,包含图像的直方图特征、纹理特征以及高阶特征;然后,基于构建的Resnet、GoogLe Net等卷积神经网络,在其输出层前添加一个全连接层作为图像的深层特征,为保证特征权重一致,全连接层的神经元数目设计为75维;最后,串联图像的浅层与深层特征,使用机器学习分类器,识别胃息肉、胃溃疡和胃糜烂等3类胃癌前疾病。对每种疾病收集了380张图像,并以4:1的比例划分为训练集和测试集,然后基于该数据集,分别采用传统机器学习、深度学习、特征融合等3种方法进行模型训练和测试。模型在测试集上的结果显示,所提出的特征融合方法识别准确率高达95.18%,优于传统的机器学习方法(74.12%)和深度学习方法(92.54%)。所提出的方法能够充分利用浅层特征与深层特征,为医生提供临床决策支持以辅助胃癌前疾病诊断。     

基于联合决策卷积神经网络的光学相干断层扫描图像自动分类

光学相干断层扫描(OCT)技术能实现视网膜的高分辨率三维层析成像,对视网膜疾病类型的诊断和发展阶段的分析具有至关重要的作用。临床基于 OCT 图像的视网膜疾病诊断主要依靠眼科医生对图像中病变结构的分析,这一人工分析过程不仅耗时而且易产生主观的误判。研究视网膜疾病的自动分析和诊断技术将极大减轻眼科医生的工作量,是实现高效诊疗的有效途径。针对视网膜OCT图像自动分类,构建一种联合决策的卷积神经网络分类模型。该模型利用卷积神经网络从原始输入OCT图像中自动地学习不同层级的特征,同时在网络多个卷积层上设计多个决策层,这些决策层能够根据网络中不同尺度的特征图分别对OCT图像分类,最后模型融合所有决策层的分类结果做出最终决策。在Duke数据集(3 231张OCT图像)上的实验结果表明,基于多层级特征联合决策的卷积神经网络分类模型对正常视网膜、视网膜年龄相关性黄斑变性和视网膜黄斑水肿的平均识别准确率达到94.5%,灵敏性达到90.5%,特异性达到95.8%。在HUCM数据集(4 322张OCT图像)上的实验结果表明,基于多层级特征联合决策的卷积神经网络分类模型的平均识别准确率达到89.6%,灵敏性达到88.8%,特异性达到90.8%。充分利用卷积神经网络中丰富的多层级特征,能够有效地对视网膜OCT图像实现准确的分类,为临床上视网膜疾病的辅助诊断提供技术支撑。     

Deep Convolutional Neural Networks for Endotracheal Tube Position and X-ray Image Classification: Challenges and Opportunities

The goal of this study is to evaluate the efficacy of deep convolutional neural networks (DCNNs) in differentiating subtle, intermediate, and more obvious image differences in radiography. Three different datasets were created, which included presence/absence of the endotracheal (ET) tube (n = 300), low/normal position of the ET tube (n = 300), and chest/abdominal radiographs (n = 120). The datasets were split into training, validation, and test. Both untrained and pre-trained deep neural networks were employed, including AlexNet and GoogLeNet classifiers, using the Caffe framework. Data augmentation was performed for the presence/absence and low/normal ET tube datasets. Receiver operating characteristic (ROC), area under the curves (AUC), and 95% confidence intervals were calculated. Statistical differences of the AUCs were determined using a non-parametric approach. The pre-trained AlexNet and GoogLeNet classifiers had perfect accuracy (AUC 1.00) in differentiating chest vs. abdominal radiographs, using only 45 training cases. For more difficult datasets, including the presence/absence and low/normal position endotracheal tubes, more training cases, pre-trained networks, and data-augmentation approaches were helpful to increase accuracy. The best-performing network for classifying presence vs. absence of an ET tube was still very accurate with an AUC of 0.99. However, for the most difficult dataset, such as low vs. normal position of the endotracheal tube, DCNNs did not perform as well, but achieved a reasonable AUC of 0.81.     

基于深度学习的七类病毒电镜图像自动识别

目的应用深度学习进行病毒电镜图像的分类,通过多种模型性能的比较,提供适用于病毒电镜图像分类的网络模型,提供病毒电镜图像识别的辅助与支持,减少研究人员的劳动强度和分析时间。方法通过加深网络深度、调整学习率和批量大小等参数,使用AlexNet、VGG、ResNet、DenseNet、SqueezeNet、MobileNet、ShuffleNet多种经典的卷积神经网络对七种病毒电镜图像进行分类。结果DenseNet169以91.9%的准确率、90.1%的敏感度和98.6%的特异度取得了模型最佳性能。其中,模型对细小病毒的识别效果最好,乳头瘤病毒、疱疹病毒、痘病毒和轮状病毒的精确率、敏感度、特异度和F1值均在90%以上,甚至接近100%。同时,轻量级网络ShuffleNet的性能以更少的参数量和浮点次数超越了深度网络AlexNet和VGG,并能够以比ResNet少约15倍的参数量和90余倍的浮点运算次数取得与之相当的结果;与DenseNet相比,孙世丁通过牺牲可接受范围内的识别性能换取了比其少约10倍的参数量和80余倍的浮点运算次数。结论深度网络DenseNet169能够以最佳性能实现病毒电镜图像的自动识别,轻量网络ShuffleNet_v2_x0_5能够以更少的参数量和浮点运算次数实现次优性能,在实际应用中可结合具体情况在深度网络和轻量级网络之间进行取舍。     

边缘先验信息下的多类型肠道息肉图像分类网络

肠道息肉的分级能够为内窥镜医生提供辅助诊断,对需要及时处理的高风险息肉和可以暂缓处理的低风险息肉进行区分。现有的基于深度学习息肉分类算法不能很好地区分类间相似性高的图像,针对息肉分级任务有待改进。提出一个包含边缘检测阶段、边缘特征描述提取阶段以及息肉分类阶段的边缘先验信息下的多类型肠道息肉图像分类网络。首先,在边缘检测阶段的跳跃连接层处,设计并嵌入反向注意力边缘监督模块以更好地捕获息肉边缘细节信息;其次,在内窥镜医生先验知识的指导下分别通过统计息肉边缘像素点个数和凹凸性来表示息肉边缘周长大小和光滑性特征,以此来补充神经网络特征提取的不足;最后,在分类网络的DenseBlock4后加入通道注意力自适应地捕获判别性特征。所构建的数据集来自丽水市人民医院消化内镜中心2018年至2019年的脱敏数据,样本量含1 050幅原始图像。在构建的四分类数据集上进行五折交叉验证,达到了77.29%的总体准确率,相比于已有算法的最好结果提高了6.46%。融合边缘先验信息的分类网络能够有效地对非腺瘤性息肉与低级别腺瘤性息肉、高级别腺瘤性息肉与腺癌这两组类间高相似度的息肉图像进行区分,增加网络的鲁棒性并提高网络的分类性能,在有限的训练数据集下为医生诊断提供辅助意见。     

基于主题模型的胶囊内镜图像序列筛查

无线胶囊内窥镜(WCE)是用于记录患者消化道影像的新技术,该技术的出现给消化道疾病诊断带来了极大帮助。但在检测过程中,每位患者所产生的约5～8万幅图像中含有大量气泡和杂质等干扰图像,极大地影响了疾病诊断的效率。目前大多数方法只针对气泡筛查,且这些方法通常不稳定、普适性较差。因此,提出一种基于主题模型的WCE图像语义分析方法筛查序列中干扰性图像。首先构建非对称自编码器提取图像特征,并利用K-Means算法对训练图像块特征聚类构建视觉单词;其次将测试图像块特征映射到视觉单词中,获得测试图像的词频矩阵,实现基于视觉单词的图像语义表达;最后利用主题模型对词频矩阵进行分析,获取图像语义分类。数据集来源于南京东部战区总医院的消化道内科30例不同患者的WCE图像序列,且由临床经验丰富的医生进行注解,其中包括3 340幅气泡图像、3 330幅杂质图像和3 330幅正常图像,以1∶1的比例随机划分为训练集和测试集,进行10次交叉验证。实验结果表明,该方法能有效筛查出干扰性图像,基于深度学习的卷积自编码器优于传统的特征提取方式,获得96.87%的精度,有效地减少医生阅片负担,提高疾病诊断效率。     

BP neural network classification for bleeding detection in wireless capsule endoscopy

Bleeding in the digestive tract is one of the most common gastrointestinal tract (GI) diseases, as well as the complication of some fatal diseases. Wireless capsule endoscopy (WCE) allows physicians to noninvasively examine the entire GI tract. However it is very laborious and time-consuming to inspect large numbers of WCE images, which limits the wider application of WCE. It is therefore important to develop an automatic and intelligent computer-aided bleeding detection technique. In this paper, a new method aimed at bleeding detection in WCE images is proposed. Colour texture features distinguishing the bleeding regions from non-bleeding regions are extracted in RGB and HSI colour spaces; then a neural network using the colour texture features as the feature vector inputs is designed to recognize the bleeding regions. The experiments demonstrate that the bleeding regions can be correctly recognized and clearly marked out. The sensitivity of the algorithm is 93% and the specificity is 96%.     

High-Throughput Classification of Radiographs Using Deep Convolutional Neural Networks

The study aimed to determine if computer vision techniques rooted in deep learning can use a small set of radiographs to perform clinically relevant image classification with high fidelity. One thousand eight hundred eighty-five chest radiographs on 909 patients obtained between January 2013 and July 2015 at our institution were retrieved and anonymized. The source images were manually annotated as frontal or lateral and randomly divided into training, validation, and test sets. Training and validation sets were augmented to over 150,000 images using standard image manipulations. We then pre-trained a series of deep convolutional networks based on the open-source GoogLeNet with various transformations of the open-source ImageNet (non-radiology) images. These trained networks were then fine-tuned using the original and augmented radiology images. The model with highest validation accuracy was applied to our institutional test set and a publicly available set. Accuracy was assessed by using the Youden Index to set a binary cutoff for frontal or lateral classification. This retrospective study was IRB approved prior to initiation. A network pre-trained on 1.2 million greyscale ImageNet images and fine-tuned on augmented radiographs was chosen. The binary classification method correctly classified 100 % (95 % CI 99.73–100 %) of both our test set and the publicly available images. Classification was rapid, at 38 images per second. A deep convolutional neural network created using non-radiological images, and an augmented set of radiographs is effective in highly accurate classification of chest radiograph view type and is a feasible, rapid method for high-throughput annotation.