基于深度学习的前房角开闭状态自动识别

目的 基于深度学习(deep learning,DL)和前房角超声生物显微镜(ultrasound biomicroscopy,UBM)图像进行前房角开闭状态的自动识别,为原发性闭角型青光眼的临床自动诊断提供辅助分析.方法 数据集为天津医科大学眼科医院采集的眼科疾病患者的前房角UBM图像,由眼科专家将UBM图像分为房角开放和房角关闭两类,按照6:2:2的比例随机设置训练集、验证集和测试集.为提高深度学习模型的鲁棒性和识别精度,对训练集图像随机进行了旋转、平移和反转等不影响房角形态的数据增强操作.比较VGG16、VGG19、DenseNet121、Xception和InceptionV3网络模型在本文数据集上的迁移学习结果,根据迁移学习结果对VGG16进行卷积层和全连接层的微调,用微调后的VGG16模型实现前房角开闭状态的自动识别.用接收者操作特征曲线下面积和准确率等评价指标对模型识别结果进行定量评价,用类激活热力图可视化模型识别前房角开闭状态时的主要关注区域.结果 类激活热力图表明微调后的VGG16模型识别前房角开闭状态的主要关注区域为房角中心区域,与眼科专家的识别依据一致.该模型的识别准确率为96.19％,接收者操作特征曲线下面积为0.9973.结论 基于深度学习和前房角UBM图像能够以较高的准确率实现前房角开闭状态的自动识别,有利于原发性闭角型青光眼自动诊断技术的发展.     

超声图像融合专家知识的EfficientNet卵巢包块良恶性诊断方法

目的 提出一种基于深度网络特征融合的分类方法，以提高良恶性分类的准确率，辅助医生提高术前诊断卵巢包块良恶性的准确率。方法 纳入深圳市人民医院943幅经活检、手术病理等证实的患者术前卵巢超声图像，按照6∶2∶2的比例随机设置训练集、验证集和测试集。首先，提取医生勾画的感兴趣区域（region of interest,ROI）即包块图，用微调后的EfficientNet网络提取其深度特征；然后用基于Chan-Vese模型的水平集方法得到包块边缘轮廓图，再用微调后的EfficientNet网络提取其深度特征；接下来将包块图的深度特征和边缘轮廓图的深度特征分别归一化后并拼接为融合特征；最后，将融合特征输入到全连接层分类器中，将超声图像分为良恶性。结果 本文提出的超声图融合专家知识的EfficientNet卵巢包块良恶性诊断方法在测试集上的准确度、特异度、敏感度和曲线下面积分别为0.81、0.78、0.88、0.91，全部优于当前主流的深度学习方法。结论 该特征融合网络能够取得较好的分类效果，一定程度上能够为临床诊断卵巢包块的良恶性提供参考。     

基于联合深度网络和形态结构约束的三维医学图像分割方法

医学图像自动分割具有广泛和重要临床应用价值,特别是病灶、脏器的自动分割。基于传统图像处理方法的医学图像分割仅能利用浅层结构模型的浅层特征来识别感兴趣区域,并且需要大量人工干预。而基于机器学习的分割方法在模型建模时存在局限性且缺乏可解释性。本研究提出一种基于Transformer和卷积神经网络结合形态结构约束的三维医学图像分割方法。编码器中利用卷积神经网络和Transformer构建U型网络结构提取多重特征;解码器中采用上采样并通过跳跃连接将不同层次的特征拼接在一起;加入形态结构约束模块,通过提取病灶和脏器等分割目标的形状信息,以增强模型可解释性,并采用最大池化和平均池化操作,对经过卷积神经网络得到的结果进一步提取有代表性的特征,作为形态结构模块的输入,最终提高分割结果的准确性。在公开数据集Synapse和ACDC上利用评价指标Dice相似系数(DSC)和Hausdorff距离(HD)验证所提出算法的有效性。其中,在Synapse数据集上,18例数据作为训练集,12例数据作为测试集;在ACDC数据集上,70例数据作为训练集,10例数据作为验证集,20例数据作为测试集。实验结果表明,在Sy...     

基于舌图像深度特征融合的中医体质分类方法研究

目的在基于舌图像的中医体质类型分类中,舌图像的类间距小,传统手工特征提取时存在底层特征不能够充分表达舌图像所包含的全部信息等问题。因此本文提出一种基于深度网络特征层融合的体质类型分类方法,以提高体质类型分类的准确率。方法通过比较不同网络模型对舌图像的分类表现,及对不同网络层的特征表达能力的分析,选取将浅层特征与高层语义特征进行融合的方法。该深度特征融合方法基于Alexnet网络进行改进,依据误差权重对各层特征进行融合,并采用983张舌图像,对气虚质、痰湿质和湿热质三种体质类型的分类进行仿真实验。结果相比传统特征提取与原始深度网络,本文方法的准确率由传统分类方法的543%提高到了77%。结论基于深度特征融合的方法将浅层特征与深度特征融合,充分表达了图像的语义信息,对中医辅助辨识、临床、教学和科研具有极其重要的意义。     

基于深度学习的行人属性多标签识别

行人属性通常指的是行人的一些可被观察到的外部特征,如性别、年龄、服饰、携带品等。作为行人外部的软生物特征,行人属性对于行人检测和再识别是非常重要的,并且在智能视频监控场景和基于视频的商业智能应用中显示出巨大的潜力。在目前的行人属性多标签分类识别中,主要有基于手工设计特征的方法和基于深度学习的方法。然而,手工设计特征的方法难以应对复杂的真实视频监控场景,在实际应用中取得的效果并不是很理想。采用深度卷积网络模型,包含3个卷积层和2个全连接层,使用Sigmoid交叉熵损失函数,训练平台为Caffe深度学习框架,通过在包含19 000张行人图片的PETA数据集上对10种行人属性进行训练和测试,得到85.2%的平均识别精度。加入正样本比例指数因子改进损失函数后,平均识别精度达到89.2%,使网络性能有明显的提高。     

无线胶囊内窥镜图像小肠息肉的自动识别

息肉是小肠常见疾病之一。无线胶囊内窥镜(WCE)是检查小肠疾病的常规手段,但每次检查都会产生大量图像,却仅可能包含少数病变图像。目前WCE病变的筛查高度依赖于医生的临床经验,耗时费力,且可能发生漏检或误检,因此实现WCE图像小肠息肉的自动识别意义重大。基于深度学习框架,结合数据增强技术和迁移学习策略,提出实现小肠息肉识别的新方法。基于原始数据集(包含4 300张正常图像和429张息肉图像)和拓展数据集(包含6 920张正常图像和6 864张息肉图像),对比分析不同的深度卷积神经网络模型(AlexNet、VGGNet和GoogLeNet)对息肉的识别效果。实验结果表明,在随机初始化的卷积神经网络中,GoogLeNet模型对息肉的识别效果最好,其敏感性、特异性和准确性分别达到97.18%、98.78%和97.99%,说明增加网络深度可以有效提高识别率。但网络深度增加需要更高的硬件配置和训练时间,因此结合迁移学习策略,AlexNet模型的敏感性、特异性和准确性分别达到了96.57%、98.89%和97.74%,AUC为0.996,表明该方法能有效提高模型整体性能,同时降低对训练时间和实验配置的要求。与传统手工提取图像特征或仅基于深层卷积神经网络进行分类的方法相比,所提出的方法可以在有限的训练数据和实验环境下为小肠息肉的自动识别提供有效的解决方案,有望帮助医生高效完成基于WCE检查的消化道疾病的精准诊断。     

基于嵌网融合结构的卷积神经网络手势图像识别方法

手势识别是人机智能交互领域的研究热点。本研究基于LeNet-5网络和信息融合思想提出新的嵌网融合-卷积网络结构来处理手势图像识别问题,新网络在传统卷积网络的卷积层中以多层感知器替换传统线性卷积核来构造特征提取框架,并在卷积层的输出端级联Inception网络结构,同时将金字塔采样机制引入池化层以替换常规随机采样和最大值采样,利用金字塔多尺度融合策略来拼接不同维度的特征,进而将融合特征传输给全连接层,最后在全连接层中引入支持向量机思路进行特征识别。实验仿真中,本研究识别网络在MNIST数字集及自建手势数据集进行验证,识别准确率最高达到98.2%,优于几种常规网络。     

基于深度残差网络的皮肤镜图像黑色素瘤的识别

恶性黑色素瘤是最常见和最致命的皮肤癌之一。临床上,皮肤镜检查是恶性黑色素瘤早期诊断的常规手段。但是人工检查费力、费时,并且高度依赖于皮肤科医生的临床经验。因此,研究出自动识别皮肤镜图像中的黑色素瘤算法显得尤为重要。提出一种皮肤镜图像自动评估的新框架,利用深度学习方法,使其在有限的训练数据下产生更具区分性的特征。具体来说,首先在大规模自然图像数据集上预训练一个深度为152层的残差神经网络(Res-152),用来提取皮肤病变图像的深度卷积层特征,并对其使用均值池化得到特征向量,然后利用支持向量机(SVM)对提取的黑色素瘤特征进行分类。在公开的皮肤病变图像ISBI 2016挑战数据集中,用所提出的方法对248幅黑色素瘤图像和1 031幅非黑色素瘤图像进行评估,达到86.28%的准确率及84.18%的AUC值。同时,为论证神经网络深度对分类结果的影响,比较不同深度的模型框架。与现有使用传统手工特征的研究(如基于密集采样SIFT描述符的词袋模型)相比,或仅从深层神经网络的全连接层提取特征进行分类的方法相比,新方法能够产生区分性能更强的特征表达,可以在有限的训练数据下解决黑色素瘤的类内差异大、黑色素瘤与非黑素瘤之间的类间差异小的问题。     

基于卷积神经网络胃癌分割与T分期算法

基于胃癌CT图像准确分割胃癌和精准预测胃壁肿瘤浸润深度对于筛查胃部疾病、临床诊断、术前预测、术后评估计划至关重要。为了准确地从胃癌CT图像分割出胃癌并对肿瘤进行定性分期,提出一种基于卷积神经网络的胃癌分割与T分期算法（SC-Net）。SC-Net有两条主干线：分割主线、分类主线。这种新型算法分为两步进行训练：第一步只训练分割主线得到肿瘤的粗分割结果,然后在第一步基础之上联合训练分割分类主线得到最终的精分割和肿瘤T分期结果。为了提高算法对胃癌区域的关注度,提出了注意力机制加强算法的准确性。此外还使用多核残差模块和密集连接空洞卷积模块提取深层的特征信息。对所提算法进行定性定量分析。实验表明所提方法在胃癌分割和T分期上均优于同类方法,所提方法有作为筛查胃部疾病、辅助医生诊断的潜力。     

基于卷积神经网络的细胞识别

结合深度学习理论,将卷积神经网络算法运用到细胞识别上。相比传统的细胞识别算法,基于卷积神经网络的细胞识别使流程变得简单,同时也使得细胞的识别率更高。与多层神经网络、支持向量机及决策树等机器学习算法相比,卷积神经网络算法由于本身网络的复杂度以及训练集的大样本量,其深度远大于传统的机器学习算法,能较这些手工提取特征的方法更好地表达特征和区分细胞,最终取得的分类效果也要优于前者。研究结果表明卷积神经网络算法能较好地用于细胞识别。     

基于深浅特征融合的深度卷积残差网络的脑电情绪识别模型

基于脑电信号的智能情绪识别系统具有便携性、高时间分辨率、实时性等特点,能够在健康、娱乐、教育等多个领域实现情绪监控与调节的应用.但由于脑电信号的非平稳性和个体差异性,传统分类器难以深入提取脑电信号中潜在的与情绪语义相关的特征.为了有效地提取脑电特征,提高脑电-情绪识别的准确性,提出一种新型的基于深浅特征融合的深度卷积残...     

基于机器学习的心音识别分类研究

心音信号可反映心脏的病理信息,是诊断心脏健康的重要依据之一。本文首先从心音信号提取时频域、梅尔倒谱系数等145个特征作为机器学习的输入数据集,然后在随机森林、LightGBM、XGBoost、GBDT、SVM共5种分类器中选出效果最佳分类器与递归特征消除算法结合进行数据挖掘,找出重要特征集并对其分类效果做比较与分析,最后运用Stacking模型融合方法优化模型。数据挖掘特征子集比同数量特征子集在准确率、召回率、精确率、F1值上分别提高了33.51%、14.54%、20.61%、24.04%;采用LightGBM和SVM模型融合可将F1值提高至92.6%。本文提出了一种有效的心音识别分类方法,挖掘出心音最重要的8个特征,为临床诊断提供参考。     

融合可解释性特征的糖尿病视网膜病变自动诊断

糖尿病视网膜病变（DR）已成为全球4大主要致盲疾病之一,及早确诊可以有效降低患者视力受损的风险。通过融合深度学习可解释性特征,提出一种DR自动诊断方法,首先利用导向梯度加权类激活映射图和显著图两种可解释性方法生成不同标记的病灶图像,再通过卷积神经网络提取原图像和两种生成图像的特征向量,最后融合3种特征向量并输入到支持向量机中以实现DR的自动诊断。在1 443张彩色眼底图像构成的数据集上,相对于基础ResNet50模型,该方法诊断准确率提高3.6%,特异性提高2.4%,灵敏度提高5.8%,精度提高4.6%,Kappa系数提高7.9%,实验结果表明该方法能有效降低误诊的风险。     

基于深度学习的医学图像识别研究进展

近年来,随着医学影像技术的快速发展,医学图像分析步入大数据时代,如何从海量的医学图像数据中挖掘出有用信息,对医学图像识别带来巨大的挑战。深度学习是机器学习的一个新领域,传统的机器学习方法不能有效地挖掘到医学图像中蕴含的丰富信息,而深度学习通过模拟人脑建立分层模型,具有强大的自动特征提取、复杂模型构建以及高效的特征表达能力,更重要的是深度学习方法能从像素级的原始数据中逐级提取从底层到高层的特征,这为解决医学图像识别面临的新问题提供了新思路。首先阐述深度学习方法,列举深度学习方法的三种常见的实现模型,并介绍深度学习的训练过程;随后总结了深度学习方法在疾病检测与分类和病变识别两方面的应用情况,以及深度学习应用在医学图像识别中的两个共性问题;最后对深度学习在医学图像识别中存在的问题进行分析及展望.     

基于多尺度深度网络的自动睡眠分期

传统睡眠质量评估与诊断高度依赖医生的经验以及对长时间睡眠监测数据的分析统计,耗时耗力,且传统机器学习技术所实现的自动睡眠分期依赖人工构造的特征,在发掘深层次分期特征上效果有限,对部分分期的辨识效果欠佳.提出一种基于多尺度深度网络(MSDNet)的自动睡眠分期算法,能够自动分析提取睡眠信号特征,并基于不同睡眠阶段的分期难...     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。     

基于融合多网络深层卷积特征和稀疏双关系正则化方法的乳腺癌图像分类研究

乳腺癌是全球女性癌症死亡的主要原因之一。现有诊断方法主要是医生通过乳腺癌观察组织病理学图像进行判断,不仅费时费力,而且依赖医生的专业知识和经验,使得诊断效率无法令人满意。针对以上问题,设计基于组织学图像的深度学习框架,以提高乳腺癌诊断准确性,同时减少医生的工作量。开发一个基于多网络特征融合和稀疏双关系正则化学习的分类模型:首先,通过子图像裁剪和颜色增强进行乳腺癌图像预处理;其次,使用深度学习模型中典型的3种深度卷积神经网络(InceptionV3、ResNet-50和VGG-16),提取乳腺癌病理图像的多网络深层卷积特征并进行特征融合;最后,通过利用两种关系(“样本-样本”和“特征-特征”关系)和l_F正则化,提出一种有监督的双关系正则化学习方法进行特征降维,并使用支持向量机将乳腺癌病理图像区分为4类—正常、良性、原位癌和浸润性癌。实验中,通过使用ICIAR2018公共数据集中的400张乳腺癌病理图像进行验证,获得93%的分类准确性。融合多网络深层卷积特征可以有效地捕捉丰富的图像信息,而稀疏双关系正则化学习可以有效降低特征冗余并减少噪声干扰,有效地提高模型的分类性能。     

Auxiliary Diagnosis for COVID-19 with Deep Transfer Learning

To assist physicians identify COVID-19 and its manifestations through the automatic COVID-19 recognition and classification in chest CT images with deep transfer learning. In this retrospective study, the used chest CT image dataset covered 422 subjects, including 72 confirmed COVID-19 subjects (260 studies, 30,171 images), 252 other pneumonia subjects (252 studies, 26,534 images) that contained 158 viral pneumonia subjects and 94 pulmonary tuberculosis subjects, and 98 normal subjects (98 studies, 29,838 images). In the experiment, subjects were split into training (70%), validation (15%) and testing (15%) sets. We utilized the convolutional blocks of ResNets pretrained on the public social image collections and modified the top fully connected layer to suit our task (the COVID-19 recognition). In addition, we tested the proposed method on a finegrained classification task; that is, the images of COVID-19 were further split into 3 main manifestations (ground-glass opacity with 12,924 images, consolidation with 7418 images and fibrotic streaks with 7338 images). Similarly, the data partitioning strategy of 70%-15%-15% was adopted. The best performance obtained by the pretrained ResNet50 model is 94.87% sensitivity, 88.46% specificity, 91.21% accuracy for COVID-19 versus all other groups, and an overall accuracy of 89.01% for the three-category classification in the testing set. Consistent performance was observed from the COVID-19 manifestation classification task on images basis, where the best overall accuracy of 94.08% and AUC of 0.993 were obtained by the pretrained ResNet18 (P < 0.05). All the proposed models have achieved much satisfying performance and were thus very promising in both the practical application and statistics. Transfer learning is worth for exploring to be applied in recognition and classification of COVID-19 on CT images with limited training data. It not only achieved higher sensitivity (COVID-19 vs the rest) but also took far less time than radiologists, which is expected to give the auxiliary diagnosis and reduce the workload for the radiologists.     

Comparison of Shallow and Deep Learning Methods on Classifying the Regional Pattern of Diffuse Lung Disease

This study aimed to compare shallow and deep learning of classifying the patterns of interstitial lung diseases (ILDs). Using high-resolution computed tomography images, two experienced radiologists marked 1200 regions of interest (ROIs), in which 600 ROIs were each acquired using a GE or Siemens scanner and each group of 600 ROIs consisted of 100 ROIs for subregions that included normal and five regional pulmonary disease patterns (ground-glass opacity, consolidation, reticular opacity, emphysema, and honeycombing). We employed the convolution neural network (CNN) with six learnable layers that consisted of four convolution layers and two fully connected layers. The classification results were compared with the results classified by a shallow learning of a support vector machine (SVM). The CNN classifier showed significantly better performance for accuracy compared with that of the SVM classifier by 6–9%. As the convolution layer increases, the classification accuracy of the CNN showed better performance from 81.27 to 95.12%. Especially in the cases showing pathological ambiguity such as between normal and emphysema cases or between honeycombing and reticular opacity cases, the increment of the convolution layer greatly drops the misclassification rate between each case. Conclusively, the CNN classifier showed significantly greater accuracy than the SVM classifier, and the results implied structural characteristics that are inherent to the specific ILD patterns.