结合迁移学习与深度卷积网络的心电分类研究

为解决一维深度卷积网络（1D-DCNN）在心电分类方面存在的多类疾病识别不准、难以提取最佳特征等问题,提出一种结合迁移学习与二维深度卷积网络（2D-DCNN）直接识别心电图像的方法。首先,截取R波前后75 ms内的心电信号,并将一维心电电压信号转化为二维灰度图像信号。接着,构建2D-DCNN对心电节拍样本进行分类训练,权值初始化采用在ImageNet大规模图像数据集上进行预训练的AlexNet参数值。本文提出方法在MIT-BIH心电数据库上进行性能验证,其准确率达到98%,并在不同信噪比下保持较高的准确率,证明了所述模型在心电分类上具有良好的鲁棒性。为了验证2D-DCNN的识别性能,实验部分与采用不同激活函数的1D-DCNN、近些年性能较好的深度学习方法进行比较。量化结果表明,结合迁移学习和2D-DCNN方法,比最优1D-DCNN算法,其准确率提升2%、敏感度提升0.6%、特异性提高4%;在二分类与多分类任务中,均好于现有的其他算法。     

基于卷积神经网络的眼科光学相干断层成像图像的自动分类

目的 提出一种基于卷积神经网络(convolutional neural network,CNN)的眼科光学相干断层成像(optical coherence tomography,OCT)图像自动分类方法,实现对视网膜OCT图像的自动分类,缓解人工诊断依赖医生的临床经验、费时费力等问题.方法 基于公开的数据集2014_BOE_Srinivasan构建了2个样本数据集.其中样本数据集一为仅对数据集中的图像进行预处理后裁剪,样本数据集二为对取出测试集后剩余图像的裁剪过程中引入随机平移和水平翻转技术对图像进行扩充,并划分为训练集和验证集.搭建基于CNN的视网膜OCT图像分类网络,并分别使用两个数据集训练网络得到分类模型.最后使用独立的测试集对模型进行测试,并通过输出混淆矩阵查看模型对3种类别图像的分类情况.结果 通过混淆矩阵计算得出,使用扩充后的图像训练的分类模型的准确度为93.43％,灵敏度为91.38％,特异度为95.88％.结论 提出的基于CNN的视网膜OCT图像自动分类方法可以对老年性黄斑变性、糖尿病性黄斑水肿和正常3种类别的视网膜OCT图像进行分类.同时,数据扩充有助于提高分类算法的性能.     

基于卷积神经网络的肾脏占位CT图像的良恶性分类研究

目的 探讨基于卷积神经网络(CNN)的肾脏占位CT图像良恶性分类方法的可行性及应用价值。 方法 运用一种能够自动学习CT图像特征并分类的影像组学方法,先利用由大规模自然图像训练得到的CNN模型迁移学习肾脏占位CT图像的特征,再通过模型全连接层的精细调整来实现肾脏占位性CT图像的良恶性分类。 结果 VGG19模型分类的各个评价指标低于ResNet50和Inception V3模型,且训练结果有较为明显的过拟合。Inception V3模型的准确率、灵敏度和阴性预测值分别为93.8%、99.5%、99.1%,均高于ResNet50模型。 结论 基于CNN的肾脏占位CT图像良恶性分类方法合理、可行,且精细调整后的Inception V3模型的分类效果更好。     

基于卷积神经网络的复合菌落智能分类识别

为满足复合菌落智能形态分类的需求,构建菌落分类卷积神经网络。通过水平集演化分割,获取培养皿内部所有的连通域;通过极限腐蚀,判别种子点数目大于1的连通域,即为粘连连通域;获取粘连连通域的凸闭包,检测凹点并连接对应凹点,对该连通域进行分割。归一化获取的600张单个菌落样本,通过旋转翻转并叠加信噪比不超过5%的随机噪声,将数据扩增至30 000例。以其中70%样本数据作为菌落分类卷积神经网络的训练集,对网络模型进行10折交叉验证,再以30%样本数据进行测试,4种菌落的加权平均准确率达到87.50%;其中斑点状光滑菌落分类准确率为86.40%,类圆波状菌落分类准确率为87.21%,椭圆形菌落分类准确率为88.11%,不规则其他菌落分类准确率为87.25%。最后采用通用计算设备架构(CUDA),对各个算法模块进行并行优化加速,算法运行时间最优提升至原耗时的1/10,在运行速度和便利性方面远远超过传统菌落分类方法。所设计的方法可以有效完成复合菌落智能分类识别任务,并具有良好的扩展性和自学习功能,对基于图像的生化样本智能分析具有一定的借鉴价值。     

基于超参数优化的TransCNN眼底图像分类算法

针对深度学习模型参数多、随机、训练时间长，眼底图像病变处交织重叠、数据集样本不均等问题，提出基于超参数优化的TransCNN(Deho-TransCNN)眼底图像分类算法。该算法以TransCNN网络模型为基础，利用差分进化算法分别对模型网络权重进行初始化寻优和对模型进行超参数组合实现参数自适应优化；最后利用MEB-KSVM对眼底病变图像进行多分类。实验结果表明，改进算法的准确率、敏感性、特异性以及AUC值最优，分别为0.947、0.926、0.937、0.945，与文中9种传统算法比较，分别平均提升5.6%、6.4%、5.1%、7.9%；改进算法检测时间最低，与最佳算法改进CNN相比，平均检测时间降低158.3%。改进算法在一定程度上提升图像多分类效果，降低图像检测时间，对图像多分类处理有一定泛化能力。     

基于无源域适应的脑电情绪识别

现有脑电情绪识别中的域适应方法利用源域数据及其特征分布来训练模型,不可避免地需要频繁访问源域,可能会导致源域受试者的隐私信息泄露。针对该问题,本研究提出一种基于高斯混合模型、核范数最大化和Tsallis熵的无源域适应(GNTSFDA)脑电情绪识别方法。首先,基于源域数据和本研究所提出的CNN和Transformer特征混合(CTFM)网络,利用交叉熵损失训练得到源域模型;然后,通过高斯混合模型聚类生成目标域数据的伪标签以构建分类损失;最后,基于伪标签和分类损失在目标域数据上对源域模型再训练以更新其参数,从而得到目标域模型,训练过程中还利用核范数最大化损失来提升模型预测的类判别性和多样性,同时利用Tsallis熵损失来减少模型预测的不确定性。GNTSFDA方法采用留一被试交叉验证的实验范式分别在SEED(源域14个受试者,目标域1个受试者)、SEED-IV(源域14个受试者,目标域1个受试者)和DEAP(源域31个受试者,目标域1个受试者)公开数据集上进行了实验。结果显示,在3个数据集上,目标域模型情绪识别的准确率分别为80.20%、61.20%和58.89%,相较于源域模型分别提升8....     

基于深度学习的前房角开闭状态自动识别

目的 基于深度学习(deep learning,DL)和前房角超声生物显微镜(ultrasound biomicroscopy,UBM)图像进行前房角开闭状态的自动识别,为原发性闭角型青光眼的临床自动诊断提供辅助分析.方法 数据集为天津医科大学眼科医院采集的眼科疾病患者的前房角UBM图像,由眼科专家将UBM图像分为房角开放和房角关闭两类,按照6:2:2的比例随机设置训练集、验证集和测试集.为提高深度学习模型的鲁棒性和识别精度,对训练集图像随机进行了旋转、平移和反转等不影响房角形态的数据增强操作.比较VGG16、VGG19、DenseNet121、Xception和InceptionV3网络模型在本文数据集上的迁移学习结果,根据迁移学习结果对VGG16进行卷积层和全连接层的微调,用微调后的VGG16模型实现前房角开闭状态的自动识别.用接收者操作特征曲线下面积和准确率等评价指标对模型识别结果进行定量评价,用类激活热力图可视化模型识别前房角开闭状态时的主要关注区域.结果 类激活热力图表明微调后的VGG16模型识别前房角开闭状态的主要关注区域为房角中心区域,与眼科专家的识别依据一致.该模型的识别准确率为96.19％,接收者操作特征曲线下面积为0.9973.结论 基于深度学习和前房角UBM图像能够以较高的准确率实现前房角开闭状态的自动识别,有利于原发性闭角型青光眼自动诊断技术的发展.     

基于联合决策卷积神经网络的光学相干断层扫描图像自动分类

光学相干断层扫描(OCT)技术能实现视网膜的高分辨率三维层析成像,对视网膜疾病类型的诊断和发展阶段的分析具有至关重要的作用。临床基于 OCT 图像的视网膜疾病诊断主要依靠眼科医生对图像中病变结构的分析,这一人工分析过程不仅耗时而且易产生主观的误判。研究视网膜疾病的自动分析和诊断技术将极大减轻眼科医生的工作量,是实现高效诊疗的有效途径。针对视网膜OCT图像自动分类,构建一种联合决策的卷积神经网络分类模型。该模型利用卷积神经网络从原始输入OCT图像中自动地学习不同层级的特征,同时在网络多个卷积层上设计多个决策层,这些决策层能够根据网络中不同尺度的特征图分别对OCT图像分类,最后模型融合所有决策层的分类结果做出最终决策。在Duke数据集(3 231张OCT图像)上的实验结果表明,基于多层级特征联合决策的卷积神经网络分类模型对正常视网膜、视网膜年龄相关性黄斑变性和视网膜黄斑水肿的平均识别准确率达到94.5%,灵敏性达到90.5%,特异性达到95.8%。在HUCM数据集(4 322张OCT图像)上的实验结果表明,基于多层级特征联合决策的卷积神经网络分类模型的平均识别准确率达到89.6%,灵敏性达到88.8%,特异性达到90.8%。充分利用卷积神经网络中丰富的多层级特征,能够有效地对视网膜OCT图像实现准确的分类,为临床上视网膜疾病的辅助诊断提供技术支撑。     

结合卷积神经网络与图卷积网络的乳腺癌病理图像分类研究

目的乳腺癌的精确诊断对于后续治疗具有重要临床意义,组织病理学分析是肿瘤诊断的金标准。卷积神经网络(convolution neural network,CNN)具有良好的局部特征提取能力,但无法有效捕捉细胞组织间的空间关系。为了有效利用这种空间关系,本文提出一种新的结合CNN与图卷积网络(graph convolution network,GCN)的病理图像分类框架,应用于乳腺癌病理图像的辅助诊断。方法首先对病理图像进行卷积及下采样得到一组特征图,然后将特征图上每个像素位置的特征向量表示为1个节点,构建具有空间结构的图,并通过GCN学习图中蕴含的空间结构特征。最后,将基于GCN的空间结构特征与基于CNN的全局特征融合,并同时对整个网络进行优化,实现基于融合特征的病理图像分类。结果本研究在提出框架下进行了3种GCN的比较,其中CNN-sGCN-fusion算法在2015生物成像挑战赛乳腺组织学数据集上获得93.53%±1.80%的准确率,在Databiox乳腺数据集上获得78.47%±5.33%的准确率。结论与传统基于CNN的病理图像分类算法相比,本文提出的结合CNN与GCN的算法有效融合了病理图像的全局特征与空间结构特征,从而提升了分类性能,具有潜在的应用可行性。     

基于小波变换和CNN-LSTM的肺音分类算法

目的：针对如何建立有助于电子听诊诊断的肺音分类模型,提出一种基于卷积神经网络（CNN）-长短期记忆网络（LSTM的混合深度学习肺音分类模型方法。方法：首先使用小波变换对数据集进行特征提取,使肺音信号转化为能量熵、峰值等特征;在此基础上构建CNN和LSTM的混合算法分类模型,其中将小波变换提取的特征先输入CNN模块,能够获得数据的空间维度特征,再通过LSTM模块获得数据的时间维度特征,融合两类特征,通过模型可以将肺音分类,从而达到辅助判断患者的肺部疾病。结果：CNN-LSTM混合模型准确率、F1分数均明显高于其他单一模型,可达到0.948和0.950。结论：提出的CNN-LSTM混合模型分类准确率更高,在智能听诊领域具有广泛的潜在应用价值。     

无线胶囊内窥镜图像小肠息肉的自动识别

息肉是小肠常见疾病之一。无线胶囊内窥镜(WCE)是检查小肠疾病的常规手段,但每次检查都会产生大量图像,却仅可能包含少数病变图像。目前WCE病变的筛查高度依赖于医生的临床经验,耗时费力,且可能发生漏检或误检,因此实现WCE图像小肠息肉的自动识别意义重大。基于深度学习框架,结合数据增强技术和迁移学习策略,提出实现小肠息肉识别的新方法。基于原始数据集(包含4 300张正常图像和429张息肉图像)和拓展数据集(包含6 920张正常图像和6 864张息肉图像),对比分析不同的深度卷积神经网络模型(AlexNet、VGGNet和GoogLeNet)对息肉的识别效果。实验结果表明,在随机初始化的卷积神经网络中,GoogLeNet模型对息肉的识别效果最好,其敏感性、特异性和准确性分别达到97.18%、98.78%和97.99%,说明增加网络深度可以有效提高识别率。但网络深度增加需要更高的硬件配置和训练时间,因此结合迁移学习策略,AlexNet模型的敏感性、特异性和准确性分别达到了96.57%、98.89%和97.74%,AUC为0.996,表明该方法能有效提高模型整体性能,同时降低对训练时间和实验配置的要求。与传统手工提取图像特征或仅基于深层卷积神经网络进行分类的方法相比,所提出的方法可以在有限的训练数据和实验环境下为小肠息肉的自动识别提供有效的解决方案,有望帮助医生高效完成基于WCE检查的消化道疾病的精准诊断。     

Determining Top Fully Connected Layer’s Hidden Neuron Count for Transfer Learning,Using Knowledge Distillation: a Case Study on Chest X-Ray Classification of Pneumonia and COVID-19

Deep convolutional neural network (CNN)-assisted classification of images is one of the most discussed topics in recent years. Continuously innovation of neural network architectures is making it more correct and efficient every day. But training a neural network from scratch is very time-consuming and requires a lot of sophisticated computational equipment and power. So, using some pre-trained neural network as feature extractor for any image classification task or “transfer learning” is a very popular approach that saves time and computational power for practical use of CNNs. In this paper, an efficient way of building full model from any pre-trained model with high accuracy and low memory is proposed using knowledge distillation. Using the distilled knowledge of the last layer of pre-trained networks passes through fully connected layers with different hidden layers, followed by Softmax layer. The accuracies of student networks are mildly lesser than the whole models, but accuracy of student models clearly indicates the accuracy of the real network. In this way, the best number of hidden layers for dense layer for that pre-trained network with best accuracy and no-overfitting can be found with less time. Here, VGG16 and VGG19 (pre-trained upon “ImageNet” dataset) is tested upon chest X-rays (pneumonia and COVID-19). For finding the best total number of hidden layers, it saves nearly 44 min for VGG19 and 36 min and 37 s for VGG16 feature extractor.     

Automatic detection and classification of leukocytes using convolutional neural networks

The detection and classification of white blood cells (WBCs, also known as Leukocytes) is a hot issue because of its important applications in disease diagnosis. Nowadays the morphological analysis of blood cells is operated manually by skilled operators, which results in some drawbacks such as slowness of the analysis, a non-standard accuracy, and the dependence on the operator’s skills. Although there have been many papers studying the detection of WBCs or classification of WBCs independently, few papers consider them together. This paper proposes an automatic detection and classification system for WBCs from peripheral blood images. It firstly proposes an algorithm to detect WBCs from the microscope images based on the simple relation of colors R, B and morphological operation. Then a granularity feature (pairwise rotation invariant co-occurrence local binary pattern, PRICoLBP feature) and SVM are applied to classify eosinophil and basophil from other WBCs firstly. Lastly, convolution neural networks are used to extract features in high level from WBCs automatically, and a random forest is applied to these features to recognize the other three kinds of WBCs: neutrophil, monocyte and lymphocyte. Some detection experiments on Cellavison database and ALL-IDB database show that our proposed detection method has better effect almost than iterative threshold method with less cost time, and some classification experiments show that our proposed classification method has better accuracy almost than some other methods.     

边缘先验信息下的多类型肠道息肉图像分类网络

肠道息肉的分级能够为内窥镜医生提供辅助诊断,对需要及时处理的高风险息肉和可以暂缓处理的低风险息肉进行区分。现有的基于深度学习息肉分类算法不能很好地区分类间相似性高的图像,针对息肉分级任务有待改进。提出一个包含边缘检测阶段、边缘特征描述提取阶段以及息肉分类阶段的边缘先验信息下的多类型肠道息肉图像分类网络。首先,在边缘检测阶段的跳跃连接层处,设计并嵌入反向注意力边缘监督模块以更好地捕获息肉边缘细节信息;其次,在内窥镜医生先验知识的指导下分别通过统计息肉边缘像素点个数和凹凸性来表示息肉边缘周长大小和光滑性特征,以此来补充神经网络特征提取的不足;最后,在分类网络的DenseBlock4后加入通道注意力自适应地捕获判别性特征。所构建的数据集来自丽水市人民医院消化内镜中心2018年至2019年的脱敏数据,样本量含1 050幅原始图像。在构建的四分类数据集上进行五折交叉验证,达到了77.29%的总体准确率,相比于已有算法的最好结果提高了6.46%。融合边缘先验信息的分类网络能够有效地对非腺瘤性息肉与低级别腺瘤性息肉、高级别腺瘤性息肉与腺癌这两组类间高相似度的息肉图像进行区分,增加网络的鲁棒性并提高网络的分类性能,在有限的训练数据集下为医生诊断提供辅助意见。     

基于滑动块的深度卷积神经网络乳腺X线摄影图像肿块分割算法

目的:提出一种基于滑动块的深度卷积神经网络局部分类、整图乳腺肿块分割的算法,为临床诊断提供有效的肿块形态特征。方法:首先通过区域生长算法和膨胀算法提取患者乳腺区域,并进行数据归一化操作。为了得到每一个像素位置上的诊断信息,在图像的对应位置中滑动提取肿块类及非肿块类图像块,根据卷积神经网络提取其中的纹理信息并对图像块进行分类。通过整合图像块的预测分类结果,进行由粗到细的肿块分割,获得乳腺整图中像素级别的肿块分割。结果:通过比较先进的深度卷积神经网络模型,本文算法滑动块分类结果DenseNet模型下准确率达到96.71%,乳腺X线摄影图像全图肿块分割结果F1-score最优为83.49%。结论:本算法可以分割出乳腺X线摄影图像中的肿块,为后续的乳腺病灶诊断提供可靠的基础。     

基于卷积神经网络的胃癌癌前病变图像分类方法

通过建立一个以系统和智能方式对胃癌癌前病变进行分类的模型,帮助医生找到敏感点和癌前息肉。在本文方法中,通过设计一种改进的ALexNet架构并使用数据增强、高斯噪声、L2权值衰减和ReLU等技术训练卷积神经网络模型,最后通过利用精度、损失值和混淆矩阵等性能指标对该模型的性能进行评估。在3 677张糜烂、息肉和溃疡等胃病图像上对所提出的模型进行测试,结果表明该模型的分类准确率达到89%。     

基于深度级联网络的乳腺淋巴结全景图像的癌转移区域自动识别

淋巴结癌转移区域的自动识别是乳腺癌病理分期的重要前提。但由于全景图像尺寸巨大, 组织形态复杂多样, 在乳腺淋巴结全景图像中自动检测和定位癌转移区域具有很大的难度。设计一种基于深度级联网络的方法, 实现对乳腺淋巴结全景图像癌转移区域的自动定位与识别。采用由粗定位到精定位的两个深度网络模型级联的方式, 首先基于医生标记的癌转移区域, 提取阳性与阴性图像块训练粗定位网络VGG16得到粗定位结果, 然后对比粗定位结果与医生标记提取阳性和假阳性区域的图像块, 再训练精定位的ResNet50网络用于识别阳性和假阳性区域。为了验证所提出深度级联网络的有效性, 选用Camelyon16公开的共400张乳腺淋巴结全景图像数据集用作训练和测试。结果表明, 所提出的VGG16+ResNet50级联网络模型的定位指标FROC得分达到0.891 2, 分别比单个深度网络模型VGG16和ResNet50的FROC得分高0.153 1和0.147 0, 比AlexNet+VGG16级联的网络模型FROC得分高0.028 8, 显示深度级联网络模型对淋巴结癌转移区域可以实现更加精准的识别。     

基于SE-CapsNet的肺结节良恶性诊断研究

在过去的几年中,肺癌是癌症相关死亡的主要原因.提出一种针对低剂量计算机断层扫描(CT)影像精细化预处理条件下的SE-CapsNet分类方法,解决传统肺结节诊断方法中分类精度低、假阳性高等问题.改进胶囊神经网络分类算法:对最新Hinton的胶囊神经网络进行改进,引入新的非线性激活向量,避免全局向量压缩;采用特征重标定的方...     

Auxiliary Diagnosis for COVID-19 with Deep Transfer Learning

To assist physicians identify COVID-19 and its manifestations through the automatic COVID-19 recognition and classification in chest CT images with deep transfer learning. In this retrospective study, the used chest CT image dataset covered 422 subjects, including 72 confirmed COVID-19 subjects (260 studies, 30,171 images), 252 other pneumonia subjects (252 studies, 26,534 images) that contained 158 viral pneumonia subjects and 94 pulmonary tuberculosis subjects, and 98 normal subjects (98 studies, 29,838 images). In the experiment, subjects were split into training (70%), validation (15%) and testing (15%) sets. We utilized the convolutional blocks of ResNets pretrained on the public social image collections and modified the top fully connected layer to suit our task (the COVID-19 recognition). In addition, we tested the proposed method on a finegrained classification task; that is, the images of COVID-19 were further split into 3 main manifestations (ground-glass opacity with 12,924 images, consolidation with 7418 images and fibrotic streaks with 7338 images). Similarly, the data partitioning strategy of 70%-15%-15% was adopted. The best performance obtained by the pretrained ResNet50 model is 94.87% sensitivity, 88.46% specificity, 91.21% accuracy for COVID-19 versus all other groups, and an overall accuracy of 89.01% for the three-category classification in the testing set. Consistent performance was observed from the COVID-19 manifestation classification task on images basis, where the best overall accuracy of 94.08% and AUC of 0.993 were obtained by the pretrained ResNet18 (P < 0.05). All the proposed models have achieved much satisfying performance and were thus very promising in both the practical application and statistics. Transfer learning is worth for exploring to be applied in recognition and classification of COVID-19 on CT images with limited training data. It not only achieved higher sensitivity (COVID-19 vs the rest) but also took far less time than radiologists, which is expected to give the auxiliary diagnosis and reduce the workload for the radiologists.