自适应特征融合和条件随机场的乳腺病理图像诊断算法

肿瘤病理学分析是常见的癌症诊断方法之一。基于深度学习的病理检测方法取得了良好性能,然而针对组织切片的处理方法往往会忽略病理组织空间相关性,为了更加准确地获取乳腺癌分类结果和恶性肿瘤位置信息,提出嵌入自适应特征融合模块和均值条件随机场的Transformer框架,利用反向传播算法端到端地训练整个框架。自适应特征融合模块采用可学习参数将改进的自注意力和多感受野卷积模块自适应结合,获取多尺度语义特征,从全局和局部的角度增强模型特征提取能力;提出均值条件随机场与主干网络结合,整合组织切片间的空间相关性,获取病理组织间的形态学信息。实验结果表明：所提方法在切片级图像上准确率高达95.51%,在全切片扫描图像的AUC、FROC分别为0.974 5、0.810 2,有较好的可行性,提高了病理图像分类临床诊断准确率。     

基于滑动块的深度卷积神经网络乳腺X线摄影图像肿块分割算法

目的:提出一种基于滑动块的深度卷积神经网络局部分类、整图乳腺肿块分割的算法,为临床诊断提供有效的肿块形态特征。方法:首先通过区域生长算法和膨胀算法提取患者乳腺区域,并进行数据归一化操作。为了得到每一个像素位置上的诊断信息,在图像的对应位置中滑动提取肿块类及非肿块类图像块,根据卷积神经网络提取其中的纹理信息并对图像块进行分类。通过整合图像块的预测分类结果,进行由粗到细的肿块分割,获得乳腺整图中像素级别的肿块分割。结果:通过比较先进的深度卷积神经网络模型,本文算法滑动块分类结果DenseNet模型下准确率达到96.71%,乳腺X线摄影图像全图肿块分割结果F1-score最优为83.49%。结论:本算法可以分割出乳腺X线摄影图像中的肿块,为后续的乳腺病灶诊断提供可靠的基础。     

基于SFS-SVM的乳腺癌预测模型的构建

目的:构建基于序列前向选择算法(SFS)与支持向量机算法(SVM)分类器融合的乳腺癌预测模型,提高计算机辅助诊断技术对乳腺癌细针穿刺细胞病理的准确率。方法:对456组乳腺肿瘤病理数据作为训练集,利用SFS-SVM算法对30个特征进行筛选,得到最优的特征组合,再用112组乳腺肿瘤病理数据作为测试集验证,构建乳腺癌预测模型。该模型的预测精度通过5折交叉验证进行评价。评价指标包括:受试者工作特性曲线(ROC)下面积(AUC)、准确率(ACC)、敏感度和特异度。结果:构建了基于SFS-SVM的乳腺癌预测模型,该模型(AUC为98.39%,ACC为97.35%)相对于单独SVM算法(AUC为97.00%, ACC为92.42%)有一定的提高。结论:基于SFS特征选择的SVM分类器乳腺癌预测模型能较好地对乳腺癌进行辅助诊断。     

基于融合多网络深层卷积特征和稀疏双关系正则化方法的乳腺癌图像分类研究

乳腺癌是全球女性癌症死亡的主要原因之一。现有诊断方法主要是医生通过乳腺癌观察组织病理学图像进行判断,不仅费时费力,而且依赖医生的专业知识和经验,使得诊断效率无法令人满意。针对以上问题,设计基于组织学图像的深度学习框架,以提高乳腺癌诊断准确性,同时减少医生的工作量。开发一个基于多网络特征融合和稀疏双关系正则化学习的分类模型:首先,通过子图像裁剪和颜色增强进行乳腺癌图像预处理;其次,使用深度学习模型中典型的3种深度卷积神经网络(InceptionV3、ResNet-50和VGG-16),提取乳腺癌病理图像的多网络深层卷积特征并进行特征融合;最后,通过利用两种关系(“样本-样本”和“特征-特征”关系)和l_F正则化,提出一种有监督的双关系正则化学习方法进行特征降维,并使用支持向量机将乳腺癌病理图像区分为4类—正常、良性、原位癌和浸润性癌。实验中,通过使用ICIAR2018公共数据集中的400张乳腺癌病理图像进行验证,获得93%的分类准确性。融合多网络深层卷积特征可以有效地捕捉丰富的图像信息,而稀疏双关系正则化学习可以有效降低特征冗余并减少噪声干扰,有效地提高模型的分类性能。     

基于联合决策卷积神经网络的光学相干断层扫描图像自动分类

光学相干断层扫描(OCT)技术能实现视网膜的高分辨率三维层析成像,对视网膜疾病类型的诊断和发展阶段的分析具有至关重要的作用。临床基于 OCT 图像的视网膜疾病诊断主要依靠眼科医生对图像中病变结构的分析,这一人工分析过程不仅耗时而且易产生主观的误判。研究视网膜疾病的自动分析和诊断技术将极大减轻眼科医生的工作量,是实现高效诊疗的有效途径。针对视网膜OCT图像自动分类,构建一种联合决策的卷积神经网络分类模型。该模型利用卷积神经网络从原始输入OCT图像中自动地学习不同层级的特征,同时在网络多个卷积层上设计多个决策层,这些决策层能够根据网络中不同尺度的特征图分别对OCT图像分类,最后模型融合所有决策层的分类结果做出最终决策。在Duke数据集(3 231张OCT图像)上的实验结果表明,基于多层级特征联合决策的卷积神经网络分类模型对正常视网膜、视网膜年龄相关性黄斑变性和视网膜黄斑水肿的平均识别准确率达到94.5%,灵敏性达到90.5%,特异性达到95.8%。在HUCM数据集(4 322张OCT图像)上的实验结果表明,基于多层级特征联合决策的卷积神经网络分类模型的平均识别准确率达到89.6%,灵敏性达到88.8%,特异性达到90.8%。充分利用卷积神经网络中丰富的多层级特征,能够有效地对视网膜OCT图像实现准确的分类,为临床上视网膜疾病的辅助诊断提供技术支撑。     

基于定量影像组学的乳腺肿瘤良恶性诊断

乳腺癌是女性致死率最高的恶性肿瘤之一。为提高诊断效率,提供给医生更加客观和准确的诊断结果。借助影像组学的方法,利用公开数据集BreaKHis中82例患者的乳腺肿瘤病理图像,提取乳腺肿瘤病理图像的灰度特征、Haralick纹理特征、局部二值模式(LBP)特征和Gabor特征共139维影像组学特征,并用主成分分析(PCA)对影像组学特征进行降维,然后利用随机森林(RF)、极限学习机(ELM)、支持向量机(SVM)、k最近邻(kNN)等4种不同的分类器构建乳腺肿瘤良恶性的诊断模型,并对上述不同的特征集进行评估。结果表明,基于支持向量机的影像组学特征的分类效果最好,准确率能达到88.2%,灵敏性达到86.62%,特异性达到89.82%。影像组学方法可为乳腺肿瘤良恶性预测提供一种新型的检测手段,使乳腺肿瘤良恶性临床诊断的准确率得到很大提升。     

基于小波变换和CNN-LSTM的肺音分类算法

目的：针对如何建立有助于电子听诊诊断的肺音分类模型,提出一种基于卷积神经网络（CNN）-长短期记忆网络（LSTM的混合深度学习肺音分类模型方法。方法：首先使用小波变换对数据集进行特征提取,使肺音信号转化为能量熵、峰值等特征;在此基础上构建CNN和LSTM的混合算法分类模型,其中将小波变换提取的特征先输入CNN模块,能够获得数据的空间维度特征,再通过LSTM模块获得数据的时间维度特征,融合两类特征,通过模型可以将肺音分类,从而达到辅助判断患者的肺部疾病。结果：CNN-LSTM混合模型准确率、F1分数均明显高于其他单一模型,可达到0.948和0.950。结论：提出的CNN-LSTM混合模型分类准确率更高,在智能听诊领域具有广泛的潜在应用价值。     

基于卷积神经网络的眼科光学相干断层成像图像的自动分类

目的 提出一种基于卷积神经网络(convolutional neural network,CNN)的眼科光学相干断层成像(optical coherence tomography,OCT)图像自动分类方法,实现对视网膜OCT图像的自动分类,缓解人工诊断依赖医生的临床经验、费时费力等问题.方法 基于公开的数据集2014_BOE_Srinivasan构建了2个样本数据集.其中样本数据集一为仅对数据集中的图像进行预处理后裁剪,样本数据集二为对取出测试集后剩余图像的裁剪过程中引入随机平移和水平翻转技术对图像进行扩充,并划分为训练集和验证集.搭建基于CNN的视网膜OCT图像分类网络,并分别使用两个数据集训练网络得到分类模型.最后使用独立的测试集对模型进行测试,并通过输出混淆矩阵查看模型对3种类别图像的分类情况.结果 通过混淆矩阵计算得出,使用扩充后的图像训练的分类模型的准确度为93.43％,灵敏度为91.38％,特异度为95.88％.结论 提出的基于CNN的视网膜OCT图像自动分类方法可以对老年性黄斑变性、糖尿病性黄斑水肿和正常3种类别的视网膜OCT图像进行分类.同时,数据扩充有助于提高分类算法的性能.     

基于卷积神经网络和多信息融合的三维乳腺超声分类方法

乳腺肿瘤超声图像的自动分类对于提高医生的工作效率和降低漏诊率具有十分重要的意义。新型的三维乳腺超声数据包含更多的可用于诊断的信息,但由于超声成像机理导致不同方向上的图像表现不同。针对该种乳腺超声数据,利用卷积神经网络结构的灵活性和自动学习的特性,提出3种改进的卷积神经网络模型,使其分别可以接受横截面图像输入、横截面和冠状面的双图像输入、图像和文本信息同时输入,并研究不同信息的融合对于提升乳腺肿瘤自动分类准确率的影响。在研究中,采用880幅图像(良性401幅,恶性479幅)及其标注信息进行5折交叉验证实验,得到各模型的准确率及AUC。实验结果表明,设计的模型可以适应图片与文本信息的输入,多信息融合的模型比只接受图像输入的模型准确率提升2.91%,达到75.11%的准确率和0.829 4的AUC。这些模型的提出,为多信息融合的卷积神经网络分类应用提供参考。     

基于典型相关分析与双模态数据融合的抑郁症辅助诊断

为了充分提取抑郁症患者的磁共振影像信息,提高抑郁症的诊断准确率,本研究将功能磁共振图像与结构磁共振图像作为研究对象,提出一种双模态数据融合的抑郁症分类算法。首先构建4种不同尺度的功能脑网络,提取功能磁共振图像的数据特征,然后使用迁移学习处理的三维密集连接卷积神经网络,提取结构磁共振图像的数据特征,接着使用典型相关分析方法融合两种特征,最后使用支持向量机对融合特征进行分类,从而将受试者识别为健康者或抑郁症患者。实验结果表明,本文提出的方法可获得89.56%的分类准确率与95.48%的召回率,与单模态数据分类相比,基于双模态数据的分类方法具有更好的分类性能。此外,典型相关分析法可以有效融合双模态的图像特征。     

基于多特征多关系图卷积神经网络的癫痫脑电分类

目的:提出一种基于多特征多关系图卷积神经网络的癫痫脑电分类方法,改进图卷积神经网络在癫痫脑电分类领域的应用,提升分类准确率。方法:分别提取癫痫脑电信号的1个频域特征、3个时频域特征和2个非线性动力学特征作为模型节点的特征。提取脑电通道之间的空间相似性和频谱相似性,融合两种通道相似性作为整体图节点之间的边关系矩阵。结果:在TUEP数据集上进行实验,准确率、精确率、召回率、F1分数、AUC结果分别为:0.87±0.02、0.91±0.04、0.82±0.04、0.86±0.02、0.90±0.03。结论:提出的模型与单特征和单关系的图卷积神经网络相比,对于癫痫脑电分类的提升效果明显。     

Differentiation between nodules and end-on vessels using a convolution neural network architecture

In recent years, many computer-aided diagnosis schemes have been proposed to assist radiologists in detecting lung nodules. The research efforts have been aimed at increasing the sensitivity while decreasing the false-positive detections on digital chest radiographs. Among the problems of reducing the number of false positives, the differentiation between nodules and end-on vessels is one of the most challenging tasks performed by computer. Most investigators have used a conventional two-stage pattern recognition approach, ie, feature extraction followed by feature classification. The performance of this approach depends totally on good feature definition in the feature extraction stage. Unfortunately, suitable feature definition and corresponding extraction implementation algorithms proved to be very difficult to define and specify. A convolution neural network (CNN) architecture, trained by direct connection to the raw image is proposed to tackle the problem. The CNN, which uses locally responsive activation function, is directly and locally connected to the raw image. The performance of the CNN is evaluated in comparison to an expert radiologist. We used the receiver operating characteristics (ROC) method with area under the curve (A_z) as the performance index to evaluate all the simulation results. The CNN showed superior performance (A_z=0.99) to the radiologist’s (A_z=0.83). The CNN approach can potentially be applied to other applications, such as the differentiation of film defects and microcalcifications in mammography, in which the image features are difficult to define or not known a priori.     

卷积神经网络在医学图像分割中的研究进展

卷积神经网络（CNN）是目前计算机视觉和模式识别中效果最为突出的算法。CNN拥有强大的空间识别能力,可以从图像中提取高阶的空间特征,同时通过共用卷积核的方式大幅减少参数量,从而在提升网络性能的同时保持总参数量在一个合理的、可运算的范畴。部分采用无监督学习的CNN算法可以在没有先验知识的条件下实现一定程度的图像语义分割,大幅减少人工读图的负担。本研究就CNN在医学图像分割中的研究进展和使用CNN时的具体技巧及其效果进行综述。以使用CNN为核心的深度学习工具解决医学图像分割的课题为中心,展示了CNN在有监督学习、半监督学习及无监督学习中的巨大潜力,分析比较了现有方案的优点与不足,探讨了未来CNN在医学图像领域的前进方向。     

Hybrid Convolution Neural Network in Classification of Cancer in Histopathology Images

Cancer statistics in 2020 reveals that breast cancer is the most common form of cancer among women in India. One in 28 women is likely to develop breast cancer during their lifetime. The mortality rate is 1.6 to 1.7 times higher than maternal mortality rates. According to the US statistics, about 42,170 women in the US are expected to die in 2020 from breast cancer. The chance of survival can be increased through early and accurate diagnosis of cancer. The pathologists manually analyze the histopathology images using high-resolution microscopes to detect the mitotic cells. This is a time-consuming process because there is a minute difference between the normal and mitotic cells. To overcome these challenges, an automatic analysis and detection of breast cancer by using histopathology images play a vital role in prognosis. Earlier researchers used conventional image processing techniques for the detection of mitotic cells. These methods were found to be producing results with low accuracy and time-consuming. Therefore, several deep learning techniques were adopted by researchers to increase the accuracy and minimize the time. The hybrid deep learning model is proposed for selecting abstract features from the histopathology images. In the proposed approach, we have concatenated two different CNN architectures into a single model for effective classification of mitotic cells. Convolution neural network (CNN) automatically detects efficient features without human intervention and classifies cancerous and non-cancerous images using a hybrid fully connected network. It is a computationally efficient, very powerful, and efficient model for performing automatic feature extraction. It detects different phenotypic signatures of nuclei. In order to enhance the accuracy and computational efficiency, the histopathology images are preprocessed, segmented, and feature extracted through CNN and fed into a hybrid CNN for classification. The hybrid CNN is obtained by concatenating two CNN models; together, this is called model leveraging. Model averaging can be improved by weighting the contributions of each sub-model to the combined prediction by the expected performance of the sub-model. The proposed hybrid CNN architecture with data preprocessing with median filter and Otsu-based segmentation technique is trained using 50,000 images and tested using 50,000 images. It provides an overall accuracy of 98.9%.

     

脑部PET图像在阿尔茨海默病早期诊断中的应用

目的本研究使用脑部正电子发射型计算机断层显像(positron emission computed tomography,PET),并且设计了一个3D卷积神经网络(convolutional neural networks,CNN),以实现对阿尔茨海默病(Alzheimer disease,AD)的早期诊断。方法研究数据取自美国国立卫生研究院老年研究所的ADNI(Alzheimer’s Disease Neuroimaging Initiative)数据库,PET图像和磁共振(magnetic resonance,MR)图像均有收集并对数据进行相关预处理。为避免过早的下采样给模型性能带来不利影响,设计了一个3D CNN模型,比较两种不同模态的数据在AD早期诊断中各自的优缺点。结果使用本研究组设计的3D CNN模型在基于PET图像的AD早期诊断实验中,预测准确率、灵敏度、特异度以及曲线下面积(area under curve,AUC)分别达到71.19%、79.29%、61.35%、71.09%。此外,对本研究组的模型与计算机视觉中的经典模型VGG和ResNet使用相同数据进行对比实验,许多评价指标都要更优。结论使用脑部PET图像并结合3D CNN可以更好地利用3D图像的空间位置信息,更有效地提取特征,能对AD早期的病变情况有更准确高效的识别。     

基于CNN算法的稳态体感诱发电位的特征识别

脑-机接口研究可为瘫痪病人的康复带来一种新的治疗方法。已有研究表明对手指或者正中神经施加一定频率的体感刺激,会引发相同频率且具有空间特异性的稳态体感诱发电位。为优化基于稳态体感诱发电位的脑-机接口的性能,通过快速傅里叶变换寻找12个健康被试的个人左手特定共振频率,采用事件相关谱扰动进行时频分析,检测其稳态体感诱发电位信号。基于共振频率对实验诱发的脑电信号进行1 Hz带通滤波,获得特定频带的数据,采用卷积神经网络(CNN)学习算法对其进行分类,并与采用共空间模式和支持向量机的特征提取及特征分类的方法(CSP+SVM)进行比较。所有被试的结果显示:基于共振频率滤波方法,采用CNN学习算法获得的离线分类准确率均高于85%,并且CNN学习算法的分类准确率显著性优于CSP+SVM的分类准确率(91.8%±5.9% vs 77.4%±8.5%,P<0.05)。因此,在基于稳态体感诱发电位的脑机接口的特征识别中,CNN学习算法相比传统使用的机器学习分类算法(如共空间模式+支持向量机)能够显著提升分类准确率,提高脑机接口的整体性能。     

基于特征融合神经网络的运动想象脑电分类算法

运动想象-脑机接口（MI-BCI）技术为运动障碍患者提供了一种新的与外界交流的能力。应用卷积神经网络（CNN）处理运动想象（MI）脑电分类问题时,多提取最后卷积层的特征,忽视了中间层大量可用信息,导致MI-BCI的分类性能较差。针对这一问题,提出模型内层融合（WMFF）和模型间层融合（CMFF）两种特征融合策略。WMFF策略提取CNN每一层特征进行融合;CMFF策略融合CNN和长短时记忆网络并提取每一层特征。本研究用BCI竞赛IV Datasets 2a数据集对所提方法进行验证,WMFF和CMFF MI脑电信号四分类平均正确率分别达到76.19%和80.46%。结果表明,所提方法可有效提高MI脑电信号分类正确率,为MI脑电信号分类提供了新的思路。     

结合表型信息的阿尔兹海默症图卷积神经网络分类方法研究

阿尔兹海默症(AD)的早期检测与发现具有重要的临床和社会意义.由于AD患者的功能性脑网络拓扑性质存在异常变化,并且不同表型类型人群中阿尔兹海默症的患病率也存在着较大差异,因此将脑网络特征和表型信息结合构建训练特征,用于阿尔兹海默症不同阶段的分类.同时,图卷积神经网络(GCN)分类方法被证明是目前对图数据学习任务的最佳选...