基于多尺度特征融合与反向注意力的COVID-19病灶分割

针对新型冠状病毒肺炎（COVID-19）分割问题中感染区域具有高变异性以及病灶与背景对比度低等问题,提出一种基于多尺度特征融合与反向注意力的COVID-19感染分割网络。首先,利用残差网络作为主干网络进行特征提取,并使用全局上下文聚合策略对不同层次特征进行融合得到粗略的分割结果;其次,在网络瓶颈处添加多尺度特征融合模块,利用空洞卷积与多核池化增强网络分割不同尺度病变的能力;最后,设计一种级联结构的反向注意力模块,利用互补区域的细节特征增强背景与目标的对比度。本文方法在COVID-19 CT分割测试集上的准确率、特异性、灵敏度分别达到0.714、0.700和0.958,误检和漏检区域明显减少,细小病灶的分割能力显著提升。     

自适应特征融合和条件随机场的乳腺病理图像诊断算法

肿瘤病理学分析是常见的癌症诊断方法之一。基于深度学习的病理检测方法取得了良好性能,然而针对组织切片的处理方法往往会忽略病理组织空间相关性,为了更加准确地获取乳腺癌分类结果和恶性肿瘤位置信息,提出嵌入自适应特征融合模块和均值条件随机场的Transformer框架,利用反向传播算法端到端地训练整个框架。自适应特征融合模块采用可学习参数将改进的自注意力和多感受野卷积模块自适应结合,获取多尺度语义特征,从全局和局部的角度增强模型特征提取能力;提出均值条件随机场与主干网络结合,整合组织切片间的空间相关性,获取病理组织间的形态学信息。实验结果表明：所提方法在切片级图像上准确率高达95.51%,在全切片扫描图像的AUC、FROC分别为0.974 5、0.810 2,有较好的可行性,提高了病理图像分类临床诊断准确率。     

基于深度学习的前房角开闭状态自动识别

目的 基于深度学习(deep learning,DL)和前房角超声生物显微镜(ultrasound biomicroscopy,UBM)图像进行前房角开闭状态的自动识别,为原发性闭角型青光眼的临床自动诊断提供辅助分析.方法 数据集为天津医科大学眼科医院采集的眼科疾病患者的前房角UBM图像,由眼科专家将UBM图像分为房角开放和房角关闭两类,按照6:2:2的比例随机设置训练集、验证集和测试集.为提高深度学习模型的鲁棒性和识别精度,对训练集图像随机进行了旋转、平移和反转等不影响房角形态的数据增强操作.比较VGG16、VGG19、DenseNet121、Xception和InceptionV3网络模型在本文数据集上的迁移学习结果,根据迁移学习结果对VGG16进行卷积层和全连接层的微调,用微调后的VGG16模型实现前房角开闭状态的自动识别.用接收者操作特征曲线下面积和准确率等评价指标对模型识别结果进行定量评价,用类激活热力图可视化模型识别前房角开闭状态时的主要关注区域.结果 类激活热力图表明微调后的VGG16模型识别前房角开闭状态的主要关注区域为房角中心区域,与眼科专家的识别依据一致.该模型的识别准确率为96.19％,接收者操作特征曲线下面积为0.9973.结论 基于深度学习和前房角UBM图像能够以较高的准确率实现前房角开闭状态的自动识别,有利于原发性闭角型青光眼自动诊断技术的发展.     

基于多尺度特征增强的小样本计数

目标物体计数是计算机视觉领域的重要研究方向。针对小样本计数中存在的样本与查询图像目标物体尺寸不一致、目标物体分布不均匀的问题,该文提出了多尺度特征增强计数算法。首先,基于特征金字塔构建自上而下的特征融合网络。在各级尺度上对查询图像中和样本相似度较高的区域进行样本特征增强,随后送入上一级特征匹配。然后,将各级增强后的查询特征送入回归器中,得到各级密度图。最后,求和,生成高质量的密度图。该文在FSC-147和CARPK数据集上进行测试。实验结果表明,该文所提模型的性能优于大多数其他方法,有效改善了目标物体大小变化造成的计数精度低的问题。     

基于嵌网融合结构的卷积神经网络手势图像识别方法

手势识别是人机智能交互领域的研究热点。本研究基于LeNet-5网络和信息融合思想提出新的嵌网融合-卷积网络结构来处理手势图像识别问题,新网络在传统卷积网络的卷积层中以多层感知器替换传统线性卷积核来构造特征提取框架,并在卷积层的输出端级联Inception网络结构,同时将金字塔采样机制引入池化层以替换常规随机采样和最大值采样,利用金字塔多尺度融合策略来拼接不同维度的特征,进而将融合特征传输给全连接层,最后在全连接层中引入支持向量机思路进行特征识别。实验仿真中,本研究识别网络在MNIST数字集及自建手势数据集进行验证,识别准确率最高达到98.2%,优于几种常规网络。     

多标签病毒性肺炎图像分割方法的研究

目前,对于病毒性肺炎病灶分割的研究大多是基于单标签分割的,其分割准确率并不是特别理想。为提高病灶分割的准确率,提出了一种基于多标签的病毒性肺炎图像分割方法。本方法结合预先已知的肺部特征知识,将肺部特征信息叠加病灶特征信息形成多标签,并利用One-Hot编码原理和改进的3D-UNet网络模型,结合来源于大挑战比赛中的病毒性肺炎病灶分割挑战-2020公共数据集进行多标签图像分割训练,其中训练集139例,验证集和预测集同为40例,共计179例。在评价指标的选择上,除了常规的Dice评价指标外,本研究还提出了一个新的评估指标,炎肺比(focus-lung ratio),提供了病灶和肺部的比例,结合精度评价指标,可用于衡量模型的鲁棒性。最终,该研究提出的双标签分割方法在公开数据集上的预测集的Dice可达到70.10%,相较于同网络下的单标签分割方法,提高4.20%的准确率;该研究还通过3种不同网络(级联Res-UNet, nnUNet-ResUNet, 3D-UNet)进行对比试验,实验结果表明在训练集上Dice损失达到最小,为5.00%;在验证集上Dice达到最大,为75.70%。所提出的方法...     

一种用于构音障碍语音识别的多尺度特征提取算法EI北大核心

针对构音障碍语音识别率难以提升的问题,本文提出一种多尺度梅尔域特征图谱提取算法。该算法采用经验模态分解方法分解语音信号,分别对三个有效分量提取Fbank特征及其一阶差分,从而构成能够捕捉频域细节信息的新特征图谱。其次,由于单路神经网络在训练过程中,存在有效特征丢失及计算复杂度高的问题,本文提出一种语音识别网络模型。最后,在公开UA-Speech数据集上进行训练和解码。实验结果表明,本文方法的语音识别模型准确率达到了92.77%,因此,本文所提算法能有效提高构音障碍语音识别率。     

超声图像融合专家知识的EfficientNet卵巢包块良恶性诊断方法

目的 提出一种基于深度网络特征融合的分类方法，以提高良恶性分类的准确率，辅助医生提高术前诊断卵巢包块良恶性的准确率。方法 纳入深圳市人民医院943幅经活检、手术病理等证实的患者术前卵巢超声图像，按照6∶2∶2的比例随机设置训练集、验证集和测试集。首先，提取医生勾画的感兴趣区域（region of interest,ROI）即包块图，用微调后的EfficientNet网络提取其深度特征；然后用基于Chan-Vese模型的水平集方法得到包块边缘轮廓图，再用微调后的EfficientNet网络提取其深度特征；接下来将包块图的深度特征和边缘轮廓图的深度特征分别归一化后并拼接为融合特征；最后，将融合特征输入到全连接层分类器中，将超声图像分为良恶性。结果 本文提出的超声图融合专家知识的EfficientNet卵巢包块良恶性诊断方法在测试集上的准确度、特异度、敏感度和曲线下面积分别为0.81、0.78、0.88、0.91，全部优于当前主流的深度学习方法。结论 该特征融合网络能够取得较好的分类效果，一定程度上能够为临床诊断卵巢包块的良恶性提供参考。     

基于样本增强的帕金森病识别算法研究

帕金森病患者早期存在声带损伤,其声纹特征与健康人存在明显差异,可以利用该差异识别帕金森病,但帕金森病患者声纹数据样本不足,因此本文提出双自注意力深度卷积生成对抗网络模型进行样本增强,生成高分辨率的语谱图,进而采用深度学习方法进行帕金森病识别。该模型通过增加网络深度并结合梯度惩罚、频谱归一化技术改进样本的纹理清晰度,并且构建一个基于迁移学习的纯粹的卷积神经网络家族（ConvNeXt）作为分类网络,以此提取声纹特征并进行分类,提升了帕金森病识别准确率。在帕金森病语音数据集上进行本文算法有效性验证实验,对比样本增强前,本文所提模型生成的样本清晰度以及弗雷谢起始距离（FID）均得到提高,并且本文网络模型能够获得98.8%的准确率。本文研究结果表明,基于双自注意力深度卷积生成对抗网络样本增强的帕金森病识别算法能够准确区分健康人和帕金森病患者,有助于解决帕金森病早期识别声纹数据样本不足的问题。综上,本文方法有效提高小样本帕金森病语音数据集分类准确率,为早期帕金森病语音诊断提供了一种有效的解决思路。     

基于多模态磁共振图像特征选择的脑胶质瘤分割

脑胶质瘤分割通常需要将肿瘤区域细分为多个不同性质的子区域,往往需要使用多种不同模态的磁共振(MR)图像。近年来,基于深度学习的脑胶质瘤分割研究已成为主流。然而,大多数基于深度学习的方法只是将不同模态MR图像(或底层特征)进行通道维度堆叠后输入到分割网络中,并且在特征提取阶段忽略不同性质子区域分割时所需模态特征的差异性,导致分割性能不够精良。本研究提出一种基于多模态MR图像特征选择的两阶段分割框架进行脑胶质瘤分割。一方面,设计多模态特征选择模块并嵌入到分割网络框架中,对当前分割任务所需多模态MR图像特征进行自动提取和有效选择;另一方面,将多个不同性质的病变组织子区域分为两阶段分割任务,利用第一阶段分割任务结果提供第二阶段分割目标的定位信息。本方法和对比方法分别在BraTS2018(训练集285个患者,验证集66个患者)、BraTS2019(训练集335个患者,验证集125个患者)和BraTS2020(训练集369个患者,验证集125个患者)公开数据集上进行了实验。在BraTS2018数据集上,本方法在完整肿瘤、肿瘤核心和增强肿瘤区域的Dice相似系数分别为0.898、0.854和0.818,Hausdorff距离分别为4.072、6.179和3.763;在BraTS2019数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.892、0.839和0.800,Hausdorff距离分别为6.168、7.077和3.807;在BraTS2020数据集上,本方法在上述3个肿瘤区域的Dice相似系数分别为0.896、0.837和0.803,Hausdorff距离分别为6.223、7.033和4.411。对比实验结果表明,所提方法在增强肿瘤区域和肿瘤核心区域的分割性能具有明显优势,特别是增强肿瘤区域分割性能在BraTS2020数据集上最佳。基于多模态特征选择模块的两阶段分割框架,针对每阶段分割目标实现了不同模态MR图像特征的自动和充分学习,取得了理想的分割结果,为计算机辅助肿瘤诊断提供了可能的解决方案。     

基于浅层与深层特征融合的胃癌前疾病识别

胃癌前疾病识别对降低癌变风险及胃癌发病率具有重要意义。提出一种基于胃镜图像浅层特征与深层特征融合的胃癌前疾病识别方法。首先,根据胃镜图像性质,手工设计75维浅层特征,包含图像的直方图特征、纹理特征以及高阶特征;然后,基于构建的Resnet、GoogLe Net等卷积神经网络,在其输出层前添加一个全连接层作为图像的深层特征,为保证特征权重一致,全连接层的神经元数目设计为75维;最后,串联图像的浅层与深层特征,使用机器学习分类器,识别胃息肉、胃溃疡和胃糜烂等3类胃癌前疾病。对每种疾病收集了380张图像,并以4:1的比例划分为训练集和测试集,然后基于该数据集,分别采用传统机器学习、深度学习、特征融合等3种方法进行模型训练和测试。模型在测试集上的结果显示,所提出的特征融合方法识别准确率高达95.18%,优于传统的机器学习方法(74.12%)和深度学习方法(92.54%)。所提出的方法能够充分利用浅层特征与深层特征,为医生提供临床决策支持以辅助胃癌前疾病诊断。     

基于多模态特征融合的脑瘤图像分割方法

针对目前大多数医学图像分割方法难以对多模态图像进行特征融合进而完成精确分割任务的问题,提出一种基于编码器-解码器总体架构的多模态脑瘤图像特征融合策略。首先,编码阶段利用孪生网络对不同模态数据进行特征提取,孪生网络结构参数和权值共享的特性可有效减少网络参数量;其次,在进行特征提取的编码阶段加入级间融合,保留不同模态的共性特征的同时强调其互补特征;然后,在解码阶段引入密集跳跃连接思想,最大程度结合不同尺度特征图的低级细节和高级语义信息;最后,设计混合损失函数,在网络生成的预测图受真值图监督的同时让最高级特征融合图也受同倍下采样真值图的监督。所提方法在公开数据集BraTS2019上进行实验,并用图像分割常用的5种指标进行评估。在脑瘤及水肿区域分割任务中得到平均Dice系数为0.884,阳性预测率为0.870,灵敏度为0.898,豪斯多夫距离为3.917,平均交并比达到79.1%,与较先进的算法U-Net和PA-Net相比多项指标均有提升。实验结果说明,级间融合和层间跳跃连接的加入对多模态医学图像的分割效果有所提升,在医学上对脑肿瘤磁共振图像进行病变区域分割具有重要的应用价值和理论意义。     

融合多尺度信息的肺结节自动检测算法

肺结节是早期肺癌的主要表现形式,准确检测肺结节对肺癌的早期诊断和治疗具有重要意义。然而,由于肺部计算机断层扫描(CT)图像背景复杂、检测范围大,且肺结节大小不一、形态各异,所以快速准确检测肺结节是一项极具挑战的工作。为此,本文提出了一种融合多尺度特征的肺结节自动检测算法,实现了肺结节的准确检测。首先,在用于大规模图像识别的深度卷积网络(VGG16)上设计了具有三层模块结构的肺结节检测模型,利用网络第一层模块提取CT图像中肺结节特征并粗略地估计肺结节位置;然后利用网络第二层模块融合多尺度的图像特征信息进一步增强肺结节细节特征;而网络第三层模块融合分析第一层和第二层模块的特征,得到多尺度下肺结节候选框;最后利用非极大值抑制方法对多尺度下肺结节候选框进行概率分析,得到最终的肺结节位置。本文应用肺部影像数据库联盟(LIDC)公共数据集上的肺结节数据对所提算法进行了验证,平均检测精度达到90.9%。本研究成果可应用于肺结节自动筛查系统,有助于提升肺结节筛查精度。     

基于通道注意力和稀疏时频分解的运动想象分类EI北大核心CSCD

运动想象脑电信号是低信噪比的非平稳时间序列,单通道脑电分析方法难以有效刻画多通道信号之间的交互特征。本文提出了一种基于多通道注意力的深度学习网络模型,该模型对预处理后的数据进行稀疏时频分解,增强了脑电信号时频特征的差异性。然后利用注意力模块在时间和空间对数据进行注意力映射,让模型可以充分利用脑电信号不同通道的数据特征。最后利用改进的时间卷积网络进行特征融合并进行分类识别。利用BCI competition Ⅳ-2a数据集对所提算法进行验证,结果表明所提算法可有效提升运动想象脑电信号的分类正确率,9名受试者的平均识别率为83.03%,与现有方法相比,提高了脑电信号的分类精度。所提方法增强了不同运动想象脑电数据之间的差异特征,对提升分类器性能的研究具有重要意义。     

一种基于生成对抗网络的无监督域自适应磁共振图像分割方法EI北大核心CSCD

智能医学图像分割方法正在快速地发展和应用,但面临着域转移挑战,即由于源域和目标域数据分布不同导致算法性能下降。为此,本文提出了一种基于生成对抗网络(GAN)的无监督端到端域自适应医学图像分割方法。设计网络训练调整模型,由分割网络和鉴别网络组成。分割网络以残差模块为基本模块,增加对特征的复用能力,降低模型优化难度,并将分割损失与对抗损失相结合,在鉴别网络的作用下学习图像特征层面的跨域特征。鉴别网络采用卷积神经网络,并带入源域标签训练,用来区分生成网络的分割结果是来自源域或目标域,整个训练过程无监督。使用膝关节磁共振(MR)图像公开数据集和采集的临床数据集进行实验,与经典的特征级域自适应方法和图像级域自适应方法对比,所提方法的平均戴斯相似性系数(DSC)分别提高了2.52%与6.10%。本文方法有效提高了分割方法的域自适应能力,显著提高了对胫骨和股骨的分割精度,可以较好地解决磁共振图像分割中的域转移问题。     

基于联合深度网络和形态结构约束的三维医学图像分割方法

医学图像自动分割具有广泛和重要临床应用价值,特别是病灶、脏器的自动分割。基于传统图像处理方法的医学图像分割仅能利用浅层结构模型的浅层特征来识别感兴趣区域,并且需要大量人工干预。而基于机器学习的分割方法在模型建模时存在局限性且缺乏可解释性。本研究提出一种基于Transformer和卷积神经网络结合形态结构约束的三维医学图像分割方法。编码器中利用卷积神经网络和Transformer构建U型网络结构提取多重特征;解码器中采用上采样并通过跳跃连接将不同层次的特征拼接在一起;加入形态结构约束模块,通过提取病灶和脏器等分割目标的形状信息,以增强模型可解释性,并采用最大池化和平均池化操作,对经过卷积神经网络得到的结果进一步提取有代表性的特征,作为形态结构模块的输入,最终提高分割结果的准确性。在公开数据集Synapse和ACDC上利用评价指标Dice相似系数(DSC)和Hausdorff距离(HD)验证所提出算法的有效性。其中,在Synapse数据集上,18例数据作为训练集,12例数据作为测试集;在ACDC数据集上,70例数据作为训练集,10例数据作为验证集,20例数据作为测试集。实验结果表明,在Sy...     

结合上下文和注意力机制改进的视盘分割模型

青光眼为多发性眼底疾病,是致盲的主要原因之一。眼底图像来源广,质量参差不齐,且视盘区域具有多尺度性特征,融合上下文信息有利于准确分割多尺度视盘边界。以U-Net为基础,结合上下文信息和卷积注意力模块（CBAM）,提出了一种改进的视盘分割模型,包括：（1）使用实例-批处理归一化（IBN）模块与注意力机制改进主干网络ResNet34,提升分割模型的泛化性和图像通道特征的提取能力;（2）提出一种多层次上下文信息提取（MCE）模块处理主干网络输出的特征,融合上下文信息增强分割模型对视盘边缘特征的提取能力;（3）使用Transformer机制替换U-Net中的跳跃连接和上采样,进一步提高视盘多尺度特征和图像通道特征的提取能力。将改进的分割模型与U-Net、U-Net++、DeeplabV3+、FCN和PSPNet分割模型进行视盘分割精度比较,结果表明提出的分割模型具有更好的分割效果,Dice、MIoU、MPA和FPS指标分别为98.18%、96.45%、98.11%和17.56 Img/s。该研究成果可为青光眼的早期诊断提供技术支撑。     

基于深度学习的黑色素细胞病变全流程智能化精准诊断EI北大核心CSCD

黑色素细胞病变发生于皮肤表层,恶性病变即为致死率极高的黑色素瘤,严重危害人类健康,病理组织学分析是其诊断的金标准。本文对黑色素细胞病变病理全切片图像(WSI)进行分类研究,提出一种基于深度学习的黑色素细胞病变全流程智能化诊断方法。首先,基于CycleGAN神经网络对多中心病理WSI进行颜色校正;其次,通过745张WSI构建以ResNet-152神经网络为架构的深度卷积网络预测模块;然后,级联以预测概率平均值计算为核心的决策融合模块;最终,分别采用包含182张和54张WSI的内外部测试集验证所提方法的诊断性能。实验结果显示,所提方法的整体准确率在内部测试集上达到94.12%,在外部测试集上超越90%;采用的颜色校正方式在组织结构保持、伪影抑制方面均优于传统基于颜色统计或染色分离的方式。研究证实了本文所提方法可实现高精度、强鲁棒的黑色素细胞病变病理WSI分类,对推动临床病理人工智能辅助诊断具有重要的指导意义。     

基于残差网络的肺癌肿瘤突变负荷多分类预测模型

经医学研究发现,肿瘤突变负荷（TMB）与非小细胞肺癌（NSCLC）免疫治疗的疗效呈正相关,并且TMB值对靶向治疗和化疗的疗效也有一定的预测作用。然而,计算TMB值需要借助全外显子组测序（WES）技术,成本较高。对此,本文利用临床常用的数字病理组织切片图像,研究TMB与切片图像之间的关联关系,并据此预测患者的TMB水平。本文提出了一种基于残差坐标注意力（RCA）结构并融合多尺度注意力引导（MSAG）模块的深度学习模型（RCA-MSAG）。该模型以50层残差网络（ResNet-50）为基准模型,并将坐标注意力(CA)融入到瓶颈（bottleneck）模块,用来捕获方向感知和位置敏感信息,从而使模型能够更准确定位和识别感兴趣的位置。然后,通过在网络内添加MSAG模块,使模型可以提取肺癌病理组织切片的深层特征以及通道之间的交互信息。本文实验数据集采用癌症基因组图谱（TCGA）公开数据集,数据集由200张肺腺癌病理组织切片组成,其中高TMB值的数据80张,中TMB值的数据77张,低TMB值的数据43张。实验结果表明,所提模型的准确率、精确率、召回率和F1分数分别为96.2%、96.4%、96.2...     

结合迁移学习与深度卷积网络的心电分类研究

为解决一维深度卷积网络（1D-DCNN）在心电分类方面存在的多类疾病识别不准、难以提取最佳特征等问题,提出一种结合迁移学习与二维深度卷积网络（2D-DCNN）直接识别心电图像的方法。首先,截取R波前后75 ms内的心电信号,并将一维心电电压信号转化为二维灰度图像信号。接着,构建2D-DCNN对心电节拍样本进行分类训练,权值初始化采用在ImageNet大规模图像数据集上进行预训练的AlexNet参数值。本文提出方法在MIT-BIH心电数据库上进行性能验证,其准确率达到98%,并在不同信噪比下保持较高的准确率,证明了所述模型在心电分类上具有良好的鲁棒性。为了验证2D-DCNN的识别性能,实验部分与采用不同激活函数的1D-DCNN、近些年性能较好的深度学习方法进行比较。量化结果表明,结合迁移学习和2D-DCNN方法,比最优1D-DCNN算法,其准确率提升2%、敏感度提升0.6%、特异性提高4%;在二分类与多分类任务中,均好于现有的其他算法。