基于迁移学习的全连接神经网络舌象分类方法

目的 针对深度学习在舌象分类中训练数据量大、训练设备要求高、训练时间长等问题,提出一种基于迁移学习的全连接神经网络小样本舌象分类方法。方法 应用经ImageNet海量数据集训练后的卷积Inception_v3网络提取舌象点、线等有效特征,再使用全连接神经网络对特征进行训练分类,将深度学习网络学习到的图像知识迁移到舌象识别任务中。利用舌象数据集进行训练、测试。结果 与典型舌象分类方法K最近邻（KNN）算法、支持向量机（SVM）算法和卷积神经网络（CNN）深度学习方法相比,本实验使用的两种方法（Inception_v3+2NN和Inception_v3+3NN）具有较高的舌象分类识别率,准确率分别达90.30%和93.98%,且样本训练时间明显缩短。结论 与KNN算法、SVM算法和CNN深度学习方法相比,基于迁移学习的全连接神经网络舌象分类方法可有效提高舌象分类的准确率、缩短网络的训练时间。     

基于多维度特征融合的深度学习骨龄评估模型

目的 通过基于特征提取的深度卷积神经网络,结合关键区域特征和人口学信息,评估儿童骨龄。方法 自动识别左手X线图像数据,对图像进行预处理,使用基于深度神经网络的X线图像分析方法,实现左手关节骨龄17个关键区域特征的自动提取,再将骨龄影像特征与临床大数据（人口统计、性别）融合训练骨龄评估模型,测试模型的评估效能。结果 使用基于深度学习的特征区域提取方法比传统图像分析方法可以更好地提取特征信息,结合临床信息从另一维度补充了骨龄发育信息。基于多维度数据特征融合的骨龄评估模型检测得到的骨龄平均绝对误差为0.455,优于传统方法和仅端到端的深度学习方法。结论 相较传统的机器学习特征提取方法,基于特征提取的深度卷积神经网络在骨龄回归模型上有更好的表现,结合人口和性别信息可进一步提升基于图像的骨龄预测准确率。     

基于卷积神经网络的肺结节良恶性分类

目的研究基于卷积神经网络的肺结节良恶性分类方法。方法首先对肺部图像数据库联盟(LIDC)中的肺癌CT图像进行分割获得肺结节图像;然后利用卷积神经网络进行特征提取;最后利用Logistic分类器进行模型构建与测试。结果该文所提出方法取得了84.4%的分类结果。结论利用卷积神经网络可以自动提取肺结节特征,辅助医生的临床诊断。     

基于深度卷积神经网络的脑部图像疾病类别特征库构建

介绍深度卷积神经网络基本理论,阐述基于深度卷积神经网络的脑部图像视觉特征提取,设计一种适用于脑部疾病图像的分类器,进而实现脑部图像疾病类别特征库构建,为基于脑部图像疾病类别特征库开展临床辅助决策等应用提供可能。     

医学信息学中的深度学习相关应用研究

梳理深度学习在医学信息学中的一些应用案例,对深度神经网络、卷积神经网络、递归神经网络、改进神经网络原理、应用分别进行分析,介绍深度机器学习的发展方向。     

食管鳞癌淋巴结转移的影像组学与预后的关联

目的 探讨使用卷积神经网络(CNN)提取的食管鳞癌(ESCC)淋巴结转移相关的影像组学特征与ESCC预后的关联。方法 回顾性分析308例ESCC患者的临床资料,其中154例有淋巴结转移、154例无淋巴结转移,按2∶1比例将其分为训练集和验证集。通过MRIcroGL软件标记CT影像中的淋巴结,使用CNN分割提取ESCC淋巴结影像特征,通过LASSO回归和随机森林筛选与ESCC淋巴结转移相关的影像组学特征并构建预测模型,采用Cox回归进行特征选择,建立影像组学标签,分析其与ESCC预后的关联,进而构建列线图评价模型预测能力。结果 使用CNN自动提取到999个影像组学特征值;使用LASSO回归筛选出的19个特征,在全模型、训练集和验证集中构建模型的曲线下面积(AUC)(95%CI)分别为0.747(0.694,0.801)、0.751(0.686,0.817)和0.766(0.672,0.860);使用随机森林筛选出9个特征的预测模型中AUC (95%CI)分别为0.692(0.633,0.751)、0.683(0.610,0.755)和0.723(0.624,0.822)。多因素Cox回归...     

基于多序列MRI影像组学与深度迁移学习特征的脑胶质瘤分级预测研究

目的：探讨基于多序列磁共振成像（magnetic resonance imaging,MRI）手工影像组学（hand-crafted radiomic,HCR）和深度迁移学习（deep transfer learning,DTL）特征的机器学习（machine learning,ML）模型在术前预测脑胶质瘤分级的效能。方法：选取BraTS2019数据集中332例患者的影像数据［高级别胶质瘤（high-grade glioma,HGG）258例,低级别胶质瘤（low-grade glioma,LGG）74例］,随机抽取30例HGG和8例LGG作为测试数据集,其余294例作为训练集和验证集。从T1、T2 、T1c和Flair 序列中提取病灶的HCR特征和DTL特征,并筛选出影响力前10的特征子集,基于HCR特征、DTL特征和两者组合的深度学习影像组学（deep learning radiomics,DLR）特征,分别建立7种ML模型,评估模型预测HGG和LGG的效能。选择最佳模型后,使用SHAP法对模型特征重要性进行量化及归因分析。结果：基于HCR和DTL组合的DLR特征构建的ML模型预测效能最高,当使用支持向量机的递归特征消除（support vector machine-recursive feature elimination,SVM-RFE）筛选特征后,使用T2+T1c+ Flair序列组合的支持向量机（support vector machine,SVM）分类器的预测模型效果最佳。在验证集上,受试者工作特征曲线下面积达到0.996（95% CI：0.991~1.000）,约登指数、准确度、灵敏度和特异度分别为 0.920、0.976、0.988和0.932,在测试集上同样具有较高的分级预测效能。SHAP特征权重分析显示Flair序列的特征贡献较大,其次为T2及T1c序列,HCR和DTL特征均有重要贡献。结论：基于多序列MRI的DLR特征构建的ML模型可有效预测脑胶质瘤的肿瘤分级,其中经过SVM-RFE筛选后的 T2+T1c+Flair序列组合的SVM分类器模型效能最佳。     

基于注意力机制的空时融合深度学习睡姿监测算法研究

目的针对用于无扰睡姿检测的心冲击图(Ballistocardiogram,BCG)信号特征微弱,并且具有非线性、非平稳性强、存在噪声干扰以及信号本身具有空间和时域信息的特点,提出了一种基于注意力机制融合空时特征的深度学习睡姿检测模型(Deep Learning Sleeping Posture Monitoring Model,CTAM)。方法CTAM是一种可实现端到端的实时睡姿检测方案,通过睡眠带测试真实睡眠状态下睡姿的BCG信号,并构建数据集进行仿真对比实验。结果与具有类似结构的传统卷积神经网络(Convolutional Neural Networks,CNN)模型和空时融合的卷积-长短时记忆网络(Convolutional Long Short-Term Memory Network,CNN-LSTM)相比,CTAM在训练集的收敛性和测试集的准确率上均有显著的提升,其中,在测试集上的准确率分别较CNN模型和CNN-LSTM模型提升了1.46%和4.61%。结论CTAM这种算法模型在基于BCG信号下能实现睡姿的实时、有效、无扰监测,在改善睡眠质量监测领域具有较好的应用前景。     

阳春砂杂交子代与母本的FTIR鉴别研究

目的 探索阳春砂杂交子代与母本的红外光谱鉴别方法。方法 采用傅里叶变换红外光谱法（FTIR）测定阳春砂杂交子代与母本的红外光谱,分别应用导数光谱和傅里叶自解卷积对图谱进行转换处理,对比寻找杂交子代与母本的特征差异吸收。结果 阳春砂杂交子代与母本的红外光谱无明显差异,经四阶导数光谱变化后于1 051.014 cm^?1处出现明显的特征差异吸收峰,傅里叶自解卷积转化后于771.563 4和1 612.432 5 cm^?1处出现了具有明显特征独立的差异吸收峰。结论 阳春砂杂交子代与母本的FTIR经过导数光谱和傅里叶自解卷积转化后可出现明显的差异,能较好地鉴别二者。     

基于CLSTM的步态分类方法

步态分类在人体运动能量消耗评估等应用中具有重要意义,提高分类精度和降低对统计特征的依赖是步态分类的研究热点。采用传统的步态分类方法提取的步态特征用于细分化步态时不能得到较好的效果。考虑到步态的连续性和不同轴之间信号的相关性,本文提出了基于CLSTM的步态分类方法：采用卷积神经网络（CNN）操作,通过计算多轴步态数据提取步态特征;基于长短期记忆（LSTM）构建步态时间序列模型,学习步态特征图时间维度上的长期依赖性。基于USC-HAD数据集的实验结果表明,用此方法提取了步态序列特征,很好地利用了步态时间序列特点,提升了11种步态的分类精度。     

Prostate Cancer Risk Prediction and Online Calculation Based on Machine Learning Algorithm

ObjectiveTo build a prostate cancer (PCa) risk prediction model based on common clinical indicators to provide a theoretical basis for the diagnosis and treatment of PCa and to evaluate the value of artificial intelligence (Al) technology under healthcare data platforms.MethodsAfter preprocessing of the data from Population Health Data Archive, smuothly clipped absolute deviation (SCAD) was used to select features. Random forest (RF), support vector machine (SVM), back propagation neural network (BP), and convolutional neural network (CNN) were used to predict the risk of PCa, among which BP and CNN were used on the enhanced data by SMOTE. The performances of models were compared using area under the curve (AUC) of the receiving operating characteristic curve. After the optimal model was selected, we used the Shiny to develop an online calculator for PCa risk prediction based on predictive indicators.ResultsInorganic phosphorus, triglycerides, and calcium were closely related to PCa in addition to the volume of fragmented tissue and free prostate-specific antigen (PSA). Among the four models, RF had the best performance in predicting PCa (accuracy: 96.80%; AUC: 0.975, 95% CI: 0.964-0.986). Followed by BP (accuracy: 85.36%; AUC: 0.892, 95% CI: 0.849-0.934) and SVM (accuracy: 82.67%; AUC: 0.824, 95% CI: 0.805-0.844). CNN performed worse (accuracy: 72.37%; AUC: 0.724, 95% CI: 0.670-0.779). An online platform for PCa risk prediction was developed based on the RF model and the predictive indicators.ConclusionsThis study revealed the application value of traditional machine learning and deep learning models in disease risk prediction under healthcare data platform, proposed new ideas for PCa risk prediction in patients suspected for PCa and had undergone core needle biopsy. Besides, the online calculation may enhance the practicability of Al prediction technology and facilitate medical diagnosis.     

Multimodal,multitask, multiattention (M3) deep learning detection of reticular pseudodrusen: Toward automated and accessible classification of age-related macular degeneration

ObjectiveReticular pseudodrusen (RPD), a key feature of age-related macular degeneration (AMD), are poorly detected by human experts on standard color fundus photography (CFP) and typically require advanced imaging modalities such as fundus autofluorescence (FAF). The objective was to develop and evaluate the performance of a novel multimodal, multitask, multiattention (M3) deep learning framework on RPD detection.Materials and MethodsA deep learning framework (M3) was developed to detect RPD presence accurately using CFP alone, FAF alone, or both, employing >8000 CFP-FAF image pairs obtained prospectively (Age-Related Eye Disease Study 2). The M3 framework includes multimodal (detection from single or multiple image modalities), multitask (training different tasks simultaneously to improve generalizability), and multiattention (improving ensembled feature representation) operation. Performance on RPD detection was compared with state-of-the-art deep learning models and 13 ophthalmologists; performance on detection of 2 other AMD features (geographic atrophy and pigmentary abnormalities) was also evaluated.ResultsFor RPD detection, M3 achieved an area under the receiver-operating characteristic curve (AUROC) of 0.832, 0.931, and 0.933 for CFP alone, FAF alone, and both, respectively. M3 performance on CFP was very substantially superior to human retinal specialists (median F1 score = 0.644 vs 0.350). External validation (the Rotterdam Study) demonstrated high accuracy on CFP alone (AUROC, 0.965). The M3 framework also accurately detected geographic atrophy and pigmentary abnormalities (AUROC, 0.909 and 0.912, respectively), demonstrating its generalizability.ConclusionsThis study demonstrates the successful development, robust evaluation, and external validation of a novel deep learning framework that enables accessible, accurate, and automated AMD diagnosis and prognosis.     

基于级联区域卷积神经网络算法在肾组织病理切片中对肾小球的识别与定位

目的 基于级联区域卷积神经网络(cascade R-CNN)算法开发一种能自动识别肾组织病理切片图像中肾小球的人工智能(AI)系统,帮助病理医师提高计算肾小球个数与识别肾小球的效率.方法 收集2017-2019年3年内在山西医科大学第二医院和山西医科大学附属人民医院行肾穿刺活检术患者的肾脏病理切片,剔除模糊不清、染色质量差的图像,最终得到1 180张质量无明显差异的六胺银(PASM)染色图像.通过高分辨率全视野数字切片(WSI)获得数字化扫描图像,图像数据通过远程病理系统传输到云端并储存.使用cascade R-CNN方法创建训练集(940张图像)和测试集(240张图像),训练集用于训练AI学习识别肾小球,测试集用于测试和评价cascade R-CNN算法识别出肾小球的精确度和召回率.将测试集的病理切片由3名工作年限至少3年的病理医师阅读,计算医师们识别肾小球的精确度与时间.结果 基于cascade R-CNN网络训练完成的深度学习模型识别每张图像肾小球区域时间为(0.20±0.02)s.精确度、召回率分别为93.90％、98.00％,F1值为95.91％.3名病理医师识别每张图像肾小球区域时间分别为(3.57±0.05)、(4.57±0.07)、(3.98±0.02)s,精确度分别为88.08％、89.69％、89.98％,差异均无统计学意义(P均＞0.05).cascade R-CNN算法识别肾小球的精确度高于3名病理医师的平均精确度(89.25％),差异有统计学意义(t=-5.607,P=0.009).结论 cascade R-CNN算法通过高分辨率WSI可快速有效地识别肾小球,能够帮助病理医师提高肾脏疾病的诊断效率.     

癫痫发作预测模型：斯托克韦尔变换的生成对抗与长短时记忆网络半监督方法

目的 提出一种半监督癫痫发作预测模型（ST-WGAN-GP-Bi-LSTM预测模型）,从脑电（EEG）信号的时频分析、无监督特征模型稳定性以及后端分类器设计三个方面提升发作预测性能。方法 对癫痫EEG信号进行斯托克韦尔变换（ST变换）得到时频输入,通过自适应调节分辨率和保留绝对相位,定位癫痫EEG信号的时频成分;当生成数据分布和真实EEG数据分布无重叠时,为了避免JS散度均为常数而导致特征学习失效的问题,采用Wasserstein生成对抗网络作为特征学习模型,以EM距离结合梯度惩罚策略（WGAN-GP）引导的代价函数,约束模型的无监督训练过程,进而生成高阶特征提取器;构建基于双向长短时记忆网络（Bi-LSTM）的时序预测模型,在获取高阶EEG时频特征间时序相关性基础上提升癫痫分类（预测）性能。利用公开数据集CHB-MIT头皮脑电数据集对本文提出的ST-WGAN-GP-Bi-LSTM预测模型进行评估。结果 本文的ST-WGAN-GP-BiLSTM预测模型在AUC、灵敏度和特异性指标上分别达到90.40%,83.62%和86.69%。与现有半监督方法相比,将原有的性能指标分别提升17.77...     

深度学习图像分割算法在胃癌病理切片中的可行性分析

目的 采用基于深度学习的胃癌病理切片分割算法实现对癌症区域的识别。方法 以U-Net网络为基本架构设计更深层次的胃癌病理切片分割算法模型Deeper U-Net （DU-Net）。采用区域重叠分割法将数据集分割成若干小块图片,然后利用预先训练好的DU-Net网络模型对分割的小图片块进行初次分割,并使用图片分类器清除假阳性样本,重新合成新样本。采用重复学习的方法使用新样本进行多次重复训练,将得到的结果应用全连接条件随机场（CRF）进行后续处理。最终得到胃癌分割图片并验证结果。结果 经过3次重复学习后,DU-Net网络模型的平均精度为91.5%,平均交叉联合度量（IoU）为88.4%;相比于未经重复学习的基础DU-Net模型,其平均精度提升了5.6%,平均IoU提升了2.9%。结论 基于深度学习的胃癌病理切片分割算法实现了精准的分割,提高了模型的泛化能力和鲁棒性,可用于辅助胃癌病理诊断。     

STAN: spatio-temporal attention network for pandemic prediction using real-world evidence

ObjectiveWe aim to develop a hybrid model for earlier and more accurate predictions for the number of infected cases in pandemics by (1) using patients’ claims data from different counties and states that capture local disease status and medical resource utilization; (2) utilizing demographic similarity and geographical proximity between locations; and (3) integrating pandemic transmission dynamics into a deep learning model.Materials and MethodsWe proposed a spatio-temporal attention network (STAN) for pandemic prediction. It uses a graph attention network to capture spatio-temporal trends of disease dynamics and to predict the number of cases for a fixed number of days into the future. We also designed a dynamics-based loss term for enhancing long-term predictions. STAN was tested using both real-world patient claims data and COVID-19 statistics over time across US counties.ResultsSTAN outperforms traditional epidemiological models such as susceptible-infectious-recovered (SIR), susceptible-exposed-infectious-recovered (SEIR), and deep learning models on both long-term and short-term predictions, achieving up to 87% reduction in mean squared error compared to the best baseline prediction model.ConclusionsBy combining information from real-world claims data and disease case counts data, STAN can better predict disease status and medical resource utilization.     

深度学习技术在疾病诊断中的应用

深度学习技术的迅猛发展为辅助医师进行高精度的疾病诊断提供了新的方法和思路。本文综述了医学疾病诊断领域常用的深度学习模型,即卷积神经网络、深度信念网络、受限玻尔兹曼机和循环神经网络模型的原理及特点;然后从肺癌、乳腺癌、糖尿病视网膜病变等几种典型的疾病出发,介绍了深度学习技术在疾病诊断领域的应用;最后基于目前深度学习技术在疾病诊断中的局限性提出了未来发展方向。