基于深度学习的白内障识别与分级

目的 利用深度学习方法自动提取眼底白内障特征,构建白内障自动分类器,并可视化分析深度网络中间层特征的逐层变换过程。方法 基于临床眼底图像,使用深度卷积神经网络（CNN）从输入数据的原始表示直接学习有用的特征,对比分析CNN自动提取的特征与预定义特征的性能表现。然后利用反卷积神经网络（DN）量化分析CNN各个中间层的特征,进一步研究输入图像中对CNN的预测贡献最大的像素集,探究CNN表征白内障的具体过程。结果 使用深度学习方法构建的分类器在四分类任务中达到0.818 6的平均准确率。与现有的预定义特征集相比,利用深度CNN自动提取的特征集能提供更好的白内障特征表示。CNN中间层特征呈现从低级抽象到高级抽象的分层变换,如梯度变化到边缘,然后到边缘状发散结构的组合,最后到血管和视神经盘信息的高级抽象,这种变换过程与临床检测白内障的诊断标准相吻合。结论 基于深度学习的分类器在性能表现上优于现有分类器。该方法对检测其他眼病也可能具有潜在的应用前景。     

基于深度学习并行网络模型的心律失常分类方法

目的 提出一种并行神经网络分类方法,以提高对正常搏动、室上性异位搏动、心室异位搏动、融合搏动4种心律失常的分类性能。方法 首先进行心电信号去噪、小尺度心拍和大尺度心拍的分割、数据增强等预处理;然后基于深度学习理论,应用密集连接卷积神经网络改善人工提取波形特征的局限性,并结合双向长短时记忆网络和高效通道注意力网络,以增强提取波形时序特征和重要特征的功能;接着采用并行网络结构,同时输入小尺度心拍和大尺度心拍的的波形特征,以提高心律失常分类的准确性;最后使用Softmax函数实现对心律失常的4分类任务。结果 利用MIT-BIH心律失常数据库和3组实验验证所提方法。多种并行网络模型分类性能对比实验和不同心拍输入方式下,各分类模型性能对比实验得出所提分类模型的总体准确率、平均灵敏度和平均特异性分别达到99.36%、96.08%、99.41%;并行网络分类模型收敛性能分析实验得出分类模型每次训练时间为41 s。结论 并行多网络分类方法在保持较高总体准确率的同时,平均灵敏度、平均特异性以及训练时间均有改善,该方法有望为心律失常临床诊断提供新的技术方案。     

基于特征的深度学习预测化合物-蛋白质相互作用的研究进展

药物研发过程中,化合物-蛋白质相互作用（compound-protein interaction,CPI）预测是发现苗头化合物、药物重定位等研究的关键技术手段。近年来,深度学习被广泛应用于CPI研究,加速了药物发现中CPI预测的发展。本文重点讨论基于特征的 CPI 预测模型,首先,介绍了CPI预测中常见的数据库、化合物和蛋白质的典型特征表示方法。根据建模中的关键问题,从多模态和注意力机制两个方面,对基于特征的CPI预测模型展开论述。在此基础上,选取其中12个模型,在3个经典数据集上评估了模型在分类任务和回归任务中的性能。本文总结当前该领域面临的挑战,对未来的发展方向进行展望,为CPI预测方法进一步研究提供思路。     

STAN: spatio-temporal attention network for pandemic prediction using real-world evidence

ObjectiveWe aim to develop a hybrid model for earlier and more accurate predictions for the number of infected cases in pandemics by (1) using patients’ claims data from different counties and states that capture local disease status and medical resource utilization; (2) utilizing demographic similarity and geographical proximity between locations; and (3) integrating pandemic transmission dynamics into a deep learning model.Materials and MethodsWe proposed a spatio-temporal attention network (STAN) for pandemic prediction. It uses a graph attention network to capture spatio-temporal trends of disease dynamics and to predict the number of cases for a fixed number of days into the future. We also designed a dynamics-based loss term for enhancing long-term predictions. STAN was tested using both real-world patient claims data and COVID-19 statistics over time across US counties.ResultsSTAN outperforms traditional epidemiological models such as susceptible-infectious-recovered (SIR), susceptible-exposed-infectious-recovered (SEIR), and deep learning models on both long-term and short-term predictions, achieving up to 87% reduction in mean squared error compared to the best baseline prediction model.ConclusionsBy combining information from real-world claims data and disease case counts data, STAN can better predict disease status and medical resource utilization.     

基于深度学习和多种机器学习算法预测人体细胞色素P450抑制剂活性

人体细胞色素P450（CYP）受到抑制会导致药物-药物相互作用,从而产生严重的不良反应。因此,准确预测给定化合物对特定CYP亚型的抑制能力至关重要。本研究基于不同的分子表征,比较了11种机器学习方法和2种深度学习模型,实验结果表明,基于RDKit_2d + Morgan的CatBoost机器学习模型在准确率和马修斯系数方面优于其他模型,甚至优于先前发表的模型。此外,实验结果还显示,CatBoost模型不仅性能佳,而且计算资源消耗较低。最后,本文将表现较好的前3名模型结合为co_model,其在性能方面稍微优于单独使用CatBoost模型。     

基于动态增强磁共振成像的影像组学和不同CNN的深度学习对乳腺良恶性病变的诊断价值

目的：探讨基于动态增强磁共振成像（DCE-MRI）的影像组学和深度学习对乳腺良恶性病变的诊断价值。方法：选取2017年1月至2018年6月经手术或穿刺病理证实的乳腺恶性病变患者93例、良性59例。所有患者均术前行乳腺MRI平扫及增强检查。通过计算获得早期流入信号增强比、最大增强信号比和流出斜率相对应的参数图。采用基于纹理和强度直方图的影像组学分析和5个卷积神经元网络（CNN）模型（ResNet50、VGG16、VGG19、Xception和InceptionV3）的深度学习进行诊断分析,并采用包含不同量肿瘤周围组织的五种不同输入边界框分析。结果：影像组学的诊断准确度均值为80%。不同输入边界框的ResNet50模型中,含少量肿瘤周围组织的最小边界框诊断效能最高,高于1.5倍和2.0倍边界框分析（均P＜0.01）;ResNet50（93%）、Xcep-tion（94%）和InceptionV3（93%）的准确度高于VGG16（80%）和VGG19（79%）（均P＜0.01）。结论：深度学习对乳腺良恶性病灶的诊断效能优于影像组学,含少量肿瘤周围组织分析的诊断效能高于仅包含肿瘤组织和包含较多肿瘤周围组织。     

基于深度学习的4种肺部超声征象分类

目的　探究基于残差卷积神经网络ResNet152对4种常见肺部超声征象的分类。方法　前瞻性收集了2020年6－9月在上海市肺科医院超声科进行超声检查的患者的超声图像,分别采集A线、B线、胸腔积液、肺实变的肺部超声图像各1 500张。选择其中清晰、未被骨骼遮挡、征象单一的图像,最终入选A线图像1 388张、B线图像1 375张、胸腔积液图像1 384张、肺实变图像1 398张。采用深度残差网络ResNet152进行分类模型的训练和验证,并在完全独立于训练集和验证集的测试集上测试模型的泛化能力。以精确率、准确度、特异度、召回率和F1指数评价深度分类模型的分类性能,并通过混淆矩阵直观地展示分类结果。结果　基于深度残差网络的分类模型分类A线、B线、胸腔积液和肺实变4种征象的精确率分别为97.51%、87.31%、85.42%、93.70%,召回率分别为90.38%、86.97%、94.25%、91.18%。4种肺征象的整体分类精确率为90.99%,准确度为90.70%,特异度为96.85%,F1指数为90.50%,表现出优秀的分类特性。结论　基于深度残差网络的肺部超声分类模型表现出较高的分类特性,有潜力辅助超声医师做出诊断。     

深度学习技术在重症监护室患者住院死亡风险预测中的应用

目的运用深度学习方法构建ICU患者住院死亡风险智能化预测模型,并将该模型与ICU患者中普遍使用的简化急性生理评分(SAPS-II)进行预测性能比较。方法采用深度学习算法建立一种智能化的死亡风险预测模型,使用十二折交叉验证法对模型性能进行比较,选取准确率、灵敏度、特异度、约登指数、召回率等5种评价指标。结果实验结果显示,基于深度学习模型的方法比SAPS-Ⅱ在准确率、灵敏度、特异度、约登指数和召回率上分别提高1.77%、1.02%、0.49%、0.15%和1.10%。结论针对ICU患者住院死亡风险数据的非线性、复杂性和无规律性,深度学习模型比SAPS-Ⅱ表现出更好的泛化能力,具有更高的准确率,更适合对ICU患者住院死亡风险进行预测,可为医院的智能化预测提供了一种新的方向。     

基于迁移学习的全连接神经网络舌象分类方法

目的 针对深度学习在舌象分类中训练数据量大、训练设备要求高、训练时间长等问题,提出一种基于迁移学习的全连接神经网络小样本舌象分类方法。方法 应用经ImageNet海量数据集训练后的卷积Inception_v3网络提取舌象点、线等有效特征,再使用全连接神经网络对特征进行训练分类,将深度学习网络学习到的图像知识迁移到舌象识别任务中。利用舌象数据集进行训练、测试。结果 与典型舌象分类方法K最近邻（KNN）算法、支持向量机（SVM）算法和卷积神经网络（CNN）深度学习方法相比,本实验使用的两种方法（Inception_v3+2NN和Inception_v3+3NN）具有较高的舌象分类识别率,准确率分别达90.30%和93.98%,且样本训练时间明显缩短。结论 与KNN算法、SVM算法和CNN深度学习方法相比,基于迁移学习的全连接神经网络舌象分类方法可有效提高舌象分类的准确率、缩短网络的训练时间。     

基于深度学习算法人工智能肺癌病理诊断模型的开发和应用

目的 基于深度学习算法开发一种能够分析肺组织病理切片并实时给出辅助诊断的人工智能模型。 方法 回顾性收集2019年7月至2020年2月于上海市同济医院胸外科、呼吸科及上海市肺科医院超声科通过手术或活检获得肺部病变组织标本患者的资料,选取苏木精-伊红法染色的病理切片952例,其中鳞癌254例（26.68%）、腺癌278例（29.2%）、其他恶性肿瘤47例（4.94%）、良性病变373例（39.18%）。依据疾病类型将切片分层随机采样,并按照50%:30%:20%的比例分入训练集、验证集和测试集。在训练集的每张切片中随机截取10张400倍放大的单视野图像,用于YOLO v3和Google Inception v3网络的训练,分别开发良恶性区域分割模块和病理亚型分类模块,最终构成双模块并联的人工智能模型。采用同样的方式在验证集中截取单视野图像,用于模型与病理医生的诊断能力对比。在真实的病理科工作环境中,请一位医生借助人工智能模型,另一位医生使用传统方法诊断测试集中的病理切片,对比诊断结果。 结果 在验证集中,模型的良恶性鉴别敏感性（100% vs 99.65%,卡方= 4.167,P = 0.031 > 0.05）优于医生,病理亚型分类准确率（95.52% vs 94.30%,卡方= 3.422,P=0.064 > 0.05）与医生相当,但分割区域与金标准的重叠率（92.72 ± 12.75% vs 95.42 ± 6.99%,t = 7.628,P < 0.001）、良恶性鉴别的特异性（97.67% vs 99.31%,卡方= 12.000,P = 0.001 < 0.05）和准确率（99.06% vs 99.51%,?2=4.364,P = 0.037 < 0.05）都低于医生。在测试集中,两位医生在良恶性鉴别准确率（100% vs 99.47%,卡方< 0.001,P > 0.999）和病理亚型分类准确率（94.87% vs 90.6%,卡方= 1.778,P = 0.180）方面都未显示出显著的统计学差异,但使用人工智能模型辅助的医生诊断用时显著缩短（12.53 ± 10.93s vs 79.95 ± 40.02s,t = 28.939,P < 0.001）。 结论 基于深度学习算法的人工智能肺癌病理诊断模型能够协助医生快速分析苏木精-伊红法染色的肺组织病理切片,在不降低准确率的前提下,有效提高敏感性和工作效率。     

深度学习在影像医学应用中的初步研究进展

 深度学习方法是当前图像处理领域的首选方法之一,但由于该方法需要大量高质量标记的图像数据作为模型的训练样本,很难直接应用在医学影像学领域。本文简述了深度学习方法的原理及其在医学影像学领域的研究现状,着重讨论了制约这一方法在医学影像学领域运用的影响因素,并简要讨论了可能的解决方法。     

深度卷积神经网络技术自动诊断肋骨骨折的CT应用初探

目的:探讨深度卷积神经网络（DCNN）模型在胸部CT图像上对肋骨骨折自动定位和诊断的作用。方法:回顾性纳入2 300例因胸外伤于门急诊初诊、行胸部CT检查的患者图像,其中300例为测试集。应用分割网络、关键点检测网络和骨折检测网络建立DCNN模型,对肋骨骨折定位和诊断进行训练和验证。以高年资医师诊断为金标准,应用?字2分割检验和单因素方差分析比较低年资医师、DCNN模型和在DCNN模型辅助下的低年资医师诊断肋骨骨折的精确率、召回率、F1-score和诊断用时。统计DCNN模型诊断的假阳性和假阴性病例数量。结果:在300例测试集胸部CT图像中,共发现797处肋骨骨折,DCNN模型有22例假阳性病例和62例假阴性病例。低年资医师、DCNN模型和在DCNN模型辅助下的低年资医师诊断肋骨骨折的精确率（χ2=8.85,P=0.012）和召回率（χ2=43.2,P＜0.001）有明显差别。低年资医师诊断肋骨骨折的精确率（94.2%）低于DCNN模型（97.1%）,在DCNN模型辅助下,低年资医师诊断的精确率有所增加（96.4%）,DCNN模型和在DCNN模型辅助下低年资医师诊断的精确率无明显差别（96.4%）。低年资医师诊断肋骨骨折的召回率（84.8%）低于DCNN模型（92.2%）,在DCNN模型辅助下医师诊断的召回率明显升高（94.0%）。低年资医师的诊断用时平均为（155.0±31.9）s,而DCNN模型诊断肋骨骨折仅需（4.8±1.4）s,在DCNN模型辅助下医师诊断用时可缩短至（40.6±7.0）s,三者有明显差别（F=328.1,P＜0.001）。结论:DCNN模型在胸部CT图像上可准确定位、诊断肋骨骨折,显著缩短诊断用时,减少漏诊、误诊率。     

External and Internal Validation of a Computer Assisted Diagnostic Model for Detecting Multi-Organ Mass Lesions in CT images

Objective We developed a universal lesion detector (ULDor) which showed good performance in in-lab experiments. The study aims to evaluate the performance and its ability to generalize in clinical setting via both external and internal validation.Methods The ULDor system consists of a convolutional neural network (CNN) trained on around 80K lesion annotations from about 12K CT studies in the DeepLesion dataset and 5 other public organ-specific datasets. During the validation process, the test sets include two parts: the external validation dataset which was comprised of 164 sets of non-contrasted chest and upper abdomen CT scans from a comprehensive hospital, and the internal validation dataset which was comprised of 187 sets of low-dose helical CT scans from the National Lung Screening Trial (NLST). We ran the model on the two test sets to output lesion detection. Three board-certified radiologists read the CT scans and verified the detection results of ULDor. We used positive predictive value (PPV) and sensitivity to evaluate the performance of the model in detecting space-occupying lesions at all extra-pulmonary organs visualized on CT images, including liver, kidney, pancreas, adrenal, spleen, esophagus, thyroid, lymph nodes, body wall, thoracic spine, etc. Results In the external validation, the lesion-level PPV and sensitivity of the model were 57.9％ and 67.0％, respectively. On average, the model detected 2.1 findings per set, and among them, 0.9 were false positives. ULDor worked well for detecting liver lesions, with a PPV of 78.9％ and a sensitivity of 92.7％, followed by kidney, with a PPV of 70.0％ and a sensitivity of 58.3％. In internal validation with NLST test set, ULDor obtained a PPV of 75.3％ and a sensitivity of 52.0％ despite the relatively high noise level of soft tissue on images. Conclusions The performance tests of ULDor with the external real-world data have shown its high effectiveness in multiple-purposed detection for lesions in certain organs. With further optimisation and iterative upgrades, ULDor may be well suited for extensive application to external data.     

基于多维度特征融合的深度学习骨龄评估模型

目的 通过基于特征提取的深度卷积神经网络,结合关键区域特征和人口学信息,评估儿童骨龄。方法 自动识别左手X线图像数据,对图像进行预处理,使用基于深度神经网络的X线图像分析方法,实现左手关节骨龄17个关键区域特征的自动提取,再将骨龄影像特征与临床大数据（人口统计、性别）融合训练骨龄评估模型,测试模型的评估效能。结果 使用基于深度学习的特征区域提取方法比传统图像分析方法可以更好地提取特征信息,结合临床信息从另一维度补充了骨龄发育信息。基于多维度数据特征融合的骨龄评估模型检测得到的骨龄平均绝对误差为0.455,优于传统方法和仅端到端的深度学习方法。结论 相较传统的机器学习特征提取方法,基于特征提取的深度卷积神经网络在骨龄回归模型上有更好的表现,结合人口和性别信息可进一步提升基于图像的骨龄预测准确率。     

基于深度学习模型的我国药品不良反应报告实体关系抽取研究

药品不良反应(adverse drug reaction,ADR)报告作为药品上市后安全评价的主要载体,对药物安全评价研究具有重要的参考价值。本文以深度学习模型中的双向门控循环单元(bidirectional gated recurrent unit,Bi-GRU)结构为基础,引入注意力机制以及字向量与分词向量优化模型,对我国ADR报告中的ADR过程描述部分进行“药品-不良反应”的关系抽取研究。实验结果表明,基于深度学习的实体关系抽取模型在确认不良反应描述中“药品-不良反应”对之间的关系(否认、可能、直接和后处理)的分类任务中达到了很好的性能,最终模型取得87.52%的F值。所提取的信息在辅助ADR报告评价的同时,可进一步运用于特定药物的不良反应统计学研究以及知识库构建等任务中,从而为药物安全性评价研究提供更多的研究手段。     

Identifying risk of opioid use disorder for patients taking opioid medications with deep learning

ObjectiveThe United States is experiencing an opioid epidemic. In recent years, there were more than 10 million opioid misusers aged 12 years or older annually. Identifying patients at high risk of opioid use disorder (OUD) can help to make early clinical interventions to reduce the risk of OUD. Our goal is to develop and evaluate models to predict OUD for patients on opioid medications using electronic health records and deep learning methods. The resulting models help us to better understand OUD, providing new insights on the opioid epidemic. Further, these models provide a foundation for clinical tools to predict OUD before it occurs, permitting early interventions.MethodsElectronic health records of patients who have been prescribed with medications containing active opioid ingredients were extracted from Cerner’s Health Facts database for encounters between January 1, 2008, and December 31, 2017. Long short-term memory models were applied to predict OUD risk based on five recent prior encounters before the target encounter and compared with logistic regression, random forest, decision tree, and dense neural network. Prediction performance was assessed using F1 score, precision, recall, and area under the receiver-operating characteristic curve.ResultsThe long short-term memory (LSTM) model provided promising prediction results which outperformed other methods, with an F1 score of 0.8023 (about 0.016 higher than dense neural network (DNN)) and an area under the receiver-operating characteristic curve (AUROC) of 0.9369 (about 0.145 higher than DNN).ConclusionsLSTM–based sequential deep learning models can accurately predict OUD using a patient’s history of electronic health records, with minimal prior domain knowledge. This tool has the potential to improve clinical decision support for early intervention and prevention to combat the opioid epidemic.     

结合PBL教学模式与传统教学模式的七年制妇产科学教学探讨

加强七年制医学生医学教育是非常重要和必要的。在实际教学工作中,PBL教学模式和传统教学模式各有优缺点。如何将七年制医学生培养成为合格的高素质医学人才,是七年制医学生教学包括妇产科教学的重要课题。结合PBL教学模式与传统教学模式的七年制妇产科教学具有较好的应用前景。人体模型、多媒体教学和网络教学等手段是实施PBL教学的重要途径。     

三维ResNet 网络预测肺腺癌结节亚型的效能及其 稳定性

目的:探究ResNet模型对肺腺癌不同亚型结节的分类表现及稳定性。方法:回顾性收集2014 年2 月—2020 年10 月期 间的364 例肺腺癌结节CT 影像数据,以7∶3 的比例分为训练集和内部测试集,将2020 年4 月到2020 年11 月的58 例结节数 据作为外部测试集。使用基于ResNet的三维卷积神经网络在训练集中进行训练以及调参,并使用内部测试集和外部测试集对 模型的准确性及泛化性进行评估。使用随机中心移动和掩膜处理的方式分别以内部测试集和外部测试集为基础构造新的测试 集,新数据集对模型进行测试验证模型的稳定性。结果:模型在内部测试集AUC 为0.949 1（95%CI:0.910 8～0.987 4）,模型在随 机中心移动以及掩膜处理之后的数据集的AUC 值分别为0.940 4 和0.918 1, 与其差异无统计学意义（P 值分别为0.425 3 和 0.239 3）。在外部测试集中模型AUC 为0.959 6（95%CI:0.901 2～1.000 0）,在用于稳定性测试的随机中心移动以及掩膜处理之 后的数据集中,模型所得AUC 分别为0.948 5和0.947 3,与其同样差异无统计学意义（均P>0.05）。结论:ResNet 模型对肺腺癌 结节亚型有优异的鉴别能力,并且具有一定稳定性。     

Multimodal,multitask, multiattention (M3) deep learning detection of reticular pseudodrusen: Toward automated and accessible classification of age-related macular degeneration

ObjectiveReticular pseudodrusen (RPD), a key feature of age-related macular degeneration (AMD), are poorly detected by human experts on standard color fundus photography (CFP) and typically require advanced imaging modalities such as fundus autofluorescence (FAF). The objective was to develop and evaluate the performance of a novel multimodal, multitask, multiattention (M3) deep learning framework on RPD detection.Materials and MethodsA deep learning framework (M3) was developed to detect RPD presence accurately using CFP alone, FAF alone, or both, employing >8000 CFP-FAF image pairs obtained prospectively (Age-Related Eye Disease Study 2). The M3 framework includes multimodal (detection from single or multiple image modalities), multitask (training different tasks simultaneously to improve generalizability), and multiattention (improving ensembled feature representation) operation. Performance on RPD detection was compared with state-of-the-art deep learning models and 13 ophthalmologists; performance on detection of 2 other AMD features (geographic atrophy and pigmentary abnormalities) was also evaluated.ResultsFor RPD detection, M3 achieved an area under the receiver-operating characteristic curve (AUROC) of 0.832, 0.931, and 0.933 for CFP alone, FAF alone, and both, respectively. M3 performance on CFP was very substantially superior to human retinal specialists (median F1 score = 0.644 vs 0.350). External validation (the Rotterdam Study) demonstrated high accuracy on CFP alone (AUROC, 0.965). The M3 framework also accurately detected geographic atrophy and pigmentary abnormalities (AUROC, 0.909 and 0.912, respectively), demonstrating its generalizability.ConclusionsThis study demonstrates the successful development, robust evaluation, and external validation of a novel deep learning framework that enables accessible, accurate, and automated AMD diagnosis and prognosis.