基于预训练模型的药物不良事件抽取方法研究

目的/意义 研究医学文本药物不良事件数据抽取方法,为临床用药风险管理和科学决策提供支持。方法/过程 基于预训练模型,结合实体识别和关系抽取两个子任务的关联性,设计面向药物不良事件监测的实体关系联合抽取方法。结果/结论 在公开药物不良事件抽取数据集上的实验表明,该方法优于已有方法,能够有效地从医学文本中提取药物不良事件信息及其关系,为药物不良事件的发现与监测提供有力手段。     

融合汉字部首的BERT-BiLSTM-CRF中医医案命名实体识别模型

目的/意义 研究提取中医医案中医疗术语的方法,实现医案自动结构化,为医案知识发现提供结构化数据。方法/过程 提出一种BERT结合长短期记忆人工神经网络、条件随机场和部首特征的深度学习命名实体识别模型,在BERT词向量中嵌入汉字部首,采用双向长短期记忆人工神经网络提取实体特征,使用条件随机场进行序列预测。将人工标注的400份共计5万余字的医案按照3∶1划分为训练集和测试集,使用该模型识别中医医案中的身体部位、药物、症状、疾病4类命名实体。结果/结论 该模型在测试集F1值为84.81%,优于其他未嵌入部首的模型,表明该模型能够更有效地识别中医医案中的命名实体,更好地结构化医案。     

基于医学大数据的预训练语言模型及其医学文本分类研究

目的:构建基于医学文本的预训练语言模型,以解决基于通用语料的预训练语言模型不适应医学文本分类的问题。方法:使用PubMed医学论文摘要数据和PMC医学论文全文数据在通用预训练语言模型Bert上进行二次预训练,得到医学领域的预训练语言模型BioBert,使用标注好的文本数据对BioBert进行微调,得到最终的医学文本分类模型。结果:病历文本和医学论文摘要文本两个数据集的分类实验显示,经过医学文本二次预训练的预训练语言模型在两个数据集上都取得了较好的分类效果。结论:通过自训练的方式对大量医学文本进行预训练得到的医学领域预训练语言模型,能在一定程度上解决使用通用预训练语言模型无法很好适配医学文本分布而导致分类性能偏低的问题。     

中医数字辨证配套医案智能采集与分析系统构建研究

中医数字辨证是中医智能辅助诊断的核心,辨证模型的质量直接影响辨证的准确度和效率。为了建立中医数字辨证模型并验证其准确度,需要准备大量的配套医案。根据中医数字辨证模型对医案的需求,设计了中医数字辨证配套医案智能采集与分析系统,利用人工智能技术和Python编程技术实现了医案采集、医案展示、医案检索、数据统计分析及可视化等功能,有助于快速采集并筛选出符合条件的中医医案,提高中医数字辨证模型的创建效率和质量。     

中医名医医案分析系统研究

目的:通过建立"中医名医医案分析系统",密切结合临床需求,通过对名医临床病案的信息抽取和数据挖掘,为临床医生提供针对性的知识服务。方法:"中医名医医案分析系统"分为名医信息管理模块、临床医案导入模块、数据标准化模块、医案数据管理模块、医案数据分析模块和数据字典管理模块六个模块。结果:该系统可通过导入名医经验案例,对其进行管理、规范化处理和数据分析。结论:"中医名医医案分析系统"能够辅助中医名医经验研究和学习传承,但在术语研究和指导临床实践方面尚存在一定的问题。需要继续探索符合中医临床特点的中医临床病案术语系统,以支持名医经验研究。     

基于共享编码策略的医学对话阴阳性判别系统

介绍临床发现阴阳性判别任务研究现状,提出一种基于预训练模型的临床发现阴阳性判别系统,详细阐述系统构建方法,分析实验结果,该方法在2021年度中国健康信息处理大会(CHIP 2021)医学对话临床发现阴阳性判别任务的测试集上模型集成Macro-F1值达77.87%。     

基于古今医案云平台分析中医治疗骨质疏松症的治疗规律

目的 探索中医医案文本术语识别与抽取的方法,系统地总结分析中医治疗骨质疏松症的治疗规律。方法 基于湖南省中医药研究院中医药传承创新知识共享平台所收集的中医治疗骨质疏松症的医案文本,运用Python 3.7软件实现医案文本术语自动化抽取和分类,并形成结构化数据,最后通过古今医案云平台进行数据分析。结果 共收集得到447篇中医治疗骨质疏松症的医案,从医案中共标注1812个实体,其中症状179项、脉象20项、穴位10项、中医证候12项、治法27项、中药279项,最常见的证型、治法、中药分别是肝肾阴虚证、补肾和杜仲。结论 运用古今医案云平台,对形成的结构化数据进行分析,为中医医案文本研究提供了新的手段,并发现了杜仲、肉苁蓉和菟丝子的不同配伍规律,为中医治疗骨质疏松症的现状提供了有价值的信息。     

基于预训练语言模型的中文专利自动分类研究

目的：支撑大规模中文专利精准自动分类工作,利用改进中文专利文本表示的预训练语言模型实现专利的自动分类。方法：基于中文预训练语言模型RoBERTa,在大规模中文发明专利语料上分别使用单字遮盖策略和全词遮盖策略遮盖语言模型任务进行迁移学习,得到改进中文专利文本表示的RoBERTa模型（ZL-RoBERTa）和RoBERTa-wwm模型（ZL-RoBERTa-wwm）;将模型应用到专利文本分类任务中进行实验研究,并与典型深度学习模型（Word2Vec+BiGRU+ATT+TextCNN）和当前先进的预训练语言模型BERT、RoBERTa进行对比分析。结果：基于ZL-RoBERTa和ZL-RoBERTa-wwm的中文专利自动分类模型在专利文本分类任务上的分类精准率/召回率/F1值更为突出。结论：改进文本表示的中文专利预训练语言模型用于专利文本分类具有更优效果,这为后续专利情报工作中应用预训练模型提供了模型基础。     

基于临床需求的中医数字化医案研究

目的：探索加强中医数字化医案的建设方法。方法：探析临床医案需求现状,从智能检索网络系统构建和医案相似数据应用研究两方面,展示研发医案相似计算模型的临床辅助价值。结果：智能检索系统实现医案相似数据应用,提高中医医案信息利用价值。结论：中医医案数据库及智能检索系统对临床辅助决策具有一定价值。     

肾小球超微结构分割算法:基于区域级对比学习的深度模型

目的 为了提高深度模型对电子显微镜图像中肾小球超微结构的分割性能,提出了一种基于超微结构语义相似性的区域级自监督对比学习方法USRegCon。方法 USRegCon使用大量无标记数据对模型进行预训练,该预训练过程包括3个步骤：（1）模型对图像中超微结构信息进行编码和解码,并根据超微结构的语义相似性自适应地将图像划分为多个区域;（2）依据所划分的区域,使用区域池化操作提取出每个区域的一阶灰度区域表示和深度语义区域表示;（3）对于一阶灰度区域表示,构建了灰度损失函数,目标为最小化区域内的灰度差异和最大化区域间的灰度差异。对于深度语义区域表示,构建了语义损失函数,目标为最大化表示空间中正区域对的相似性和负区域对的差异性。这两个损失函数将联合对模型进行预训练。结果 基于私有数据集GlomEM,USRegCon在肾小球滤过屏障三层超微结构的分割任务中,对基底膜、内皮细胞和足细胞均获得了良好的分割结果,Dice系数分别为85.69±0.13%、74.59±0.13%和78.57±0.16%。该结果优于现有的多种图像级、像素级和区域级自监督对比学习方法,并逼近基于大规模标记数据集ImageNet的全...     

Medical Knowledge Extraction and Analysis from Electronic Medical Records Using Deep Learning

Objectives Medical knowledge extraction (MKE) plays a key role in natural language processing (NLP) research in electronic medical records (EMR), which are the important digital carriers for recording medical activities of patients. Named entity recognition (NER) and medical relation extraction (MRE) are two basic tasks of MKE. This study aims to improve the recognition accuracy of these two tasks by exploring deep learning methods.Methods This study discussed and built two application scenes of bidirectional long short-term memory combined conditional random field (BiLSTM-CRF) model for NER and MRE tasks. In the data preprocessing of both tasks, a GloVe word embedding model was used to vectorize words. In the NER task, a sequence labeling strategy was used to classify each word tag by the joint probability distribution through the CRF layer. In the MRE task, the medical entity relation category was predicted by transforming the classification problem of a single entity into a sequence classification problem and linking the feature combinations between entities also through the CRF layer.Results Through the validation on the I2B2 2010 public dataset, the BiLSTM-CRF models built in this study got much better results than the baseline methods in the two tasks, where the F1-measure was up to 0.88 in NER task and 0.78 in MRE task. Moreover, the model converged faster and avoided problems such as overfitting.Conclusion This study proved the good performance of deep learning on medical knowledge extraction. It also verified the feasibility of the BiLSTM-CRF model in different application scenarios, laying the foundation for the subsequent work in the EMR field.     

基于ERNIE-BiGRU-Attention-CRF的电子病历命名实体识别方法

目的/意义 改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程 构建ERNIE-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ERNIE1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获全局语义特征与语法结构特征,通过Attention机制进一步增强语义特征的捕获,最后连接CRF解码层输出全局概率最大的标签序列。结果/结论 在公开的医疗文本数据集CCKS2017开展对比实验、消融实验,利用生成的模型进行实例分析,取得较好的识别效果。     

中医诊治高血压医疗实体提取问题研究

提出一种基于三元组信息抽取策略的新型实体提取模型,以解决传统命名实体识别方法应用于高血压中医电子病历医疗实体识别时出现的实体离散问题,阐述实验数据集及相关处理、实验方法与结果,为中医医疗实体自动化抽取提供方法学参考。     

基于卒中患者出院小结的协变量提取方法研究

目的 针对缺血性脑卒中这一发病率高、预后差的疾病,应用自然语言处理技术从患者出院小结中进行文本数据挖掘,并通过Python编程语言将非结构化的文本数据转换成供后续统计分析的结构化数据库.方法 利用缺血性脑卒中患者出院小结资料,构建基于知识增强的语义表示模型(ERNIE)+神经网络+条件随机场的命名实体识别模型,进行疾病、药物、手术、影像学检查、症状5种医疗命名实体的识别,提取实体构建半结构化数据库.为了进一步从半结构化数据库中提取出结构化数据,构建基于ERNIE的孪生文本相似度匹配模型,评价指标为准确率,采用最优模型构建协变量提取器.结果 命名实体识别模型总体F1值为90.27％,其中疾病F1值为88.41％,药物F1值为91.03％,影像学检查F1值为87.71％,手术F1值为87.07％,症状F1值为96.59％.文本相似度匹配模型的总体准确率为99.11％.结论 通过自然语言处理技术,实现了从完全的非结构化数据到半结构化数据再到结构化数据的构建流程,与人工阅读病历并手动提取病历信息相比,极大提高了数据库构建的效率.     

深度学习基础上的中医实体抽取方法研究

介绍命名实体识别及模型应用研究情况,以中医典籍作为数据源,采用深度学习方法,进行中医疾病、方剂、中草药等实体抽取,设计BiLSTM-CRF序列标注模型,构建中医典籍实验语料进行实验,结果表明该模型算法具有高度准确性。     

ChatGPT:研究进展、模型创新及医学信息研究应用场景优化

目的/意义 梳理分析ChatGPT训练流程与理论模型,为医学研究提供参考借鉴。 方法/过程 系统梳理2018年以来GPT-1发布至今相关模型和流程文献资料,分析ChatGPT核心流程、理论模型及其创新点。根据现有资料分析ChatGPT预训练监督、自动评估以及强化学习近端策略优化(proximal policy optimization,PPO)模型3个层次技术构成。结合医学研究需求,分析人工智能技术面向医学信息领域应用的优化方向。 结果/结论 ChatGPT技术应用的突破是流程、算法和模型有效组合和不断迭代累积的结果,其模型及研究方法可以应用于医学文献自动化阅读与知识提取、基因研究与疾病风险评估等方面。     

基于中文医药文本的实体识别和图谱构建

知识图谱技术促进了新药研发的进展,但国内研究起点晚且领域知识多以文本形式存储,图谱重用率低。因此,本研究基于多源异构的医药文本,设计了以Bert-wwm-ext预训练模型为基础,并融合级联思想的中文命名实体识别模型,从而减少了传统单次分类的复杂度,进一步提高了文本识别的效率。实验结果显示,该模型在自建的训练语料上的F1分数达0.903,精确率达89.2%,召回率达91.5%。同时,将模型应用于公开数据集CCKS2019上,结果显示该模型能够更好地识别中文文本中的医疗实体。最后,利用此模型构建了一个中文医药知识图谱,图谱包含13 530个实体,10 939个属性,以及39 247个相关关系。本研究所提出的中文医药实体识别与图谱构建方法,有望助力研究者加快医药知识新发现,从而缩短新药研发进程。     

中医诊断技术发展及四诊信息融合研究

近20余年来,中医诊断技术取得了突破性进展,在舌诊、面诊、声诊、嗅诊、问诊、脉诊客观化信息采集设备和数据处理软件方面成果丰硕,并开展了相应的临床研究,但在诊断技术及指标的规范化方面尚处于起步阶段,目前仅出台舌诊仪相关国际标准1项、中医脉诊压力传感器国际标准1项。随着计算机信息处理技术在中医领域的深入渗透,模式识别方法在四诊信息融合中得到应用和发展,四诊合参辅助诊疗及中医四诊检测系统的研发,建立了更适合中医思维的辨证模型和人工智能识别平台;未来,借助物联网技术、云平台技术、可穿戴技术,四诊信息采集设备必将向小型化、可穿戴式发展,并可研发中医诊疗机器人,以期在中医临床及各级医疗平台、慢性病管理、健康风险评估等方面发挥更大的作用。