基于预训练语言模型的中文专利自动分类研究

目的：支撑大规模中文专利精准自动分类工作,利用改进中文专利文本表示的预训练语言模型实现专利的自动分类。方法：基于中文预训练语言模型RoBERTa,在大规模中文发明专利语料上分别使用单字遮盖策略和全词遮盖策略遮盖语言模型任务进行迁移学习,得到改进中文专利文本表示的RoBERTa模型（ZL-RoBERTa）和RoBERTa-wwm模型（ZL-RoBERTa-wwm）;将模型应用到专利文本分类任务中进行实验研究,并与典型深度学习模型（Word2Vec+BiGRU+ATT+TextCNN）和当前先进的预训练语言模型BERT、RoBERTa进行对比分析。结果：基于ZL-RoBERTa和ZL-RoBERTa-wwm的中文专利自动分类模型在专利文本分类任务上的分类精准率/召回率/F1值更为突出。结论：改进文本表示的中文专利预训练语言模型用于专利文本分类具有更优效果,这为后续专利情报工作中应用预训练模型提供了模型基础。     

基于预训练语言模型的公众健康问句分类

以“公众健康问句分类”任务算法评测大赛参赛项目为例,阐述通过对开源标注数据进行训练提升模型对公众健康问句识别能力的方法,包括模型构建方法、数据描述与预处理、模型算法等,为相关研究提供参考。     

基于临床病历预训练语言模型的病历文本纠错探索

电子病历文本中存在错别字既不符合国家电子病历管理规范,又降低了自然语言处理技术的效果,影响了电子病历的价值挖掘与应用。阐述了一种基于在大量真实病历语料上训练出的预训练语言模型进行自动纠错的方法。实验证明,该方法在仿真数据集和真实病历数据集上检错和纠错都取得了很好的效果,运行效率很高,可以支持事中和事后的电子病历纠错,有效提升电子病历质量,推动电子病历的应用。     

基于预训练模型的药物不良事件抽取方法研究

目的/意义 研究医学文本药物不良事件数据抽取方法,为临床用药风险管理和科学决策提供支持。方法/过程 基于预训练模型,结合实体识别和关系抽取两个子任务的关联性,设计面向药物不良事件监测的实体关系联合抽取方法。结果/结论 在公开药物不良事件抽取数据集上的实验表明,该方法优于已有方法,能够有效地从医学文本中提取药物不良事件信息及其关系,为药物不良事件的发现与监测提供有力手段。     

精准医学大数据应用安全分类分级研究

应用文献研究法、线面混合分类法划分精准医学大数据用户角色、应用场景,详细阐述划分方法及结果,指出精准医学背景下基于不同角色、不同应用场景的数据分类分级思路,为精准医学大数据标准化体系构建和安全隐私保护相关研究提供新方向。     

预训练词嵌入技术的演化与算法

目的:探究预训练词嵌入技术的重要性和主要演化路径,剖析其路径上的主流算法.方法:利用知识图谱分析预训练语言模型的基础知识及预训练词嵌入技术演化的关键路径,从算法角度分析其路径上代表性模型的内涵和优缺点.结果:词嵌入技术作为预训练语言模型的主要知识基础之一,包含Word2Vec、LSTM、Bi-LSTM和BERT等研究热...     

TcmYiAnBERT:基于无监督学习的中医医案预训练模型

目的/意义 充分挖掘中医医案中的文本信息,提高中医药信息化程度和中医医案症状术语抽取、关系抽取等下游任务的准确率。方法/过程 通过光学字符识别和爬虫技术获取大量中医医案数据并进行预处理,构建面向中医医案领域预训练数据集,使用BERT模型预训练方法,经过多轮训练得到首个面向中医领域专有预训练模型TcmYiAnBERT,并将该模型开源。结果/结论 中医领域专有预训练模型TcmYiAnBERT在中医命名实体识别任务中比未使用该模型的预训练模型F1值提高2.8个百分点。     

利用文本分类技术研究方剂分类

目的:借助现代化的工具和手段,批量处理中医方剂信息,发现方剂的类别及内在联系。方法:利用计算机自然语言处理领域的知识,基于文本分类算法,计算方剂相似度,为研究中医方剂提供有用信息。结果:KNN分类器可以在方剂分类中取得预期效果。     

基于深度学习的生物医学文本分类研究

目的：探索基于深度学习的文本分类方法在生物医学文本的学科分类中是否具有更好的分类性能。方法：以中国医院科技量值研究中累积的神经病学科、消化病学科、肿瘤学科的SCI论文为数据来源,分别训练并测试CNN、LSTM、LSTM-CNN、LSTM-attention及SVM模型并评估其性能。结果：5类模型中,双层CNN模型的分类性能最好,CNN、LSTM、LSTM-CNN和LSTM-attention模型的分类性能均优于SVM模型。结论：基于深度学习的文本分类方法可提高生物医学文本的学科分类精度,推动医院评价和学科评估的发展。     

有创性仿生医学训练模型的研制与运用研究

随着"执业医师法"的颁布及"以病人为中心"的医疗理念形成,在病人身上"实习"必将成为历史,医学模拟教学成为常用的教学模式,医学训练模型成为重要的教学载体.文章从研究背景、必要性等方面进行分析,提出研究目标,从有创性医学训练模型组织材料研究出发,为研制良好的有创性教学模型载,为医学教学提供良好的教学载体.     

基于医院大数据的基层医疗机构诊疗决策支持模式

针对目前医疗行业资源分布不均、“看病难、看病贵”的情况,在分析四川省大型卫生信息化建设项目和卫生信息管理的基础上,提出了一种基于医院大数据的对基层医疗机构诊疗决策支持的创新模式（基层“一键通”）,并阐述了基层“一键通”模式的构建,指出了该模式存在的问题。     

医学研究生外语教学自主学习模式的探索与实践

本文阐述了自主学习的含义和重要性,分析了研究生外语学习的研究现状,介绍了哈尔滨医科大学第一临床医学院建立的以研究生自主学习模式为基础的新型外语教学方式所取得的效果,说明在外语教学中,采用多种形式的教学手段,改变教师的传统身份,培养学生自主学习能力,是今后外语教学研究及实践的趋势。     

医学院校"一体两翼"英语教学模式探析

随着世界范围内医学知识的共享和交流的不断扩大,医学院校的英语教学就显得尤为重要。本文以温州医学院2004级临床医学专业学生为对象,通过访谈、问卷调查、教学实践考查等方式,对其英语学习的整体状况进行了研究,旨在针对医学生的特点,建立以大学公共英语为一体,以医学专业英语阅读和医学临床实践英语为两翼的医学院校五年不断线英语教学模式,切实提高医学生的英语应用能力。     

需求驱动的医疗健康大数据挖掘模型构建

将跨行业数据挖掘标准流程模型（简称“CRISP-DM模型”）和需求、数据、数据挖掘方法三者的对应关系相结合构建需求驱动的数据挖掘模型。该模型主要包括需求、数据和数据挖掘方法3个核心概念与需求理解、数据理解、数据准备、建模、评估和部署6个过程步骤，分为需求层、数据层、算法层和部署层4个层次。需求驱动的医疗健康大数据挖掘模型可打破“数据先入为主”的习惯性思维，降低盲目进行数据挖掘研究引发的失败风险。整理需求、数据和数据挖掘方法之间的对应关系，可优化医疗健康大数据挖掘路径，降低数据挖掘新手的学习成本，对临床医疗和健康管理实践都具有现实意义，可用于未来的医疗健康大数据开发策略研究。     

医学一体化情报语言的发展历程及未来前景

以医学一体化情报语言的发展历程为主线,回顾了不同类型的医学一体化情报语言的结构与应用,重点阐述中医药一体化语言系统的创新与突破,并展望医学一体化情报语言系统发展的未来前景.     

医学语言在儿科学临床实习中的应用

本文结合儿科医学语言的特点讨论了医学语言在儿科学临床实习中应用的意义，进而提出为了提高医学生的语言沟通能力，促进医疗服务质量的提高和医患关系的和谐发展，在儿科学临床实习中应用医学语言的几种方法：创造人文气氛，启发开口，善于倾听，履行“八声”，细心观察，学会微笑，善用目光语等。     

医学语言在儿科学临床实习中的应用

本文结合儿科医学语言的特点讨论了医学语言在儿科学临床实习中应用的意义,进而提出为了提高医学生的语言沟通能力,促进医疗服务质量的提高和医患关系的和谐发展,在儿科学临床实习中应用医学语言的几种方法:创造人文气氛,启发开口,善于倾听,履行“八声”,细心观察,学会微笑,善用目光语等。