Faculty Opinions不同评价条件下论文多元评价指标差异性及相关性分析

【目的】 结合论文社会影响力和学术影响力指标,研究Faculty Opinions中不同学科的同行评议指标、评价星级、评价标签之间的差异性和相关性,发掘其中隐含的关联。【方法】 以Faculty Opinions指标为基础,分别获取社会影响力和学术影响力的代表性指标,分别运用非参数独立样本Kruskal-Wallis秩和检验和斯皮尔曼相关性分析方法进行统计分析。【结果】 Faculty Opinions临床实践类研究评价星级相对较低,而基础理论类研究更容易获得较高评价。不同学科按照评价标签和评价星级分组,社会影响力指标和学术影响力指标的分布均具有差异性。同行评议的推荐得分、推荐次数、评价标签和评价星级与社会影响力和学术影响力各指标之间多数呈现低相关或不相关。【结论】 同行评议、社会影响力、学术影响力各类指标对于科技论文的评价结果不尽相同,有必要采取多元化指标从多维度、多范畴、多角度进行综合分析及评价。     

被引频次结合Altmetrics得分、F1000评分用于生物医学论文影响力评价的可行性研究——以2014—2017年Altmetrics Top100论文为例

【目的】 探讨被引频次、Altmetrics得分和F1000评分指标对生物医学论文进行综合评价的可行性,为论文及期刊评价提供参考。【方法】 以2014—2017年Altmetrics Top100论文为研究对象,选择论文发表后3年被引频次、论文发表当年Altmetrics得分和F1000评分分别作为学术影响力、社会影响力和同行评议的代表指标对论文进行评价分析。【结果】 是否OA出版对F1000评分、Altmetrics得分和被引频次影响不显著;F1000评分与被引频次弱相关,Altmetrics得分与F1000评分及被引频次均不相关;大多数论文F1000评分、Altmetrics得分和被引频次结果不一致,标准化后各指标数据直观地反映了论文同行评议、社会影响力以及学术影响力情况。【结论】 F1000评分、Altmetrics得分和被引频次相互独立、互为补充、不可替代,结合使用可以更全面地评价论文及期刊的影响力。     

结合引文内容分析数据的科技期刊影响力评价研究

【目的】参考二维度融合的期刊影响力评价模型,探索利用人工智能引文内容分析平台——Scite.ai所提供的数据,结合传统引文指标开展科技期刊的影响力评价。【方法】以Web of Science数据库中耳鼻喉科学分类下收录的国际期刊为研究对象,对期刊的8项传统引文指标和5项引文内容分析指标,采用归一化处理、相关性分析、信度分析、效度分析和因素分析方法,分析期刊通过传统引文指标表现出来的宏观影响力和通过引文内容分析指标表现出来的微观影响力,最后融合两类影响力得到二维评价结果。【结果】8项传统引文指标之间的正相关性极显著,指标整体的一致性也较高;5项引文内容分析指标中,4项指标之间的正相关性极显著,引文支持型占比指标(Scite Index,SI)与其余4项指标不具有相关性,不适合单独用于期刊影响力评价;两类影响力间的相关性系数为0.492,呈中度正相关,引文内容分析指标可以作为传统引文指标评价体系的有益补充。【结论】由于不具有相关性,Scite.ai所提供的SI指标不适合单独用于期刊影响力评价;利用传统引文指标进行期刊影响力评价时有必要结合Scite.ai平台的其他引文内容分析指标以全面反映期刊的学术质量。     

F1000与传统文献计量学指标的相关性研究

【目的】分析F1000与传统文献计量学指标（总被引频次、期刊影响因子）评价文献的相关性。【方法】以医学信息学和糖尿病为主题,检索2010年发表文献的F1000总分以及文章发表至今的总被引频次和所在期刊的影响因子（IF）,采用Spearman检验分析新的检索方式和计算方式下文章F1000总分与总被引频次、F1000总分与期刊IF的相关性。【结果】2010年发表并被F1000推荐的医学信息学主题的文献共259篇,糖尿病主题的文献共169篇。2个主题文献的F1000总分与总被引频次、F1000总分与期刊IF均呈显著低度正相关（P <0.01）。【结论】F1000与文献计量学指标具有一定的正相关性。F1000与文献计量学指标都有自身的局限性,应将两者相结合进行多维度的评价分析。     

基于归一化影响因子的医院SCI论文评价及学科间比较研究△

目的：从归一化影响因子（Field-Weighted Citation Impact，FWCI）视角对医院SCI论文收录情况进行评价，并探讨不同学科SCI论文的质量差异，以期为医院科研评价和学科建设提供参考。方法：收集某大型三甲公立医院2011-2020年SCI论文收录的相关信息，对论文概况与趋势进行总体描述。对论文的引用评分（CiteScore，CS）、CS百分位、被引次数、期刊影响因子（Journal Impact Factor，JIF）分布情况及其篇均FWCI进行具体分析，采用Spearman分析探讨CS、CS百分位、被引次数、JIF与FWCI之间的相关性；采用Mann-Whitney U检验分析CS、CS百分位、被引次数、JIF在FWCI＜1和FWCI≥1两组间的差异。对不同学科的科研评价情况作代表性案例分析，并采用Kruskal-Wallis检验进行学科间比较。结果：随着CS、被引次数与JIF的逐渐增大，对应的篇均FWCI也逐渐增大；FWCI与CS（r=0.368）、被引次数（r=0.798）、JIF（r=0.336）均正相关，且FWCI≥1组的CS、被引次数、JIF均显著优于FWCI<1组（P < 0.001）。代表性案例分析显示，不同学科间的SCI论文质量存在显著性差异，FWCI更适用于跨学科领域的科研评价且能够指导学科建设与发展。结论：2011-2020年期间，该医院SCI论文收录数量总体呈快速增长趋势，但论文质量和影响力仍需进一步提高。FWCI克服了由于时间积累效应和学科差异导致的偏差，能够为医院科研评价与学科建设提供更加科学的指导。     

媒体报道与我国期刊影响力关系的实证分析——基于科技期刊传播力提升的视角

【目的】 探究媒体报道是否影响以论文被引频次为标志的科技期刊影响力及其影响因素,为我国科技期刊更有效地与媒体合作、提升期刊影响力提供建议。【方法】 分析中国科协“科技期刊与大众媒体面对面”项目的相关数据,运用非参数Mann-Whitney U 检验分析是否向媒体推荐、是否获得媒体报道与论文被引频次之间的关系。【结果】 被期刊推荐给大众媒体的论文的被引频次显著高于未被推荐论文,但被推荐且被媒体报道的论文的被引频次并没有显著高于被推荐但未被报道的论文。【结论】 在我国,媒体报道本身没有增加被报道论文的被引频次,期刊仍需采取更加综合的手段来提升期刊的影响力。     

开放同行评议视角下学术论文同行评议得分与被引频次的关系

【目的】 在开放同行评议的大背景下,探讨会议论文同行评议得分与其被引频次的关系,从而分析同行评议结果与传统文献计量指标在科研评价中的关系,为完善科研评价体系提供一定的参考。【方法】 基于OpenReview平台提供的ICLR会议论文的公开评审数据,将全部论文划分为口头报告、海报展示和拒收论文三类,运用文献计量和统计分析方法探究论文的同行评议得分与被引频次之间的关系。【结果】 三类论文在评审得分和被引频次方面均存在显著差异,同行评议得分与被引频次存在较显著的正相关性。【结论】 同行评议与传统文献计量指标在科研评价方面的一致性较高,但并非相互替代的关系,文献计量指标应是对同行评议的重要补充。科研评价体系应该是建立在定性同行评议的质量评价基础上,融合定量文献计量指标,形成一种主客观相结合的融合评价模式。     

学术期刊评价真义的回归:以文评刊

【目的】 提出“以文评刊”的学术期刊评价方式与实施策略,为优化我国学术期刊评价体系提供参考。【方法】 基于当前以引文为主导的传统学术期刊评价方式存在的现实问题,以体育学术期刊为例,提出“以文评刊”的具体内涵与实施路径。【结果】 新媒体环境下“以文评刊”的实施路径包括:划清体育学术期刊报道内容的学科边界;构建学科专家库和网络评审平台,对论文进行学科共同体内的专家同行评议和读者评论;基于论文质量评议和相关指标结果,对期刊进行年度评价;多元监督,确保评价过程及结果的透明与公平。【结论】 以引文指标为主的评价方式无法真正评价学术期刊的质量;在学术期刊评价实践中不断检验、修正的“以文评刊”的方式,是未来学术期刊评价的发展方向。     

科技期刊的创新性评价指标——期刊颠覆性指数(JDI)及其实证研究

【目的】 构建通过学术创新性而非学术影响力进行期刊评价的新指标——期刊颠覆性指数(Journal Disruption Index,JDI),并进行实证研究。【方法】 选择2016年Web of Science中Virology学科34种期刊中Article类型论文占比≥50%且可在开放引文数据库(the OpenCitations Index of Crossref open DOI-to-DOI citations, COCI)中获取引文关系的22种期刊作为研究对象,分别计算每种期刊的JDI,比较根据JDI和期刊5年累积影响因子(Cumulative Impact Factor for 5 Years,CIF5)、期刊PR6指数(Journal Index for PR6,JIPR6)、期刊论文被引频次平均百分位(Average Percentile in Subject Area,aPSA)排序的差异。分析创新性指标与不同影响力指标之间的相关度。【结果】 基于创新性指标和影响力指标的期刊排序结果存在较大差异:12种(54.5%)期刊JDI排名高于影响力指标排名;17种(77.0%)期刊两类指标排名差≥5。JDI与CIF5、JIPR6、aPSA都呈中度相关,相关度分别为0.486、0.471、-0.448。论文的绝对颠覆指数D_Z与论文累计被引频次(Accumulated Citations,AC)、论文6级百分位数排名(Percentile Ranking with 6 Classifications,PR6)、论文被引频次学科领域百分位(Percentile in Subject Area,PSA)亦呈中度相关,相关度分别为0.593、0.575、-0.593。【结论】 将JDI应用于科技期刊评价能更好地体现期刊载文的学术质量和原创性,较为客观地体现科技期刊的学术水平,有助于推动学术研究、科技期刊、学术评价体系良性发展。     

科技期刊开放式同行评议模式探索

【目的】 同行评议是科技期刊出版过程中至关重要的部分,其重要性已被广泛认可,探索开放式同行评议模式以期为中国科技期刊实现有效的开放式同行评议提供参考。【方法】 在分析同行评议的定义及现有模式基础上,探讨了科技期刊开放式同行评议的优势、劣势、机遇和挑战。【结果】 提出了三类开放式同行评议模式,即完全开放式同行评议、有限开放式同行评议和部分开放式同行评议。【结论】 不同的开放式评议模式具有不同的适宜性,可以很好的实现科技论文评审的透明性和公正性,需要在鼓励专家学者参与、审稿形式标准化、审稿平台建设、编辑能力培养上继续改进。     

开放评议与双盲评议在国际科技期刊质量控制中的价值

【目的】了解国际科技期刊在开放评议和双盲评议方面的实践,探索这两种评议方式的优缺点及对科技期刊质量控制的价值。【方法】对国际科技期刊实行开放评议和双盲评议的案例进行调研,如BMC系列期刊、F1000Research、Nature系列期刊等。【结果】有越来越多的期刊在尝试这两种方式,它们在减少传统单盲评议的偏见方面发挥了一定作用,但也带来了新的问题。【结论】开放评议和双盲评议适合于不同类型的期刊。期刊应根据自身的学科特点、学术定位来选择适合自己的同行评议方式,并在实践中不断评估,对之进行适当的调整。     

医学临床研究论文质量评价指标体系构建

【目的】 构建医学临床研究论文质量评价指标体系,为医学期刊编辑部/审稿人提供详细的审稿标准以控制我国医学期刊的整体学术质量。【方法】 采用文献研究、专家访谈、实证研究和小组讨论等方法,募集、筛选医学临床研究论文质量评价指标,并根据结构维度归类。【结果】 初步构建出医学临床研究论文质量评价指标体系,该指标体系包含具备伦理委员会审查同意批件、试验性研究受试者须签署知情同意书、具备伦理审查申报书、利益冲突声明、研究真实、报告真实、与临床实践的相关性、被二次研究及转化研究等证据(文献)引用、临床研究注册、报告规范、研究设计方案正确、方法学质量、偏倚风险评估、统计学信息完备且统计结果解读正确、基于学科领域的科学问题创新、证据质量等级的提升、方法学创新17项具体评价指标,分为伦理、真实性、实用性、透明性、科学性、创新性6个维度。对每一项评价指标进行术语定义与解读,解释评价方法并明确评审责任人。【结论】 “真实地接近真值”是临床研究论文质量评价的核心。为有效控制我国医学期刊的整体学术质量,应大力推行标准化审稿、提升医学科学编辑的专业能力、建立并运行医学科学编辑资质认证机制。     

高质量的审稿意见与审稿人个体特征的关系——基于对Publons Top Reviewers的实证分析

【目的】 探讨高质量的审稿意见与审稿人个体特征的关系,为科技期刊选择合适的审稿人提供参考。 【方法】 以Publons平台中2018年和2019年Top Reviewers相关信息为数据源,采用标准负二项回归检验高质量审稿意见与审稿人个体特征间的关系。【结果】 经认证的审稿数、编辑经历、出版后同行评议经历与高质量审稿意见的数量有着显著的、稳定的正相关关系。是否为高被引科学家、是否为Publons导师、论文发表数量、是否在任期刊编委会成员、是否曾任编委会成员、未经认证的审稿数与高质量的审稿意见没有稳定的或者没有显著的关系。【结论】 科技期刊可以通过Publons等开放性的同行评议平台,邀请那些审稿数量多、有编辑经历,以及有过出版后同行评议经历的审稿人参与审稿,以提高审稿质量。     

人工智能辅助学术同行评议的应用及分类

【目的】 分析人工智能(Artificial Intelligence, AI)作为辅助工具在学术同行评议中的创新应用,提出未来发展建议。【方法】 首先通过文献调研法和案例分析法,比较国内外AI辅助学术同行评议的应用实践;其次按功能对其进行分类,并阐述其主要支撑算法;最后展望AI在学术同行评议领域的未来发展方向。【结果】 国内方面,AI推荐审稿人功能被应用于基金评审,但AI学术影响力预测功能尚停留在研发阶段;国外方面,除学术不端检测功能外,其他功能的应用均处于起步阶段。按功能不同,AI辅助同行评议可分为投稿审查、审稿人推荐和学术影响力预测3类。其未来发展方向为:评议流程和文本结构的标准化、智能算法的通用化、评议专家库和已发表学术论文数据库的集成化;最终AI将发挥评议主体功能。【结论】 科研机构与学术期刊应积极参与全文文献数据库与全球审稿人数据库等相关数字基础设施建设,加快AI在学术同行评议中的应用,进一步推进该领域的数字化和智能化。     

开放科学趋势下科技期刊的特征及评价研究

【目的】 为开放科学趋势下创新科技期刊评价理论和方法提供参考。【方法】 在对开放科学的内涵以及开放科学环境下科技期刊出版和传播交流特征进行剖析的基础上,分析未来科技期刊评价的发展方向。【结果】 开放科学环境下,科技期刊的出版特征主要表现为:OA出版、数据出版、富媒体出版、增强出版和语义出版、开放同行评议。传播利用特征主要表现为:传播渠道网络化、多媒体化,传播受众社会化、公众化,文献获取和利用无障碍化。开放科学趋势下,科技期刊评价的发展方向为:构建以开放透明为导向的科技期刊评价体系,构建基于论文内容的期刊定性评价方法,引导相关主体从关注研究结果和数量向关注研究过程和质量转变,加强多源评价数据的融合研究。【结论】 开放科学环境下,科技期刊出版和传播方式发生明显变化,在评价理论研究和评价实践中,建议相关学者和管理人员转变期刊评价理念和方法,构建与开放科学相适应的期刊评价体系。     

高水平医学论文的来源期刊分析及启示——基于F5000入选论文特征和入选时效

【目的】分析入选F5000的医学论文来源期刊,根据论文入选时效指标分析医学期刊的质量,为科技期刊提高办刊质量提供数据支撑,同时也为医学科研人员的选刊和投稿提供参考依据。【方法】下载F5000平台2012—2019年的全部入选论文,获取刊载医学论文的期刊,分析其学科分布特征,并计算单篇论文、单种期刊及各学科期刊的入选时效。【结果】F5000共收录16个学科的9514篇医学专业论文,刊载于163种医学期刊中;单篇论文入选时效为1~5年不等,10.58%的论文出版后1年被收录,19.17%的论文出版2年后被收录,医学期刊论文的篇均入选时效为3.29年。 【结论】F5000入选论文数量与来源期刊的收录数据库数量成正比,医学期刊的刊均入选时效高于F5000入选论文的整体水平,中医中药类期刊和基金资助论文是F5000医学论文的重要来源,科技期刊可设置相应的特色栏目进行约稿,从而提升稿源的质量和期刊影响力。F5000平台也应加强对国内SCI期刊的关注,扩大高水平论文覆盖范围,提升国内优秀科研产出的传播速度。     

科技期刊同行评议内容公开的现状调研及策略建议

【目的】 聚焦开放同行评议中“内容公开”这个方面,提出实施同行评议内容公开的具体建议及优化策略,以期为我国科技期刊开放同行评议出版实践提供参考。【方法】 利用文献梳理、数据库检索、网络查询方法掌握国际开放同行评议期刊现状,并通过案例法对已经实施同行评议内容公开的几种典型期刊进行案例分析。通过问卷调查、个别访谈方法了解磁共振学科领域学者对同行评议内容公开的态度和见解,以及对各种措施的认可程度和倾向性。【结果】 基于调研分析结果,归纳对比同行评议内容公开不同实施细节上的优势、劣势;针对同行评议内容公开的科技期刊出版实践,分别从公开要素、呈现方式和内容选择性以及解决“审稿人压力大”和“稿件处理周期延迟”问题这4个具体方面,梳理总结出一系列可供借鉴的实施方案并提出若干条具体的策略建议。【结论】 我国科技期刊开放同行评议无论是体量还是创新模式都落后于国外大型出版集团。我国相关领域期刊推行同行评议内容公开具备领域内学者意愿基础,是有必要并完全可行的。基于所提出的同行评议内容公开实施策略建议,我国科技期刊可积极地、逐步地探索开放同行评议的创新实践,促进我国期刊学术出版中的同行评议向着更加开放、透明、高效的方向发展。