如何判断文献质量:快速筛选一篇文献值不值得精读
检索出几十篇文献之后,真正的工作才开始:哪些值得花一个小时精读,哪些扫一眼就可以放下。判断文献质量不需要一开始就读全文,一套固定顺序的筛选就能完成大部分工作——先用约三十秒浏览标题、摘要和结论,初步决定去留;再对留下的文献,从研究设计、样本量、时效性和出处等方面做进一步的质量判断。
这一页按这个顺序展开。如果你还不确定手上的文献属于哪种类型,先看文献类型辨析,类型决定了后面的很多判断标准。
三十秒筛选法:标题 → 摘要 → 结论
每篇文献只给三十秒,按固定顺序看三处:
| 顺序 | 看哪里 | 用时 | 要回答的问题 |
|---|---|---|---|
| 一 | 标题 | 约 5 秒 | 研究对象和主题是不是我要的? |
| 二 | 摘要的方法与结果 | 约 20 秒 | 用什么方法、在多少对象上、得到了什么? |
| 三 | 结论句 | 约 5 秒 | 结论能否回答我的问题? |
筛选流程中的每一关都可以直接淘汰文献,无需继续往下看:如果标题中的研究对象与你的问题不符,就不必再读摘要和正文;如果研究方法与你的问题不匹配,也不必再看结论。
三十秒之后,不是二选一,而是三选一:
精读:主题对口,方法可靠,结论与你的问题直接相关;
存档备查:主题相关,但当前用不上,或者只需要引用其中一个数据;
放弃:主题不符,或者质量明显不足。
「存档备查」这一档很重要。没有它,你会在「全读」和「全扔」之间反复犹豫,筛选速度会慢一倍。
以「运动干预与老年人认知功能下降」为例:一篇标题写的是青少年体育锻炼的文献,第一关就可以放弃;一篇研究运动干预但结局指标是跌倒风险的,看完方法与结果可以存档备查;一篇随机对照试验、结局指标就是认知功能的,进入精读。
摘要里应该找什么
摘要是整篇文献中信息密度最高的部分,读摘要时如果带着下面几个问题去有针对性地查找,比从头到尾逐句通读要快得多。
| 要找的信息 | 通常在摘要哪一部分 | 为什么重要 |
|---|---|---|
| 研究对象与样本量 | 方法 | 决定结论能推广到多大范围 |
| 研究设计 | 方法 | 决定证据的强度 |
| 主要结果的具体数字 | 结果 | 有数字才能判断效应大小 |
| 结论的措辞 | 结论 | 判断结论是否超出了数据 |
三个值得警惕的信号:
结果部分没有数字,只有「显著改善」「明显相关」之类的描述;
结论的措辞比结果更强,比如结果只显示「相关」,结论却写成「证实了……的作用」;
只报告差异是否显著,不报告差异有多大。统计上显著的差异,实际意义可能非常小。
研究设计的可靠性排序
针对"某种干预是否有效""某个因素是否导致某种结果"这类因果问题,不同研究设计所提供的证据强度大致由强到弱排列如下:
| 证据强度 | 研究设计 | 说明 |
|---|---|---|
| 最强 | 高质量的系统评价与 Meta 分析 | 综合多项研究,前提是纳入的研究本身可靠 |
| 强 | 随机对照试验 | 随机分组,最能排除混杂因素 |
| 中 | 队列研究 | 长期追踪,但分组不是随机的 |
| 中偏弱 | 病例对照研究 | 回顾性比较,容易受回忆偏倚影响 |
| 弱 | 横断面研究 | 同一时点的观察,只能说明相关,难以说明因果 |
| 最弱 | 病例报告、专家意见 | 个案或观点,适合提出问题,不适合回答问题 |
使用这张表有三个前提:
第一,它只适用于因果类问题。如果你关心的是「某种现象有多普遍」,横断面研究恰恰是最合适的设计。
第二,质量比级别重要。 一项设计粗糙、样本很小的随机对照试验,不如一项设计严谨的大型队列研究。级别只是起点,不是结论。
第三,它主要来自医学与健康领域。在工程、材料、计算等学科,判断标准更多看实验是否可重复、是否有合理的对照、是否与公认的基准方法做了比较。
样本量与统计效力
样本量太小的研究有两个问题:容易因为偶然因素得出「有效果」的结论,也容易因为检测能力不足漏掉真实存在的效果。
不需要掌握统计学也能做初步判断:
和同类研究比较。 同一个问题,多数研究的样本在什么量级?明显偏小的那一篇,结论要打折扣。
看有没有置信区间。 区间很宽,说明估计很不确定,即使差异「显著」也要谨慎对待。
看作者是否说明了样本量是怎么确定的。 规范的研究会在方法部分交代这一点。
不同学科、不同设计对样本量的要求差别很大,所以这里不给一个固定的数字。「和同类研究比」是最可靠的参照。
发表时间:新的一定更好吗
不一定。这是最常见的误区之一。
新发表的文献有一个本质的局限:它还没有经过时间的检验。 它的结论是否已被其他团队重复验证、是否被后续研究修正,目前尚不清楚;而一篇发表于数年前、已被同行广泛引用和反复验证的文献,在大多数情况下,比一篇刚刚发表、尚未得到学界回应的文献更为可靠。
但时效在某些情况下确实关键:
快速发展的技术和方法,几年前的做法可能已经被淘汰;
临床指南和操作规范,以最新版本为准;
你要写的是研究现状,必须覆盖最近的进展。
比较合理的做法是:用较早的、经过检验的文献建立基础判断,用近期文献了解最新进展和争议。发表日期的限定方法见高级检索:五个字段怎么用。
期刊与被引次数怎么看
期刊是一个信号,不是结论。 发表在声誉良好的期刊上,意味着该文献经过了较为严格的同行评审,但并不等于它一定没有问题;同样,发表在普通期刊上,也不代表其质量就一定差。期刊的声誉只能帮助你决定阅读的优先顺序,却不能替你判断一篇文献读完之后是否真正可信。
被引次数需要放在背景里看:
和发表年份有关。 十年前的文献自然比去年的被引多,不能直接比较。
和学科有关。 不同学科的引用习惯差别很大,跨学科比较没有意义。
高被引不等于被认可。 一篇文献被大量引用,也可能是因为它的结论引起了广泛的质疑和反驳。
比较合理的用法是:同一领域、同一时期的文献放在一起比较被引情况,作为排序参考,而不是质量判断。
撤稿与更正
这是最容易被忽略、后果却最严重的一步。被撤稿的文献仍然会出现在检索结果和别人的参考文献里,一旦引用,会直接影响你自己研究的可信度。
撤稿的常见原因包括数据造假、结果无法重复、严重的方法错误、重复发表等。
怎么确认:
查看出版方的文章页面,被撤稿的文献通常会有明显的标注;
用这篇文献的标题进行检索,查看结果中是否存在针对它的撤稿声明或更正声明——这类声明拥有独立的 DOI,会以单独条目的形式出现在检索结果中,见 DOI 查询;
对于你打算重点引用、作为核心论据的文献,这一步一定要做。
更正声明则不同,它通常只修正局部错误,原文仍然有效。但要看清楚更正了什么——如果更正的恰好是你要引用的那个数字,就要以更正后的为准。
常见问题
只能看到摘要,拿不到全文,还能用吗?
可以用摘要做筛选和初步判断,但不要仅凭摘要引用关键结论。摘要经过高度压缩,研究的局限性、亚组结果和作者的保留意见往往只在全文里。
统计部分看不懂,怎么判断结论是否可靠?
抓住三点:结果有没有给出效应大小,置信区间是否很宽,作者有没有认真讨论研究的局限性。此外,如果这个问题已有系统评价,看看系统评价对这篇研究的质量评价——那是专业人员已经替你做过的判断。
筛掉的文献需要记录吗?
日常检索不必如此,但如果是撰写文献综述,则需要记录每一篇被排除的文献及其排除理由,因为这是综述方法部分不可或缺的内容,见文献综述的检索流程。