Exploring the use of a Large Language Model for data extraction in systematic reviews

本文是LLM系列文章，针对《Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study》的翻译。

摘要

本文描述了使用大型语言模型 (LLM) GPT-4 在系统评价中（半）自动化数据提取的快速可行性研究。尽管最近人们对LLM的兴趣激增，但对于如何设计基于LLM的自动化工具以及如何稳健地评估其性能仍然缺乏了解。
在 2023 年证据合成黑客马拉松期间，我们进行了两项可行性研究。首先，从人类临床、动物和社会科学领域研究中自动提取研究特征。我们使用每个类别的两项研究来进行快速开发；和十个用于评估。其次，我们使用 LLM 来预测 EBM-NLP 数据集中 100 个摘要内标记的参与者、干预、控制和结果 (PICO)。
总体而言，结果表明准确度约为 80%，不同领域之间存在一定差异（人类临床为 82%，动物为 80%，人类社会科学研究为 72%）。因果推理方法和研究设计是错误最多的数据提取项目。在 PICO 研究中，参与者和干预/对照显示出较高的准确性（>80%），结果更具挑战性。评估是手动完成的； BLEU 和 ROUGE 等评分方法的价值有限。我们观察到LLM预测的可变性和响应质量的变化。
本文提出了一个模