A Large-scale Holistic Multi-subject Knowledge Evaluation Benchmark for Chinese Large Language Model

本文是LLM系列文章，针对《LHMKE: A Large-scale Holistic Multi-subject Knowledge Evaluation
Benchmark for Chinese Large Language Models》的翻译。

摘要

中文大型语言模型（LLM）最近在各种NLP基准测试和实际应用中展示了令人印象深刻的功能。然而，全面评估这些LLM的现有基准仍然不足，特别是在衡量LLM所获取的知识方面。目前的数据集收集了不同科目和教育水平的语文考试问题，以解决这一问题。然而，这些基准主要集中在选择题等客观问题上，导致问题类型缺乏多样性。为了解决这个问题，我们在本文中提出了LHMKE，一个大规模、整体和多学科的知识评估基准。LHMKE旨在对中文LLM的知识获取能力进行全面评估。它包括75项任务中的10465个问题，涵盖30门科目，从小学到专业认证考试。值得注意的是，LHMKE包括客观和主观问题，对LLM的知识水平提供了更全面的评估。我们在零样本环境下评估了11名中文LLM，这与实际考试一致，并比较了他们在不同科目中的表现。我们还进行了深入分析，以检查GPT-4是否可以自动对主观预测进行评分。我们的研究结果表明，LHMKE是中文LLM的一个具有挑战性和先进性的试验台。

1 引言

2 相