NativQA: Multilingual Culturally-Aligned Natural Query for LLMs

本文是LLM系列文章，针对《NativQA: Multilingual Culturally-Aligned Natural Query for LLMs》的翻译。

摘要

自然问答 (QA) 数据集在开发和评估大型语言模型 (LLM) 的功能方面发挥着至关重要的作用，确保其在实际应用中的有效使用。尽管已经开发了许多 QA 数据集，但仍明显缺乏由本地用户用自己的语言生成的特定区域数据集。这一差距阻碍了LLM针对区域和文化特性的有效基准测试。在这项研究中，我们提出了一个可扩展的框架 NativQA，以母语无缝构建文化和区域一致的 QA 数据集，用于LLM评估和调整。此外，为了证明所提出框架的有效性，我们设计了一个多语言自然 QA 数据集 MultiNativQA，它由七种语言的~72K QA 对组成，资源范围从高资源到极低资源，基于涵盖 18 个主题的母语人士的查询。我们使用开源和闭源LLM对 MultiNativQA 数据集进行基准测试。我们向社区公开提供 NativQA 框架和 MultiNativQA 数据集。

1 引言

2 NativQA框架

3 MultiNativQA数据集

4 实验设置

5 结果