Data Contamination and Trustworthy Evaluation for Large Language Models_generalization or memorization: data contamination-CSDN博客

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136745342

本文关注大型语言模型（LLM）的数据污染问题，提出CDD方法检测污染，并通过TED进行可信评估。研究发现，CDD在检测数据污染方面较其他方法有显著提升，TED能有效降低数据污染对模型性能的影响。实验揭示ChatGPT可能受HumanEval数据污染。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列，针对《Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models》的翻译。

摘要

最近关于大型语言模型（LLM）令人印象深刻的功能的声明通常通过对开放访问基准的评估来支持。考虑到LLM训练数据的庞大规模和广泛来源，它可能明确或隐含地包括测试数据，导致LLM更容易受到数据污染。然而，由于训练数据的不透明性、模型的黑匣子访问以及合成训练数据的快速增长，LLM的数据污染检测和缓解面临着重大挑战。在本文中，我们提出了CDD，它代表通过LLM的输出分布进行污染检测。CDD只需要采样文本，就可以通过识别LLM输出分布的峰值来检测数据污染。为了减轻评估中数据污染的影响，我们还提出了TED：基于LLM输出分布的可信评估。为了促进这项研究，我们引入了两个基准，即DETCON和COMIEVAL，用于数据污染检测和污染缓解评估任务。广泛的实验结果表明，在准确性、F1评分和AUC指标方面，CDD比其他污染检测方法实现了21.8%-30.2%的平均相对改善，并且可以有效地检测由测试数据变体引起的污染。TED显著降低了由于24个设置和21个污染程度的数据污染而导致的高达66.9%的性能改进。在现实世界的应用程序中，我们揭示了ChatGPT在HumanEval基准测试中表现