Large Language Models as Evaluators for Recommendation Explanations

本文是LLM系列文章，针对《Large Language Models as Evaluators for Recommendation Explanations》的翻译。

摘要

推荐系统的可解释性已经引起了学术界和工业界的极大关注。已经为可解释的建议做出了许多努力，但评估解释的质量仍然是一个具有挑战性且尚未解决的问题。近年来，利用LLM作为评估者在自然语言处理任务（如情感分类、信息提取）中提供了一条很有前途的途径，因为它们在指令遵循和常识推理方面具有强大的能力。然而，评估推荐解释性文本与这些NLG任务不同，因为其标准与人类感知有关，通常是主观的。
在本文中，我们研究LLM是否可以作为推荐解释的评估者。为了回答这个问题，我们利用真实的用户对先前工作中给出的解释的反馈，并额外收集第三方注释和LLM评估。我们设计并应用了一种三级元评估策略来衡量评估者标签与用户提供的基本事实之间的相关性。我们的实验表明，LLM，如GPT4，可以通过适当的提示和设置提供可比较的评估。我们还提供了将人类标签与LLM评估过程相结合的进一步见解，并利用多个异质LLM评估者的集合来提高评估的准确性和稳定性。我们的研究验证了利用LLM作为评估者可以是一种准确、可重复和具有成本效益的解决方案，用于评估推荐解释文本。我们的代码在这里可用。