Do Machines and Humans Focus on Similar Code? Exploring Explainability of Large Language Models

本文是LLM系列文章，针对《Do Machines and Humans Focus on Similar Code? Exploring
Explainability of Large Language Models in Code Summarization》的翻译。

摘要

最近的语言模型已经证明了在总结源代码方面的熟练程度。然而，与机器学习的许多其他领域一样，代码的语言模型缺乏足够的可解释性。非正式地说，我们对模型从代码中学习什么以及如何学习缺乏公式化或直观的理解。如果当模型学习生成更高质量的代码摘要时，它们也一致认为与人类程序员识别的代码部分相同的代码部分很重要，那么语言模型的可解释性就可以部分提供。在本文中，我们报告了从人类理解的角度研究代码摘要中语言模型的可解释性的负面结果。我们在代码摘要任务中使用眼动追踪指标（如注视次数和持续时间）来测量人类对代码的关注。为了接近语言模型的焦点，我们使用了一种最先进的模型不可知、黑匣子、基于扰动的方法SHAP（SHapley Additive exPlanations）来识别哪些代码标记会影响摘要的生成。使用这些设置，我们发现语言模型的注意力和人类程序员的注意力之间没有统计学上的显著关系。此外，在这种情况下，模型和人类焦点之间的一致性似乎并不能决定LLM生成的摘要的质量。我们的研究强调了无法将人类焦点与基于SHAP的模型焦点测量相一致。这一结果要求未来研究用于代码摘要和软件工程任务的可解释语言模型的多个