本文是LLM系列文章,针对《Analyzing Large language models chatbots: An experimental approach using a probability test》的翻译。
摘要
本研究由定性实证研究组成,通过对两种不同的大型语言模型 (LLM) 聊天机器人(ChatGPT 和 Gemini)进行探索性测试来进行。方法程序涉及基于概率问题设计的提示的探索性测试。认知心理学中广泛认可的“琳达问题”被用作创建测试的基础,同时还专门为此实验开发了一个新问题“玛丽问题”。分析的对象是包含每个聊天机器人交互提供的输出的数据集。分析的目的是验证聊天机器人是否主要采用符合概率论的逻辑推理,或者它们是否更频繁地受