ChatGLM3微调遇到的坑_chatglm3微调的依赖安装报错-CSDN博客

本文链接：https://blog.csdn.net/chaishen10000/article/details/136073225

文章讨论了在使用THUDM/ChatGLM3进行微调时遇到的问题，主要是因为数据格式不符合官方期望，缺少prompt键。作者提到原始数据应包含系统提示、用户输入和助手响应的多轮对话结构。解决方法是更新到官方最新的微调脚本并检查数据格式调整。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：微调的各种问题 · THUDM/ChatGLM3 · Discussion #253 · GitHubshi

Traceback (most recent call last):
  File "/opt/projects/chatglm3-test/scripts/finetune.py", line 171, in <module>
    main()
  File "/opt/projects/chatglm3-test/scripts/finetune.py", line 137, in main
    print(train_dataset[0]['input_ids'])
  File "/opt/projects/chatglm3-test/scripts/preprocess_utils.py", line 127, in __getitem__
    a_ids = self.tokenizer.encode(text=data_item['prompt'], add_special_tokens=True, truncation=True,
KeyError: 'prompt'

实际上看看preprocess_utils.py对应行数的代码就知道了，单纯的对话模型，数据格式不是按照官方给定的如下格式：

```json
[
{
"conversations": [
{
"role": "system",
"content": "<system prompt text>"
},
{
"role": "user",
"content": "<user prompt text>"
},
{
"role": "assistant",
"content": "<assistant response text>"
},
// ... Muti Turn
{
"role": "user",
"content": "<user prompt text>"
},
{
"role": "assistant",
"content": "<assistant response text>"
}
]
}
// ...
]
```