AttributeError: ‘Qwen2ForCausalLM‘ object has no attribute ‘chat‘ 解决方案

绝不原创的飞龙

已于 2024-04-01 13:49:55 修改

阅读量2.1k

点赞数 3

分类专栏：人工智能文章标签：人工智能 gpt

于 2024-03-31 14:30:12 首次发布

License CC BY-NC-SA 4.0 / 自豪地采用谷歌翻译

本文链接：https://blog.csdn.net/wizardforcel/article/details/137199847

版权

人工智能专栏收录该内容

582 篇文章

订阅专栏

文章介绍了如何在Qwen2ForCausalLM模型中添加chat()方法，通过使用tok类的apply_chat_template和generate函数来处理对话历史和生成响应，展示了模型如何处理对话场景并生成回答。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

解决方案是参照其它LLM给它补上chat()方法：

def chat(model, tok, ques, history=[], **kw):
    iids = tok.apply_chat_template(
		history + [{'role': 'user', 'content': ques}], 
		add_generation_prompt=1,
	)
	oids = model.generate(
		inputs=torch.tensor([iids]).to(model.device),
		**(model.generation_config.to_dict() | kw),
	)
	oids = oids[0][len(iids):].tolist()
	if oids[-1] == tok.eos_token_id:
		oids = oids[:-1]
	ans = tok.decode(oids)
	
	return ans

Qwen2ForCausalLM.chat = chat