NLP（六十）Baichuan-13B-Chat模型使用体验

原创

已于 2023-09-09 22:54:48 修改 · 置顶 · 2.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #人工智能

于 2023-07-21 22:31:58 首次发布

本文介绍了百川智能发布的Baichuan-13B-Chat大语言模型在中文问答上的优秀表现，对比了GPT3.5的‘幻觉’问题。模型部署使用FastChat，且在向量嵌入和文档问答中展示出良好性能，利用LangChain和Milvus进行文本处理和存储。文章还探讨了模型在文档问答中的应用，以及未来可能的改进方向。

2023年7月11日，百川智能正式发布参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。
本文将介绍大模型BaiChuan-13B-Chat的使用体验，其HuggingFace网址为：https://huggingface.co/baichuan-inc/Baichuan-13B-Chat 。
BaiChuan-13B-Chat模型采用FastChat工具部署，部署方式与Baichuan-7B模型相同，关于部署的详细步骤，可参考文章：NLP（五十九）使用FastChat部署百川大模型。

使用初体验

GPT3.5或者GPT4模型在中文问答上偶尔会出现“幻觉”问题，比如一些常识性的中文问题，在这方面，Baichuan-13B-Chat模型的表现较好。
我们考虑以下三个问题：

鲁迅和周树人是同一个人吗，简要回答？
中国第三大岛是哪个？
拉普拉斯获得过诺贝尔奖吗？

这是GPT3.5的回答：

GPT3.5的回复
这是GPT4的回复：

GPT4的回复
这是Baichuan-13B-Chat模型的回复：

向量嵌入（Embedding）

当我们完成Baichuan-13B-Chat模型的部署后，我们可以使用类似OpenAI的调用方式来调用该模型，以下是其在向量嵌入方面的表现。
我们选择五个初始文本：

唯心主义的对立面是什么
你好
上海的人口是多少？
北京的旅游景点有哪些？
中国的第一高楼

首先使用模型对以上文本进行向量嵌入（Embedding），向量维度为512维，范数为1（即已经进行规范化）。再使用新的文本进行向量嵌入，通过向量的余弦相似度获得五个文本中的最相似文本。实现Python如下：

# -*- coding: utf-8 -*-
import requests
import json
import numpy as np


def get_text_embedding(text):
	# Baichuan-13B-Chat Embedding
    url = "http://localhost:8000/v1/embeddings"
    headers = {
   
   'Content-Type': 'application/json'}
    payload = json.dumps({
   
   
        "model": "Baichuan-13B-Chat",
        "input": text
    })
    response = requests.request("POST", url, headers=headers, data=payload)
    return response.json()["data"][0]['embedding']


contents = ["唯心主义的对立面是什么",
            "你好",
            "上海的人口是多少？",
            "北京的旅游景点有哪些？",
            "中国的第一高楼"]

embeddings = [get_text_embedding(content) for content in contents]

new_text = '苏州的旅游景点有哪些？'
new_embedding = get_text_embedding(new_text)

cosine_sim_list = []
for embedding in embeddings:
    cosine_sim_list.append(np.dot(

最低0.47元/天解锁文章