使用Vectara进行检索增强生成（RAG）实践-CSDN博客

本文链接：https://blog.csdn.net/qahaj/article/details/146465659

使用Vectara进行检索增强生成（RAG）实践

在本文中，我们将探索如何使用Vectara的RAG-as-a-Service平台来创建一个类似ChatGPT的体验。Vectara允许组织基于他们的数据、文档和知识快速构建这样的AI助手。Vectara平台提供了一个易于使用的API，涵盖了文本提取、基于ML的分块、内部向量数据库和查询服务等功能。

技术背景介绍

Vectara为企业提供了一个可信赖的生成式AI平台，专注于检索增强生成（RAG）。RAG结合了信息检索和生成式AI模型，在特定上下文中提供更准确的答案。Vectara简化了RAG的实现，使用户只需通过API即可享受这项技术的强大性能。

核心原理解析

Vectara的RAG服务包括以下组件:

文本提取和分块：支持从PDF、PPT、DOCX等多种文件类型中提取文本，并进行自动分块。
Boomerang嵌入模型：将文本转换为可用于相似性搜索的向量。
内部向量数据库：用于存储文本块和嵌入向量。
查询服务：自动将查询编码为嵌入并检索最相关的文本片段，支持混合搜索和最大边际相关性（MMR）。
生成式总结：基于检索到的文档生成总结，并提供引用支持。

代码实现演示

让我们通过一个实际的Python代码示例来探索Vectara的基本检索功能。

环境配置

首先，我们需要安装langchain-community包以便与Vectara集成：

pip install -qU langchain-community

接下来，设置您的Vectara API密钥和相关ID：

import os
import getpass

os.environ["VECTARA_CUSTOMER_ID"] = getpass.getpass("Vectara Customer ID:")
os.environ["VECTARA_CORPUS_ID"] = getpass.getpass("Vectara Corpus ID:")
os.environ["VECTARA_API_KEY"] = getpass.getpass("Vectara API Key:")

基本检索操作

以下是使用LangChain与Vectara进行基本相似性搜索的代码示例：

from langchain_community.vectorstores import Vectara
from langchain_community.vectorstores.vectara import (
    RerankConfig,
    SummaryConfig,
    VectaraQueryConfig,
)

# 将文本文件加载到Vectara中
vectara = Vectara.from_files(["state_of_the_union.txt"])

# 配置检索和总结
summary_config = SummaryConfig(is_enabled=True, max_results=7, response_lang="eng")
rerank_config = RerankConfig(reranker="mmr", rerank_k=50, mmr_diversity_bias=0.2)
config = VectaraQueryConfig(
    k=10, lambda_val=0.005, rerank_config=rerank_config, summary_config=summary_config
)

query_str = "what did Biden say?"

# 执行查询并获取结果
rag = vectara.as_rag(config)
response = rag.invoke(query_str)
print(response["answer"])

流式输出

Vectara还支持流式输出，适合实时应用场景：

output = {}
curr_key = None
for chunk in rag.stream(query_str):
    for key in chunk:
        if key not in output:
            output[key] = chunk[key]
        else:
            output[key] += chunk[key]
        if key == "answer":
            print(chunk[key], end="", flush=True)
        curr_key = key