【LangChain】LangChain 中的检索器（Retrievers）

最新推荐文章于 2025-11-03 19:58:47 发布
原创 最新推荐文章于 2025-11-03 19:58:47 发布 · 1.9k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#langchain #Retrievers #检索器

该文章已生成可运行项目，

在 LangChain 中，检索器（Retrievers） 是用于从外部数据源（如文档、数据库或网页）中获取与用户查询相关内容的组件。它们是构建基于外部知识的问答系统、语义搜索或上下文增强应用的核心模块。检索器通过将用户查询与存储的数据进行匹配，返回相关文档或片段，供语言模型（LLM）进一步处理。

以下是对 LangChain 检索器的详细介绍，涵盖其定义、类型、工作原理、实现方式、应用场景、代码示例、优化建议以及与生态系统的结合。

1. 什么是 LangChain 的检索器？

检索器是 LangChain 中负责信息检索的模块，通常与 索引（Indexes） 模块（如向量存储、文档加载器）结合使用。它的核心功能是：

  • 输入：接收用户查询（通常是文本）。
  • 处理：根据查询从数据源中检索相关内容。
  • 输出：返回一组相关文档或文本片段（通常是 Document 对象列表）。

检索器在以下场景中扮演关键角色：

  • 问答系统：从文档或知识库中检索答案的上下文。
  • 语义搜索：根据查询的语义返回相关结果。
  • 上下文增强：为语言模型提供外部知识，解决其知识局限。

检索器通常与 向量存储（Vector Stores） 配合，通过嵌入模型（Embedding Models）将查询和文档转为向量，基于相似性进行检索。

2. 检索器的工作原理

检索器的工作流程可以分为以下步骤：

  1. 查询嵌入：将用户查询通过嵌入模型（如 OpenAIEmbeddings）转为向量表示。
  2. 相似性搜索：在向量存储中查找与查询向量最相似的文档向量。
  3. 文档返回：返回匹配的文档（包含内容、元数据等）。
  4. 后处理（可选）：对检索结果进行排序、过滤或重新排名。

检索器的核心依赖：

  • 嵌入模型：将文本转为向量（如 OpenAIEmbeddings, HuggingFaceEmbeddings）。
  • 向量存储：存储文档向量（如 Chroma、FAISS、Pinecone）。
  • 相似性度量：如余弦相似度、欧几里得距离。

3. LangChain 检索器的类型

LangChain 提供了多种检索器，适用于不同场景。以下是主要类型的详细介绍：

(1) VectorStoreRetriever

  • 功能：基于向量存储的检索器，通过嵌入向量进行语义搜索。
  • 特点：
    • 使用嵌入模型将查询和文档转为向量。
    • 支持多种向量存储（如 Chroma、FAISS、Pinecone）。
    • 默认使用余弦相似度排序结果。
  • 适用场景：
    • 语义搜索。
    • 基于文档的问答系统。
  • 支持的向量存储（需单独安装）：
    • langchain-chroma
    • langchain-faiss
    • langchain-pinecone
    • langchain-weaviate
    • langchain-qdrant
  • 示例：
    from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document

# 创建文档
docs = [
    Document(page_content="量子计算是一种基于量子力学的计算范式。", metadata={"source": "doc1"}),
    Document(page_content="人工智能是模拟人类智能的技术。", metadata={"source": "doc2"})
]

# 初始化向量存储
embeddings = OpenAIEmbeddings(api_key="your-openai-key")
vectorstore = Chroma.from_documents(docs, embeddings)

# 创建检索器
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})  # 返回 1 个结果

# 检索
results = retriever.invoke("量子计算是什么？")
print(results)
  • 输出：
    [Document(page_content='量子计算是一种基于量子力学的计算范式。', metadata={'source': 'doc1'})]

(2) BM25Retriever

  • 功能：基于 BM25 算法的关键词检索器，适合基于词频的搜索。
  • 特点：
    • 不依赖嵌入模型，使用词频和逆文档频率（TF-IDF）计算相关性。
    • 适合关键词匹配场景，计算成本低。
    • 不支持语义搜索，效果依赖文本的字面匹配。
  • 适用场景：
    • 传统搜索场景。
    • 关键词驱动的问答。
  • 安装：
    pip install rank_bm25
  • 示例：
    from langchain_community.retrievers import BM25Retriever
from langchain_core.documents import Document

docs = [
    Document(page_content="量子计算是一种基于量子力学的计算范式。"),
    Document(page_content="人工智能是模拟人类智能的技术。")
]

retriever = BM25Retriever.from_documents(docs)
retriever.k = 1  # 返回 1 个结果
results = retriever.invoke("量子计算")
print(results)
  • 输出：
    [Document(page_content='量子计算是一种基于量子力学的计算范式。')]

(3) TFIDFRetriever

  • 功能：基于 TF-IDF（词频-逆文档频率）的检索器，类似 BM25。
  • 特点：
    • 使用 TF-IDF 向量表示文档和查询。
    • 适合关键词匹配，性能优于 BM25 在某些场景。
    • 不支持语义搜索。
  • 适用场景：
    • 文本搜索。
    • 关键词提取。
  • 安装：
    pip install scikit-learn
  • 示例：
    from langchain_community.retrievers import TFIDFRetriever
from langchain_core.documents import Document

docs = [
    Document(page_content="量子计算是一种基于量子力学的计算范式。"),
    Document(page_content="人工智能是模拟人类智能的技术。")
]

retriever = TFIDFRetriever.from_documents(docs)
results = retriever.invoke("量子计算")
print(results)

(4) MultiQueryRetriever

  • 功能：通过生成多个查询变体增强检索效果，结合向量存储。
  • 特点：
    • 使用语言模型生成查询的多种表达方式。
    • 从向量存储中检索所有变体的结果并合并。
    • 提高召回率，适合复杂查询。
  • 适用场景：
    • 查询表达不明确或需要覆盖多种语义。
    • 提高检索的全面性。
  • 示例：
    from langchain.retrievers.multi_query import MultiQueryRetriever
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document

docs = [
    Document(page_content="量子计算基于量子力学。"),
    Document(page_content="人工智能模拟人类智能。")
]

embeddings = OpenAIEmbeddings(api_key="your-openai-key")
vectorstore = Chroma.from_documents(docs, embeddings)
llm = ChatOpenAI(api_key="your-openai-key")

retriever = MultiQueryRetriever.from_llm(
    retriever=vectorstore.as_retriever(),
    llm=llm
)
results = retriever.invoke("量子计算是什么？")
print(results)
  • 输出：可能返回多个相关文档。

(5) ContextualCompressionRetriever

  • 功能：对检索结果进行压缩，提取最相关的内容。
  • 特点：
    • 使用语言模型对检索到的文档进行重新排序或精炼。
    • 减少无关内容，提高结果质量。
    • 增加计算开销，但提升精准度。
  • 适用场景：
    • 文档内容冗长，需要提取关键信息。
    • 提高问答系统的答案质量。
  • 示例：
    from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document

docs = [
    Document(page_content="量子计算是一种基于量子力学的计算范式，涉及量子比特和量子纠缠。"),
    Document(page_content="人工智能是模拟人类智能的技术，包括机器学习和深度学习。")
]

embeddings = OpenAIEmbeddings(api_key="your-openai-key")
vectorstore = Chroma.from_documents(docs, embeddings)
llm = ChatOpenAI(api_key="your-openai-key")

compressor = LLMChainExtractor.from_llm(llm)
retriever = ContextualCompressionRetriever(
    base_compressor=compressor,
    base_retriever=vectorstore.as_retriever()
)
results = retriever.invoke("量子计算的核心是什么？")
print(results)
  • 输出：
    [Document(page_content='量子计算是一种基于量子力学的计算范式，涉及量子比特和量子纠缠。')]

(6) EnsembleRetriever

  • 功能：结合多种检索器（如 BM25 和向量存储），融合结果。
  • 特点：
    • 结合关键词搜索和语义搜索的优点。
    • 支持加权融合，调整不同检索器的权重。
    • 提高召回率和精准度。
  • 适用场景：
    • 需要综合关键词和语义的搜索。
    • 复杂查询场景。
  • 示例：
    from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document

docs = [
    Document(page_content="量子计算基于量子力学。"),
    Document(page_content="人工智能模拟人类智能。")
]

bm25_retriever = BM25Retriever.from_documents(docs)
bm25_retriever.k = 1

embeddings = OpenAIEmbeddings(api_key="your-openai-key")
vectorstore = Chroma.from_documents(docs, embeddings)
vector_retriever = vectorstore.as_retriever(search_kwargs={"k": 1})

ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, vector_retriever],
    weights=[0.5, 0.5]
)
results = ensemble_retriever.invoke("量子计算")
print(results)

(7) SelfQueryRetriever

  • 功能：使用语言模型解析查询，提取结构化条件（如元数据过滤）并执行检索。
  • 特点：
    • 支持复杂查询（如“2023年发布的量子计算文档”）。
    • 自动解析查询中的过滤条件。
    • 需要向量存储支持元数据查询。
  • 适用场景：
    • 带元数据过滤的检索。
    • 结构化知识库查询。
  • 示例：
    from langchain.retrievers.self_query import SelfQueryRetriever
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document

docs = [
    Document(page_content="量子计算简介", metadata={"year": 2023, "category": "tech"}),
    Document(page_content="人工智能简介", metadata={"year": 2022, "category": "tech"})
]

embeddings = OpenAIEmbeddings(api_key="your-openai-key")
vectorstore = Chroma.from_documents(docs, embeddings)
llm = ChatOpenAI(api_key="your-openai-key")

retriever = SelfQueryRetriever.from_llm(
    llm=llm,
    vectorstore=vectorstore,
    document_contents="技术文档",
    metadata_field_info=[
        {"name": "year", "type": "int", "description": "发布年份"},
        {"name": "category", "type": "str", "description": "类别"}
    ]
)
results = retriever.invoke("2023年的技术文档")
print(results)

(8) WebResearchRetriever

  • 功能：从网页中检索相关内容，结合搜索引擎和向量存储。
  • 特点：
    .ConcurrentHashMap - 使用外部搜索引擎（如 Google）获取网页。
    • 将网页内容存储到向量存储并检索。
    • 适合动态、实时信息检索。
  • 适用场景：
    • 需要从互联网获取最新信息的问答。
    • 研究或知识收集。
  • 安装：
    pip install google-api-python-client
  • 示例：
    from langchain.retrievers.web_research import WebResearchRetriever
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_community.utilities import GoogleSearchAPIWrapper

llm = ChatOpenAI(api_key="your-openai-key")
embeddings = OpenAIEmbeddings(api_key="your-openai-key")
vectorstore = Chroma(embedding_function=embeddings)
search = GoogleSearchAPIWrapper(google_api_key="your-google-key", google_cse_id="your-cse-id")

retriever = WebResearchRetriever.from_llm(
    vectorstore=vectorstore,
    llm=llm,
    search=search
)
results = retriever.invoke("量子计算的最新进展")
print(results)

(9) Custom Retriever

  • 功能：开发者可以自定义检索逻辑，适配特定数据源或算法。
  • 特点：
    • 继承 BaseRetriever 类，实现 get_relevant_documents 方法。
    • 支持任意数据源（如数据库、API）。
  • 适用场景：
    • 特定领域的数据源（如内部数据库）。
    • 自定义检索算法。
  • 示例：
    from langchain_core.retrievers import BaseRetriever
from langchain_core.documents import Document

class CustomRetriever(BaseRetriever):
    def _get_relevant_documents(self, query: str, **kwargs):
        # 自定义逻辑（如查询数据库）
        return [Document(page_content=f"自定义结果 for {query}")]

retriever = CustomRetriever()
results = retriever.invoke("量子计算")
print(results)

4. 检索器的应用场景

检索器在以下场景中广泛应用：

  1. 基于文档的问答：
    • 从公司文档、PDF 或知识库中检索答案。
    • 示例：RetrievalQA 链结合 VectorStoreRetriever。
  2. 语义搜索：
    • 根据查询的语义返回相关内容。
    • 示例：使用 VectorStoreRetriever 实现产品搜索。
  3. 上下文增强：
    • 为语言模型提供外部知识，解决知识截止问题。
    • 示例：结合 WebResearchRetriever 获取最新信息。
  4. 结构化查询：
    • 从带元数据的文档中检索特定内容。
    • 示例：SelfQueryRetriever 按年份过滤文档。
  5. 混合搜索：
    • 结合关键词和语义搜索。
    • 示例：EnsembleRetriever 融合 BM25 和向量存储。
  6. 实时信息检索：
    • 从网页或 API 获取动态数据。
    • 示例：WebResearchRetriever 检索新闻。

5. 检索器的实现与代码示例

综合示例：RetrievalQA 链

以下是一个基于 VectorStoreRetriever 的问答系统：

from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_core.documents import Document
from langchain.chains import RetrievalQA
from langchain_core.prompts import PromptTemplate

# 创建文档
docs = [
    Document(page_content="量子计算是一种基于量子力学的计算范式。", metadata={"source": "doc1"}),
    Document(page_content="人工智能是模拟人类智能的技术。", metadata={"source": "doc2"})
]

# 初始化向量存储和检索器
embeddings = OpenAIEmbeddings(api_key="your-openai-key")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})

# 初始化语言模型
llm = ChatOpenAI(api_key="your-openai-key")

# 创建 RetrievalQA 链
prompt = PromptTemplate.from_template("根据以下上下文回答问题：{context}\n问题：{question}")
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": prompt}
)

# 查询
result = qa_chain.invoke({"query": "量子计算是什么？"})
print(result["result"])
print("来源：", result["source_documents"])

输出：

量子计算是一种基于量子力学的计算范式。
来源：[Document(page_content='量子计算是一种基于量子力学的计算范式。', metadata={'source': 'doc1'})]

6. 检索器的优化建议

(1) 提高检索质量

  • 嵌入模型选择：
    • 使用高质量嵌入模型（如 text-embedding-ada-002 或 SentenceTransformers）。
    • 针对特定领域微调嵌入模型。
  • 文档分割：
    • 使用 RecursiveCharacterTextSplitter 分割长文档，保留语义。
    from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = splitter.split_documents(docs)
  • 查询优化：
    • 使用 MultiQueryRetriever 生成查询变体。
    • 规范化查询（如小写化、去噪）。

(2) 提高性能

  • 向量存储优化：
    • 使用高效的向量存储（如 FAISS 适合本地，Pinecone 适合云）。
    • 索引优化（如 FAISS 的 HNSW 索引）。
  • 缓存检索结果：
    • 结合 LangChain 的缓存机制。
    from langchain.globals import set_llm_cache
from langchain.cache import SQLiteCache

set_llm_cache(SQLiteCache(database_path="cache.db"))
  • 批量检索：
    • 使用 batch 方法处理多个查询。
    results = retriever.batch(["query1", "query2"])

(3) 后处理

  • 重新排名：
    • 使用 ContextualCompressionRetriever 精炼结果。
  • 过滤：
    • 根据元数据（如日期、类别）过滤结果。
    retriever = vectorstore.as_retriever(search_kwargs={"filter": {"year": 2023}})

(4) 监控与调试

  • 回调：
    • 使用回调记录检索器的输入输出。
    from langchain_core.callbacks import BaseCallbackHandler

class RetrieverCallback(BaseCallbackHandler):
    def on_retriever_start(self, serialized, query, **kwargs):
        print(f"检索查询：{query}")
    def on_retriever_end(self, documents, **kwargs):
        print(f"检索结果：{documents}")
  • LangSmith：
    • 分析检索器的召回率和精准度。
    from langsmith import Client
retriever.invoke(query, config={"callbacks": [Client(api_key="your-langsmith-key")]})

7. 注意事项

  • 检索质量：
    • 嵌入模型的质量直接影响检索效果。
    • 关键词检索（BM25/TFIDF）和语义检索（向量存储）各有优劣，需根据场景选择。
  • 数据规模：
    • 大规模文档需要高效的向量存储（如 Pinecone、Weaviate）。
    • 定期更新索引以反映数据变化。
  • 隐私与安全：
    • 文档可能包含敏感信息，需加密存储或限制访问。
    • 避免将用户查询存储在公共向量存储中。
  • 成本管理：
    • 云向量存储（如 Pinecone）可能产生费用，需优化查询频率。
    • 嵌入模型的 API 调用也需监控。
  • 调试：
    • 检查检索结果是否相关，必要时调整嵌入模型或分割策略。
    • 使用 LangSmith 分析检索器的性能。

8. 与其他模块的结合

  • 链（Chains）：
    • 结合 RetrievalQA 或 ConversationalRetrievalChain 实现问答。
    from langchain.chains import ConversationalRetrievalChain
from langchain.memory import ConversationBufferMemory

memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
qa_chain = ConversationalRetrievalChain.from_llm(llm, retriever, memory=memory)
  • 回调（Callbacks）：
    • 监控检索过程。
  • 缓存（Cache）：
    • 缓存检索结果，减少重复查询。
  • 代理（Agents）：
    • 结合 WebResearchRetriever 为代理提供动态知识。
  • LangSmith：
    • 分析检索器的性能和命中率。

9. 学习资源

10. 总结

  • 定义：检索器用于从外部数据源获取与查询相关的内容，是问答和搜索系统的核心。
  • 类型：
    • VectorStoreRetriever：语义搜索。
    • BM25Retriever/TFIDFRetriever：关键词搜索。
    • MultiQueryRetriever：多查询增强。
    • ContextualCompressionRetriever：结果压缩。
    • EnsembleRetriever：混合搜索。
    • SelfQueryRetriever：结构化查询。
    • WebResearchRetriever：网页检索。
    • 自定义检索器：特定需求。
  • 工作原理：查询嵌入 → 相似性搜索 → 文档返回。
  • 应用场景：问答、语义搜索、上下文增强、结构化查询。
  • 优化点：嵌入模型、文档分割、缓存、后处理、监控。
  • 注意事项：质量、规模、隐私、成本、调试。
本文章已经生成可运行项目
LangChain其它五类组件详解（5）——检索器（Retrievers）
shao918516的博客
03-23 1214
本章按照项目中的应用顺序，依次介绍其余四种主要组件Document loaders、Embedding models、Vector stores、Retrievers，再加入非主要但常用的Text splitters，而查询分析（Query analysis）是对Retrievers概念的补充，在讲解原理后对每个组件给出简单示例。
【LangChain编程：从入门到实践】检索器
AI天才研究院
05-30 1052
在现代数据驱动的世界中,我们面临着海量的非结构化信息,例如文本文件、网页、PDF 文档等。有效地检索和利用这些信息对于各种应用程序至关重要,例如知识库系统、问答系统、智能助理等。传统的检索方法通常依赖于关键词匹配,但这种方法存在一些局限性,例如无法捕捉语义相似性、上下文相关性等。幸运的是,随着自然语言处理 (NLP) 和深度学习技术的快速发展,我们现在可以利用更加智能和强大的检索方法来处理非结构化数据。
LangChain框架入门14：深度解析Retrievers检索器组件
ai12345678900008的博客
09-17 684
文章摘要： Retrievers是信息检索系统的核心组件，在RAG架构中承担桥梁作用，通过查询预处理、检索匹配、结果排序和过滤四步流程，从海量数据中精准筛选信息。其核心价值在于突破LLM知识边界并降低幻觉风险。根据检索策略可分为关键词检索、语义检索和混合检索三类，性能依赖嵌入模型、向量数据库和索引结构三大技术组件。评估指标需兼顾召回率、精确率和响应时间，广泛应用于问答系统、企业知识库和多模态检索等场景。（150字）
深入解析 LangChain 检索器（Retriever）
最新发布
cooldream2009的博客
11-03 1178
RAG 的关键理念是让语言模型在生成回答之前，能够**从外部知识库中检索出相关信息**，再结合这些信息生成更准确、更可靠的结果。而在这一流程中，起到承上启下作用的核心组件就是 **Retriever（检索器）**。 它负责在庞大的文档库中，快速、精准地找到与用户问题最相关的文本片段，是整个 RAG 系统的“召回引擎”。 本文将系统讲解 LangChain 中的 Retriever 模块，涵盖其原理、主要类型、调优方法以及在 RAG 架构中的实际应用。
【LangChain】检索器(Retrievers)
山鬼谣的专栏
07-23 4446
如何创建检索器加载文档创建拆分器，拆分文档创建嵌入。
LangChain核心模块 Retrieval——Retrievers
weixin_43787408的博客
03-25 4929
数据进入数据库，仍然需要检索，LangChain支持多种检索算法。LangChain支持易于上手的基本方法——即简单语义搜索。然而，我们还在此基础上添加了一系列算法以提高性能。检索器是一个接口，它根据非结构化查询返回文档，它比矢量存储更通用。检索器不需要能够存储文档，只需返回（或检索）它们即可。矢量存储可以用作检索器的骨干，但也有其他类型的检索器。检索器接受字符串查询作为输入，并返回文档列表作为输出。
LangChain系列使用指南：组件介绍_数据处理_检索器
数智笔记
03-23 2429
由于检索器接口非常简单，编写自定义检索器非常容易。通常，摘要可能更准确地概括了一个块的内容，从而导致更好的检索结果。下面我们展示了如何创建摘要，然后嵌入它们。chain = (# 用于索引子块的向量存储# 父文档的存储层# 检索器（初始为空）您还可以提供一个提示以及一个输出解析器，将结果拆分为查询列表。# 输出解析器将LLM结果拆分为查询列表# "lines" 是解析输出的关键（属性名称）# 链# 其他输入# 运行) # "lines" 是解析输出的关键（属性名称）
LangChain - Retrievers
AI工程化、开源分享、文档翻译、代码笔记
04-06 1876
一、入门 BaseRetriever 向量检索 一行代码创建索引 (One Line Index Creation) Walkthrough 二、上下文压缩 contextual_compression 入门 使用纯向量存储检索器 添加上下文压缩使用 `LLMChainExtractor` 更多内置压缩器：过滤器 `LLMChainFilter` `EmbeddingsFilter` 将压缩器和文档转换器串联起来 三、自查询 self_query 入门 (Pinecone 创建自查询检索器 测试 过滤 k
（17-6-01）检索增强生成（RAG）：LangChain中的检索器+基于向量存储的检索器
码农三叔
04-29 1559
在LangChain中，基于向量存储的检索器（Vector store-backed retriever）是一种利用向量存储系统来检索相关文档的组件。这种检索器将文档转换为向量表示，并将这些向量存储在高效的向量数据库中，以便在接收到查询时能够快速地检索出与查询内容最相关的文档。它是一个轻量级的包装器，利用向量存储技术，通过向量存储实现的搜索方法（如相似性搜索和最大边际相关性搜索）来查询存储在其中的文本数据。在本实例中，检索器会根据文档内容和查询的相关性，返回一个或多个与查询最匹配的文档。
LangChain框架-检索器详解
wend的博客
04-19 1316
检索器是一个接口，给定非结构化查询返回文档。它比向量存储更为通用。检索器不需要能够存储文档，只需返回（或检索）它们。检索器可以从向量存储创建，但也足够广泛，包括维基百科搜索和亚马逊Kendra。文本将基于LangChain 的官网文档和源码，综合介绍和总结LangChain 的检索器内容，方便学习的小伙伴快速掌握LangChain检索器相关的内容。
LangChain框架入门15：深度解析Retrievers检索器组件
weixin_42899466的博客
08-16 925
本文介绍了如何使用LangChain的检索器组件（Retrievers）进行高效数据检索。主要内容包括：1）BaseRetriever接口作为检索器的顶层接口，支持非结构化查询；2）VectorStoreRetriever通过封装向量数据库检索逻辑，可直接调用VectorStore方法获取相关文档；3）MultiQueryRetriever通过生成多个查询变体并汇总结果，提升检索准确性。文章提供了具体代码示例，展示如何创建这些检索器并执行检索操作。
大模型落地的实战解析：在Python中使用LangChain组合多种信息检索器的高级技巧
m0_57781768的博客
09-03 293
信息检索器（Retriever）是用于从大规模文档库中提取与用户查询相关内容的组件。它在各种基于自然语言处理的应用中起着至关重要的作用，例如搜索引擎、智能问答系统和内容推荐系统。稀疏检索：如BM25算法，基于关键词匹配，适用于寻找具体的词汇或短语。密集检索：如基于嵌入向量的检索（FAISS），基于语义相似度，适用于理解查询的整体语义并返回相关文档。在本文中，我们详细探讨了如何在Python中使用LangChain框架，结合多种信息检索器实现更为精确的混合检索。
开源模型应用落地-LangChain实用小技巧-检索器-集成多种检索器（十八）
以微薄之力，予他人些许温暖.
11-20 5923
集成多种检索器提升信息检索系统的性能和用户体验，提供更高的准确性、灵活性和鲁棒性。
LangChain教程 | Retrival之Retrievers详解 | 检索器教程
HRG520JN的博客
05-17 6356
检索器是给定非结构化查询返回文档的接口。它比矢量存储器更通用。检索者不需要能够存储文档，只需要能够返回（或检索）它们。向量存储可以用作检索器的主干，但也有其他类型的检索器。检索器接受字符串查询作为输入，并返回Documents 作为输出。
大模型从入门到应用——LangChain：索引（Indexes）-[检索器（Retrievers）]
冯·诺依曼
08-21 3974
检索器（Retrievers）是一个通用的接口，方便地将文档与语言模型结合在一起。该接口公开了一个`get_relevant_documents`方法，接受一个查询（字符串）并返回一组相关文档。以下是支持的所有检索器列表：
【可能是全网最丝滑的LangChain教程】十七、LangChain进阶之Retrievers
Jeffray1991的博客
07-08 1690
在 LangChain 文档中，检索器（Retrievers）被定义为一个接口，它可以接受一个字符串查询（query）作为输入，并输出一系列文档（Document）。
LangChain-检索系统 (Retrieval)
1.大规模企业集群服务开发和服务架构设计，性能优化等经验。 2.企业级数据仓库0-1落地经验。
04-10 942
检索系统解决了大型语言模型知识有限和过时的问题，允许模型访问外部信息源。文档加载：从各种来源加载文本数据文档处理：分割、清理和预处理文档嵌入和索引：将文本转换为向量并建立索引检索：搜索并获取相关文档上下文增强：将检索到的信息整合到模型输入中检索系统是LangChain中连接大语言模型与外部知识的关键组件。通过文档加载、文本处理、向量嵌入和检索，可以构建强大的知识增强型应用。RAG架构将检索系统与生成模型结合，创建了一种既有知识深度又能保持对话灵活性的AI应用框架。
LangChain（0.0.340）官方文档十：Retrieval——Retrievers（检索器）
qq_56591814的博客
12-16 4791
介绍了langchain 检索器（Retriever）中的多种检索方法和算法
【LangChain】检索器之MultiQueryRetriever
山鬼谣的专栏
07-24 4026
现在的搜索，其实是基于向量库的检索，本质上是距离的检索。而我们搜索的措辞的微妙变化，会产生不同的结果，这需要我们手动调整，这个工作枯燥乏味。，可以基于你给出的问题，生成多个相关问题。通过生成多角度问题，来自动调整这种微妙的措施变化。指定llm。
langchain 检索器
01-11
### LangChain检索器实现与使用 #### 实现细节 LangChain的`runnables`包提供了构建可执行组件的能力，这些组件可以用于创建复杂的流水线和工作流。对于检索器而言，其实现主要依赖于向量数据库和其他索引结构来高效地查找最相似的数据项[^1]。 在具体实践中，检索器通常会集成诸如FAISS、ChromaDB或其他类似的库来进行高效的近似最近邻搜索（Approximate Nearest Neighbor Search, ANN）。这使得即使面对大规模数据集也能保持良好的性能表现。当用户查询到来时，检索器负责将输入转换成适合ANN算法处理的形式，并返回一系列潜在的相关文档或片段给下游模块进一步分析处理[^2]。 #### 使用方法 为了利用LangChain中的检索功能，在编写代码之前应当先准备好要被索引的内容以及相应的元数据。下面给出了一段Python代码作为示例： ```python from langchain.retrievers import Retriever import faiss # 或者其他支持的向量存储引擎 # 初始化Faiss索引并加载已有的向量集合 index = faiss.read_index("path/to/index") retriever = Retriever( index=index, input_transformer=lambda query: transform_query_to_vector(query), ) results = retriever.retrieve("example user query", top_k=5) for result in results: print(f"Document ID: {result['id']}, Score: {result['score']}") ``` 这段脚本展示了如何设置一个基于Faiss的检索实例，并通过简单的lambda表达式定义了从自然语言查询到向量表示之间的映射关系。最后调用了`retrieve()`函数获取前五个匹配度最高的条目。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

彬彬侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值