大模型——RAG进阶 Embedding Models嵌入式模型原理和选择

RAG进阶：Embedding Models嵌入式模型原理和选择

一、概念与核心原理

1. 嵌入模型的本质

嵌入模型（Embedding Model）是一种将离散数据（如文本、图像）映射到连续向量空间的技术。通过高维向量表示（如 768 维或 3072 维），模型可捕捉数据的语义信息，使得语义相似的文本在向量空间中距离更近。例如，“忘记密码”和“账号锁定”会被编码为相近的向量，从而支持语义检索而非仅关键词匹配。

2. 核心作用

**语义编码：**将文本、图像等转换为向量，保留上下文信息（如 BERT 的 CLS Token 或均值池化。)

**相似度计算：**通过余弦相似度、欧氏距离等度量向量关联性，支撑检索增强生成（RAG）、推荐系统等应用。

**信息降维：**压缩复杂数据为低维稠密向量，提升存储与计算效率。

3. 关键技术原理

**上下文依赖：**现代模型（如 BGE-M3）动态调整向量，捕捉多义词在不同语境中的含义。

**训练方法：**对比学习（