基于AutoGen+Ollama+Litellm构建知识库问答系统

### Autogen Studio Ollama 使用指南 #### 安装依赖库 为了使用 Autogen Studio 结合 Ollama 构建模型，需先安装必要的 Python 库。这可以通过 pip 来完成。 ```bash pip install litellm autogen-studio ollama ``` #### 初始化配置文件 对于 GraphRAG 离线嵌入和索引的 LLM 配置，`settings.yaml` 文件至关重要[^1]。该文件应放置于项目的工作目录下，并用于替代默认生成的设置文件。以下是 `settings.yaml` 的基本结构： ```yaml model: name: "mistral-7b" provider: "ollama" embedding: method: "nomic-text-embedding" graph_rag: offline_indexing: true ``` #### 创建并运行模型实例 利用上述配置，在代码中可以轻松创建一个基于指定参数的新模型实例。下面是一个简单的例子来展示如何实现这一点。 ```python from autogen_studio import ModelBuilder, settings_from_file # 加载自定义设置 config = settings_from_file('path/to/settings.yaml') # 实例化模型构建器对象 builder = ModelBuilder(config) # 启动服务并与 Lite-LLM API 对接 if builder.is_valid(): model_instance = builder.create_model() else: raise ValueError("Invalid configuration provided.") ``` #### 扩展功能支持 值得注意的是，Autogen 已经被增强以兼容来自 Ollama 的非 OpenAI 大型语言模型 (LLMs)，并通过 Lite-LLM 提供代理服务器接口访问这些资源[^2]。这意味着开发者现在能够更灵活地选择不同的后端提供商而无需更改大量现有代码逻辑。 #### 模型一致性校验 确保所使用的模型名称与通过命令 `ollama list` 显示的结果相匹配非常重要[^3]。这样做可以帮助防止因命名差异而导致潜在错误或不兼容情况的发生。