AnythingLLM

一、关于 AnythingLLM

AnythingLLM 是一个全栈应用程序，可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用。此应用程序允许您选择使用哪个LLM或向量数据库，同时支持多用户管理并设置不同权限。

• github ： https://github.com/Mintplex-Labs/anything-llm
• 官网：https://anythingllm.com/
• 官方文档：https://docs.anythingllm.com
• 托管实例 : https://my.mintplexlabs.com/aio-checkout?product=anythingllm
• 客户端桌面版（Mac、Windows和Linux）：https://anythingllm.com/download

演示视频：[FREE] AnythingLLM v2 | The last document chatbot you will ever need

https://youtu.be/f95rGD9trL0

产品概览

AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。

AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化，。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

AnythingLLM的一些酷炫特性

• 多用户实例支持和权限管理
• 工作区内的智能体Agent（浏览网页、运行代码等）
• 为您的网站定制的可嵌入聊天窗口
• 支持多种文档类型（PDF、TXT、DOCX等）
• 通过简单的用户界面管理向量数据库中的文档
• 两种对话模式：聊天和查询。聊天模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答
• 聊天中会提供所引用的相应文档内容
• 100%云部署就绪。
• “部署你自己的LLM模型”。
• 管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding)一个庞大的文档或文字记录。比其他文档聊天机器人解决方案节省90%的成本。
• 全套的开发人员API，用于自定义集成！

技术概览

这个单库由三个主要部分组成：

• frontend: 一个 viteJS + React 前端，您可以运行它来轻松创建和管理LLM可以使用的所有内容。
• server: 一个 NodeJS express 服务器，用于处理所有交互并进行所有向量数据库管理和 LLM 交互。
• docker: Docker 指令和构建过程 + 从源代码构建的信息。
• collector: NodeJS express 服务器，用于从UI处理和解析文档。

功能文档

• AI Agents : https://docs.anythingllm.com/features/ai-agents
• API Access & Keys : https://docs.anythingllm.com/features/api
• Appearance Customization : https://docs.anythingllm.com/features/customization
• Embedded Chat Widgets : https://docs.anythingllm.com/features/chat-widgets
• Chat Logs : https://docs.anythingllm.com/features/chat-logs
• Event Logs : https://docs.anythingllm.com/features/event-logs
• Large Language Models : https://docs.anythingllm.com/features/language-models
• Embedding Models : https://docs.anythingllm.com/features/embedding-models
• Transcription Models : https://docs.anythingllm.com/features/transcription-models
• Vector Databases : https://docs.anythingllm.com/features/vector-databases
• Security & Access : https://docs.anythingllm.com/features/security-and-access
• Privacy & Data Handling : https://docs.anythingllm.com/features/privacy-and-data-handling
• Cloud Deployment : <https://docs.anythingllm.com/installation/self-hosted/cloud-docker)

支持的LLM、嵌入模型、转录模型和向量数据库

支持的LLM：

• 任何与llama.cpp兼容的开源模型
• OpenAI
• OpenAI (通用)
• Azure OpenAI
• Anthropic
• Google Gemini Pro
• Hugging Face (聊天模型)
• Ollama (聊天模型)
• LM Studio (所有模型)
• LocalAi (所有模型)
• Together AI (聊天模型)
• Perplexity (聊天模型)
• OpenRouter (聊天模型)
• Mistral
• Groq
• Cohere
• KoboldCPP

支持的嵌入模型：

• AnythingLLM原生嵌入器（默认）
• OpenAI
• Azure OpenAI
• LocalAi (全部)
• Ollama (全部)
• LM Studio (全部)
• Cohere

支持的转录模型：

• AnythingLLM内置 （默认）
• OpenAI

支持的向量数据库：

• LanceDB （默认）
• Astra DB
• Pinecone
• Chroma
• Weaviate
• QDrant
• Milvus
• Zilliz

二、🛳 自托管

Mintplex Labs和社区维护了许多部署方法、脚本和模板，您可以使用它们在本地运行AnythingLLM。请参阅下面的表格，了解如何在您喜欢的环境上部署，或自动部署。

• 在 Docker 上部署 : https://github.com/Mintplex-Labs/anything-llm/blob/master/docker/HOW_TO_USE_DOCKER.md
• 在 AWS 上部署 : https://github.com/Mintplex-Labs/anything-llm/blob/master/cloud-deployments/aws/cloudformation/DEPLOY.md
• GCP : https://github.com/Mintplex-Labs/anything-llm/blob/master/cloud-deployments/gcp/deployment/DEPLOY.md
• Digital Ocean : https://github.com/Mintplex-Labs/anything-llm/blob/master/cloud-deployments/digitalocean/terraform/DEPLOY.md
• Render.com : https://render.com/deploy?repo=https://github.com/Mintplex-Labs/anything-llm&branch=render
• Railway : https://railway.app/template/HNSCS1?referralCode=WFgJkn
• 其他方案：不使用Docker配置AnythingLLM实例 : https://github.com/Mintplex-Labs/anything-llm/blob/master/locales/BARE_METAL.md

三、如何设置开发环境

• yarn setup 填充每个应用程序部分所需的 .env 文件（从仓库的根目录）。
  • 在开始下一步之前，先填写这些信息server/.env.development，不然代码无法正常执行。
• yarn dev:server 在本地启动服务器（从仓库的根目录）。
• yarn dev:frontend 在本地启动前端（从仓库的根目录）。
• yarn dev:collector 然后运行文档收集器（从仓库的根目录）。

• 了解文档: https://github.com/Mintplex-Labs/anything-llm/blob/master/locales/server/storage/documents/DOCUMENTS.md
• 了解向量缓存: https://github.com/Mintplex-Labs/anything-llm/blob/master/locales/server/storage/vector-cache/VECTOR_CACHE.md

四、其它

如何贡献

• 创建 issue
• 创建 PR，分支名称格式为 <issue number>-<short name>
• 合并

远程信息收集与隐私保护

由 Mintplex Labs Inc 开发的 AnythingLLM 包含一个收集匿名使用信息的 Telemetry 功能。

🔗 更多产品

• VectorAdmin：一个用于管理向量数据库的全方位GUI和工具套件。
• OpenAI Assistant Swarm：一个智能体Agent就可以管理您所有的OpenAI助手。

2024-08-04（日）