【AI落地应用实战】DeepSeek + RagFlow + 本地私有知识库构建本地知识库系统实战指南

最新推荐文章于 2025-03-13 23:14:22 发布

冻感糕人~

最新推荐文章于 2025-03-13 23:14:22 发布

阅读量1.7k

点赞数 19

文章标签：大模型训练 AI大模型 LLM 大模型 AI应用知识库 deepseek

原文链接：https://blog.csdn.net/air__Heaven/article/details/145579513

版权

大模型应用的关键，不只是构建好模型算法，更重要的是做好数据的处理、挖掘等问题。数据贯穿了大模型从预训练到产业落地的全过程。

一定程度上，智能时代，企业数据处理能力有多强，决定了业务发展的天花板有多高。

而能力再强大的 LLM 也只能取代人部分学习和推理能力，无法取代存储和访问数据的能力；参数再多的 LLM 也不能仅凭基于通用数据的训练就能精确表达企业内部海量且丰富的数据。而处理这类数据，才是私有化场景的主要需求。

一方面，企业很难把自己具有核心竞争力的数据放到大模型中去训练；
另一方面，企业的业务数据变化速度快，且实时性强，因此私有化部署后的大模型、在数据层上也很难做到秒、天级别的更新。

本文将带您构建一个集大模型推理、智能检索、知识加工于一体的本地知识库系统，深度融合DeepSeek认知大模型的语义理解能力、RagFlow的文档智能处理能力以及Ollama的本地化部署优势。该系统具备三大核心价值：

私有化部署：数据全程在本地流转，杜绝信息外泄；
强大的文档处理：自带OCR，能够通过深度文档理解模块智能提取和组织信息，支持多种异构数据源，包括Word、PPT、Excel、TXT、图片、扫描件、结构化数据、网页；
支持多种模型：在Ollama的加持下，支持本地部署市面上大部分权重开源模型（如qwen系列、deepseek、ollama、qwq、glm等），也支持在线Web API调用、支持硅基流动等平台；

本文将以DeepSeek、RagFlow、Ollama为核心，手把手带你搭建一套支持GPU加速的私有知识库系统，助你快速实现AI技术的本地化部署与私有知识管理。

一、环境准备

本文基于 Ubuntu 22.04 LTS 系统，使用了 NVIDIA A10显卡在ollama上部署了deepseek 32b模型，如果显卡性能不够的话，也可以部署14b或者7b的小模型，系统整体包括以下组件：

Docker：容器化运行环境

Ollama：本地大模型推理引擎

RagFlow：RAG（检索增强生成）框架

MinIO/MySQL/Redis：存储与缓存基础设施

二、DeepSeek + RagFlow + Ollama 实战指南

2.1、安装Docker

在这里插入图片描述

Docker是一个开源的容器化平台，能够帮助我们在隔离的环境中运行应用程序。在安装之前，首先更新索引：sudo apt update 在这里插入图片描述

其次输入指令sudo apt install docker.io 使用apt安装docker：在这里插入图片描述安装成功后可以使用docker -v查看docker版本，使用docker ps查看当前docker container情况：
能够显示内容，则说明docker安装成功！

2.2、镜像安装Ollama

Ollama是一个轻量级的模型服务框架，支持多种深度学习模型的部署和管理。它提供了简单的API接口，方便用户快速部署和使用模型服务。

在这里插入图片描述
Ollama的安装非常简单，这里我们可以通过Docker来快速部署，在国内环境下，一般使用docker pull ollama/ollama会报 docker error response from daemon: get "https://registry-1.docker.io/v2/错误，这是因为服务器无法访问到对应网站。

在这里插入图片描述这里可以采用国内镜像网站加速的方案：https://github.com/dongyubin/DockerHub

在这里插入图片描述

在这里插入图片描述
比如，这里使用docker.1ms.run镜像网站拉取ollama：sudo docker pull docker.1ms.run/ollama/ollama
拉取后要记得使用docker tag 重命名为ollama/ollama，即：:docker tag docker.1ms.run/ollama/ollama ollama/ollama

在这里插入图片描述

2.3、以GPU模式启动Ollama

如果你的机器配备了NVIDIA GPU，可以通过NVIDIA Docker工具包来启用GPU加速。

首先输入以下指令配置添加NVIDIA Docker仓库并安装NVIDIA Docker 2.x：

# 安装NVIDIA Docker工具包
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker

然后以GPU模式启动Ollama容器

sudo docker run -d --gpus all -p 8080:8080 --name ollama ollama/ollama

2.4 、安装RagFlow

RagFlow是一个基于RAG（Retrieval-Augmented Generation）框架的工具，能够结合检索和生成模型，提供更精准的问答服务。它通过从知识库中检索相关信息，再结合生成模型生成答案，显著提升了问答系统的准确性。

在这里插入图片描述

使用sudo docker compose -f docker-compose-base.yml up -d安装，一般会报错：在这里插入图片描述
这里可以同样采用刚刚的方法，打开docker-compose-base.yml文件，找到报Error的镜像名称和版本号：

在这里插入图片描述
使用同样的方法先下载，再用tag重命名：
如此同样的方法下载infinity、mysql、minio、redis：分别安装完成后，再输入一遍sudo docker compose -f docker-compose-base.yml up -d，检查是否全部下载完成，如果显示如下则说明全部下载完成：在这里插入图片描述下载好基础镜像后，还需要根据需求安装对应版本的RagFlow，这里选择安装Linux GPU版本：输入 sudo docker compose -f docker-compose-gpu.yml up -d安装GPU版本的RAGFlow

在这里插入图片描述输入sudo docker ps -a可以看到目前运行的镜像状态，显示有ragflow-server、mysql、minio、redis、es、ollama这些镜像才算成功启动，如下：输入对应的ip或者域名即可访问：

在这里插入图片描述

这样你就成功搭建了一个的本地私有知识库系统。

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

read-normal-img

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

read-normal-img

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

read-normal-img

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能，学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

read-normal-img

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/6788e1e43a504e4993cd1dc1f86c8c3f.jpeg