使用Ollama本地运行大模型，彻底杜绝私有信息泄露，无限token随便用

我爱学大模型

于 2025-05-30 21:34:06 发布

阅读量1k

点赞数 38

文章标签：人工智能自然语言处理 AI大模型大模型应用 AI ollama LLM

本文链接：https://blog.csdn.net/python1234_/article/details/148345210

版权

这一篇介绍，如何把大模型搬到本地，彻底杜绝个人或企业知识泄露和无限token的问题。

本文提到的工具：Ollama + DeepSeek + CherryStudio(可选)

当然如果有条件，可以自行对大模型进行微调，训练更符合自己需要的大模型。这个需要一定的硬件要求和技术能力支撑，不在本篇探讨范围。

老规矩，先看效果

我的电脑配置不高，本地只安装了蒸馏后的deepseek(8b)，不是满血版(671b），不过个人使用足够了。

（素颜版，通过cmd查看本地大模型效果）

（高颜版，通过CherryStudio工具查看本地大模型效果）

以下是详细的实现过程：

一、需求拆解

\1. 把大模型下载到本地

\2. 本地运行大模型

\3. 调用大模型（三个场景，其中之一是RAGFlow）

二、用到的工具

Ollama + DeepSeek + CherryStudio（可选，如果仅作为聊天使用，不和RAG结合，这个工具就够了）

三、实现过程

1. 安装Ollama

官网（https://ollama.com/）下载安装即可，傻瓜式操作，一路下一步即可。

2. 配置Ollama

修改系统环境变量，以win11为例。“搜索->编辑环境变量"

新增三个环境变量，分别是OLLMA_HOST、OLLAMA_PORT、OLLAMA_MODELS。

OLLMA_HOST: 允许访问ollama模型的IP，如果没有限制直接写0.0.0.0。

OLLAMA_PORT： 访问ollama模型的端口

OLLAMA_MODESL： 本地存放大模型的路径

以下是示例：可根据实际情况修改

在这里插入图片描述

2. 用Ollama下载大模型

1) 登录Ollama官网找到对应的模型名称

注意，选好对应的版本，例如8b。

2）本地下载并运行大模型

cmd或者powershell环境，运行"ollama run对应的模型名称"，等待即可

ollama run deepseek-r1:8b

当出现，”>>Send a message (/? for help)“ 证明安装成功，即可在本地使用了。

3.本地调用大模型三种方式（当然还有其他用法，比如通过obsidian调用）

1) 在cmd或Powershell环境聊天对话

PS：这种方式未接入本地知识库，用的是大模型本身的数据，而且deepseek:r1版模型训练截止日期是2024年7月。所以本地私有的知识，以及24年7月之后发生事，他是不知道的。

按照上篇本地知识库的问题”红烧鲤鱼做法的关键是什么？“，答案是根据之前训练的结果来的。如下：

2) 在CherryStudio中配置并调用

之后在聊天框选中对应的模型即可。

3) 与RAGFlow结合，彻底实现本地知识库隔离，且无限token。

启动并登录RAGFLow： 通过docker启动RAGFlow并登录
配置备选大模型： 头像->配置->模型提供商->ollama

详细配置参数如下：
**配置使用中的模型：**头像->配置->模型提供商->系统模型设置

聊天模型选中ollama的deepseek-r1:8b模型即完成配置。

其他使用方式不变，与上一篇教程一样。