DeepSeek-R1模型本地部署详细教程。局域网一机部署多机共享,离线使用美滋滋(附教程中所有软件)

为什么要离线部署DeepSeek模型

     在线部署意味着模型需要连接到互联网才能运行,而离线部署则是在本地设备上运行,不需要网络连接。
     另外还有数据隐私的问题,如果应用处理的是敏感信息,那么上传到云端可能会有风险。通过离线部署,可确保所有数据都在本地处理,减少数据泄露和攻击的可能性。
     性能方面也是一个考虑点。在线服务可能因为网络延迟或带宽限制导致响应时间变长。特别是在处理大量数据或者需要实时反馈的应用中,本地运行可以提供更快的响应速度和更流畅的用户体验。
     此外,对于一些需要高可用性的应用场景,比如关键任务系统或者工业自动化,离线部署可以确保即使在网络中断的情况下,模型仍然能够正常工作,避免生产过程中的停顿或错误。

DeepSeek是一个开源模型,可以本地部署随时使用!接下来就教大家具体的操作:

     1、进入Ollama官网下载安装Ollama,它可在本地运行管理大模型。

          (这里贴心奉上已下载好的Ollama软件,点击我直接下载安装即可。)

在这里插入图片描述

在这里插入图片描述

          安装完成Ollama软件后系统托盘图标会显示出已经安装好Ollama的图标:

在这里插入图片描述

     2、下载DeepSeek-R1的不同版本模型

          【2.1】 点击Ollama官网左上方的“Models”按钮进入模型页面,然后点击目前最火的deepseek-r1 进入下载页面。

在这里插入图片描述

          【2.2】 进入页面后点击下拉菜单,可以看到多个版本。这里根据自己部署电脑的配置和网速进行选择,作者电脑NVIDIA显卡3060所以暂时选择了14b模型,然后点击下图右侧按钮 复制运行指令。

在这里插入图片描述

          【2.3】 打开CMD黑窗口,将上面复制的指令拷贝后回车进行下载模型。

在这里插入图片描述

          【2.4】 下载完成后直接就可对话了。若需开启新的对话则打开黑窗口重新输出指令即可再次对话。
在这里插入图片描述


     3、可视化界面安装

          在命令行窗口下对话,还是太抽象,我们需要一个美观的图文交互界面。

          【3.1】 进入Chatbox AI官网,点击下载Windows版本Chatbox,将它作为我们与DeepSeek对话的窗口界面。
               (这里贴心奉上已下载好的Chatbox软件,点击我直接下载安装即可。)

在这里插入图片描述

          【3.2】下载安装好后打开,①设置中文显示;②设置对话模型。至此享受吧,哈哈哈。

在这里插入图片描述

在这里插入图片描述


     4、局域网一机部署多机共享

          在A电脑部署后,那么B和C电脑的同学也想要使用DeepSeek怎么办呢。恰好在步骤3安装的Chatbox软件支持网络访问模型推理,美滋滋。

在这里插入图片描述

          【4.1】在部署了Ollama的A电脑托盘处退出Ollama软件,然后主机上加入两个环境变量后保存。最后启动Ollama软件。

创建新的变量: OLLAMA_HOST 		值为 0.0.0.0
创建新的变量: OLLAMA_ORIGINS 	 	值为 *

在这里插入图片描述

          【4.2】B和C进行访问

               ①如下图打开A电脑的Chatbox软件设置。将红色圈里的ip改为A的IPv4的ip地址,然后在B和C电脑中Chatbox软件设置访问。

在这里插入图片描述

               ②按照下图设置B和C电脑的Chatbox软件,保存后就可以访问A电脑部署的DeepSeek了。。反正占用的是A电脑的推理资源,哈哈哈。

在这里插入图片描述

          【4.3】附:官网原文

在这里插入图片描述

关注

笔者 - 东旭

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

信必诺

嗨,支持下哥们呗。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值