为什么要离线部署DeepSeek模型
在线部署意味着模型需要连接到互联网才能运行,而离线部署则是在本地设备上运行,不需要网络连接。
另外还有数据隐私的问题,如果应用处理的是敏感信息,那么上传到云端可能会有风险。通过离线部署,可确保所有数据都在本地处理,减少数据泄露和攻击的可能性。
性能方面也是一个考虑点。在线服务可能因为网络延迟或带宽限制导致响应时间变长。特别是在处理大量数据或者需要实时反馈的应用中,本地运行可以提供更快的响应速度和更流畅的用户体验。
此外,对于一些需要高可用性的应用场景,比如关键任务系统或者工业自动化,离线部署可以确保即使在网络中断的情况下,模型仍然能够正常工作,避免生产过程中的停顿或错误。
DeepSeek是一个开源模型,可以本地部署随时使用!接下来就教大家具体的操作:
1、进入Ollama官网下载安装Ollama,它可在本地运行管理大模型。
(这里贴心奉上已下载好的Ollama软件,点击我直接下载安装即可。)
安装完成Ollama软件后系统托盘图标会显示出已经安装好Ollama的图标:
2、下载DeepSeek-R1的不同版本模型
【2.1】 点击Ollama官网左上方的“Models”按钮进入模型页面,然后点击目前最火的deepseek-r1 进入下载页面。
【2.2】 进入页面后点击下拉菜单,可以看到多个版本。这里根据自己部署电脑的配置和网速进行选择,作者电脑NVIDIA显卡3060所以暂时选择了14b模型,然后点击下图右侧按钮 复制运行指令。
【2.3】 打开CMD黑窗口,将上面复制的指令拷贝后回车进行下载模型。
【2.4】 下载完成后直接就可对话了。若需开启新的对话则打开黑窗口重新输出指令即可再次对话。
3、可视化界面安装
在命令行窗口下对话,还是太抽象,我们需要一个美观的图文交互界面。
【3.1】 进入Chatbox AI官网,点击下载Windows版本Chatbox,将它作为我们与DeepSeek对话的窗口界面。
(这里贴心奉上已下载好的Chatbox软件,点击我直接下载安装即可。)
【3.2】下载安装好后打开,①设置中文显示;②设置对话模型。至此享受吧,哈哈哈。
4、局域网一机部署多机共享
在A电脑部署后,那么B和C电脑的同学也想要使用DeepSeek怎么办呢。恰好在步骤3安装的Chatbox软件支持网络访问模型推理,美滋滋。
【4.1】在部署了Ollama的A电脑托盘处退出Ollama软件,然后主机上加入两个环境变量后保存。最后启动Ollama软件。
创建新的变量: OLLAMA_HOST 值为 0.0.0.0
创建新的变量: OLLAMA_ORIGINS 值为 *
【4.2】B和C进行访问
①如下图打开A电脑的Chatbox软件设置。将红色圈里的ip改为A的IPv4的ip地址,然后在B和C电脑中Chatbox软件设置访问。
②按照下图设置B和C电脑的Chatbox软件,保存后就可以访问A电脑部署的DeepSeek了。。反正占用的是A电脑的推理资源,哈哈哈。
【4.3】附:官网原文
关注
笔者 - 东旭