Win10环境借助OLLAMA本地部署Deep Seek实现一个简单的聊天机器人

Win10环境借助OLLAMA本地部署Deep Seek实现一个简单的聊天机器人

前言

去年底Deep seek突然火起来了，连不是程序猿的大众都耳熟能详，当然最大的有点就是便宜。。。想当初Chat GPT刚出现时，还得科学上网才能缴纳租金。。。国产大模型后来居上【通义千问、豆包等】，泛竞争对消费者当然是好事，可以使用到更便宜的产品甚至于可以白piao，一切都会越来越好。。。

笔者出于种种原因，要先在Win10环境下部署Deep Seek，后续才会尝试在服务器部署。。。

能够本地部署运行起来就是个不错的开始。。。

硬件配置

由于之前的华南X99烧了主板，更换为HP Z840：

准备好以后就可以尝试部署了。默认驱动及CUDA都是正常的：

https://lizhiyong.blog.csdn.net/article/details/127827522

安装OLLAMA

这是个运行大模型的常见工具：

https://ollama.com/download

笔者要在Win10部署，当然下载Windows版本。后续会尝试在飞牛NAS虚拟机部署Linux版本。

正常安装后没什么提示，需要命令行试一下：

C:\Users\zhiyong>ollama -v
ollama version is 0.5.7

说明安装成功。

挑选Deep seek版本

参照官网：

https://api-docs.deepseek.com/zh-cn/news/news250120

蒸馏出的6个小模型完全开源，不限制商用，且性能对标OpenAI o1-mini，所以要选择可以白piao的：

先用R1 1.5B这个最小版本尝尝鲜。成功后再尝试大一点的版本，参数越多的模型越占显存！！！

使用OLLAMA启动R1:1.5b

参照官网：

https://ollama.com/library/deepseek-r1

可以使用这些命令：

ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b

在CMD使用命令后就会自动下载所需资源包：

笔者的服务器是下载到了如下路径：

C:\Users\zhiyong\.ollama\models\blobs

执行exe是安装到了：

C:\Users\zhiyong\AppData\Local\Programs\Ollama

等待下载完成后：

C:\Users\zhiyong>ollama -v
ollama version is 0.5.7

C:\Users\zhiyong>

C:\Users\zhiyong>ollama run deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8...   3% ▕██████                                                                                    pulling manifest
pulling aabd4debf0c8... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏  148 B
pulling a85fe2a2e58e... 100% ▕████████████████████████████████████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)

success
>>> 你是谁？
<think>

</think>

您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。

>>> Send a message (/? for help)
>>>
Use Ctrl + d or /bye to exit.

Use Ctrl + d or /bye to exit.
>>> 虎鲸是鱼吗？
<think>

</think>

是的，老虎是一种大型的哺乳动物，属于陆地哺乳目中的虎鲸科。虎鲸科包括多种种类的老虎，它们适应于不同的环境，并且在不同
的文化和历史时期有着独特的文化符号和习俗。如果您有任何其他问题，我非常乐意为您提供帮助！

>>> Send a message (/? for help)

>>> /bye

C:\