部署离线DeepSeek-R1模型,搭建私域知识库(Windows版)

一、前言:

       最近DeepSeek-R1火爆,父老乡亲们都都抱着极大的热情在体验DeepSeek,那么DeepSeek在传统制造业中有没有什么快速应用的场景呢?本人也一直在制造业中做开发,也结合公司当前情况做过思考,AI时代的来临,智能制造推行多年,受限于成本因素(绝大多数吧?)大多数制造业都没有在推行。年前的DeepSeek火爆其他部门的同事聊天也会聊到这个,结合实际的情况,想着能否将公司的知识文件收集起来搭建一个属于公司的私域知识库,该篇文章写的很浅不讲原理(小白也不会讲哈哈哈哈哈),用来摸索小白如何实现知识库,巨老们如果有啥建议可以留言哈

注意:非Docker版

二、环境工具说明

       1、操作系统:Windows10 专业版

       2、工具集:

                (1)、NodeJS(22.13.0)

                (2)、Microsoft Visual C++ 2015-2022 Redistributable(X64)

                (3)、Ollama version 0.5.7

                (4)、AnythingLLM 1.7.3-r2

      3、DeepSeek模型版本:R1-7B(没有硬件环境,找个硬件需求低的版本跑跑)  

三、配置过程

     1、安装NodeJS、Microsoft Visual C++2015-2022(安装完重启操作系统),AnythingLLM依赖该组建,没有安装的话在导入知识文件时会产生如下错误:

The specified module could not be found.
1\?\C:\Program、Files\AnythingLLM\resources\backend\node modulesonnxruntime-node\bin\napi-v3\win32\x64\onnxruntime binding.node

   2、安装Ollama

        注意:Ollama会默认安装到:C:\Users%username%\AppData\Local\Programs\Ollama

                   模型:C:\Users%username%.ollama\models,可以安装之后在做迁移

        一路点下一步直到安装完成,安装完成之后会有如下图标(安装完之后退出运行中的Ollama做路径迁移)

        

        迁移Ollama安装路径下的文件、及模型文件夹方法:

        (1)、Ollama安装文件夹迁移之后,用户变量中Path参数需要调整

                     

        (2)、打开系统环境变量,新建OLLAMA_MODELS变量(模型迁移后)

                     

           如果要搭配OpenWeb UI之类的话建议开启Ollama 允许浏览器跨域请求

            (1)、打开系统变量,新增OLLAMA_ORIGINS变量,变量值:*

           以上工作做完之后,管理员权限运行cmd,加载deepseek-r1:7b 模型

              (1)、运行指令:

其他模型可到https://ollama.org.cn/search查寻

Ollama run deepseek-r1:1.5B
Ollama run deepseek-r1:7b  --当前使用
Ollama run deepseek-r1:8b
Ollama run deepseek-r1:14b
Ollama run deepseek-r1:32b
Ollama run deepseek-r1:70b

              (2)、模型加载后会自动进入deepseek模型对话界面

    至此本地化部署deepseek模型完成

3、安装AnythingLLM

      运行AnythingLLM安装包,一路安装下去,完成之后运行AnythingLLM

      进入AnythingLLM界面后设置LLM首选项,选择LLM提供商

      使用界面如下:

     将知识文件上传导入模型中,操作方式如下:

文件导入之后,在模型中对话的体现:

补充,结合nomic-embed-text向量模型,及设置检索知识文件模式

1、拉取nomic-embed-text模型(该模型不能直接用于对话!)

ollama pull nomic-embed-text

2、AnythingLLM中设置embned的首选项

3、设置问答内容优先检索上传的知识文件(调整聊天模式,AnythingLLM中有聊天和查询两种模式)

聊天模式:聊天 将提供 LLM 的一般知识  找到的文档上下文的答案。

查询模式:查询 将  提供找到的文档上下文的答案。

4、设置向量数据库的文档相似性阈值(设置的越高,对于要求输入的token匹配程度就会越高)

      注意:源被视为与聊天相关所需的最低相似度分数。数字越高,来源与聊天就越相似,命中返回的文档就会更准确,但是输入Token如果命中达不到相似性最低阈值,那么文档内容检索的结果反馈可能会变差甚至于不返回文档内容

完结

ps:工具的使用还在摸索中

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值