CodeGPT使用本地部署DeepSeek Coder

    目前NV和github都托管了DeepSeek,生成Key后可以很方便的用CodeGPT接入。CodeGPT有三种方式使用AI,分别时Agents,Local LLMs(本地部署AI大模型),LLMs Cloud Model(云端大模型,从你自己账号设置中把key拷贝过来就行)

     我们使用Ollama管理本地部署的大模型,到 Ollama 官方网站下载Ollama。在Ollama网站山更可以搜索它支持的模型,

点击我们要部署的deepseek-coder-v2, 根据你的需要选择适当参数的ds模型,在右边就有生成对应的ollama安装命令,复制后到本地命令行运行即可安装。例如:

ollama run deepseek-coder-v2:16b   ollama run deepseek-coder-v2:236b

   也可以在VSCode的CodeGPT插件中安装对应模型,更加的省事,直接选择点击下载即可。

下载完成后,在命令用命令启动你的本地大模型,启动时间需要一点,直到按回车出现 >>>,大模型就启动成功了。这时候你可以敲个问题给大模型,能回到就说明部署成功。

也可以用OpenWebUI这个python插件,来通过web使用。

安装: pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple

(有人反馈,没有安装msbuil的话,安装 open webui可能会报错,可以先安装 Microsoft C++ 生成工具 - Visual Studio  ,如果你是开发者就没这个问题)

安装完成后启动 openwebui服务,open-webui serve

之后就用浏览器链接 http://localhost:8080/ 

如果连接有问题,那么注意一下防火墙,开放一下8080端口即可。

    接下来配置CodeGPT的 Local LLMS,如果你没有安装它会推荐一些本地大模型给你(Recommend Models 见上图),如果你已经有安装了那么显示的时Installed Models(见下图)

选择已经本地部署的大模型后,无需在Connect to Ollama里填入Ollama的地址,也不用去点击
Connect. 否则CodeGTP会报 Error Model Not found。 Status 404。没仔细研究,

    

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值