本地部署阿里qwq需要什么配置?

阿里QwQ模型开源,号称媲美 DeepSeek 满血版,网上都在传部署成本很高,是真的么?

不废话,直接上图

可以看到2060s 运行效果,运行已经比较吃力了,用的 CPU 进行推理,所以吐字比较慢。
在这里插入图片描述

亮点

不联网正确回答 AI 绝世难题【‘strawberry’ 这个单词中一共有几个字母 ‘r’?】
在这里插入图片描述

DeepSeek 网页版(最强AI-回答正确)

在这里插入图片描述

GPT-4o

Kimi 网页版(回答错误)

在这里插入图片描述
长思考

评价是:不如不思考…
在这里插入图片描述

豆包(回答错误)

在这里插入图片描述
深度思考后

不知道是不是把特别火的AI难题微调过,这个回答特别快

在这里插入图片描述

下载运行

首先要确保自己已经下载好了 ollama,如何下载参考这里👈。

输入以下命令,回车,等待下载即可对话啦!

ollama run qwq

注意:ollama 断点续传下载机制原因,如果下载过程中速度越来越慢,可以 ctrl + C 中断,重新运行下载命令继续下载,继续下载时候就能看到下载速度恢复啦。

评价

劣势

  • 很明显,2060s 部署吐字比较慢,和官网体验没法比,不知道配置更好的民用显卡吐字速度怎么样 🐢。

优势

  • 推理能力很强,比肩 GPT-o1,相当于免费翻墙 + GPT VIP了 👍。
  • 隐私&数据安全比较好,我的旅行计划、个人信息 + 签证办理表格自动填写用它确实更放心,身份证、护照ID、手机号不用联网泄露。 👀

整体

  • 旧电脑想本地玩 AI 还是选择 DeepSeek R1 小模型部署 比较合适,作为边缘节点和智能家居互动还是够用的,qwq 这种 20b+ 模型跑起来还是费劲的。
  • 话说回来6年前的电脑都能跑,试试你的电脑能跑么?😀

扩展: 🚀懒人直接使用最简单的AI的 UI 页面

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值