阿里QwQ模型开源,号称媲美 DeepSeek 满血版,网上都在传部署成本很高,是真的么?
不废话,直接上图
可以看到2060s 运行效果,运行已经比较吃力了,用的 CPU 进行推理,所以吐字比较慢。
亮点
不联网正确回答 AI 绝世难题【‘strawberry’ 这个单词中一共有几个字母 ‘r’?】
DeepSeek 网页版(最强AI-回答正确)
GPT-4o
Kimi 网页版(回答错误)
长思考
评价是:不如不思考…
豆包(回答错误)
深度思考后
不知道是不是把特别火的AI难题微调过,这个回答特别快
下载运行
首先要确保自己已经下载好了 ollama,如何下载参考这里👈。
输入以下命令,回车,等待下载即可对话啦!
ollama run qwq
注意:ollama 断点续传下载机制原因,如果下载过程中速度越来越慢,可以
ctrl + C
中断,重新运行下载命令继续下载,继续下载时候就能看到下载速度恢复啦。
评价
劣势
- 很明显,2060s 部署吐字比较慢,和官网体验没法比,不知道配置更好的民用显卡吐字速度怎么样 🐢。
优势
- 推理能力很强,比肩 GPT-o1,相当于免费翻墙 + GPT VIP了 👍。
- 隐私&数据安全比较好,我的旅行计划、个人信息 + 签证办理表格自动填写用它确实更放心,身份证、护照ID、手机号不用联网泄露。 👀
整体
- 旧电脑想本地玩 AI 还是选择 DeepSeek R1 小模型部署 比较合适,作为边缘节点和智能家居互动还是够用的,
qwq
这种 20b+ 模型跑起来还是费劲的。 - 话说回来6年前的电脑都能跑,试试你的电脑能跑么?😀
扩展: 🚀懒人直接使用最简单的AI的 UI 页面 。