自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 Prima.cpp :高效、低成本、私有化部署LLM模型的分布式推理框架

Prima.cpp 的目标是为更多的设备提供支持,并通过优化进一步提升推理速度与内存管理效果。它不仅降低了大型语言模型的硬件要求,还保障了数据安全和隐私,适应了对本地化部署有高度需求的企业和个人。如果你对大语言模型的本地化部署感兴趣,prima.cpp 是你值得关注的开源项目,能够帮助你在保障数据隐私的同时,实现强大的AI功能。

2025-04-18 12:08:22 626

原创 Cloning into ‘llama.cpp‘... fatal: unable to access…The TLS connection was non-properly terminated.

git clone无法连接下载问题解决

2024-11-25 17:33:57 260

原创 树莓派4b测试disk read/write bandwidth总结

总结了几个最简单的树莓派磁盘测试方法

2024-11-21 13:12:51 1639

原创 LLM常用评估工具和benchmark汇总

详细介绍了目前主流的LLM模型评估的工具和基准测试(benchmark)

2024-11-13 17:35:05 3946

原创 更换清华源的anaconda创建环境时出现CondaHTTPError问题解决记录

anaconda换清华源创建新环境时出现http error问题解决记录

2024-09-03 11:13:56 1917 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除