ultingCSDN的博客

本文介绍了在AutoDL算力云平台上通过优化显存管理技术，成功在7GB显存下运行DeepSeek-R170B大模型的过程。通过降低模型精度至bfloat16，显存需求减少50%，再通过INT4对称量化，模型体积压缩至原始尺寸的25%（140G→35G）。结合vLLM PageAttention显存管理引擎，显存碎片率降低80%以上，并启用GPU-CPU交换空间，进一步降低显存需求。最终，在单机单卡7GB显存下成功启动模型，尽管推理速度较慢（0.4token/s），但展示了在有限资源下运行大模型的可行性。

构建RAG混合开发---通过PythonAI加载大模型以及RAG知识库，结合Java访问Python与Vue.js前端的实践交互案例

MCP的简单入门，以及自己对MCP的理解

使用LangGraph构建多代理Agent

大模型LLMs基于Langchain的Tools工具使用

大模型LLMs框架Langchain之内存管理 --- redis版本和本地内存版本

大模型微调完整精简版本

大模型下载、语言模型下载

基于PEFT参数高效微调的LORA实战代码

大模型LLMs基于Langchain+FAISS+Ollama/Deepseek/Qwen/OpenAI的RAG检索方法以及优化

大模型LLMs框架Langchain之链详解