- 博客(29)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 RagFlow 完全指南（一）：从零搭建开源大模型应用平台（Ollama、VLLM本地模型接入实战）
RagFlow 是一个基于深度文档理解的自动化 RAG（Retrieval-Augmented Generation）工作流工具，支持从多种复杂格式的非结构化数据中提取信息。其核心特性包括基于模板的文本切片、降低幻觉、兼容异构数据源以及支持大语言模型和向量模型的配置。RagFlow 提供了易用的 API，可轻松集成到企业系统中。安装与部署过程依赖于 Docker 和 Docker Compose，支持 CPU 和 GPU 环境。用户可以通过本地模型（如 Ollama 和 VLLM）进行接入，并提供了详细的配
2025-05-11 18:49:07
474
原创 大模型微调终极方案：LoRA、QLoRA原理详解与LLaMA-Factory、Xtuner实战对比
微调（Fine-tuning）是深度学习中一种利用预训练模型进行特定任务优化的方法，旨在提升模型在特定任务上的性能。微调步骤包括加载预训练模型、修改模型结构、设置优化器和损失函数、训练模型及评估性能。微调场景涵盖修改模型输出层、自我认知及对话风格等。微调方法主要分为增量微调、局部微调和全量微调，各方法在参数调整范围、显存需求、训练速度及效果等方面有所不同。微调技术如LoRA和QLoRA通过引入低秩矩阵和量化技术，减少参数数量和计算成本，适用于资源有限或内存要求苛刻的场景。微调框架如LLaMA-Factory
2025-05-10 22:25:54
1022
原创 大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调
LLaMA-Factory 是一个功能强大的工具，支持模型的训练、微调、评估、推理和导出。它提供了全参数微调、LoRA 微调、QLoRA 微调等多种微调方法，并支持通过可视化界面或命令行进行操作。安装过程包括创建虚拟环境、下载仓库和安装依赖。使用 WebUI 可以方便地进行模型训练、评估、对话和导出，而命令行则提供了更灵活的配置选项，支持模型微调、合并、推理和评估。LLaMA-Factory 还支持自定义数据集和断点重连功能，适用于多种模型训练和微调场景。
2025-05-10 22:16:43
785
原创 大模型部署指南之 vLLM 篇：基于PagedAttention的工业级推理方案
vLLM 是一个高性能的大语言模型推理引擎，专为高并发生产环境设计。其核心优势包括通过 PagedAttention 技术实现显存高效管理，提升吞吐量 10-100 倍，支持多种量化技术（如 AWQ/GPTQ/Bitsandbytes），并兼容 HuggingFace 模型和 OpenAI API 协议。vLLM 提供快速安装和配置指南，支持在线模型调用、服务启动、基准测试等功能，并可通过 REST API 进行集成。此外，vLLM 还支持与可视化界面 OpenWebUI 的对接，方便用户通过 Web 界面
2025-05-10 00:54:24
569
原创 大模型部署指南之 LMDeploy 篇：从模型压缩到生产级API的完整武器库
LMDeploy 是由 MMDeploy 和 MMRazor 团队开发的全套轻量化、部署和服务解决方案，专为本地化私有部署设计。其核心优势包括极致性能优化、生产级部署、多格式兼容和开放生态。LMDeploy 支持从模型量化到生产级API服务的全流程优化，特别适合需要低延迟、高并发的企业应用。通过内置的量化工具和高并发管理，LMDeploy 显著提升了推理速度并降低了显存占用，使得在消费级显卡上也能流畅运行大模型。此外，LMDeploy 提供了开箱即用的部署工具，简化了从模型转换到服务部署的流程，大幅缩短了部
2025-05-10 00:53:23
824
原创 NLP核心技术解析：大模型与分词工具的协同工作原理
分词工具（如Jieba、SentencePiece）与AI大模型分词工具是AI大模型的“前处理引擎”，为大模型提供数据预处理支持大模型是任务的“智能大脑”，它利用分词结果可以进行更高级的语言理解和生成任务通过词汇表预对齐子词回退领域适配扩展的组合策略，可确保：✅ 分词结果 100% 被 Tokenizer 接受✅ 专业术语完整性保留✅ 避免<UNK>导致的语义损失最终效果取决于分词工具与 Tokenizer 的协同设计，建议在预处理阶段加入OOV检测模块进行质量监控。
2025-05-07 10:54:39
986
原创 大模型部署指南之 Ollama 篇：一条命令实现开箱即用，零配置玩转主流模型
Ollama 是当前最简单高效的本地大模型运行方案🔍隐私敏感场景：数据完全本地处理💻快速原型开发：一键测试不同模型🚀教育研究用途：低成本体验 LLM 能力资源推荐官方模型库中文优化模型合集LLaMA.cpp。
2025-05-07 00:34:24
846
原创 Dify 完全指南（一）：从零搭建开源大模型应用平台（Ollama/VLLM本地模型接入实战）
Dify 是一个开源的大型语言模型（LLM）应用平台，支持多种模型如 OpenAI、Anthropic、Ollama 等，并提供可视化 Prompt 编排、RAG 增强检索、Agent 框架等功能。本文详细介绍了如何通过 Docker Compose 部署 Dify，并接入本地模型如 Ollama 和 VLLM。部署步骤包括安装 Docker 和 Docker Compose、启动 Dify 容器、更新和重启 Dify 服务。接入本地模型时，需配置模型名称和基础 URL，并解决可能出现的连接问题。Dify
2025-05-04 13:47:07
1447
原创 Ubuntu 24.04 完整Docker安装指南：从零配置到实战命令大全
Ubuntu 24.04 完整Docker安装指南：从零配置到实战命令大全。
2025-05-03 19:52:50
907
原创 RAG技术完全指南（三）：LlamaIndex架构解析与私有知识库搭建
RAG 在实际应用中，通常使用 LlamaIndex 作为数据索引与检索框架，通过智能索引和查询优化，帮助开发者快速构建基于定制数据的 AI 应用（如问答、知识库等）。LlamaIndex（原 GPT Index）是一个专为 大语言模型（LLM） 设计的数据索引与检索框架，旨在解决私有数据与 LLM 结合时的效率与准确性问题。通过智能索引和查询优化，帮助开发者快速构建基于定制数据的 AI 应用（如问答、知识库等）。开发者友好：Python 优先，提供高级 API 和低阶自定义选项。轻量高效。
2025-05-02 15:54:11
876
原创 RAG技术完全指南（二）：Embedding模型选型与Chroma数据库实战
适用场景：原型开发、中小规模生产、需要快速迭代的AI应用。优势：零配置起步、Python原生接口、内置Embedding支持。推荐搭配：LangChain/LlamaIndex 构建完整AI工作流。
2025-05-02 00:12:28
1138
原创 RAG技术完全指南（一）：检索增强生成原理与LLM对比分析
RAG（检索增强生成）是一种结合信息检索（Retrieval）和大语言模型生成（Generation）的技术，旨在提升模型生成内容的准确性和事实性。它通过从外部知识库中动态检索相关信息，并将这些信息作为上下文输入给生成模型，从而减少幻觉并提高回答质量。RAG = 检索（Retrieval） + 生成（Generation），动态增强 LLM 的知识。核心价值：解决 LLM 的幻觉问题，支持实时更新和领域适配。关键组件：Embedding 模型、向量数据库、检索策略、生成模型。
2025-05-02 00:04:05
912
原创 ModelScope vs Hugging Face：中文开发者该如何选择？附API实战对比
提起大模型平台，不得不提的便是ModelScope和平台，它们都属于人工智能模型开源社区及创新平台。本文将简单介绍这两个平台的特点及常用 API，帮助您更好地了解和使用大模型。
2025-05-02 00:01:25
655
原创 AI大模型核心技术解析：从Transformer原理到实战应用指南
大模型，通常指的是大型语言模型（Large Language Model，简称 LLM），它是一种基于深度学习技术、拥有海量参数的人工智能模型。
2025-04-28 18:01:08
827
原创 PyCharm代理配置全攻略：系统设置+Python运行环境一键搞定
Pycharm 工具作为一款强大的 IDE，其代理配置在实际开发中也是必不可少的，下面介绍下如何配置 Pycharm 的代理。
2025-04-26 21:04:53
927
原创 告别ModuleNotFoundError！VSCode中Python项目正确设置源码根目录的4种方法
VSCode 自定义设置源代码根目录，解决 Python 提示 ModuleNotFoundError: No module named 'b1' 问题
2025-04-25 12:32:57
476
原创 Xtuner极简微调指南：3步实现Qwen1.5中文对话模型优化
本文介绍了在Ubuntu24.04系统下，使用Python3.10、Cuda12.4、Cudnn9.1、torch2.6.0和transformers4.48环境配置下，如何安装和使用Xtuner进行大语言模型（LLM）的微调。Xtuner是一款适合微调主观类数据的工具，能够直观展示验证数据的训练情况。安装过程包括创建Python3.10的conda虚拟环境，并通过pip或源码安装Xtuner。文章还详细说明了如何从modelscope平台下载模型（如Qwen1.5-0.5B-Chat），并创建和修改微调训
2025-04-15 21:05:01
659
原创 解决Ubuntu24.04中Conda补全问题：Bash/Zsh双终端配置指南
Bash和Zsh均支持Conda命令及其补全功能。首先，通过安装Miniconda3并初始化Conda，使Bash和Zsh能够识别Conda命令。对于Bash，安装conda-bash-completion插件以实现命令补全。对于Zsh，需安装conda-zsh-completion插件，并在.zshrc文件中进行相应配置，确保补全功能生效。最后，通过验证命令conda env list的补全情况，确认Bash和Zsh均已成功支持Conda命令补全。
2025-04-14 17:37:35
399
原创 Shell函数自动加载器开发指南：Bash/Zsh双终端支持+延迟加载实现
获取目录下的所有shell文件中的函数，将函数注册到~/.bashrc和～/.zshrc文件，方便终端使用。
2025-04-13 22:58:57
199
原创 Ubuntu 24.04 保姆级装机指南：避坑搜狗输入法+GNOME插件推荐+高效下载工具全攻略
在 Ubuntu 24.04 中，APT 软件源配置方式发生了变化，默认使用 /etc/apt/sources.list.d/ubuntu.sources 文件（Debian 格式）而非传统的 /etc/apt/sources.list。如果遇到切换输入法后闪烁问题，可能与Wayland显示服务器有关，执行。搜狗输入法安装后，部分程序中无法使用，例如：chrome、文件管理器。修改用户现目前的文件夹（主要是为了清理文件管理器左边显示的栏目），删除多余的中文文件夹，保留“桌面”文件夹。
2025-04-13 17:45:07
2558
1
原创 Ubuntu AI开发环境全栈指南：30分钟搞定所有工具安装
vLLM 是一个 Python 库，它包含预编译的 C++ 和 CUDA (12.1) 二进制文件。LMDeploy 是一个高效且友好的 LLMs 模型部署工具箱，功能涵盖了量化、推理和服务。通过 PagedAttention 等技术优化 GPU 内存使用，显著提升推理速度。目前 Pytorch 官网提示支持 11.8、12.4、12.6【】（安装miniconda或者conda来管理虚拟环境）下载匹配cuda12.4、ubuntu适用的cudnn包。以下配置皆以 Ubuntu22.04 系统版本为例。
2025-04-08 11:08:53
1051
原创 python2.7安装M2Crypto
如果出现问题：根据错误提示，你可能需要重新安装或配置OpenSSL和SWIG。例如，如果找不到openssl/opensslv.h等文件，可能是OpenSSL的路径设置不正确。安装Python 2.7和pip：首先确保你已经安装了Python 2.7，并将Python的路径添加到环境变量中。然后，下载并安装pip。注意：如果pip版本过低，不支持–egg选项，你需要先升级pip。如果没有出现错误，那么说明M2Crypto已经成功安装。
2024-05-28 11:52:37
846
ubuntu 系统下 wps 软件缺失字体集
2025-04-17
深度学习基于PyTorch==2.6.0和Transformers==4.48.0的XTuner环境配置：AI模型开发与优化依赖库列表
2025-04-15
MesloLGS NF 字体文件
2025-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人