来源：华为云确定性运维专刊（第五期）

混合专家（Mixture of Experts，简称 MoE）模型，是一种利用多个不同的子模型（或“专家”）来提升大语言模型（LLM）质量的技术。专家（Experts）： 模型中的每个专家都是一个独立的神经网络，专门处理输入数据的特定子集或特定任务。例如，在自然语言处理任务中，一个专家可能专注于处理与语言语法相关的内容，而另一个专家可能专注于语义理解。路由或者门控网络（Gating Network

在本篇博客中，主要对 Prompt Tuning、Prefix-Tuning、P-Tuning、Adapter Tuning 这几类微调方法进行对比，总结每种方法的特点和优缺点。训练大型预训练语言模型非常耗时且计算密集。随着模型规模的增长，人们越来越关注更高效的训练方法，比如Prompting。Prompting通过包含一段描述任务或展示任务示例的文本提示，为特定的下游任务调整一个冻结的预训练模型

大模型训练框架 DeepSpeed 详解DeepSpeed 是一个由微软研究院开发的深度学习优化库，它主要针对大规模分布式训练进行了优化，尤其是在使用大量 GPU 进行训练时可以显著提高效率。DeepSpeed 旨在降低模型并行和数据并行的通信开销，同时提供了一系列工具来帮助研究人员和开发者更容易地训练大型模型。：这是一种减少内存使用的优化器，通过将模型状态分布在多个 GPU 上来减少内存占用。混

在讲解MLA之前，需要大家对几个基础的概念（KV Cache， Grouped-Query Attention (GQA), Multi-Query Attention (MQA)，RoPE）有所了解，这些有助于理解MLA是怎么工作的，为什么需要这么做。

而重排序模型通过综合考虑更多的特征，如查询意图、词汇的多重语义、用户的历史行为和上下文信息等，重新计算上下文的相关性得分，使得真正相关的文档更容易被识别出来。例如，在传统的TF-IDF或BM25方法中，匹配主要依赖于词汇级别的相似度计算，而大型语言模型则可以理解句子和段落的上下文信息，从而更好地识别出真正相关的文档。总之，Cohere提供的在线重排序模型凭借其便捷的接入方式、卓越的性能以及广泛的适

1、修改settings.yaml文件中实体类别如下位置：2、手动调整prompt自定义实体【LLM大模型】GraphRAG手调Prompt提取自定义实体。

模型微调所需的 GPU 显存取决于多个因素，包括模型大小、微调方法和优化策略。全量微调需要较大显存，而高效微调方法如 LoRA 和 QLoRA 可以显著减少显存需求。在实际项目中，还需考虑硬件配置和训练策略等因素来更精确地估算 GPU 显存需求。

旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。备

【代码】【大模型】Qwen, DeepSeek, GLM的API接口调用（官方示例+LangChain示例）