- 博客(21)
- 收藏
- 关注
RSS订阅原创 灾难性遗忘与幻觉的本质及解决方法
灾难性遗忘和幻觉是人工智能模型在实际应用中面临的两大挑战。灾难性遗忘的本质在于参数覆盖和任务冲突，而幻觉的本质在于数据偏差和过度泛化。通过正则化、回放机制、数据清洗和事实一致性检查等方法，可以有效缓解这些问题。未来，记忆增强模型、知识蒸馏和人机协作等研究方向将进一步提升模型的性能和可靠性。
2025-03-18 11:09:45
738
原创 AI大模型推理加速：技术与实践详解
利用大模型训练小模型，使小模型学习到大模型的知识，从而获得与大模型相当的性能。例如，华为提出的TinyBERT模型，通过知识蒸馏技术，在保持BERT模型90%以上性能的情况下，将模型大小压缩到原来的十分之一。例如，微软提出的DeepSpeed库可以实现高效的模型剪枝，在保证模型精度的情况下，将模型大小压缩到原来的十分之一。GPU、TPU、NPU等专用AI芯片的涌现，以及云计算平台的普及，为大模型推理提供了强大的算力支持。例如，可以使用剪枝和量化技术，将模型大小压缩到原来的十分之一，同时保持模型精度。
2025-03-14 10:48:35
1344
原创 如何使用 Docker 部署大模型：从零到生产的完整指南
随着深度学习和大模型的快速发展，如何高效地部署这些模型成为了一个重要的挑战。Docker 作为一种轻量级的容器化技术，能够将模型及其依赖环境打包成一个可移植的容器，极大地简化了部署流程。本文将详细介绍如何使用 Docker 部署大模型，并给出具体的步骤和示例。在部署大模型时，我们通常面临以下挑战：环境依赖复杂：大模型依赖于特定的库、框架和硬件（如 GPU）。可移植性差：在本地开发环境中运行的模型，可能无法直接在服务器上运行。扩展性不足：传统的部署方式难以应对高并发和大规模扩展的需求。Docker 通过容器化
2025-03-13 04:45:00
2894
2
原创 欠拟合与过拟合：模型学习的两种困境
我们需要根据实际情况，选择合适的模型复杂度、特征工程方法和正则化策略，在欠拟合和过拟合之间找到平衡点，才能构建出泛化能力强、预测准确的机器学习模型。过拟合的本质是模型过于复杂，将训练数据中的噪声和随机波动也当作规律学习进来，导致模型泛化能力差。它就像一个记忆力超群的学生，将课本上的每一个字都背了下来，却无法理解其中的含义，更无法灵活运用。与欠拟合相反，过拟合则是模型过于复杂，将训练数据中的噪声和细节也学习进来，导致模型在训练集上表现很好，但在测试集上表现很差。收集更多的训练数据，让模型学习到更全面的规律。
2025-03-12 09:13:02
446
原创 大模型中的数据清洗：方法与实践
数据清洗是大模型训练过程中不可或缺的一环。通过合理的数据清洗方法，可以有效提升数据质量，从而为模型的高性能奠定基础。在实际应用中，数据清洗需要结合具体场景和需求，灵活选择合适的方法和工具。随着技术的进步，自动化数据清洗工具和智能化清洗算法将进一步提高数据清洗的效率和准确性，为大模型的发展提供更强有力的支持。
2025-02-28 16:29:51
2716
原创 如何以极少量的数据微调模型达到最优效果
在机器学习和深度学习领域，数据通常是模型训练的核心。然而，在某些情况下，我们可能只有极少量的数据可供使用。如何在数据有限的情况下，通过微调模型达到最优效果，是一个具有挑战性但又非常重要的问题。本文将探讨几种有效的方法，帮助你在数据稀缺的情况下，依然能够微调模型并取得良好的性能。
2025-02-25 15:27:02
1278
原创 Transformer编码器的工作原理详解
输入表示：将输入序列转化为词嵌入向量，并添加位置编码。多头自注意力机制：捕捉输入序列中每个词与其他词之间的关系。前馈神经网络：对每个词的表示进行非线性变换。残差连接与层归一化：加速训练并提高模型的稳定性。通过多层编码器的堆叠，Transformer模型能够捕捉输入序列中的复杂关系，从而在各种自然语言处理任务中表现出色。希望这篇文章能帮助你更好地理解Transformer编码器的工作原理！
2025-02-24 17:29:17
721
原创 自注意力与多头注意力：Transformer的核心技术解析
自注意力机制是Transformer模型的核心组件，它通过计算输入序列中元素之间的关系，捕捉上下文信息。多头注意力机制是对自注意力机制的扩展，它通过并行计算多个注意力头，增强模型的表达能力。
2025-02-24 10:01:20
925
原创 自注意力机制与位置编码：让模型更懂上下文和位置
自注意力机制让模型能够捕捉句子中词语之间的关系，理解上下文信息。位置编码为模型提供词语的位置信息，帮助模型理解句子的结构。两者结合，使得Transformer模型能够高效地处理自然语言任务，成为现代NLP的基石。
2025-02-23 20:19:03
1262
原创 微调和RAG应用场景和区别
微调通过任务特定数据进一步训练模型，适用于数据充足、任务特定的场景，能够实现高精度但计算成本较高。RAG通过检索外部知识库增强生成能力，适用于开放域问答和知识密集型任务，具有知识丰富、无需重新训练的优点，但对知识库依赖较强。在实际应用中，可以根据任务需求和数据条件选择合适的技术，或者将微调与RAG结合使用，以充分发挥两者的优势。例如，在开放域问答任务中，可以先使用RAG检索相关知识，再通过微调模型生成更精确的答案。
2025-02-07 10:48:16
699
原创 为什么要转GGUF格式？
GGUF 格式的全名为（GPT-Generated Unified Format），提到GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。
2025-01-24 11:04:18
1063
原创 Huggingface 的介绍使用
Huggingface 即是网站名也是其公司名，随着浪潮逐步收纳了众多最前沿的模型和数据集等有趣的工作，与 transformers库结合，可以快速使用学习这些模型。目前提到 NLP 必然绕不开 Huggingface。
2025-01-23 17:51:48
1652
原创 7 种大模型微调的方法
这种方法的优势在于，在不显著增加额外计算负担的前提下，能够有效地微调模型，同时保留模型原有的性能水准。1.提示调整：使用静态的、可训练的虚拟标记嵌入，在初始化后保持固定，除非在训练过程中更新。提示调整与前缀调整都涉及在输入数据中添加可学习的向量，这些向量是在输入层添加的，但两者的。报告，我们可以在模型的关键层中加入适配器。训练适配器：适配器的参数会根据特定任务的数据进行训练，使适配器能够学习如何根据任务调整模型的行为。拟标记嵌入，允许根据输入数据的不同生成不同的嵌入，提供更高的灵活性和适应性，适合需要。
2025-01-20 16:44:36
2451
原创 本地运行Llama3，只需三步！
本地运行仅需三步，第一步下载ollama，第二步下载docker，第三步下载openUIWEB，然后直接运行就可以了。
2025-01-09 22:11:54
1177
原创 VSCode远程开发连接远程服务器（AutoDL）
回车后会弹出以下自定义SSH config 文件的弹窗，不需要选择直接回车即可。马上可能会弹出选择远程服务器是。
2025-01-06 22:09:22
1024
原创 如何白嫖谷歌云端硬盘并训练大模型
介绍文档：https://colab.research.google.com/无需任何配置免费使用 GPU轻松共享最最最主要的是能免费使用GPU！！！
2025-01-03 14:59:17
1388
3
原创 A I 大模型基础环境搭建
PyTorch： PyTorch 是一个用于深度学习的开源库 ， 由 Facebook AI Research 开发。PyTorch 广泛用于自然语言处理、 计算机视觉和语音识别等领域。torchvision：torchvision 是一个用于计算机视觉任务的库，提供了图像和视频处理的各种功能。torchvision基于 PyTorch 构建 ，方便在 PyTorch 项目中使用。torchaudio ：torchaudio 是一个用于音频处理的库 ，提供了对音频信号进行处理的函数和预训练模型。
2025-01-02 15:32:50
847
原创 AI 领域基础概念
定义:传统编程是—种通过明确的指令和规则来告诉计算机如何完成任务的编程⽅式。程序员需要详细地编写。每—步操作的代码，计算机会严格按照这些指令执⾏。 特点:● 明确的规则: 程序员需要明确地定义每个步骤和规则。● 确定性: 给定相同的输⼊ ，程序会始终产⽣相同的输出。● 依赖专家知识: 需要程序员对问题领域有深⼊的理解， 以便编写详细的逻辑和规则。例⼦:假设我们要编写—个程序来判断—个数字是奇数还是偶数。 1 def is_even(number):2
2024-12-31 15:05:08
862
原创 OpenAI 开发中的Token理解以及选择考虑因素
资源利⽤优化：批量请求可以优化资源分配，使提供商能更⾼效地利⽤计算资源，从⽽降低整。标准请求：标准定价适⽤于散布在较⻓时间内的单次请求或⼩规模的互动场景，这些场景下的。批量处理：需要考虑如何将调⽤合并成批量请求，这可能需要⼀些额外的开发⼯作。调⽤可能更分散，资源利⽤率较低，需要更⾼的单价以覆盖运营和⽀持成本。的分割⽅式和具体的使⽤范例，⽤户可以更有效地计划和控制使⽤成本。⽅便性：标准定价可能提供更灵活的调⽤⽅式，并且不需要批量请求。优化使⽤ ：如果你对使⽤成本敏感，可以通过优化输⼊⽂本的⻓。
2024-12-30 14:58:22
1052
原创 最最简单的一个本地连接openAI的方法
我们如果想在本地调用线上的openAI接口，实现自己项目里的一个写入式AI的功能。下面这个方法是最最简单快速的方法。首先我们需要拥有KEY。
2024-12-27 10:20:43
410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人