- 博客(57)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 100道大模型应用开发面试题精选
本文档提供了大型语言模型（LLM）应用开发领域的100道精选面试题及详细答案，涵盖了从基础概念到高级实践的多个方面。内容包括LLM基础知识、Transformer架构、RAG技术、Agent开发、LangChain框架、提示工程、模型微调与训练、评估与测试、应用开发实践以及部署与优化等核心领域。文档旨在帮助求职者全面准备大模型相关技术面试，提供了对AI Agent、多Agent系统、ReAct框架、LangChain记忆组件、提示链、大模型服务可扩展性、模型评估、微调技术、提示工程、RAG技术等关键概念的深
2025-05-23 10:58:45
347
原创 Transformer学习自测题
本文总结了Transformer模型的理论基础、结构设计、代码实现及变体应用。首先，RNN和LSTM在处理长距离依赖时存在梯度消失或爆炸问题，而Attention机制通过权重分配有效解决了这一问题。Scaled Dot-Product Attention通过点积、缩放、softmax和加权计算输出，Multi-Head Attention则通过多头并行计算增强模型表达能力。Transformer的Encoder和Decoder结构差异在于Decoder包含交互注意力和Masked Attention，以防止
2025-05-23 09:47:56
607
原创 第9.3讲、Tiny Transformer: 极简版Transformer
本文介绍了一个极简版的 Transformer 编码器-解码器（Seq2Seq）结构，适用于学习、实验和小型序列到序列任务，如翻译和摘要。该实现包含位置编码、多层编码器、多层解码器、训练与推理流程，代码简洁易懂，便于理解 Transformer 的基本原理。主要模块包括 PositionalEncoding、TransformerEncoderLayerWithTrace、TinyTransformer、TransformerDecoderLayer 等。依赖环境为 Python 3.7+ 和 PyTorc
2025-05-22 10:55:11
254
原创 第9.2讲、Tiny Decoder（带 Mask）详解与实战
本文介绍了如何从零实现一个简化的 Tiny Decoder，重点在于 Masked Multi-Head Self-Attention，这是 Transformer Decoder 的核心特征之一。文章首先解释了 Masked Attention 的作用，即防止 Decoder 在生成序列时“偷看”未来信息，并通过一个下三角 Mask 矩阵实现。接着，文章提供了简化的 PyTorch 实现代码，包括 MaskedSelfAttention、FeedForward 和 TinyDecoderLayer 等模块
2025-05-21 23:47:56
537
原创 第9.1讲、Tiny Encoder Transformer：极简文本分类与注意力可视化实战
本项目实现了一个极简版的 Transformer Encoder 文本分类器，并通过 Streamlit 提供了交互式可视化界面。用户可输入任意文本，实时查看模型的分类结果及注意力权重热力图，直观理解 Transformer 的内部机制。项目采用 HuggingFace 的多语言 BERT 分词器，支持中英文等多种语言输入，适合教学、演示和轻量级 NLP 应用开发。主要功能包括多语言支持、极简 Transformer 结构、注意力可视化和高效演示。模型结构包含词嵌入层、位置编码、若干 Transformer
2025-05-21 23:21:01
1114
原创 第9讲、深入理解Scaled Dot-Product Attention
Scaled Dot-Product Attention是Transformer架构的核心组件，通过计算查询(Query)与键(Key)的相似度来确定对值(Value)的关注程度。其关键步骤包括计算相似度、缩放、应用Mask、Softmax归一化和加权求和。缩放是为了防止梯度消失问题，通过除以$\sqrt{d_k}$将方差控制在合理范围内。代码实现中，PyTorch通过矩阵乘法、Softmax和Dropout等操作实现这一机制。Scaled Dot-Product Attention在自然语言处理、计算机视
2025-05-17 23:22:06
764
原创 第8讲、Multi-Head Attention 的核心机制与实现细节
Multi-Head Attention 机制通过多个注意力头从不同角度捕捉序列中的关系，提升模型对上下文的理解能力。每个头可以专注于不同的语言特征，如主语-动词关系、句法结构等，最终将这些头的输出拼接并整合为更丰富的表示。头数的选择需根据任务和模型规模进行权衡，过多或过少的头都会影响性能。研究表明，并非所有头都同等重要，部分头可以被剪枝而不显著影响模型表现。Multi-Head Attention 的优势包括并行计算、多角度表示、信息冗余和注意力分散，使其在自然语言处理任务中表现出色。
2025-05-17 23:06:26
1052
原创 第2.1讲、《The Annotated Transformer》论文解读
《The Annotated Transformer》是哈佛大学 NLP 团队对经典论文《Attention is All You Need》的逐行讲解式实现，旨在帮助开发者深入理解 Transformer 模型的内部机制与实现细节。文章通过 PyTorch 代码详细解析了 Transformer 的核心模块，包括编码器、解码器、多头注意力机制、位置编码、前馈神经网络等。项目目标是通过简洁、逐行注释的代码，帮助读者理解 Transformer 的关键模块和实现原理，并为学习、研究和二次开发提供良好起点。文章
2025-05-12 10:52:22
751
原创 第7讲、残差连接与层归一化：原理、结构与工程实践
深度神经网络的训练稳定性和表达能力是现代人工智能模型成功的关键，尤其是Transformer架构。残差连接（Residual Connection）和层归一化（Layer Normalization）作为两项核心技术，极大地推动了深层网络的可训练性和泛化能力。残差连接通过跳跃连接缓解梯度消失/爆炸问题，保留输入信息，并简化优化过程；层归一化则通过标准化每个样本的特征维度，提升训练稳定性，尤其适合序列建模任务。在Transformer架构中，残差连接通常用于子层输入与输出之间，而层归一化则放置在子层前（Pre
2025-05-12 09:48:56
974
原创 第6讲、全面拆解Encoder、Decoder内部模块
输入经过 Q、K、V 三个变换 → 点积打分 + Softmax → 加权 V → 多个头并行 → 拼接 → 再线性变换 → 完成！
2025-05-11 23:09:32
1223
3
原创 第5讲、Transformer 编码器（Encoder）处理过程详解
输入嵌入+位置编码：为每个 token 提供唯一、可区分的向量表示。多头自注意力：全局建模 token 间依赖，多头提升表达力。前馈网络：增强非线性特征转换。残差+LayerNorm：稳定训练，防止梯度消失。多层堆叠：逐层抽象，获得丰富的上下文表示。
2025-05-07 23:46:07
1191
原创 第1.3讲、什么是 Attention？——从点菜说起 [特殊字符]️
输入经过 Q、K、V 三个变换 → 点积打分 + Softmax → 加权 V → 多个头并行 → 拼接 → 再线性变换 → 完成！
2025-05-07 23:43:16
559
原创 第1.3讲、什么是 Attention？——从点菜说起 [特殊字符]️
输入经过 Q、K、V 三个变换 → 点积打分 + Softmax → 加权 V → 多个头并行 → 拼接 → 再线性变换 → 完成！
2025-05-06 23:55:44
813
原创 第1.2讲、从 RNN 到 LSTM 再到 Self-Attention：深度学习中序列建模的演进之路
Token全称用于在 input_ids 中的位置[CLS]句子整体的语义表示最前面[SEP]Separator句子/段落分隔单句结尾 / 句子对之间与结尾模型记忆方式并行能力长距离建模能力主流应用RNN隐藏状态✘弱简单序列建模LSTM门控记忆✘较强机器翻译、语音识别全局注意力✔强GPT/BERT 等大型语言模型从 RNN 到 LSTM，再到 Self-Attention，是深度学习对信息依赖建模能力不断提升、计算效率不断优化的必然路径。
2025-05-06 13:09:12
1239
原创 第2讲、Tensor高级操作与自动求导详解
在深度学习模型中，Tensor是最基本的运算单元。Tensor的广播机制（Broadcasting）**自动求导（Autograd）**机制这些知识点不仅让你更加灵活地操作数据，还为后续搭建神经网络打下坚实基础！**广播（Broadcasting）**是一种在不同形状的Tensor之间进行数学运算的机制。当我们对两个形状不同的Tensor进行运算时，PyTorch会自动将较小的Tensor扩展到较大Tensor的形状，使它们能够进行元素级的运算。无需创建冗余的内存副本代码更简洁高效计算性能更好。
2025-04-28 00:01:44
1027
原创 第1讲、#PyTorch教学环境搭建与Tensor基础操作详解
Tensor（张量）是PyTorch的核心数据结构，它是一种多维数组，可以看作是标量（0维张量）、向量（1维张量）、矩阵（2维张量）的推广到任意维度的数学对象。简单来说，Tensor是一个可以存储和操作多维数据的容器。在不同平台上安装并配置PyTorch环境理解Tensor的本质、作用和展现形式Tensor的创建、基本运算和形状操作如何利用GPU（包括NVIDIA CUDA和Apple Silicon的MPS）加速功能掌握这些基础知识后，你就可以开始构建和训练简单的深度学习模型了。
2025-04-27 22:07:17
799
原创 第4讲、揭秘大模型：理解与预测的核心机制
大模型的三大核心运行机制 —— 理解和表示单词、理解输入内容、预测输出内容，共同构成了其强大能力的基础。通过词嵌入向量技术，模型能够理解单词；通过自注意力机制，模型能够理解上下文；通过概率预测，模型能够生成连贯的输出。随着技术不断进步，这些核心机制也在不断优化，大模型的能力边界正在不断扩展，为我们带来更多令人惊叹的应用可能。
2025-04-26 09:40:34
793
原创 第3讲、大模型如何理解和表示单词：词嵌入向量原理详解
词嵌入向量技术是大模型理解人类语言的基础。从最初的Word2Vec到现代Transformer架构中的上下文相关表示，词嵌入技术不断发展，使AI能够更精确地理解和生成自然语言。多模态嵌入：将文本、图像、音频等不同模态的信息统一表示知识增强型嵌入：融合结构化知识库信息的词嵌入更高效的计算方法：降低大模型中词嵌入计算的资源消耗多语言统一表示：开发能够跨语言捕捉语义的通用嵌入空间通过深入理解词嵌入向量的原理，我们不仅能更好地应用大模型，也能洞察人工智能是如何"思考"的，为未来的AI发展提供思路。
2025-04-25 22:54:48
1078
原创 第2讲、Transformer架构图详解
输入"研究人员发现，每日锻炼30分钟可以显著降低心脏病风险。这项研究跟踪了5000名参与者长达10年，结果表明定期运动不仅有益心脑血管健康，还能改善整体生活质量。处理流程输入嵌入和位置编码编码器处理完整文章，识别关键信息和主题解码器生成摘要：关注输入文章中的重要部分逐词生成摘要输出摘要：“研究表明每日30分钟锻炼可降低心脏病风险并改善生活质量。
2025-04-25 11:10:19
338
原创 第1.1讲：Transformers 的崛起：从RNN到Self-Attention
解码器还包含交叉注意力层，将解码器的查询与编码器的键和值结合，实现编码器-解码器的信息流动。在下一讲中，我们将更深入探讨Transformer的架构细节、训练技巧和最新变体，包括Transformer-XL、Reformer等针对长序列建模的优化方案。Transformer的成功不仅在于其强大的性能，也在于其可并行化的设计，这使得训练更大规模的模型成为可能，随着序列长度增加，早期输入的信息会迅速衰减或爆炸。LSTM的设计使其能够更好地处理长期依赖问题，但序列处理本质上仍是顺序的，这限制了并行计算能力。
2025-04-24 21:51:40
832
原创 AI 提示词框架知识图谱
提示词框架（Prompts Framework）是引导AI生成特定输出的结构化方法。这些框架为用户提供了一种有组织的方式来构建提示，从而获得更准确、更有用的AI响应。不同框架适用于不同场景：应用场景匹配##案例代码
2025-04-23 23:36:48
410
原创 为什么选择 Odoo 18？
Odoo 18 凭借其全面的功能、开源灵活性、经济高效的特性以及持续的社区支持，成为企业数字化转型过程中值得考虑的 ERP 解决方案。这不仅简化了企业的运营管理，还避免了多个独立系统之间的数据孤岛问题，确保信息的高效流通。Odoo 18 作为一款开源的企业资源计划（ERP）系统，凭借其全面的功能和独特的优势，成为众多企业的首选。这不仅减少了培训成本，还提升了员工的工作效率。Odoo 18 引入了 AI 驱动的智能功能和自动化流程，帮助企业减少人工干预，提高运营效率，降低人为错误的风险。
2025-04-23 16:42:05
375
原创 L3-4、让 Prompt 更聪明：调试技巧与智能问答系统实战
有效的 Prompt 调试技巧和系统化的问答系统构建方法，是开发高质量 AI 应用的关键。通过本文的四步调试法和实战项目，我们展示了如何将理论知识应用到实际开发中。FAQ问答机器人虽然结构简单，但体现了智能问答系统的核心原理，包括问题理解、知识检索、回答生成和上下文管理。掌握这些基础，再结合 Prompt 调试技巧，你就能构建出各种复杂的 AI 对话系统。记住，优秀的 AI 应用不仅依赖于模型能力，更依赖于精心设计的 Prompt 和周到的用户体验考量。
2025-04-23 11:52:38
1016
原创 L3-3、从单轮到链式任务：设计协作型 Prompt 系统
链式任务设计和协作型 Prompt 系统为复杂 AI 应用的开发提供了强大的框架。通过将复杂问题分解为一系列相互关联的子任务，并模拟多个专业角色的协作，我们可以构建出远超单轮对话能力的智能系统。本文介绍的技术适用于各种场景，从简单的多步骤处理流程到复杂的多角色协作系统。特别是在需要深度思考、专业评估或创意生成的应用场景中，这些技术可以显著提升 AI 系统的输出质量和实用性。
2025-04-23 11:26:06
654
原创 L3-2、引导 AI 推理思考 —— 从条件判断到链式推理
引导式推理是一种提示工程技术，通过特定的提示结构引导AI模型进行逐步推理，使其能够像人类一样"思考"问题，而非直接给出答案。提升推理质量：通过明确的思考步骤，减少直接跳到结论的错误增强可解释性：让AI展示其思考过程，使结果更加透明处理多步骤问题：分解复杂问题，逐步求解本质上，这是在提示中加入"请先思考"的元素，让模型生成中间推理步骤，而非直接输出最终答案。引导式推理和条件逻辑提示是提升AI输出质量的强大工具，它们通过模拟人类思考过程，使AI能够处理更复杂的问题并产生更可靠的结果。引导式推理。
2025-04-23 10:43:20
650
原创 L3-1、掌控多轮对话的节奏 -Prompt 结构与上下文管理全攻略
请总结我们讨论的投资方案要点：1. 适合我的资产配置比例2. 推荐的具体投资产品3. 需要注意的风险因素4. 建议的定期检视与调整频率"""st.title("具备记忆能力的AI助手")# 初始化记忆组件# 显示当前对话摘要if st.checkbox("显示对话摘要"):st.info(f"当前对话摘要：\n。
2025-04-23 10:17:48
709
原创 L2-4、选择微调还是提示工程？企业级内容生成的最佳实践
企业需要处理大量文档并面向全球用户提供内容，高质量的摘要和翻译服务至关重要。Prompt工程方案通过明确指令定义摘要长度和重点使用多轮提示实现精确翻译优点：适应不同文档类型，调整灵活缺点：特定行业术语准确性有限微调方案使用配对的原文-摘要/翻译语料训练针对特定行业术语和风格进行优化优点：专业术语准确性高，风格统一缺点：需要大量平行语料数据Streamlit案例演示 - 智能文档处理工具# 设置页面st.title("📄 企业文档智能处理平台")
2025-04-23 09:40:37
642
原创 L2-3、Prompt结构化思维助力复杂任务：分步骤提示与多任务合并技巧
结构化思维在人工智能交互中的重要性日益凸显，其中Chain of Thought（CoT，思维链）提示法是一种强大的技术，能够显著提升AI模型处理复杂任务的能力。结构化思维是处理复杂AI任务的关键。引导AI进行步骤化思考，提高复杂问题的解决质量将多个相关任务整合在一个提示中，提高效率采用"拆分思考+合并输出"的策略处理高度复杂的需求这些技术不仅适用于文本生成，还可以应用于代码编写、数据分析、创意工作等多种场景。掌握这些技巧，将大大提升你使用AI工具的效率和效果。
2025-04-23 08:02:47
722
原创 L2-2、示范教学与角色扮演：激发模型“模仿力“与“人格“
回答：在每个细胞的微观宇宙中，DNA像一部古老的图书馆，以四字母语言编写着生命之书。这双螺旋结构是我们存在的蓝图，从眼睛的颜色到思考的能力，都记录在这分子密码中。黑洞是时空结构中的深邃皱褶，引力如此强烈，连光—宇宙中最迅捷的信使—也无法逃脱。它们是星辰生命终结的见证，当这些庞大天体耗尽能量并向内坍缩，它们突破了我们理解的常规边界。在不确定的情况下，你会明确指出推测成分。这些应用不仅展示了Prompt工程技术的实际应用，也提供了可以直接使用的工具，帮助内容创作者、教育工作者和产品经理等利用AI提升工作效率。
2025-04-22 23:40:16
774
原创 L2-1、打造稳定可控的 AI 输出 —— Prompt 模板与格式控制
本文介绍了如何通过 Prompt 模板和格式控制技术打造稳定可控的 AI 输出。我们从模板的作用和基本结构出发，详细探讨了三种常见的结构化输出方法：表格、JSON 和 Markdown。通过实战演示，我们展示了如何将简单指令逐步升级为结构化的高级模板，大幅提升 AI 输出的一致性和可用性。最后，我们提供了适用于各种场景的模板库、最佳实践和一套动态生成工具，帮助读者快速应用这些技术到实际工作中。综合这些实践，可以显著改进与 AI 的交互体验，提高工作效率。
2025-04-22 22:54:01
1083
原创 L1-8、Prompt提升提问质量的实用技巧（Tips）
提升提问质量的秘诀，不在于“问得多”，而在于“问得准”。掌握“角色设定 + 任务指令”的结构，你就能让 AI 成为你真正的合作伙伴。
2025-04-22 13:21:01
322
原创 L1-7、Prompt 的“调试技巧”
| 情况 | 调试建议 ||------|----------|| 输出跑题 | 明确输出目标和背景 || 输出太泛 | 加入示例、指定结构 || 风格飘忽 | 明确语气、读者群体 || 稳定性差 | 使用相同角色指令 + 控制 temperature + 加示例 |
2025-04-22 11:23:40
546
原创 L1-6、Prompt 与上下文的关系[特殊字符]
大模型具备 “上下文窗口” 的能力，可以“记住”你当前对话中的信息并持续参考。但如果你的 Prompt 没有明确引用上下文内容，AI 就很可能误解你想表达的内容或直接“忘记”之前说过的事情。
2025-04-22 10:55:33
1387
原创 L1-5、Prompt 写作中的常见误区
问题类型表现形式最佳写法示例目标模糊“写点建议”“好一点”明确目标、语气、场景内容太杂一句话包含多个需求拆分或结构化任务指代不明“这个”“它”“也要”指明内容和逻辑顺序冲突表达“简洁又详细”“专业但随意”统一风格、说明输出重点上下文缺失没说用途、对象明确是谁用、用在哪。
2025-04-22 10:23:27
773
原创 L1-4、如何写出清晰有目标的 Prompt
👉 背景角色 + 明确目标 + 输出内容 + 输出格式 + 风格限制你是一位[背景角色]。请根据以下[内容/要求]，完成[任务类型]。输出应为：[格式/风格]。限制：[长度/语言]。
2025-04-22 09:28:31
1236
原创 L1-3、Promp常见任务类型与写法模板
想把 AI 当成好用的工具，第一步不是写 Prompt，而是**识别任务类型**。只有你先知道“我到底要它干嘛”，才能说出“它该怎么干
2025-04-22 08:51:29
879
原创 L1-2、Prompt 的基础结构拆解
你是一名专业的简历优化师。请帮我写一段适用于 {岗位} 岗位的自我介绍。背景信息：我有 {经验} 年工作经验，擅长 {技能列表}。语气 {语气要求}，字数控制在 {长度} 字以内。填入变量，就能重复高质量生成。常见误区正确姿势“AI 懂我意思就行”AI 不是读心术，Prompt 写得越清晰，结果越精准“写得越长越好”长并不代表好，结构清晰才是关键“随口说”Prompt 是“写作”而非“说话”，它有明确的语法与结构。
2025-04-22 07:21:21
909
原创 L1-1、Prompt 是什么？为什么它能“控制 AI”？
Prompt（提示词），原意是“提示”或“引导”，在大语言模型（如 ChatGPT）中，它指的是你输入给模型的自然语言指令，用来告诉 AI 应该完成什么任务、如何输出、扮演什么角色。简单来说：✅ Prompt 就是你和 AI 沟通的“咒语”。这种方式兴起于 GPT 系列模型爆红之后，因为大家发现——只要你会“说话”，AI 就会“干活”。于是，“Prompt 工程”（Prompt Engineering）这种新兴技能迅速崛起，成为掌控大模型的第一要义。
2025-04-21 22:51:56
1169
原创 Prompt 攻击与防范：大语言模型安全的新挑战
劫持语言模型输出的过程，使其输出攻击者想要的内容。在提示词注入攻击中，攻击者并不是直接攻击系统本身，而是通过输入恶意内容，让语言模型"听从指令"，输出不符合预期的回复。这种攻击方式本质上是"诱导"模型背离原本设定的角色或任务目标。Prompt 注入是一种新型、但已真实存在的安全威胁。在 LLM 时代，开发者需要具备"Prompt 安全设计"的思维，从用户输入、系统提示、上下文结构等多个维度构建防御机制。
2025-04-21 21:54:36
885
原创 构建具备推理与反思能力的高级 Prompt：LLM 智能代理设计指南
随着大语言模型能力的不断提升，构建具备推理与反思能力的高级Prompt已成为充分发挥LLM潜力的关键。本文介绍的四个关键原则—明确角色与任务、引导链式推理、加入反思机制和增强行动能力，为开发者提供了系统化的Prompt设计框架。这些技术正在改变我们与AI系统的交互方式。多模态智能代理：结合图像、音频等多种输入形式，实现更全面的场景理解和决策记忆增强代理：通过外部知识库和长期记忆机制，实现更连贯的对话和任务执行自我完善系统：代理能够从经验中学习，自动优化自身的推理流程和反思能力协作型智能网络。
2025-04-20 23:33:39
512
Transformer 的 Encoder 和 Decoder 流程，包括位置编码、注意力机制、因果性 Mask、残差连接与 LayerNorm，打包成一个可视化 Streamlit 应用
2025-05-17
这是一个智能AI助手的UI设计原型，使用HTML、Tailwind CSS和Font Awesome构建
2025-04-15
Flask AI Chat 是一个基于 Flask 框架开发的实时聊天应用，集成了 OpenAI 的 GPT 模型，提供流式响应的聊天体验 该应用允许用户与名为 "Melon" 的 AI 助手进行交
2025-04-15
SpeakUp 是一款基于 AI 技术的英语口语学习助手应用，旨在帮助用户通过个性化学习和实时对话练习提升英语口语能力
2025-04-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人