Transformer——Q73 证明FFN的万能近似定理（Universal Approximation Theorem）

最新推荐文章于 2025-06-01 16:44:54 发布

墨顿

最新推荐文章于 2025-06-01 16:44:54 发布

阅读量1k

点赞数 23

文章标签： transformer 深度学习人工智能前馈网络全连接层

本文链接：https://blog.csdn.net/pzccool/article/details/147882904

版权

该问题归类到Transformer架构问题集——前馈网络——全连接层。请参考LLM数学推导——Transformer架构问题集。

1. 引言

在大语言模型（LLM）蓬勃发展的今天，前馈神经网络（FFN）作为其核心组件之一，凭借强大的表达能力，在自然语言处理任务中发挥着关键作用。FFN 的万能近似定理表明，它能够以任意精度逼近任何连续函数，这一特性为 LLM 处理复杂语义信息、实现智能交互奠定了理论基础。深入探究 FFN 万能近似定理的证明过程，并结合 LLM 中的实际应用实例，不仅有助于我们理解神经网络的工作机制，还能为模型优化与创新提供思路。

2. 预备知识与定义

2.1 函数空间与连续性

在数学领域，我们常考虑定义在紧致集 $K \subset \mathbb{R}^n$ 上的连续函数空间C(K) 。对于该空间中的函数 $f: K \to \mathbb{R}$ ，我们使用上确界范数 $\|f\|_{\infty} = \sup_{x \in K} |f(x)|$ 来度量函数间的差异。这一范数为后续讨论函数近似提供了量化标准，使我们能够清晰地判断近似效果的优劣。

2.2 FFN 的数学表示

一个典型的 FFN 由多层结构组成，其数学表达式为 $F(x) = W^{(L)}\sigma(W^{(L - 1)}\sigma(\cdots \sigma(W^{(1)}x + b^{(1)}) \cdots ) + b^{(L - 1)}) + b^{(L)}$ 。其中， $W^{(l)}$ 是第 $l$ 层的权重矩阵，负责对输入特征进行线性变换； $b^{(l)}$ 是第 $l$ 层的偏置向量，调整线性变换后的结果； $\sigma$ 是非线性激活函数（如 Sigmoid、ReLU 等），为网络引入非线性，使其能够学习复杂的函数关系。