【神经网络框架】非局部神经网络

一、非局部操作的数学定义与理论框架

1.1 非局部操作的通用公式

非局部操作（Non-local Operation）是该研究的核心创新点，其数学定义源自经典计算机视觉中的非局部均值算法（Non-local Means）。在深度神经网络中，非局部操作被形式化为：

其中：

1.2 与传统操作的对比分析

（1）与卷积操作的对比
传统卷积操作仅处理局部邻域（如3×3或5×5窗口），依赖深层堆叠逐步扩大感受野。而非局部操作直接计算全局位置间的依赖关系，具有以下优势：

• 单层即可捕获长程依赖
• 避免信息传递的路径损耗
• 支持跨时空维度的交互

（2）与循环操作的对比
RNN/LSTM等循环结构通过时间步