Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks（LSNet）论文解读

### MICN 模型概述 MICN（Multi-scale Local and Global Context Modeling for Long-term Series Forecasting）是一种专门设计用于长时间序列预测的深度学习框架[^1]。该模型通过结合多尺度特征提取以及局部和全局上下文建模的能力，显著提升了对于复杂时间序列数据的预测性能。 #### 多尺度特征提取 为了捕捉不同时间粒度下的模式变化，MICN 利用了卷积神经网络 (CNN) 的层次结构来实现多尺度特征提取。具体而言，它采用多个并行的一维卷积层，每层对应不同的感受野大小，从而能够捕获短时波动与长期趋势之间的关系。 ```python import torch.nn as nn class MultiScaleConv(nn.Module): def __init__(self, input_channels=1, output_channels=[8, 16], kernel_sizes=[3, 7]): super(MultiScaleConv, self).__init__() self.convs = nn.ModuleList([ nn.Conv1d(input_channels, out_ch, k_size, padding=k_size//2) for out_ch, k_size in zip(output_channels, kernel_sizes) ]) def forward(self, x): outputs = [conv(x) for conv in self.convs] return torch.cat(outputs, dim=1) ``` 上述代码展示了如何构建一个多尺度一维卷积模块，其中 `kernel_sizes` 参数控制着各个分支的感受野范围。 #### 局部与全局上下文建模 除了关注单一时序片段内的特性外，MICN 还引入了一种机制用来融合更广泛的背景信息——即所谓的 **global context**。这种策略允许当前时刻的状态不仅依赖于最近的历史记录，还可以受到远距离节点的影响。为此，作者采用了自注意力机制(Self-Attention Mechanism)，其核心思想在于计算任意两个位置间的重要性权重，并据此调整输入表示形式。 另一方面，在处理局部区域方面，则继续沿用传统的循环单元(如GRU或LSTM)，它们擅长描述连续帧间的动态演变过程。 ```python import torch from torch import Tensor from typing import Optional def scaled_dot_product_attention(query: Tensor, key: Tensor, value: Tensor, mask: Optional[Tensor]=None) -> Tuple[Tensor]: d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2,-1)) / math.sqrt(d_k) if mask is not None: scores += mask * -1e9 attention_weights = F.softmax(scores,dim=-1) weighted_sum = torch.matmul(attention_weights,value) return weighted_sum, attention_weights ``` 此函数实现了标准缩放点乘法注意机制的核心部分，它是构成整个架构中不可或缺的一个组件。 ### 总结 综上所述，MICN 提供了一个强大的解决方案，适用于那些具有高度非线性和跨时段关联性的场景分析需求。通过对多种时空维度上的交互作用进行全面刻画，最终达到了提高预报精度的目的。