BasicTS：全面基准测试与异质性分析

BasicTS：全面基准测试与异质性分析

在当今数字化时代，多元时间序列（Multivariate Time Series, MTS）分析在众多领域发挥着关键作用，从交通管理到能源系统优化，都离不开对MTS的精准预测。然而，当前MTS预测领域存在诸多问题，不同研究的实验结果往往不一致甚至相互矛盾，这给研究人员选择合适的技术方向带来了极大困扰。最近发表的论文“Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis”深入探讨了这些问题，并提出了创新的解决方案，为该领域的发展指明了方向。

研究背景

随着传感器在复杂系统中的广泛部署，MTS数据的规模和复杂性不断增加。MTS预测作为理解和操作这些复杂系统的基础，涵盖了长短期时间序列预测（Long-term Time Series Forecasting, LTSF）和时空预测（Spatial-Temporal Forecasting, STF）等重要任务。在LTSF方面，Transformer架构凭借其强大的建模能力备受关注，但简单线性模型如LTSF-Linear的出色表现也引发了对Transformer有效性的质疑；在STF领域，基于图卷积网络（Graph Convolution Networks, GCN）的时空图神经网络（Spatial-Temporal Graph Neural Networks, STGNN）成为主流，但近期一些研究对其必要性提出了挑战，探索出如时空归一化（STNorm）和时空身份附加（STID）等替代方法。

同时，现有的MTS预测基准测试存在明显缺陷，无法全面、公平地评估不同模型的性能，如上图所示，同样的时空预测模型在不同的文章中表现的性能具有较大的差异。这些问题严重阻碍了MTS预测领域的发展，因此，开展更深入的研究以解决这些问题迫在眉睫。

研究内容

BasicTS+基准测试

为解决现有基准测试的不足，论文提出了BasicTS+，这是首个专为公平比较MTS预测解决方案设计的基准测试。它构建了统一的训练流程，有效解决了因数据处理、训练配置和评估实现差异导致的性能不一致问题。在数据处理环节，默认采用z-score归一化，并添加外部时间特征；训练流程中，统一使用masked MAE作为损失函数，并集成了课程学习和梯度裁剪等训练技巧；评估组件则提供了MAE、RMSE、MAPE、WAPE等多种指标的标准实现。

在评估设置上，论文建议在重新归一化的数据上进行评估，并引入MAPE和WAPE等指标，以更直观地评估预测误差。通过在20个常用数据集上对45多种流行的MTS预测模型进行评估，BasicTS+为研究人员提供了一个公平、全面且可重复的比较平台，有助于准确判断不同模型的优劣。

MTS数据集的异质性分析

论文指出，MTS数据集的异质性是导致不同研究结果矛盾的关键因素。从时间维度来看，MTS数据集可分为具有清晰稳定模式、显著分布漂移和不清晰模式三类。以PEMS03、ETTh2和ExchangeRate数据集为例，PEMS03记录的城市交通流量呈现出明显的周期性和稳定性；ETTh2包含的变压器传感器数据虽有循环模式，但周期不固定且均值漂移；ExchangeRate记录的汇率数据则几乎无明显模式。

基于此，论文提出假设：在具有清晰稳定时间模式的数据集上，先进神经网络应优于基本神经网络，而在具有显著分布漂移或不清晰模式的数据集上，基本神经网络可能更具优势。从空间维度出发，根据样本在空间维度的不可区分性，将MTS数据集分为具有显著空间样本不可区分性和不具有显著空间样本不可区分性两类，并提出了(r_1)和(r_2)两个量化指标来衡量空间不可区分性。

研究发现，在具有显著空间不可区分性的数据集上，通过解决空间不可区分性来建模空间依赖关系可提升性能；而在不具有显著空间不可区分性的数据集上，强行建模空间依赖关系可能导致性能下降。

实验分析

论文使用14个数据集和多种流行的基线模型进行了广泛实验。在比较先进神经网络和基本神经网络的性能时，选取了PEMS04、PEMS08、ETTh2和ETTm2数据集，结果表明：在具有清晰稳定模式的PEMS04和PEMS08数据集上，先进Transformer模型表现更优；而在具有分布漂移或不清晰模式的ETTh2和ETTm2数据集上，基本线性模型表现更好，这验证了关于时间维度异质性的假设。

在探讨空间依赖关系建模时，选择了METR-LA、PEMS-BAY、ExchangeRate和ETTm1数据集，实验结果显示：在具有高空间不可区分性的METR-LA和PEMS-BAY数据集上，采用可训练的空间身份嵌入和GCN等方法可显著提升性能；在低空间不可区分性的ExchangeRate和ETTm1数据集上，添加这些空间建模组件会降低性能，证实了关于空间维度异质性的假设。

此外，论文还讨论了如何选择或设计适合给定数据集的MTS预测解决方案，以及如何选择合适的数据集来评估给定的MTS预测解决方案，并对现有解决方案的性能和效率进行了综合分析。

研究结论

该研究通过引入BasicTS+基准测试，对MTS预测模型进行了全面的比较和分析，并深入探讨了MTS数据集的异质性，揭示了许多先前研究结论的局限性。研究发现，模型架构与数据特征之间存在密切关系，不同类型的数据适合不同的技术方法。这一研究成果为研究人员在选择合适的解决方案或数据集时提供了重要参考，有助于推动MTS预测领域的发展，加速更可靠研究结论的得出。

展望未来，由于时间序列数据易受外部因素影响，存在分布漂移和不可预测变化，且实际场景中的MTS数据还面临数据量不足和质量低的问题，未来的研究应更多地关注现实场景，如对分布变化进行建模、处理低质量数据以及开展零样本或少样本学习等方向。

总结

这篇论文对多元时间序列预测领域的研究具有重要意义，BasicTS+基准测试和数据集异质性分析为该领域的研究提供了新的思路和方法。希望感兴趣的读者深入阅读论文原文，获取更多详细信息，共同推动多元时间序列预测领域的发展。

论文：https://ieeexplore.ieee.org/abstract/document/10726722
源码：https://github.com/GestaltCogTeam/BasicTS