决策智能中的时间序列预测大模型

核心观点

时序数据在智能决策中扮演着重要角色，但其异质性影响了时序预测算法的泛化性和有效性。时序预测大模型是解决这一挑战的重要技术，本文从模态视角探讨了其实现思路，并分析了构建过程中的核心要素和可用技术，同时探讨了未来的重要挑战和研究方向。

文献分类

根据对自然语言和时间序列模态的利用方式，时序预测大模型可以分为4种实现思路：

• 基于提示的方法：直接利用大语言模型的推理能力，将时间序列作为文本或文本的一部分提供给模型。例如，PromptCast设计了针对不同场景的提示模板，取得了令人满意的实验结果。
• 基于微调的方法：通过微调大语言模型的参数，将其迁移到时间序列模态上。例如，GPT4TS利用预训练的GPT-2，通过微调位置编码模块和层归一化模块，成功培养了出色的少样本预测能力和迁移能力。
• 基于对齐的方法：将时间序列数据映射到文本模态，以激活大语言模型处理时间序列的能力。例如，TEST通过基于实例化、特征化和文本原型对齐的对比学习，构建一个编码器，使时间序列嵌入空间与大语言模型的词表嵌入对齐。
• 时序预测基础模型：从头开始构建时间序列预测大模型。例如，TimeGPT在私有的大规模时间序列数据集上训练，是第一个商用的时间序列预测通用模型。

核心要素

时序预测大模型的构建流程包括数据收集、预处理、预训练等环节，其中涉及到的核心技术包括：

• 训练数据：包括普通数据集、归档数据集和大规模数据集，例如Darts数据集、Monash数据集、M系列数据集等。
• 数据预处理：包括数据填充、缺失值处理、质量评估等。
• 训练流程：包括标记化层、嵌入网络、骨干网络、预测网络和损失函数等。

挑战和未来方向

时序预测大模型领域仍面临许多挑战，未来研究方向包括：

• 数据质量和数据多样性的分析不够深入。
• 模型的预测设置和预测能力的泛化性需要更多评估。
• 时序大模型的多任务能力有待提高。

研究结论

时序预测大模型在处理跨领域异质数据时具有巨大潜力，尤其在跨领域泛化和少样本预测方面。与传统预测方法相比，这些大模型显著提升了时序预测的表现，并展示了较大的发展潜力。本文为时序预测技术在智能决策、异常检测等关键领域的应用提供了技术选型、模型设计与优化的参考，推动了相关领域的发展。