How Can Large Language Models Understand Spatial-Temporal Data

本文是LLM系列文章，针对《How Can Large Language Models Understand Spatial-Temporal Data》的翻译。

摘要

虽然大型语言模型（LLM）在自然语言处理和计算机视觉等任务中占据主导地位，但利用它们的能力进行时空预测仍然具有挑战性。连续文本和复杂时空数据之间的差异阻碍了这一应用。为了解决这个问题，本文介绍了STG-LLM，这是一种为LLM提供时空预测能力的创新方法。我们通过提出：1）STG tokenizer来解决数据不匹配问题：这种时空图tokenizer将复杂的图数据转换为捕获空间和时间关系的简洁token；2） STG适配器：这种由线性编码和解码层组成的极简主义适配器，弥合了token数据和LLM理解之间的差距。通过仅微调一小组参数，它可以有效地掌握STG Tokenizer生成的token的语义，同时保留LLM的原始自然语言理解能力。在不同的时空基准数据集上进行的大量实验表明，STG-LLM成功地释放了LLM在时空预测中的潜力。值得注意的是，我们的方法实现了与专用SOTA方法同等的竞争性能。

1 引言

2 相关工作

3 问题定义

4 STG-LLM