Временные ряды для LLM не сильно отличаются

Большие языковые модели (БЯМ) революционизировали вычислительную лингвистику и компьютерное зрение. Ключ к их успеху лежит в огромных объемах тренировочных данных, переносимости через промпты и самообучение с предварительной подготовкой. Исследователи сейчас исследуют применение БЯМ к данным временных рядов, известным как Большие основные модели временных рядов (БОМВР). Как и БЯМ, БОМВР стремятся научиться из различных данных временных рядов и адаптироваться к различным задачам через тонкую настройку. Связь между языковыми и временными моделями лежит в последовательной природе их данных, где токены временных рядов аналогичны языковым токенам. Чтобы преодолеть семантический разрыв между этими двумя областями, исследователи изучают методологии для выравнивания информации через токенизацию, выбор базовой модели, инженерное проектирование промптов и определение парадигмы обучения. Используя символическое представление и обучаемые линейные слои для токенизации, выбирая базовые модели на основе аналогий задач, используя статистические промпты и рассматривая различные подходы к обучению, можно достичь оптимальной производительности и прогнозирования с нулевым/малым количеством примеров. Недавнее исследование-бенчмарк, LTSM-bundle, оценивает различные варианты дизайна и предоставляет открытый исходный код для перепрограммирования и бенчмаркинга БЯМ на данных временных рядов. Исследование показывает, что статистические промпты, линейная токенизация, полная тонкая настройка, меньшие модели для долгосрочного прогнозирования, средние модели для краткосрочного прогнозирования и разнообразие данных способствуют улучшению производительности БОМВР. LTSM-bundle превосходит существующие методы для перепрограммирования БЯМ для временных рядов и трансформаторных моделей прогнозирования.