Модельные основы временных ряд... Заметка
RSS Блог Google AI

Модельные основы временных рядов могут быть маловыборочными обучающимися.

Прогнозирование временных рядов имеет решающее значение для бизнеса, но традиционные методы медленны и требуют экспертных знаний. TimesFM, фундаментальная модель с нулевым выстрелом, улучшила это, прогнозируя без обучения, специфичного для задачи. Однако включение нескольких примеров, известных как обучение с несколькими выстрелами, могло бы еще больше повысить точность. Стандартный метод для этого, контролируемое дообучение, вновь вводит сложность.Новый подход In-Context Fine-Tuning (ICF) превращает TimesFM в модель с несколькими выстрелами, используя продолженное предварительное обучение. Это учит модель учиться на примерах времени вывода без дальнейшего обучения пользователя. Модель, теперь TimesFM-ICF, использует архитектуру декодера с патчами и слоями трансформера.Для обеспечения обучения с несколькими выстрелами вводится "общий разделительный токен" для различения истории прогнозов и примеров в контексте. Это предотвращает путаницу данных и позволяет модели учиться на прошлых закономерностях. Затем модель предварительно обучается на новом наборе данных, включающем эти разделители.TimesFM-ICF был оценен на невиданных ранее наборах данных, используя соответствующие исторические данные в качестве примеров в контексте. Он продемонстрировал улучшение точности на 6,8% по сравнению с базовым TimesFM. Важно отметить, что TimesFM-ICF соответствует производительности контролируемого дообучения без необходимости дополнительного сложного обучения.Система также показывает, что большее количество примеров в контексте приводит к лучшим прогнозам, с компромиссом во времени вывода. Это нововведение обещает более доступное и мощное прогнозирование, позволяя предприятиям развертывать адаптивные модели без обширных проектов машинного обучения. Будущая работа направлена на автоматизацию выбора наиболее релевантных примеров в контексте.
CdXz5zHNQW_kfwkschkYN.png