時系列基礎モデルは、少数のサンプルで学習できる。
時系列予測はビジネスにとって極めて重要ですが、従来の手法は遅く、専門知識を必要とします。ゼロショット基礎モデルであるTimesFMは、タスク固有の訓練なしで予測を行うことでこれを改善しました。しかし、少数の例を取り入れる少ショット学習は、精度をさらに向上させる可能性があります。これに対する標準的な手法である教師あり微調整は、複雑さを再導入します。新しいコンテキスト内微調整(ICF)アプローチは、継続的な事前学習を用いることでTimesFMを少ショット学習器に変換します。これにより、モデルは、ユーザーによる追加のトレーニングなしに、推論時の例から学習することを学習します。このモデル、TimesFM-ICFは、トランスフォーマー層を持つパッチされたデコーダアーキテクチャを使用します。少ショット学習を可能にするために、「共通のセパレータトークン」が導入され、予測履歴とコンテキスト内の例を区別します。これにより、データの混乱を防ぎ、モデルが過去のパターンから学習することを可能にします。その後、モデルはこれらのセパレータを含む新しいデータセットで事前学習されます。TimesFM-ICFは、関連する履歴データを入力例として使用して、未見のデータセットで評価されました。ベースとなるTimesFMと比較して、6.8%の精度向上を示しました。重要なのは、TimesFM-ICFは、追加の複雑なトレーニングを必要とせずに、教師あり微調整のパフォーマンスに匹敵するということです。このシステムはまた、コンテキスト内の例が多いほど、推論時間とのトレードオフはあるものの、より良い予測につながることを示しています。この革新は、よりアクセスしやすく強力な予測を約束し、企業が膨大な機械学習プロジェクトなしに適応可能なモデルを展開することを可能にします。今後の取り組みとしては、最も関連性の高いコンテキスト内例を自動的に選択することを目指しています。