Transformer モデルは、最小のアーキテクチャー変更で気象予報スキルをスケールアップ

気象予測は、気候変動の理解と緩和のために不可欠であり、深層学習を用いたデータドリブンアプローチが予測の正確さを向上させることを示しています。ただし、多くの方法では、複雑なアーキテクチャーを使用していて、その成功の分析が不明確です。研究者たちは、Stormerトランスフォーマーモデルを導入し、標準のトランスフォーマー・バックボーンに対する最小の変更で、最先端のパフォーマンスを達成しました。Stormerの主要なコンポーネントには、天気特有の埋め込み、ランダムダイナミクス予測、および圧力加重損失が含まれます。Stormerの核心は、ランダム予測の目的関数であり、異なる時間間隔での天気ダイナミクスの予測をモデルに学習させることで、より正確な予測を生成することを可能にします。モデルは、短期から中期の予測において良好なパフォーマンスを示し、7日以上の予測において現在の方法を上回り、トレーニングデータや計算リソースを少なくしています。Stormerのパフォーマンスは、モデルサイズやトレーニングトークンの増加に対して有利にスケーリングし、実世界での展開の候補として有望です。研究者たちは、Stormerの主要なコンポーネントについて包括的な分析を提供していますが、特定の天気イベントでのパフォーマンスや異なる地域での汎化などの潜在的な制限や注意点については触れていません。Stormerの導入は、データドリブン気象予測における大きな進歩を表し、シンプルながら注意深く設計されたトランスフォーマー・ベースのアーキテクチャーの可能性を示しています。モデルのスケーリング特性と計算リソースの削減は、気候変動の緩和や適応におけるさらなる開発の候補として有望です。