Le modèle de transformateur améliore les compétences de prévision météorologique avec des changements d'architecture minimaux

La prévision météorologique est cruciale pour comprendre et atténuer le changement climatique, et les approches basées sur les données utilisant l'apprentissage profond ont montré des promesses pour améliorer la précision. Cependant, de nombreuses méthodes utilisent des architectures complexes sans analyse claire de leur succès. Les chercheurs ont introduit le modèle de transformateur Stormer, qui atteint des performances de pointe avec des modifications minimales au modèle de transformateur standard. Les composants clés de Stormer incluent l'intégration météorologique spécifique, la prévision de dynamique aléatoire et la perte pondérée par la pression. Le cœur de Stormer est un objectif de prévision aléatoire qui entraîne le modèle à prévoir les dynamiques météorologiques sur des intervalles de temps variables, lui permettant de produire plusieurs prévisions pour une meilleure précision. Le modèle se démarque bien pour les prévisions à court et moyen terme et surpasse les méthodes actuelles au-delà de 7 jours, nécessitant moins de données d'entraînement et de calcul. Les performances de Stormer s'améliorent favorablement avec l'augmentation de la taille du modèle et des jetons d'entraînement, ce qui en fait un candidat prometteur pour le déploiement dans le monde réel. Les chercheurs fournissent une analyse approfondie des composants clés de Stormer, mais ne traitent pas des limitations ou des réserves potentielles, telles que ses performances sur des événements météorologiques spécifiques ou la généralisation à différentes régions. L'introduction de Stormer représente un pas important en avant dans la prévision météorologique basée sur les données, démontrant le potentiel des architectures de transformateur simples mais soigneusement conçues. Les propriétés d'échelle favorables et les exigences de calcul réduites en font un candidat prometteur pour un développement ultérieur dans l'atténuation et l'adaptation au changement climatique.