Модель трансформера масштабирует навыки прогнозирования погоды с минимальными изменениями архитектуры

Прогнозирование погоды имеет решающее значение для понимания и смягчения изменений климата, и подходы, основанные на данных и глубоком обучении, показали обещающие результаты в улучшении точности. Однако многие методы используют сложные архитектуры без ясного анализа их успеха. Исследователи представили модель трансформера Stormer, которая достигает уровня искусства с минимальными изменениями стандартной архитектуры трансформера. Ключевыми компонентами Stormer являются погода-специфичное встраивание, рандомизированный прогноз динамики и потеря, взвешенная давлением. Ядром Stormer является рандомизированный прогнозный объект, который обучает модель прогнозировать динамику погоды на различных временных интервалах, позволяя ей производить несколько прогнозов для лучшей точности. Модель работает хорошо на коротких и средних прогнозах и превосходит текущие методы более чем на 7 дней, требуя меньше данных для обучения и вычислительных ресурсов. Результаты Stormer масштабируются благоприятно с увеличением размера модели и количества токенов для обучения, что делает ее перспективным кандидатом для реального развертывания. Исследователи предоставляют тщательный анализ ключевых компонентов Stormer, но не рассматривают потенциальные ограничения или оговорки, такие как ее производительность на конкретных погодных событиях или обобщение на различные регионы. Введение Stormer представляет собой значительный шаг вперед в данных-ориентированном прогнозировании погоды, демонстрируя потенциал простых, но тщательно спроектированных архитектур на основе трансформера. Фаворитные свойства масштабирования модели и уменьшенные вычислительные требования делают ее перспективным кандидатом для дальнейшего развития в области смягчения и адаптации к изменению климата.