РЕШЕНО: Appsheet недоступен в us-east4 и europe-west4

24 января 2025 года клиенты AppSheet столкнулись с проблемами при загрузке приложений из-за ошибок 500 и таймаутов, что затронуло около 60% запросов в регионах us-east4 и europe-west4 в течение 1 часа и 50 минут. Миграция схемы базы данных в производственной среде вызвала инцидент, что привело к сбоям и таймаутам в основной базе данных. Миграция вызвала всплеск повторных попыток, перегружая вторичную базу данных аутентификации и делая ее недоступной для запросов в затронутых регионах. База данных аутентификации хранит токены аутентификации пользователей, и проблема была решена путем перенаправления трафика в регионы us-central1 и us-west1. Однако это привело к увеличению нагрузки на сервис проверки лицензий Workspace пользователей, что вызвало агрессивное ограничение нагрузки и повышенную задержку для 95% трафика. Инженеры Google были оповещены о сбое и начали расследование, перенаправляя трафик для минимизации влияния. Проблема была решена к 11:20 по тихоокеанскому времени США после восстановления базы данных аутентификации и постепенного возврата трафика в регионы us-east4 и europe-west4. Для предотвращения подобных инцидентов Google улучшает оповещение и мониторинг трафика лицензионного сервера, уменьшает зависимость от серверов лицензий и пересматривает меры для увеличения стабильности базы данных аутентификации. Инцидент затронул клиентов AppSheet в Нидерландах и Северной Вирджинии, которые испытывали сбой запросов, повышенные ошибки и периодические задержки. Google приносит извинения за нарушение и обязуется предотвращать подобные инциденты в будущем.