Мониторинг и оповещения DevOps — практическая лаборатория (Prometheus + Grafana)

DevOps использует email-уведомления для активного оповещения дежурного персонала и для автоматического мониторинга системы, обеспечивая быстрое реагирование на инциденты и соблюдение соглашений об уровне обслуживания (SLA). Для работы email-уведомлений система требует экспортеров, сбора данных Prometheus, правил оповещения Grafana и функционирующего конвейера доставки уведомлений, при этом сбои часто происходят на уровне доставки. Настройка SMTP на сервере Grafana включает в себя настройку почтового хоста, учетных данных пользователя (требующих пароля приложения от Gmail) и информации об отправителе. Затем уведомления настраиваются в пользовательском интерфейсе Grafana путем создания точек контакта и политик уведомлений, которые направляют оповещения конкретным получателям. Оповещения запускаются путем создания правил, например, высокого порога использования ЦП, и моделирования проблемы для подтверждения доставки email. DevOps читает email-оповещения, чтобы быстро понять проблему, определить затронутую систему с помощью меток, оценить серьезность и определить необходимые первоначальные действия. Лучшие практики включают мониторинг сбоев мониторинга, уменьшение количества шумных оповещений с помощью временных окон и контекста, включение меток и регулярное тестирование системы уведомлений. Prometheus требует экспортеров узлов для сбора системных метрик, предоставляя данные об использовании ЦП, памяти, диска и сети, которые имеют решающее значение для эффективного мониторинга. Лабораторная работа продемонстрировала необходимость экспортера узлов, показав, как один только Prometheus не может предоставить эти ключевые системные данные. Заключительная лабораторная работа включала настройку Prometheus на экземпляре EC2 для мониторинга кластера KIND Kubernetes с использованием DaemonSet для экспортера узлов.