Создание VES: микросервис Cosmos для кодирования видео Netflix

Новая платформа видеопроцессинга Netflix, Cosmos, использует микросервисы для модернизации медиа-обработки. Сервис видеокодирования (VES) является ключевым микросервисом, кодирующим промежуточный контент в видеопоток, подходящий для потокового вещания или студийного использования. VES поддерживает множество кодеков, разрешений и уровней качества, и использует разбивку на чанки для низкой задержки. Слой API, Optimus, обеспечивает стабильный интерфейс для внешних пользователей. Слой работы, Plato, координирует этапы кодирования с помощью направленного ациклического графа (DAG) с параллелизмом MapReduce. Ресурсоемкие задачи передаются слою вычислений, Stratum, который использует функции Stratum Functions, упакованные в образы Docker. VES использует несколько функций Stratum Functions для разных форматов кодеков, чтобы обеспечивать независимые выпуски и обновления кодеков. Платформа предоставляет абстракции для моделей доступа к медиа, упрощая код функций Stratum. Требования к ресурсам определяются с помощью бенчмаркинга, а "формирование контейнеров" распределяет ресурсы в зависимости от формата кодека и разрешения. Бесперебойный выпуск обеспечивается автоматическими каналами выпуска и обширным тестированием. Продукционные метрики и логи используются для мониторинга и оповещений, включая автоматический откат сервиса, если метрики значительно отклоняются. Опыт, полученный при создании VES, повлиял на последующие дизайн-решения в развитии микросервисов команды.