Netflix обрабатывает миллионы ежедневных рабочих нагрузок, многие из которых завершаются сбоем, что создает значительную нагрузку по отладке для инженеров. Их первоначальное решение, Pensive, использовало предопределенные правила для автоматической диагностики и предложения исправлений примерно для половины этих сбоев. Однако эта система, основанная на правилах, испытывала трудности с неизвестными режимами сбоев и требовала постоянных ручных обновлений.Для устранения этих ограничений Netflix разработал Pensive AI, интегрировав искусственный интеллект для улучшения извлечения и диагностики ошибок. Цель состояла в том, чтобы обеспечить более широкое покрытие, меньшую задержку и контролируемые затраты на ИИ в рамках существующего жизненного цикла разработки. Pensive AI оборачивает возможности ИИ вокруг детерминированных процессов, улучшая обслуживание и расширяя покрытие.Первые результаты показывают, что Pensive AI охватывает 100% сбоев, включая ранее неизвестные. Действия по ручной отладке значительно сократились при использовании Pensive AI. Система имеет два взаимодополняющих пути: постоянное извлечение ошибок для быстрой первоначальной оценки и отладка по запросу для более глубокого анализа с использованием LLM, запускаемая, когда первоначальный анализ недостаточен.Извлечение ошибок идентифицирует ключевые фрагменты ошибок в журналах, возвращая номера строк, а не полный текст, что повышает эффективность и снижает количество галлюцинаций. Этот автоматизированный процесс дополняет существующее обнаружение ошибок на основе правил в рамках строгих временных ограничений для своевременного реагирования. Система также тщательно управляет контрактами данных, вводя новую модель наряду со старой, чтобы обеспечить постепенное внедрение.Pensive AI Debugging предлагает анализ первопричин и предложения по устранению сбоев попыток шагов, доступные через API и пользовательские интерфейсы. Эта отладка по запросу, которая влечет за собой более высокие затраты, инициируется только при необходимости для эффективного управления расходами. Ответы отладки кэшируются для каждой попытки шага, чтобы избежать избыточных вычислений и снизить задержку.Система передает ответы по мере их генерации, обеспечивая ощущение живого взаимодействия для пользователей, даже если соединения прерываются. Сгенерированные ответы сохраняются, даже если запрашивающий клиент отключается, гарантируя, что работа не будет потеряна. Эта конструкция независима от соединения, которое ее инициировало, что обеспечивает надежную и непрерывную отладку.Netflix также разработал отдельные системы оценки для обеспечения надежности извлечения ошибок и рекомендаций по отладке Pensive AI. Для извлечения существующие написанные вручную правила служат эталоном для сравнения без необходимости обширной ручной перемаркировки. Эти системы помогают поддерживать производительность при сбоях, которые обрабатывала устаревшая система Pensive.