Современные платформы данных все чаще отвечают за принятие критически важных решений, работу приложений, аналитических систем и нагрузок искусственного интеллекта. Поскольку организации переносят все больше бизнес-процессов на архитектуры, основанные на данных, надежность конвейеров данных становится столь же важной, как и надежность сервисов приложений.Конвейер, который выходит из строя с явными ошибками, обычно легко диагностировать. Сбой задания, нарушенная зависимость или недоступный сервис обычно генерируют оповещение и направляют инженеров к конкретной проблеме. Более сложные проблемы — это те, которые вообще не прерывают выполнение. Конвейер может успешно завершиться, но при этом выдавать некорректные, неполные или вводящие в заблуждение данные.