현대의 데이터 플랫폼은 점점 더 중요한 의사 결정, 애플리케이션, 분석 시스템 및 AI 워크로드를 지원하는 책임을 맡고 있습니다. 조직이 더 많은 비즈니스 프로세스를 데이터 기반 아키텍처로 이전함에 따라 데이터 파이프라인의 안정성은 애플리케이션 서비스의 안정성만큼 중요해지고 있습니다.명확하게 실패하는 파이프라인은 일반적으로 진단하기 쉽습니다. 실패한 작업, 깨진 종속성 또는 사용할 수 없는 서비스는 일반적으로 경고를 생성하고 엔지니어를 특정 문제로 안내합니다. 더 어려운 문제는 실행을 전혀 방해하지 않는 문제입니다. 파이프라인은 잘못되거나, 불완전하거나, 오해의 소지가 있는 데이터를 생성하면서도 성공적으로 완료될 수 있습니다.