RSS VentureBeat
팔로우
Databricks는 AI 에이전트의 속도를 늦추고 있던 수십 년 된 데이터 파이프라인 문제를 해결했다고 말합니다.
수십 년 동안 데이터 전문가들은 성능 문제 없이 운영 및 분석 데이터베이스를 통합하는 데 어려움을 겪어왔습니다. 실시간 데이터에 대한 지속적인 추론이 필요한 에이전트는 기존 데이터 파이프라인의 비효율성을 부각시킵니다. Databricks는 인프라를 통합하여 이러한 문제를 해결하기 위해 Lakehouse//RT와 LTAP를 도입했습니다. Lakehouse//RT는 거버넌스된 Delta 및 Iceberg 테이블에서 직접 밀리초 단위의 쿼리 지연 시간을 제공하여 별도의 실시간 서빙 계층의 필요성을 제거합니다. LTAP, 즉 Lake Transactional/Analytical Processing은 Postgres 네이티브 트랜잭션 데이터를 쓰기 시점부터 Delta 및 Iceberg 형식으로 저장하여 ETL 파이프라인을 제거합니다. 이 접근 방식은 엔진 통합에 초점을 맞춘 이전 HTAP 솔루션과 달리 스토리지 계층에서 데이터를 통합합니다. 핵심 엔지니어링 과제는 지연 시간이며, Lakehouse//RT는 Reyden 컴퓨팅 엔진과 행-열 변환을 처리하는 캐싱 계층을 통해 이를 극복합니다. Lakehouse//RT는 100ms 미만의 지연 시간을 제공하며 데이터 복사 없이 Unity Catalog의 거버넌스 프레임워크 내에서 작동합니다. 이 문제는 인식되었지만, Databricks의 에이전트 AI 프레임워크와 오픈 포맷 접근 방식은 주요 차별화 요소로 간주됩니다. 분석가들은 Lakehouse의 아키텍처는 강력하지만 지연 시간과 안정성이 입증되어야 한다고 지적합니다. 트랜잭션 쓰기와 직접적인 레이크 쿼리를 위한 오픈 포맷으로의 전환은 중요하게 여겨집니다. 특히 에이전트를 활용하는 기업의 경우, 질문은 최고의 도구를 선택하는 것에서 방어 가능한 별도의 시스템으로 전환됩니다. 전문화된 시스템 간의 격차는 에이전트에게 운영상의 위험이 되고 있으며, 별도의 서빙 계층에서 통합으로의 전환을 주도하고 있습니다. 에이전트 워크로드는 인간 속도 분석을 위해 구축된 기존 데이터 아키텍처에 내재된 지연 시간을 감당할 수 없습니다.
