Databricks 表示已解决困扰数十年的数据管道问题,该问题一直阻碍着 AI 代理的发展。
数十年来,数据专业人员一直面临在不影响性能的前提下统一操作型与分析型数据库的挑战。需要基于实时数据进行持续推理的代理(Agents)凸显了传统数据管道的低效。Databricks 推出了 Lakehouse//RT 和 LTAP,通过整合基础设施来解决这些问题。Lakehouse//RT 直接在受管制的 Delta 和 Iceberg 表上提供毫秒级查询延迟,无需单独的实时服务层。LTAP(Lake Transactional/Analytical Processing)将原生 Postgres 事务型数据在写入时即以 Delta 和 Iceberg 格式存储,从而消除 ETL 管道。这种方法在存储层统一数据,不同于以往专注于引擎收敛的 HTAP 解决方案。核心工程挑战在于延迟,Lakehouse//RT 通过其 Reyden 计算引擎以及处理行转列转换的缓存层来克服这一挑战。Lakehouse//RT 提供低于 100 毫秒的延迟,并在 Unity Catalog 的治理框架内运行,无需数据复制。尽管该问题已被认可,但 Databricks 的代理 AI 定位及开放格式方法被视为关键差异化因素。分析师指出,虽然 Lakehouse 的架构强大,但其延迟和可靠性仍需验证。将事务型写入和直接湖查询转向开放格式具有重要意义。对于企业,尤其是那些利用代理的企业,问题已从选择最佳工具转变为构建可防御的独立系统。专用系统之间的差距正成为代理的操作风险,推动整合远离独立服务层。代理工作负载无法容忍传统数据架构(专为人类速度分析构建)固有的延迟。