DataJunction:Netflix 为现代数据栈缺失环节提供的解决方案
Netflix 面临指标分散、定义不一致且不可信的挑战,尤其是在其实验平台中。这种复杂性阻碍了数据科学家和分析工程师的工作,使得在旧系统中引入指标需要数周时间。为解决这一问题,Netflix 探索了语义层解决方案,并选择了 DataJunction,因其具备强大的 SQL 解析与生成引擎,以及基于图的数据元数据存储。DataJunction 最初由 Facebook 开发,旨在解决指标可移植性问题,随后由 Netflix 工程师开源并加以扩展。一项关键的架构决策是优先采用 API 优先的方法,构建坚实的语义层引擎,并支持 SQL 输入与输出能力。该平台将多维数据立方体作为核心功能,以适配熟悉的用户界面并实现高效的数据交付。DataJunction 能够将指标定义关联回数据源,从而简化故障排查和临时分析。该平台与 Netflix 实验领域的集成,已简化了指标与维度的定义与管理。未来的计划是通过与其他工具建立更紧密的集成,统一 Netflix 的一般分析能力,从而在整个 Netflix 数据栈中更便捷地发现、使用并进行指标实验。