为何 Databricks 与 Snowflake 采用 Kafka 协议:摄入与架构
如今,兼容 Kafka 的摄入方式已无处不在,甚至出现在与运行 Kafka 无关的分析平台中。Databricks 在其 Zerobus 摄入服务中添加了兼容 Kafka 的 API。Snowflake 在 Summit 大会上更进一步,推出了 Datastream,这是一项原生的、完全兼容 Kafka 的流式服务。在这两种情况下,现有的 Kafka 生产者无需修改代码,仅需更改配置,即可直接向平台进行流式传输。这对生态系统而言是好消息。这也印证了我多年来一直强调的一点:Kafka API 已成为事件流转的既定事实标准,正如 Amazon S3 API 已成为对象存储的标准一样。