Airbnbのストリーミング処理アーキテクチャは、Hadoop YarnからKubernetesに進化し、FlinkがSpark Streamingに代わって主なプラットフォームとなった。移行には、ジョブスケジューラとしてのAirflowを廃止し、軽量なストリーミングジョブスケジューラを導入することが含まれた。Kubernetesへの移行により、開発者の体験が改善され、モニタリングが強化され、サービスディスカバリーが合理化された。現在のアーキテクチャは、5つの主なコンポーネントで構成されている。ジョブ設定、イメージ管理、CI/CD、Flinkポータル、Flinkジョブランタイムである。Kubernetesベースのアーキテクチャの利点には、開発者の速度の向上、ジョブの可用性と待ち時間の改善、コストの削減が含まれる。将来の作業は、ジョブの可用性の向上、ジョブの自動スケーリングの実現、Flink Kubernetesオペレータの探索に焦点を当てている。