L'architecture de traitement de flux de données d'Airbnb a évolué de Hadoop Yarn à Kubernetes, avec Flink remplaçant Spark Streaming en tant que plateforme principale. La transition a impliqué l'élimination d'Airflow en tant que planificateur de tâches et l'introduction d'un planificateur de tâches de streaming léger. Le passage à Kubernetes a offert une expérience développeur améliorée, une surveillance renforcée et une découverte de services rationalisée. L'architecture actuelle comporte cinq composants principaux : les configurations de tâches, la gestion d'images, CI/CD, le portail Flink et le runtime des tâches Flink. Les avantages de l'architecture basée sur Kubernetes incluent une vitesse de développement plus rapide, une disponibilité et une latence des tâches améliorées, ainsi que des économies de coûts. Les travaux futurs se concentrent sur l'amélioration de la disponibilité des tâches, la mise en place de l'auto-échelonnement des tâches et l'exploration de l'opérateur Flink Kubernetes.