Архитектура потоковой обработки Airbnb эволюционировала от Hadoop Yarn до Kubernetes, с заменой Spark Streaming на Flink в качестве основной платформы. Переход включал удаление Airflow в качестве планировщика задач и введение легковесного планировщика потоковых задач. Переход к Kubernetes обеспечил улучшенный опыт разработчика, улучшенный мониторинг и упрощение обнаружения сервисов. В текущей архитектуре есть пять основных компонентов: конфигурации задач, управление образом, CI/CD, портал Flink и runtime задач Flink. Преимущества архитектуры на основе Kubernetes включают более высокую скорость разработки, улучшение доступности и задержки задач, а также экономию средств. В будущем планируется улучшение доступности задач, включение автоматического масштабирования задач и изучение Flink Kubernetes Operator.