Apache Flink® on Kubernetes
에어비앤비의 스트리밍 처리 아키텍처는 Hadoop Yarn에서 Kubernetes로 진화했으며, Flink가 Spark Streaming을 대체하여 주요 플랫폼이 되었다. 이 전환에는 Airflow를 작업 스케줄러로 제거하고 가벼운 스트리밍 작업 스케줄러를 도입하는 것이 포함되었다. Kubernetes로의 이동은 개발자 경험 개선, 향상된 모니터링 및 서비스 검색을 용이하게 하였다. 현재 아키텍처는 5개의 주요 구성 요소로 구성되어 있다: 작업 구성, 이미지 관리, CI/CD, Flink 포털 및 Flink 작업 런타임. Kubernetes 기반 아키텍처의 이점으로는 개발자 속도 향상, 작업 가용성 및 지연 개선, 비용 절감이 있다. 향후 작업은 작업 가용성 향상, 작업 자동 크기 조정 활성화 및 Flink Kubernetes Operator 탐색에 초점을 둘 것이다.