Au-delà de Kafka traditionnel : Construction d'un courtier dépourvu d'état et modulaire

L'exploitation de Kafka à grande échelle est complexe en raison de la planification des ressources, de la gestion des partitions, de la haute disponibilité et des besoins de stockage. La conception de Kafka n'est pas alignée avec les principes cloud-natifs de simplicité, d'absence d'état et d'élasticité. Pour y remédier, un projet expérimental appelé stateless-kafka-broker a été lancé, qui supprime l'état interne du broker et délègue tout à des backends de stockage externes. L'architecture est conçue pour être simple et minimale, séparant la gestion des métadonnées, des journaux et des index en magasins externes interchangeables. Cette conception apporte des avantages tels qu'une mise à l'échelle horizontale facile, une flexibilité dans le choix des backends de stockage et l'absence de nécessité de maintenir les métadonnées ou les journaux locaux du broker. La conception du broker est divisée en trois magasins distincts : le magasin de métadonnées (Meta Store), le magasin de journaux (Log Store) et le magasin d'index (Index Store), chacun implémenté comme un trait Rust, permettant des implémentations entièrement interchangeables. Bien que cette approche présente des compromis en termes de performances, elle offre simplicité, flexibilité et facilité d'exploitation. Le projet est entièrement open source et invite les contributions pour implémenter de nouveaux backends, améliorer la prise en charge des protocoles, optimiser les performances et rédiger la documentation. L'objectif est de construire un broker Kafka véritablement sans état, cloud-natif, facile à exploiter et évolutif. Le projet en est encore à ses débuts et accueille des contributeurs du monde entier pour le rejoindre et construire ensemble.