従来のKafkaを超えて：ステートレスでプラグイン可能なブローカーの構築

大規模なKafkaの運用は、リソース計画、パーティション管理、高可用性、ストレージ要件のために困難です。Kafkaの設計は、クラウドネイティブのシンプルさ、ステートレス性、弾力性といった原則とは一致しません。これに対処するため、ステートレスKafkaブローカーという実験的なプロジェクトが開始されました。これは、ブローカーから内部状態を削除し、すべてを外部ストレージバックエンドに委譲するものです。このアーキテクチャは、シンプルかつミニマルになるように設計されており、メタデータ、ログ、インデックス管理を、プラグ可能な外部ストアに分離しています。この設計により、容易な水平スケーリング、ストレージバックエンドの選択における柔軟性、ブローカーローカルのメタデータやログを維持する必要がなくなるなどのメリットが得られます。ブローカーの設計は、メタストア、ログストア、インデックスストアの3つの異なるストアに分割されており、それぞれがRustのトレイトとして実装されているため、完全にプラグ可能な実装が可能になります。このアプローチはパフォーマンスにトレードオフがありますが、シンプルさ、柔軟性、運用容易性を提供します。このプロジェクトは完全にオープンソースであり、新しいバックエンドの実装、プロトコルサポートの改善、パフォーマンスの最適化、ドキュメントの作成への貢献を歓迎します。目標は、運用が容易でスケーラブルな、真にステートレスでクラウドネイティブなKafkaブローカーを構築することです。このプロジェクトはまだ初期段階にあり、世界中の貢献者が参加し、共に構築することを歓迎しています。