Airbnbにおける次世代キーバリューストアの構築 ノート

Airbnbにおける次世代キーバリューストアの構築

Airbnb は、進化するリアルタイムデータ需要に対応するため、コアとなるキーバリューストアである Mussel を V1 から V2 へ再設計しました。Mussel V2 は、V1 の運用上の複雑さ、容量の制限、および一貫性の問題を、クラウドネイティブな NewSQL バックエンドで解決します。主な改善点には、自動化された Kubernetes デプロイ、容量管理を改善するための動的なレンジシャーディング、および柔軟な一貫性オプションが含まれます。新しいアーキテクチャは、API 呼び出しを翻訳するためのステートレスな Dispatcher サービスと、耐久性のために Kafka を使用したイベント駆動型の書き込みパスを特徴としています。バルクローディング機能は維持され、ステートレスコントローラーとステートフルワーカーフリートにより高スループットを実現しています。自動化された TTL (有効期限) 切れは、トポロジーを認識するようになり、大規模でもより効率的になりました。V1 から V2 への移行は、ダウンタイムとデータ損失をゼロにするために、デュアルライトとシャドウリードを備えた複雑なブルー/グリーン戦略を採用しました。重要な教訓として、一貫性の複雑さの管理と、レンジベースのパーティショニングのためのプリスプリットの重要性が挙げられます。Kafka は、移行プロセス中に最終的な一貫性を維持する上で重要な役割を果たしました。Mussel V2 は、バルク取り込み、高速書き込み、低レイテンシ読み取りを単一のプラットフォームで効果的に統合し、エンジニアリングチームのデータインフラストラクチャを簡素化します。
CdXz5zHNQW_xJf1iLzWz1.jpeg