ピンタレストは、既存の分離されたソリューションにおける不一致に対処するために、汎用のChange Data Capture（CDC）ソリューションを実装しました。この新しいシステムは、Red Hat Debeziumを利用しており、信頼性、スケーラビリティ、低遅延性を実現するように設計されています。アーキテクチャは、システム状態と構成を管理するコントロールプレーンと、変更を処理してKafkaに送信するデータプレーンを分離しています。KafkaはCDCデータを保存し、ユーザーはそれを使用できます。実装では、スケーラビリティの問題、リバランスタイムアウト、重複タスクなどのいくつかの課題を克服しました。解決策には、ブートストラップ、レート制限、タイムアウト構成の調整、Kafkaのアップグレードが含まれていました。これらの改善により、安定したシステムパフォーマンスと、フェイルオーバー回復時間の大幅な短縮が実現しました。将来的には、スケーラビリティの向上、CDCを使用したディザスタリカバリーの実装、リアルタイムデータベースインジェストシステムの作成が予定されています。このプロジェクトの成功には、ピンタレストの複数のチームが貢献しました。最後に、ブログ投稿には、商標に関する免責事項が含まれています。