Pinterest a mis en œuvre une solution générique de capture de données de modification (CDC) pour résoudre les incohérences dans les solutions existantes et isolées. Ce nouveau système utilise Red Hat Debezium et est conçu pour la fiabilité, la scalabilité et la faible latence. L'architecture sépare le plan de contrôle, qui gère l'état et la configuration du système, du plan de données, qui traite les modifications et les envoie à Kafka. Kafka stocke les données CDC, que les utilisateurs peuvent ensuite consommer. La mise en œuvre a surmonté plusieurs défis, notamment des problèmes de scalabilité, des délais d'équilibrage et des tâches en double. Les solutions ont impliqué le démarrage, la limitation de débit, l'ajustement des configurations de délai et la mise à niveau de Kafka. Les améliorations ont abouti à une performance stable du système et à une réduction significative du temps de récupération en cas de défaillance. Les plans futurs incluent l'amélioration de la scalabilité, la mise en œuvre de la reprise après sinistre à l'aide de la CDC et la création d'un système d'ingestion de base de données en temps quasi réel. Le succès du projet a impliqué des contributions de plusieurs équipes de Pinterest. Enfin, l'article de blog inclut un avertissement concernant les marques déposées.