Pinterest внедрил универсальное решение Change Data Capture (CDC) для устранения несоответствий в существующих изолированных решениях. Эта новая система использует Red Hat Debezium и предназначена для обеспечения надежности, масштабируемости и низкой задержки. Архитектура отделяет контрольную плоскость, управляющую состоянием системы и конфигурацией, от плоскости данных, обрабатывающей изменения и отправляющей их в Kafka. Kafka хранит данные CDC, которые затем могут использовать пользователи. Реализация преодолела несколько проблем, включая проблемы масштабируемости, таймауты ребалансировки и дублирование задач. Решения включали инициализацию, ограничение скорости, корректировку настроек таймаута и обновление Kafka. Улучшения привели к стабильной работе системы и значительно сократили время восстановления после отказа. В планах на будущее - улучшение масштабируемости, реализация восстановления после аварии с помощью CDC и создание системы near real-time для ингресса базы данных. Успех проекта был возможен благодаря вкладу нескольких команд Pinterest. Наконец, в блоге есть оговорка относительно торговых марок.