Сделать данные о последователь... Заметка

Сделать данные о последовательности действий пользователей более экономичными, быстрыми и простыми в использовании

Текст описывает редизайн платформы пользовательских последовательностей в Pinterest, направленный на создание надежной и эффективной системы для извлечения данных о поведении пользователей для моделей машинного обучения. Основная цель - предоставление согласованных, актуальных, полных и экономически эффективных последовательностей для обучения, анализа и обслуживания. Платформа определяет пользовательские последовательности как упорядоченные списки недавних, обогащенных событий. Ключевые проблемы, которые необходимо решить, включают обеспечение актуальности, полноты, согласованности и масштабируемости данных для различных вариантов использования и команд. Решение использует подход "одно определение, много сред выполнения", используя конфигурацию как код и общий механизм выполнения для обработки событий в реальном времени и пакетном режиме. Платформа реализует лямбда-архитектуру для управления как текущими, так и историческими данными. Этот дизайн упрощает внедрение новых типов событий и обогащений, улучшает процесс проверки кода и уменьшает расхождение между обработкой в реальном времени и пакетной обработкой. Три важных проектных решения - это конфигурация как код для последовательностей и обогащений, общий механизм выполнения и лямбда-архитектура для последовательностей. Результатом является платформа, которая упрощает процесс создания, обслуживания и использования пользовательских последовательностей для различных задач машинного обучения в компании.
CdXz5zHNQW_ofSjTVKPmX.png