Авторы разработали контекстную последовательную двухбашенную модель для улучшения рекомендаций рекламы в Pinterest, особенно для контекстно-зависимых поверхностей, таких как "Похожие пины". Изначальной модели не хватало контекста в реальном времени, что снижало ее эффективность, поскольку она полагалась исключительно на историю поведения пользователей. Чтобы решить эту проблему, они интегрировали контекстный слой в архитектуру модели, что позволило модели включать информацию из текущей активности пользователя. Они использовали синтетические данные во время обучения, внедряя псевдо-контекст, полученный из событий конверсии, чтобы обучить модель. Был принят гибридный поток обслуживания, при котором большая часть обработки башни пользователя выполняется в автономном режиме, но контекстный слой обрабатывается в режиме онлайн. Это позволяет получать динамические пользовательские эмбеддинги, на которые влияет контекст в реальном времени, повышая релевантность. Оффлайн-оценки показали значительное улучшение Recall@K по сравнению с предыдущей производственной моделью. Новая модель увеличила показатели выживаемости кандидатов и улучшила релевантность рекламы, особенно на поверхности "Похожие пины". Это привело к измеримому увеличению бизнес-показателей, связанных с конверсией, в частности, окупаемости расходов на рекламу (ROAS). Будущая работа включает в себя расширение модели на другие поверхности, такие как "Поиск", и эксперименты с передовыми методами слияния, такими как кросс-внимание. Эта работа демонстрирует важность включения контекста в реальном времени для повышения релевантности рекламы и пользовательского опыта.