Pinterest стремится понять долгосрочные цели пользователей, называемые "путешествиями", которые представляют собой последовательности взаимодействий, связанных с конкретным интересом и намерением. Это выходит за рамки простой рекомендации следующего элемента на основе одного клика. Определение этих "путешествий" позволяет давать более релевантные рекомендации и уведомления, помогая пользователям завершать проекты. Изначально Pinterest использовал многоступенчатый конвейер для вывода "путешествий", кластеризуя ключевые слова и добавляя атрибуты. Эта устаревшая система улучшила метрики вовлеченности, но страдала от фрагментации, общих категорий и случайного шума от нерелевантных кликов. Для решения этих проблем Pinterest переформулировал вывод "путешествий" как генеративную задачу, используя дообученную большую языковую модель с 4 миллиардами параметров. Эта LLM напрямую читает хронологический журнал активности пользователя и выдает ранжированный список названий "путешествий" на языке пользователя. Инженерия подсказок для этой LLM имеет решающее значение, определяя важность действий, группировку событий и обработку негативных сигналов, таких как дизлайки. Передовые модели использовались в качестве учителей для генерации синтетических обучающих данных для дообучения меньших, готовых к производству моделей-учеников. Модель с 4 миллиардами параметров была выбрана из-за баланса между качеством вывода и эффективностью обслуживания. Обслуживание этих моделей в масштабе включает в себя сложные оптимизации, такие как PagedAttention и непрерывное пакетирование, для эффективной обработки сотен миллионов пользователей. Новая генеративная система успешно объединяет фрагментированные "путешествия", предоставляет конкретные названия и восстанавливает утерянные намерения. Этот подход предлагает общий рецепт персонализации за пределами Pinterest, применимый к платформам с последовательной активностью пользователей и структурированными целями намерений.