Рекомендации — важнейшая часть работы Netflix, и компания использовала сложные производственные модели, основанные на тысячах вручную созданных функций и специализированных архитектур. Однако эти модели дороги в обслуживании и обновлении, и компания ищет более эффективные решения. Большие языковые модели показали многообещающие результаты в этой области, но они еще не готовы к производству и часто имеют ограничения, такие как чрезмерное рекомендование популярного контента и игнорирование бизнес-ограничений. Для решения этой проблемы Netflix создал GenRec, систему ранжирования рекомендаций на основе LLM, которая дообучает внутреннюю базовую LLM на данных и целях, специфичных для Netflix. GenRec вербализует историю пользователя, метаданные элементов и контекст в виде текста и использует головку оценки, осведомленную о каталоге, для ранжирования элементов. Модель обучается с использованием многоцелевой функции потерь, которая объединяет сигналы ранжирования, языка и вознаграждения для соответствия бизнес-целям и долгосрочному удовлетворению участников. GenRec продемонстрировал статистически значимые улучшения как в краткосрочных, так и в долгосрочных онлайн-метриках по сравнению с хорошо настроенным производственным ранжировщиком, используя при этом лишь небольшую часть размеченных данных и входных сигналов. Модель обслуживается на внутреннем стеке LLM Netflix с использованием vLLM, и компания внедрила стратегии для контроля затрат на обслуживание, такие как использование меньших моделей, агрессивное сжатие контекста и вывод только предварительного заполнения. В целом, GenRec представляет собой значительный шаг к более LLM-центричному будущему рекомендаций в Netflix, и его успех может трансформировать подход компании к рекомендациям и персонализации. Способность модели обучаться на входах на естественном языке и генерировать персонализированные ранжирования может улучшить пользовательский опыт и повысить вовлеченность. Используя мощь больших языковых моделей, Netflix может создавать более эффективные и действенные системы рекомендаций, которые способствуют успеху бизнеса.