Netflix разработала фундаментальную модель для персонализации, чтобы централизовать обучение предпочтениям участников. Эта мощная модель, обученная на обширных данных о взаимодействии пользователей и контенте, распределяет свои знания другим моделям. Интеграция этой большой модели в производственные системы представляла собой проблему, что побудило Netflix экспериментировать с тремя различными подходами: эмбеддингами, подграфом и дообучением. Каждый метод отвечает различным потребностям приложений в отношении задержки, технологического стека и использования модели.Подход с эмбеддингами использует предварительно вычисленные представления профилей пользователей и элементов из фундаментальной модели, хранящиеся в хранилище эмбеддингов. Хотя этот подход прост и экономичен, он может приводить к устаревшим рекомендациям из-за временного разрыва между вычислением и выводом. Netflix улучшает это ежедневным дообучением и техникой стабилизации эмбеддингов. Разрабатывается фреймворк почти в реальном времени для устранения устаревания и повышения адаптивности.Интеграция подграфа рассматривает декодер фундаментальной модели как компонент в графе модели приложения. Это позволяет глубже интегрироваться, использовать актуальные знания и раскрывать ценность, специфичную для приложения, получая доступ к конкретным слоям фундаментальной модели. Однако это усложняет генерацию признаков и увеличивает размер модели и время вывода. Этот подход зарезервирован для случаев использования с высоким влиянием, где улучшения метрик оправдывают затраты.Подход дообучения адаптирует фундаментальную модель для конкретных приложений, дополнительно обучая ее на данных и целях, специфичных для продукта. Это обеспечивает оптимизированную производительность и служит базовым уровнем для новых приложений. Хотя это требует тщательной оптимизации для задержки и соглашений об уровне обслуживания (SLA), это может привести к распространению моделей и конвейеров. Netflix предоставляет фреймворк дообучения для упрощения этого процесса.Текущие инновации включают вывод эмбеддингов почти в реальном времени и меньшие, "дистиллированные" версии фундаментальной модели для снижения задержки. Стандартизированные API и надежный фреймворк дообучения призваны упростить использование фундаментальной модели для команд приложений. Эти три шаблона интеграции обеспечивают комплексную стратегию для приложений Netflix, позволяющую извлечь выгоду из фундаментальной модели.