Netflix는 회원 선호도 학습을 중앙 집중화하기 위해 개인화를 위한 Foundation Model을 개발했습니다. 방대한 사용자 상호 작용 및 콘텐츠 데이터로 학습된 이 강력한 모델은 학습 내용을 다른 모델에 배포합니다. 이 대규모 모델을 프로덕션 시스템에 통합하는 것은 과제였으며, Netflix는 임베딩, 서브그래프 및 미세 조정을 포함한 세 가지 뚜렷한 접근 방식을 실험하게 되었습니다. 각 방법은 지연 시간, 기술 스택 및 모델 활용 측면에서 다른 애플리케이션 요구 사항을 충족합니다.임베딩 접근 방식은 임베딩 스토어에 저장된 Foundation Model의 사전 계산된 사용자 프로필 및 항목 표현을 활용합니다. 간단하고 비용 효율적이지만 계산과 추론 간의 시간 간격으로 인해 오래된 추천으로 이어질 수 있습니다. Netflix는 일일 미세 조정 및 임베딩 안정화 기술로 이를 향상시킵니다. 오래된 추천을 해결하고 적응성을 개선하기 위해 거의 실시간 프레임워크가 개발 중입니다.서브그래프 통합은 Foundation Model 디코더를 애플리케이션의 더 큰 모델 그래프 내의 구성 요소로 취급합니다. 이를 통해 더 깊은 통합이 가능하고 최신 학습을 사용하며 특정 Foundation Model 계층에 액세스하여 애플리케이션별 가치를 발휘할 수 있습니다. 그러나 기능 생성의 복잡성을 야기하고 모델 크기와 추론 시간을 증가시킵니다. 이 접근 방식은 메트릭 개선이 비용을 정당화하는 높은 영향력 있는 사용 사례에 예약되어 있습니다.미세 조정 접근 방식은 제품별 데이터 및 목표에 대해 추가로 학습하여 특정 애플리케이션에 맞게 Foundation Model을 조정합니다. 이는 최적화된 성능을 제공하고 새로운 애플리케이션의 기준선 역할을 합니다. 지연 시간 및 SLA에 대한 신중한 최적화가 필요하지만 모델 및 파이프라인의 확산으로 이어질 수 있습니다. Netflix는 이 프로세스를 단순화하기 위해 미세 조정 프레임워크를 제공합니다.지속적인 혁신에는 지연 시간을 줄이기 위한 거의 실시간 임베딩 추론 및 더 작고 압축된 Foundation Model 버전이 포함됩니다. 표준화된 API와 강력한 미세 조정 프레임워크는 애플리케이션 팀이 Foundation Model을 더 쉽게 활용할 수 있도록 하는 것을 목표로 합니다. 이러한 세 가지 통합 패턴은 Netflix 애플리케이션이 Foundation Model의 이점을 누릴 수 있는 포괄적인 전략을 제공합니다.