Netflix entwickelt ein Foundation Model für Empfehlungen, um das Lernen von Mitgliederpräferenzen zu zentralisieren und die Effizienz verschiedener Empfehlungsmodelle zu verbessern. Das aktuelle System besteht aus spezialisierten Modellen, die kostspielig zu warten sind und Schwierigkeiten haben, Innovationen auszutauschen. Das Foundation Model zielt darauf ab, aus umfangreichen Nutzerinteraktionsverläufen und Inhaltsdaten zu lernen und diese Erkenntnisse an andere Modelle weiterzugeben. Inspiriert von großen Sprachmodellen, verlagert sich der Ansatz auf eine datenzentrierte Strategie unter Verwendung von semi-überwachtem Lernen. Netflix tokenisiert Nutzerinteraktionen und balanciert Datengranularität und Sequenzkomprimierung, um lange Interaktionsverläufe zu verarbeiten. Sparse Attention-Mechanismen und Sliding-Window-Sampling werden verwendet, um die Recheneffizienz während des Trainings zu verwalten. Jedes Token enthält umfangreiche, heterogene Informationen über die Aktion und den Inhalt, wobei Request-Time- und Post-Action-Funktionen genutzt werden. Das Modell verwendet ein autoregressives Next-Token-Vorhersageziel, ähnlich wie GPT, jedoch mit Modifikationen, um die unterschiedliche Bedeutung von Interaktionen zu berücksichtigen. Das Modell sagt mehrere Token voraus und verwendet zusätzliche Vorhersageziele, um langfristige Abhängigkeiten zu erfassen und die Genauigkeit zu verbessern. Um das Cold-Starting-Problem von Entitäten zu beheben, ist das Modell mit inkrementellem Training und der Fähigkeit ausgestattet, mit nicht gesehenen Entitäten zu inferieren, indem Metadateninformationen von Entitäten und Eingaben verwendet werden.