Les LLM réalisent un apprentissage parallèle en contexte grâce à une remarquable capacité de « superposition de tâches »

Les modèles de langage volumineux ont démontré d'impressionnantes capacités d'apprentissage contextuel, et une étude récente explore un phénomène surprenant où ces modèles peuvent exécuter plusieurs tâches informatiques distinctes simultanément lors d'un seul appel d'inférence, une capacité appelée « superposition de tâches ». Les chercheurs fournissent des preuves empiriques de ce phénomène dans différentes familles et échelles de modèles de langage volumineux, et montrent qu'il émerge même lorsque le modèle est entraîné à apprendre une tâche à la fois. L'étude propose des explications théoriques pour cette capacité et explore comment les modèles de langage volumineux composent en interne les vecteurs de tâches pendant la superposition. Les résultats donnent un aperçu des capacités latentes des modèles de langage volumineux et soulèvent des questions sur les mécanismes permettant l'exécution simultanée des tâches. Les chercheurs ont découvert que les modèles de langage volumineux peuvent résoudre davantage de tâches d'apprentissage contextuel en parallèle et mieux étalonner leurs distributions de sortie. Les résultats de l'étude offrent de précieux aperçus sur la nature des modèles de langage volumineux et leur potentiel d'exécution simultanée de tâches. Cependant, l'étude présente des limites, telles que l'absence d'une investigation approfondie sur les frontières ou les limitations de ce phénomène de superposition de tâches. Des recherches supplémentaires pourraient explorer dans quelle mesure les modèles de langage volumineux peuvent jongler avec plusieurs tâches et les facteurs qui influencent leurs performances. Les résultats de l'étude ont des implications importantes pour le développement futur et les applications des modèles de langage volumineux.