Flux RSS VentureBeat
Suivre
Les modèles de langage auto-améliorants deviennent une réalité avec la technique SEAL mise à jour du MIT
Des chercheurs du MIT ont développé SEAL, une technique novatrice permettant aux grands modèles linguistiques comme ceux utilisés par ChatGPT de s'améliorer eux-mêmes. SEAL permet aux LLM de générer des données synthétiques et de formuler leurs propres stratégies de réglage fin, atteignant ainsi l'auto-adaptation. Cette méthode, contrairement aux modèles traditionnels, ne repose pas uniquement sur des données externes et des processus conçus par l'homme. Le document élargi et le code open-source publiés le mois dernier ont suscité un intérêt considérable dans la communauté de l'IA. SEAL est structuré avec deux boucles : une boucle interne affine en utilisant des modifications auto-générées, et une boucle externe utilise l'apprentissage par renforcement pour optimiser la politique de génération de modifications. Les performances ont été évaluées sur des tâches d'incorporation de connaissances et d'apprentissage par quelques exemples, montrant des améliorations significatives de la précision. La technologie aide les modèles à restructurer les connaissances avant l'assimilation, de manière similaire aux processus d'apprentissage humains. Bien que des résultats solides aient été obtenus, les défis incluent l'oubli catastrophique potentiel et la surcharge computationnelle pendant le réglage fin. Néanmoins, la capacité de SEAL à créer des données d'entraînement de haute utilité et à généraliser dans différents scénarios est prometteuse. Les chercheurs envisagent des applications dans le pré-entraînement autonome et le développement de systèmes d'IA plus autonomes. Ce travail représente une étape vers l'évolution autonome des LLM, abordant potentiellement les limitations de données et conduisant à des améliorations.
