Simulation de systèmes de gran... Note

Simulation de systèmes de grande taille avec des modèles de langage de régression

Les Modèles de Langage de Grande Échelle (LLMs) sont améliorés en apprenant à partir des préférences humaines pour générer du texte utile. Une approche novatrice étend cela en utilisant des données opérationnelles pour entraîner des modèles de récompense pour prédire des métriques de performance. La régression traditionnelle éprouve des difficultés avec des données complexes et non structurées, nécessitant une ingénierie de caractéristiques fastidieuse. L'article introduit les Modèles de Langage de Régression (RLMs) qui réalisent une régression texte-à-texte, traitant directement les entrées de texte pour produire des prédictions numériques sous forme de chaînes de caractères. Cette méthode évite l'ingénierie de caractéristiques et permet une adaptation à faible coût à de nouvelles tâches. Les RLM peuvent capturer les distributions de probabilité des résultats et quantifier l'incertitude de la prédiction. Cette approche a été appliquée pour prédire l'efficacité des ressources dans l'infrastructure de calcul à grande échelle de Google, Borg. Le RLM a prédit avec succès les Millions d'Instructions Par Seconde par Unité de Calcul Google (MIPS par GCU). Ce nouveau paradigme offre une manière scalable et efficace de prédire des résultats numériques à partir de texte brut, permettant des simulateurs de système universels et des mécanismes de récompense avancés.
CdXz5zHNQW_HUK47yosTR.png