Flux RSS du blog Google IA
Suivre
Les modèles fondamentaux de séries temporelles peuvent être des apprenants à peu de coups.
La prévision de séries temporelles est cruciale pour les entreprises, mais les méthodes traditionnelles sont lentes et nécessitent beaucoup d'expertise. TimesFM, un modèle de fondation zero-shot, a amélioré cela en prévoyant sans entraînement spécifique à la tâche. Cependant, l'intégration de quelques exemples, connue sous le nom d'apprentissage few-shot, pourrait encore améliorer la précision. La méthode standard pour cela, le fine-tuning supervisé, réintroduit la complexité.La nouvelle approche In-Context Fine-Tuning (ICF) transforme TimesFM en un apprenant few-shot en utilisant un pré-entraînement continu. Cela apprend au modèle à apprendre à partir d'exemples au moment de l'inférence sans formation utilisateur supplémentaire. Le modèle, désormais TimesFM-ICF, utilise une architecture de décodeur patchée avec des couches de transformeur.Pour permettre l'apprentissage few-shot, un "jeton séparateur commun" est introduit pour distinguer l'historique des prévisions des exemples en contexte. Cela évite la confusion des données et permet au modèle d'apprendre à partir des schémas passés. Le modèle est ensuite pré-entraîné sur un nouveau jeu de données intégrant ces séparateurs.TimesFM-ICF a été évalué sur des jeux de données inédits, en utilisant des données historiques pertinentes comme exemples en contexte. Il a démontré une amélioration de la précision de 6,8 % par rapport au TimesFM de base. De manière cruciale, TimesFM-ICF égale les performances du fine-tuning supervisé sans nécessiter d'entraînement complexe supplémentaire.Le système montre également que plus il y a d'exemples en contexte, meilleures sont les prévisions, avec un compromis en termes de temps d'inférence. Cette innovation promet des prévisions plus accessibles et plus puissantes, permettant aux entreprises de déployer des modèles adaptables sans projets ML étendus. Les travaux futurs visent à automatiser la sélection des exemples en contexte les plus pertinents.