RSS Google KI-Blog
Folgen
Zeitreihen-Grundlagenmodelle können Few-Shot-Lerner sein
Zeitreihenprognosen sind für Unternehmen von entscheidender Bedeutung, aber traditionelle Methoden sind langsam und erfordern Expertenwissen. TimesFM, ein Zero-Shot-Foundation-Modell, verbesserte dies, indem es Prognosen ohne aufgabenspezifisches Training ermöglichte. Die Einbeziehung einiger Beispiele, bekannt als Few-Shot-Learning, könnte die Genauigkeit jedoch weiter verbessern. Die Standardmethode hierfür, das supervised Fine-Tuning, führt jedoch wieder Komplexität ein.Der neue Ansatz des In-Context Fine-Tuning (ICF) wandelt TimesFM in einen Few-Shot-Lerner um, indem er ein fortgesetztes Pre-Training nutzt. Dies lehrt das Modell, aus Beispielen zur Inferenzzeit zu lernen, ohne weiteres Benutzertraining. Das Modell, nun TimesFM-ICF, verwendet eine gepatchte Decoder-Architektur mit Transformer-Schichten.Um Few-Shot-Learning zu ermöglichen, wird ein "gemeinsamer Trennungs-Token" eingeführt, um zwischen der Prognosehistorie und den In-Context-Beispielen zu unterscheiden. Dies verhindert Datenverwechslungen und ermöglicht es dem Modell, aus vergangenen Mustern zu lernen. Das Modell wird dann auf einem neuen Datensatz mit diesen Trennungs-Tokens vortrainiert.TimesFM-ICF wurde auf ungesehenen Datensätzen evaluiert, wobei relevante historische Daten als In-Context-Beispiele verwendet wurden. Es zeigte eine Genauigkeitsverbesserung von 6,8 % gegenüber dem Basis-TimesFM. Entscheidend ist, dass TimesFM-ICF die Leistung des supervised Fine-Tuning erreicht, ohne dass zusätzliches komplexes Training erforderlich ist.Das System zeigt auch, dass mehr In-Context-Beispiele zu besseren Prognosen führen, mit einem Kompromiss bei der Inferenzzeit. Diese Innovation verspricht zugänglichere und leistungsfähigere Prognosen, die es Unternehmen ermöglichen, anpassungsfähige Modelle ohne umfangreiche ML-Projekte einzusetzen. Zukünftige Arbeiten zielen darauf ab, die Auswahl der relevantesten In-Context-Beispiele zu automatisieren.