RSS VentureBeat
Folgen
Together AI's ATLAS adaptive speculator liefert eine 400%ige Beschleunigung der Inferenzgeschwindigkeit, indem er in Echtzeit aus Workloads lernt
Unternehmen, die KI einsetzen, stoßen auf Leistungsgrenzen aufgrund statischer Spekulanten, die sich nicht an sich entwickelnde Workloads anpassen können. Diese Spekulanten arbeiten mit großen Sprachmodellen zusammen, um im Voraus mehrere Token zu entwerfen, was die Inferenzgeschwindigkeit erheblich verbessert und die Kosten senkt. Together AI hat ATLAS eingeführt, ein neues System mit adaptivem Lernen zur Inferenzoptimierung, das eine bis zu 400 % schnellere Leistung verspricht. Statische Spekulanten, die auf festen Datensätzen trainiert werden, verlieren an Genauigkeit, wenn sich die KI-Nutzungsmuster ändern, was zu einer verschlechterten Inferenzgeschwindigkeit führt. ATLAS verwendet eine Dual-Spekulanten-Architektur mit einem stabilen statischen Modell und einem leichten adaptiven Modell, das aus Live-Traffic lernt. Ein konfidenzbewusster Controller wählt dynamisch den geeigneten Spekulanten aus und ermöglicht so eine dynamische Anpassung des Spekulations-Lookaheads. Dieser adaptive Ansatz bietet eine Leistung, die mit spezialisierter Hardware wie kundenspezifischen Chips vergleichbar ist, und erreicht hohe Token-Generierungsraten. Die Leistungssteigerungen ergeben sich aus einer besseren Auslastung der Rechenkapazität durch den Austausch von Leerlaufverarbeitung gegen reduzierten Speicherzugriff. ATLAS funktioniert wie eine intelligente Caching-Schicht, die Muster lernt, anstatt exakte Antworten zu speichern. Anwendungsfälle umfassen das Training von Reinforcement Learning und die Anpassung an sich ändernde Enterprise-KI-Anwendungen. ATLAS ist jetzt auf der Plattform von Together AI ohne zusätzliche Kosten verfügbar, was auf einen breiteren Branchenwandel hin zu kontinuierlich lernenden Inferenzsystemen hindeutet.
