Large Language Models (LLMs) sind leistungsstark, aber rechenintensiv, was zu langsamer und kostspieliger Inferenz führt. Um dies zu beheben, verwenden Cascades kleinere, schnellere Modelle, um einfache Anfragen zu bearbeiten, bevor sie auf größere, leistungsfähigere LLMs zurückgreifen. Dieser Ansatz zielt darauf ab, die Kosten zu senken, indem teure Modelle nur für komplexe Aufgaben eingesetzt werden. Spekulatives Decodieren hingegen beschleunigt die LLM-Inferenz, indem ein kleineres Modell zukünftige Token entwirft, die ein größeres Modell dann parallel verifiziert. Dies beschleunigt die Generierung, ohne die endgültige Ausgabe zu verändern, kann aber die Speichernutzung erhöhen. Das Papier stellt "spekulative Cascades" vor, eine neuartige Methode, die die Vorteile von Cascades und spekulativer Decodierung kombiniert. Spekulative Cascades verwenden eine flexible "Deferral-Regel", die es ermöglicht, dass der Entwurf eines kleineren Modells akzeptiert wird, selbst wenn er nicht perfekt mit der Ausgabe des größeren Modells übereinstimmt. Dieser hybride Ansatz bietet bessere Kosten-Qualitäts-Kompromisse als jede der beiden Techniken allein. Experimente mit verschiedenen Sprachaufgaben zeigten, dass spekulative Cascades höhere Beschleunigungen und bessere Qualitätsmetriken erzielen. Die Flexibilität der Deferral-Regel ermöglicht eine Anpassung basierend auf Konfidenz, Kosten-Nutzen-Analyse oder tokenspezifischen Überprüfungen. Diese Innovation ermöglicht es LLM-Anwendungen, sowohl schneller als auch intelligenter zu sein, indem das Gleichgewicht zwischen Rechenkosten und Ausgabequalität optimiert wird.