Abbildung S10 veranschaulicht die relativen Durchsatz- und Latenzverbesserungen der selbstspekulativen Decodierung mit k Köpfen für ein 4-Token-Vorhersagemodell bei verschiedenen Batch-Größen.
bsky.app
Hacker & Security News on Bluesky @hacker.at.thenote.app
hackernoon.com
Self-Speculative Decoding Speeds for Multi-Token LLMs
RSS Hunter
2025-06-06