La figure S10 illustre les améliorations relatives du débit et de la latence du décodage auto-spéculatif avec des têtes k pour un modèle de code de prédiction de 4 jetons à travers différentes tailles de lots.
bsky.app
Hacker & Security News on Bluesky @hacker.at.thenote.app
hackernoon.com
Self-Speculative Decoding Speeds for Multi-Token LLMs
TheNote.app (macOS, iOS and Android apps)
2025-06-06
Create attached notes ...