При использовании больших языковых моделей мы обычно имеем два представления о «скорости»: одно — это время, которое проходит с момента задания вопроса до появления первого символа; другое — плавно ли течет сгенерированный текст после начала ответа.Это похоже на разговор с человеком: после того, как вы зададите вопрос, другой человек может сделать паузу, прежде чем заговорить. Время до первого токена (TTFT) измеряет это «время ожидания перед началом речи». Мы можем объяснить это четко с трех точек зрения.