대규모 언어 모델을 사용할 때, 우리는 일반적으로 "속도"에 대해 두 가지 인식을 가집니다. 하나는 질문이 제기된 후 첫 번째 문자가 나타나기까지 걸리는 시간이고, 다른 하나는 응답이 시작된 후 생성된 텍스트가 부드럽게 흐르는지 여부입니다.이는 사람과의 대화와 유사합니다. 질문을 한 후 상대방이 말하기 전에 잠시 멈출 수 있습니다. Time to First Token (TTFT)은 이 "말하기 전 대기 시간"을 측정합니다. 우리는 세 가지 관점에서 이를 명확하게 설명할 수 있습니다.