大規模言語モデルを使用する際、「速度」には通常2つの認識があります。1つは質問が提示された後に最初の文字が表示されるまでの時間、もう1つは応答が始まってからの生成テキストの流れがスムーズかどうかです。これは人間との会話に似ています。質問をした後、相手は話し始める前に一時停止するかもしれません。Time to First Token (TTFT) は、この「話し始めるまでの待ち時間」を測定します。これは3つの観点から明確に説明できます。