RSS HackerNoon
フォロー
本番環境におけるボイスエージェントのためのSTTの評価方法
ボイスエージェント開発者はTTFB（Time To First Byte）を最適化していますが、これは本番環境では最も有用性の低い指標の一つです。
実際にエージェントの速さと信頼性を決定するのはTTFS（Time To Final Segment）です。これは、ユーザーが話し終えてから、安定したトランスクリプトがLLMに着地するまでの時間です。
この記事では、ボイスエージェントにおけるSTTの最も信頼性の高い公開評価であるPipecatベンチマークを解説し、セマンティックWERとは何か、そしてなぜこのユースケースにおいて標準的な単語誤り率よりも優れているのかを説明します。また、精度とレイテンシは切り離せないものであるという主張を展開します。より速い誤った回答は、やはり誤った回答です。
