LLMルーティングの隠れたコスト:モデル切り替えが高コストに... ノート

LLMルーティングの隠れたコスト:モデル切り替えが高コストになる理由

セッション中にモデルを切り替えることが、より安価な推論によって約束される節約効果を消してしまう理由を理解するために、LLMルーティングをテストしました。