LLMゲートウェイは、アプリと呼び出すすべてのモデルプロバイダーの間に配置され、単一のエンドポイントでルーティング、キャッシング、フェイルオーバー、およびコスト追跡を処理します。ここでは、主なオプションの比較、実際のトラフィックとの接触で生き残る節約の主張、およびコミットする前に独自の数値を測定する方法を示します。