AgentCore Gatewayは、Bedrock Inv... ノート

AgentCore Gatewayは、Bedrock InvokeModel APIとモデルフォールバックをサポートするようになりました。

Amazon Bedrock AgentCore Gateway は、推論エンドポイントで Amazon Bedrock の InvokeModel および InvokeModelWithResponseStream API をサポートするようになり、推論トラフィックのモデルフォールバックルーティングも可能になりました。InvokeModel のサポートにより、既存の Amazon Bedrock SDK 統合をゲートウェイに向け、クライアントコードをプロバイダーごとに書き換えることなく、1 つの管理されたエンドポイントを通じて任意のモデルプロバイダーにアクセスできます。モデルフォールバックにより、プライマリの宛先がスロットリングされたり、容量を超えたり、到達不能になったりした場合に、ゲートウェイが自動的に代替モデルまたはプロバイダーにリクエストをルーティングするため、各クライアントが独自の再試行ロジックを実装しなくても、エージェントは利用可能であり続けます。フォールバックルーティングでは、ゲートウェイのルールで代替の宛先の順序付けされたチェーンを定義し、スロットリング、サーバーエラー、または応答タイムアウトなどの切り替えをトリガーする条件を指定します。組み込みのサーキットブレーカーは、現在失敗している宛先をスキップするため、リクエストは正常な宛先に迅速に到達し、失敗した試行に追加の遅延が発生するのを回避できます。フォールバックルーティングはバックグラウンドで実行されるため、特定の要求に対する内部的な試行錯誤に関係なく、1 つのリクエストを送信し、1 つの応答を受信できます。これらの機能は、Amazon Bedrock AgentCore Gateway が利用可能なすべての AWS リージョン(中国を除く)で利用できます。詳細については、Amazon Bedrock AgentCore Gateway ユーザーガイドを参照してください。