Amazon Bedrock AgentCore Gateway 现已在其推理端点支持 Amazon Bedrock InvokeModel 和 InvokeModelWithResponseStream API，并支持推理流量的模型回退路由。借助 InvokeModel 支持，您可以将现有的 Amazon Bedrock SDK 集成指向该网关，通过一个受管端点访问任何模型提供商，而无需为每个提供商重写客户端代码。通过模型回退功能，当主要目标因限流、容量不足或无法访问时，网关会自动将请求路由到备用模型或提供商，从而确保您的代理始终可用，而无需每个客户端自行实现重试逻辑。对于回退路由，您可以在网关规则中定义一个有序的备用目标链，并指定触发切换的条件，例如限流、服务器错误或响应超时。内置的熔断器会跳过当前失败的目的地，使请求更快到达健康的目的地，并避免因重试失败而增加延迟。回退路由在后台自动完成，这意味着无论单个请求内部是否存在多次尝试和错误，您只需发送一个请求并接收一个响应。这些功能在 Amazon Bedrock AgentCore Gateway 可用的所有 AWS 区域中均可使用（中国区域除外）。欲了解更多信息，请参阅 Amazon Bedrock AgentCore Gateway 用户指南。