Amazon Bedrock AgentCore Gateway가 이제 추론 엔드포인트에서 Amazon Bedrock InvokeModel 및 InvokeModelWithResponseStream API를 지원하며, 추론 트래픽에 대한 모델 대체 라우팅도 지원합니다. InvokeModel 지원을 통해 기존 Amazon Bedrock SDK 통합을 게이트웨이에 연결하고, 각 제공업체에 대한 클라이언트 코드를 다시 작성하지 않고도 하나의 관리되는 엔드포인트를 통해 모든 모델 제공업체에 액세스할 수 있습니다. 모델 대체 기능을 사용하면 기본 대상이 스로틀링되거나 용량이 부족하거나 연결할 수 없을 때 게이트웨이가 자동으로 요청을 대체 모델 또는 제공업체로 라우팅하므로, 각 클라이언트가 자체 재시도 로직을 구현하지 않아도 에이전트가 계속 사용 가능합니다.대체 라우팅을 위해 게이트웨이 규칙에서 대체 대상의 순서가 지정된 체인과 스로틀링, 서버 오류 또는 응답 시간 초과와 같은 전환을 트리거하는 조건을 정의합니다. 내장된 서킷 브레이커는 현재 실패 중인 대상을 건너뛰므로 요청이 더 빠르게 정상 대상에 도달하고 실패한 시도에 대한 추가 지연 시간을 피할 수 있습니다. 대체 라우팅은 백그라운드에서 발생하므로, 주어진 요청에 대한 내부 시도 및 오류와 관계없이 하나의 요청을 보내고 하나의 응답을 받습니다.이러한 기능은 Amazon Bedrock AgentCore Gateway를 사용할 수 있는 모든 AWS 리전(중국 제외)에서 사용할 수 있습니다. 자세한 내용은 Amazon Bedrock AgentCore Gateway 사용자 가이드를 참조하십시오.