Amazon SageMaker AI가 실시간 추론 엔드... 노트

Amazon SageMaker AI가 실시간 추론 엔드포인트에 대한 KV 캐시 인식 라우팅을 지원합니다.

Amazon SageMaker AI가 이제 실시간 추론 엔드포인트에 KV 캐시 인식 라우팅을 지원하여, 길거나 반복적인 프롬프트가 있는 LLM 워크로드의 첫 번째 토큰까지의 시간을 단축할 수 있습니다. vLLM과 같은 서빙 엔진은 공유 시스템 프롬프트, 문서, 대화 기록과 같이 반복되는 프롬프트 시작 부분에 대해 계산된 키-값(KV) 캐시를 저장하여 반복 작업을 건너뜁니다. 여러 인스턴스에 걸쳐 캐시가 누락된 곳에 요청이 도달하면 다시 계산됩니다. 높은 부하에서는 인스턴스가 GPU 메모리를 확보하기 위해 공유 프롬프트와 이전 대화 턴을 포함한 캐시된 블록을 제거하기도 합니다.KV 캐시 인식 라우팅은 각 요청을 프롬프트의 가장 긴 일치 부분을 캐시에 보유하고 있는 인스턴스로 보냅니다. vLLM 컨테이너는 저장하고 제거하는 캐시 블록을 보고하고, SageMaker는 해당 실시간 보기를 사용하여 라우팅합니다. 조회 속도가 느리거나 일치하는 항목이 없으면 엔드포인트는 부하 인식 라우팅으로 대체되어 요청이 계속 서비스됩니다. 접두사 인식 라우팅은 안정적인 공유 프롬프트, 짧은 프롬프트 또는 중간 부하에 적합합니다. KV 캐시 인식 라우팅은 긴 프롬프트, 높은 부하 및 제한된 GPU 메모리에 적합합니다.고객은 이제 프로덕션 변형에서 RoutingStrategy를 KV_AWARE로 설정하고 컨테이너가 캐시 이벤트를 보고하도록 하는 환경 변수를 추가하여 이 기능을 활성화할 수 있습니다. 고객은 동일한 API와 OpenAI 호환 페이로드를 사용하여 엔드포인트를 호출할 수 있습니다. GPU 인스턴스에서 LoRA 어댑터를 포함한 단일 모델 엔드포인트 및 추론 구성 요소를 지원합니다. 최소 두 개의 인스턴스 또는 추론 구성 요소 복사본이 있는 AWS vLLM 딥러닝 컨테이너 버전 0.33.0 이상이 필요합니다. 상세한 관찰 가능성 메트릭은 KV 캐시 적중률을 보여줍니다. KV 캐시 인식 라우팅에 대한 추가 요금은 없습니다.KV 캐시 인식 라우팅은 현재 Amazon SageMaker AI를 사용할 수 있는 모든 AWS 리전에서 사용할 수 있습니다. 시작하려면 최신 AWS SDK 또는 CLI로 업데이트하십시오. 자세한 내용은 Amazon SageMaker AI 추론 페이지를 방문하여 API 설명서를 참조하십시오.