Amazon Bedrock에서 오픈 가중치 모델에 프롬... 노트

Amazon Bedrock에서 오픈 가중치 모델에 프롬프트 캐싱 사용

많은 생성형 AI 애플리케이션은 모든 요청에 대해 동일한 긴 컨텍스트를 다시 보냅니다. 프롬프트 캐싱을 사용하면 Amazon Bedrock의 오픈 가중치 모델이 이를 재사용하여 입력 비용과 지연 시간을 줄일 수 있습니다. 이 게시물에서는 Chat Completions API를 통한 암시적 및 명시적 캐싱을 보여주고 OpenCode 코딩 에이전트 세션에 캐싱을 적용합니다.
CdXz5zHNQW_fArwIXpzJC.gif