요약: 이것이 어디에 해당하는가이 시리즈의 1부에서는 정확히 일치하는 캐싱을 다루었습니다. 전체 요청을 해싱하고 새로운 요청이 이전 요청과 정확히 일치할 때 저장된 응답을 반환하는 것입니다. 이 계층은 빠르고 안전하지만, 입력이 정확히 일치하는 경우에만 도움이 되는데, 이는 템플릿화된 트래픽에서는 흔하지만 개방형 대화에서는 드뭅니다.이 글은 그 간극을 메우는 계층인 의미론적 캐싱을 다룹니다. 3부에서는 요청이 실제로 모델에 도달했을 때 발생하는 일, 즉 자체 호스팅된 KV 캐시 재사용 및 제공업체 접두사 캐싱, 그리고 프로덕션 세부 정보(메트릭 모니터링, 비용 산출, 전체 체크리스트)를 다룹니다.