요약: 이것이 어디에 들어맞는가이 시리즈의 1부에서는 정확히 일치하는 캐싱을 다루었고, 2부에서는 의미론적 캐싱을 다루었습니다. 둘 다 모델 앞에 위치하며, 히트 시 호출을 완전히 건너뛸 수 있습니다. 이 글에서는 여전히 모델에 도달하는 요청에 어떤 일이 발생하는지 다룹니다. 즉, 자체 추론 엔진 내부 또는 API 제공업체의 시스템 내부에서 계산된 모델 상태를 재사용하는 것과, 캐싱 계획을 팀이 실제로 실행하고 신뢰할 수 있는 것으로 바꾸는 프로덕션 세부 사항을 다룹니다.3계층과 4계층은 동일한 기본 아이디어의 두 가지 버전으로, 계산된 모델 상태를 재사용하며 모델 서버를 실행하는 주체에 따라 분리됩니다. 자체 GPU를 실행하는 경우 3계층이 적용됩니다. 호스팅된 API를 호출하는 경우 4계층이 적용됩니다. 동일한 모델 호출에 대해 두 가지를 동시에 사용할 필요는 거의 없습니다.