이 장은 여덟 부분으로 나뉘어져 있습니다. 그 내용은 다음과 같습니다. • LLM 추론을 위한 지표 • 단일 요청 측정 • 워밍업 및 동기화 • CUDA 이벤트를 사용한 GPU 작업 측정 • 메모리 사용량 측정 • 동시 요청 측정 • 여러 개의 GPU 및 여러 대의 기계 • 토큰당 비용 가장 일반적인 추론 지표는 다음과 같습니다. • 지연 시간: 요청이 시작부터 끝까지 걸리는 시간