파트 1: 기업 규모의 추론: 왜 LLM 추론이 자본 배분 문제인가

기업 환경에서 추론은 정확성, 지연 시간, 비용의 상호 의존성 등 본질적인 도전에 직면해 있습니다. 한 지표를 개선하면 거의 항상 다른 지표에 부정적인 영향을 미치며, 이를 파레토 프런티어(Pareto frontier)라고 불리는 상충이 발생합니다. 이 최전선은 모델 품질, GPU당 처리량, 사용자당 지연 시간 등 달성 가능한 한계를 정의합니다. 공학적 노력은 이 경계를 바깥쪽으로 이동시켜 상충을 덜 심각하게 만드는 것을 목표로 합니다. 추론 처리는 프리필과 디코딩 두 가지 뚜렷한 단계로 나뉩니다. 프리필은 계산에 묶여 있고 입력 길이에 따라 시간에 따라 달라지며, 첫 번째 토큰까지의 시간을 결정합니다. 디코딩은 메모리 대역폭에 제한이 있으며 출력 길이에 따라 시간에 의존하여 출력 토큰당 시간에 영향을 미칩니다. 이 단계들은 서로 다른 병목 현상을 가지며, 동일한 최적화의 이점을 똑같이 얻지 못합니다. KV 캐시는 컨텍스트 길이와 배치 크기에 따라 성장하는 동적 구성 요소로, 상당한 비용 요인입니다. 특히 긴 컨텍스트와 높은 동시성에서 GPU에서 메모리 초과 오류가 발생할 수 있습니다. KV 캐시 메모리 압력을 완화하기 위해서는 컨텍스트 길이의 신중한 관리가 매우 중요합니다. 에이전트형 AI 워크로드는 수많은 순차적 추론 호출을 유발하여 정확성, 낮은 지연 시간, 비용 효율성을 동시에 요구함으로써 이러한 문제를 더욱 악화시킵니다. GPU 경제성도 도전 과제로, 유휴 용량이 낭비되는 지출로 이어집니다. 프로덕션 추론 트래픽은 종종 폭발적이어서 GPU 시간의 효율적 활용이 매우 중요합니다. AKS와 같은 플랫폼에서 자체 호스팅 모델의 비용 효율성은 시간당 GPU 사용량 극대화와 직접적으로 연결되어 있습니다. 응답 상세성과 같은 제품 설계는 토큰 소비와 GPU 시간 효율성에 직접적인 영향을 미칩니다. 이 다섯 가지 도전 과제는 서로 겹쳐 추론 팀에 복잡한 최적화 문제를 만듭니다.