LLM을 더 가볍게 만들기 위한 양자화 및 가지치기 방... 노트

LLM을 더 가볍게 만들기 위한 양자화 및 가지치기 방법

이 글은 각 기법이 실제로 무엇을 하는지, 왜 이러한 기법들을 건너뛰는 것이 실제 비용과 실제 지연 시간을 발생시키는지 살펴보고, 현재 프로덕션에서 사용되고 있는 다섯 가지 특정 기법을 직접 다룹니다.
CdXz5zHNQW_crEdttXPgx.png