Skip to content
TheNote.app
Download_on_the_App_Store_Badge_US-UK_RGB_blk_4SVG_092917
RSS MachineLearningMastery.com
LLM 양자화 단계별 안내: FP16 모델을 GGUF로 변환하기
LLaMA, Mistral, Qwen과 같은 대규모 언어 모델은 수십억 개의 매개변수를 가지고 있어 많은 메모리와 계산 능력을 필요로 합니다.
machinelearningmastery.com
Quantizing LLMs Step-by-Step: Converting FP16 Models to GGUF