RSS VentureBeat
팔로우
화웨이의 새로운 오픈 소스 기술, LLM을 축소하여 저사양, 저비용 하드웨어에서도 실행 가능하게 만들다
화웨이 컴퓨팅 시스템 연구소는 대규모 언어 모델(LLM)을 위한 오픈 소스 양자화 방법인 SINQ를 출시했습니다. SINQ는 출력 품질을 저하시키지 않으면서 메모리 사용량을 60-70%까지 크게 줄여 LLM을 더 저렴한 하드웨어에서도 사용할 수 있도록 합니다. 이 기술을 통해 이전에 고성능 엔터프라이즈 GPU가 필요했던 모델을 일반 소비자용 장치에서도 실행할 수 있습니다. SINQ는 빠르고, 보정 과정이 필요 없으며, 기존 워크플로우에 쉽게 통합할 수 있습니다. 이 방법은 이중 축 스케일링과 Sinkhorn-Knopp 스타일 정규화를 사용하여 양자화 오류를 최소화합니다. 다양한 벤치마크에서 보정 과정이 필요 없는 다른 기술보다 뛰어난 성능을 보입니다. SINQ는 비균일 양자화를 지원하며, 성능 향상을 위해 보정 방법과 결합할 수도 있습니다. 오픈 소스 코드는 GitHub 및 Hugging Face에서 Apache 2.0 라이선스로 제공됩니다. 이 이니셔티브는 효율적인 모델 축소를 가능하게 하여 LLM 배포의 장벽을 낮추는 것을 목표로 합니다.
