작은 언어 모델은 큰 모델과의 격차를 좁히고 있다

세밀하게 조정된 3B 모델이 70B 기준 모델을 생산에서 능가했습니다. 이것은 예외적인 경우가 아니라, 일반적인 패턴입니다. Phi-4는 수학에서 GPT-4o를 제치고 있습니다. Llama 3.2는 스마트폰에서 실행됩니다. 2021년 이후 추론 비용은 1000배 감소했습니다. 이러한 변화는: 신중한 데이터 큐레이션과 아키텍처 효율성이 이제 원시적인 규모를 대체합니다. 대부분의 생산 작업에서 적절하게 훈련된 작은 모델은 비용의 일부에서 동일한 결과를 제공합니다.