Nvidia’s Llama-3.1-Minitron 4B - это небольшая языковая модель, которая бьет выше своего веса

Исследователи Nvidia использовали обрезку модели и дистилляцию, чтобы создать компактную языковую модель (SLM) за долю от базовой стоимости.