Unsloth - это пользовательский фреймворк, предлагающий быструю инференцию и дообучение для больших языковых моделей. Он также поддерживает сохранение моделей в нескольких форматах, включая vLLM и GGUF.
kdnuggets.com
Fine-tuning Llama 3.2 Using Unsloth
