За пределами статических рангов: Сила динамической квантизации в дообучении языковых моделей

QDyLoRA позволяет эффективно дообучать большие языковые модели (LLM) с несколькими рангами в одной сессии, сочетая квантование с динамическим адаптированием, превосходя стандартный QLoRA