Без облака, без GPU, без пробл... Заметка
VentureBeat на русском

Без облака, без GPU, без проблем: новая модель Liquid AI LFM2.5-2.6B обеспечивает мощные ИИ-агенты для устройств размером с Raspberry Pi.

Liquid, стартап в области ИИ, основанный бывшими учеными-компьютерщиками из MIT, выпустил LFM2.5-2.6B, языковую модель с открытым весом, оптимизированную для задач агентов. Эта модель предназначена для работы полностью на локальном оборудовании, от смартфонов до Raspberry Pi, устраняя необходимость в облачных вычислениях или графических процессорах. Эта возможность открывает приложения для периферийных вычислений (edge AI) и обеспечивает повышенную конфиденциальность для конфиденциальных данных. LFM2.5-2.6B отлично справляется с четко определенными, высокообъемными задачами агентов, такими как вызов инструментов, управление документами и автоматизация рабочих процессов. Она также подходит для сред с ограниченным подключением, таких как транспортные средства и робототехника. Модель имеет 2,6 миллиарда параметров и внушительное контекстное окно в 128 000 токенов. Она обладает встроенной функцией вызова инструментов и доступна на Hugging Face с поддержкой основных стеков для инференса. Liquid позиционирует эту модель не как конкурента крупным передовым моделям, а как решение, где задержка, конфиденциальность и стоимость имеют первостепенное значение. Архитектура LFM отдает приоритет реальной производительности на центральном процессоре, демонстрируя впечатляющую скорость даже на таких устройствах, как Raspberry Pi. Liquid обучила LFM2.5-2.6B специально для фреймворков агентов, сосредоточившись на ее способности эффективно использовать инструменты, а не только на разговорных задачах. Конвейер обучения модели включает специальный этап обучения с подкреплением в рамках производственных сред агентов. Liquid также разработала собственный проактивный фреймворк агентов, стремясь создать помощников, которые работают автономно в фоновом режиме. Лицензия на LFM2.5-2.6B разрешает коммерческое использование для организаций с годовым доходом менее 10 миллионов долларов, при этом более крупные компании требуют отдельного коммерческого соглашения. В тестах LFM2.5-2.6B демонстрирует высокую производительность в задачах следования инструкциям и использования инструментов, часто превосходя более крупные модели в своих специализированных областях.
CdXz5zHNQW_Eyqv2GZhf1.png