RSS VentureBeat
Подписаться
Адаптивный спекулятор ATLAS от Together AI обеспечивает ускорение вывода в 400% за счет обучения на рабочих нагрузках в реальном времени.
Предприятия, внедряющие ИИ, сталкиваются с ограничениями производительности из-за статических спекулянтов, которые не могут адаптироваться к меняющимся рабочим нагрузкам. Эти спекулянты работают с большими языковыми моделями для предварительного создания нескольких токенов, значительно повышая скорость вывода и снижая затраты. Together AI представила ATLAS, новую систему с адаптивным обучением для оптимизации вывода, обещающую до 400% более высокую производительность. Статические спекулянты, обученные на фиксированных наборах данных, теряют точность по мере изменения моделей использования ИИ, что приводит к снижению скорости вывода. ATLAS использует архитектуру с двумя спекулянтами: стабильную статическую модель и легкую адаптивную модель, которая обучается на данных в реальном времени. Контроллер, осведомленный о степени уверенности, динамически выбирает подходящего спекулянта, позволяя динамически регулировать глубину предсказания. Такой адаптивный подход обеспечивает производительность, сравнимую со специализированным оборудованием, таким как заказные чипы, достигая высоких скоростей генерации токенов. Прирост производительности достигается за счет лучшего использования вычислительных мощностей путем обмена простоя на сокращение доступа к памяти. ATLAS функционирует как интеллектуальный уровень кэширования, изучая закономерности, а не сохраняя точные ответы. Варианты использования включают обучение с подкреплением и адаптацию к меняющимся корпоративным приложениям ИИ. ATLAS теперь доступен на платформе Together AI без дополнительной платы, что указывает на более широкий сдвиг в отрасли в сторону постоянно обучающихся систем вывода.
