Reflection выпустила Beam, модель с открытым весом, разработанную для продвинутой разработки программного обеспечения и задач агентов с длительным горизонтом. Beam работает под лицензией Apache 2.0 и демонстрирует впечатляющую эффективность инференса для моделей своего класса параметров. Google Cloud объявил о немедленной поддержке Beam, предоставив рецепты развертывания на своем AI Hypercomputer и NVIDIA AI Infrastructure. Совместно с Reflection, Google Cloud оптимизировал производительность Beam, используя llm-d и NVIDIA Dynamo для улучшения обслуживания. Развертывание Beam на Google Cloud привело к значительному повышению производительности и снижению задержки для рабочих нагрузок агентов. Релиз подчеркивает совокупную эффективность модели и системы, что приводит к увеличению пропускной способности и снижению задержки для агентов. Высокоэффективное многооборотное обслуживание достигается за счет передовых методов, таких как маршрутизация с учетом KV-кэша и спекулятивное декодирование. Разработчики теперь могут легко воспользоваться готовыми оптимизированными развертываниями для рабочих нагрузок агентов. Масштабирование инференса для задач агентов требует оптимизации как на уровне модели, так и на уровне системы обслуживания. Уникальная архитектура Beam, активирующая лишь часть своих параметров на токен, значительно снижает вычислительные требования. Стек обслуживания решает проблемы, такие как вычисления при предварительном заполнении и емкость KV-кэша в сценариях с длинным контекстом. Это совместно разработанное решение призвано предоставить разработчикам мощные и эффективные инструменты ИИ.