Baseten, поставщик инфраструктуры для искусственного интеллекта (ИИ), добился значительного улучшения соотношения цены и производительности для вывода (инференса) ИИ. Используя виртуальные машины Google Cloud A4 с аппаратным обеспечением NVIDIA Blackwell и свой планировщик динамической нагрузки, Baseten предлагает повышенную эффективность. Этот прорыв позволяет компаниям доступно развертывать передовые модели ИИ в производство, открывая возможности для новых приложений. Инференс, процесс запуска моделей ИИ, имеет решающее значение для корпоративного ИИ и стал узким местом из-за растущих вычислительных потребностей. Baseten решает эту проблему, предлагая масштабируемую платформу для вывода для различных проприетарных и open-source моделей, делая акцент на производительности и стоимости. Их стратегия включает в себя оптимизацию передового оборудования с помощью сложного открытого программного стека. Это включает использование графических процессоров NVIDIA и передовых фреймворков, таких как NVIDIA Dynamo и TensorRT-LLM. Программные оптимизации Baseten повышают пропускную способность и снижают задержку, позиционируя их как лидера по производительности. Кроме того, их глобальная инфраструктура и использование планировщика динамической нагрузки Google Cloud обеспечивают высокую доступность и избыточность. Эта мощная комбинация аппаратного и программного обеспечения открывает новые приложения ИИ в различных отраслях с беспрецедентным масштабом и экономической эффективностью.