Google Cloud Blog на русском
Подписаться
Масштабирование агентивного ИИ: как UiPath построила свою высокопроизводительную GPU-платформу на AI Hypercomputer
UiPath переходит на агентный ИИ, развертывая автономных агентов, которые рассуждают и принимают решения для оркестровки сложных бизнес-процессов. Этот переход требует значительной вычислительной мощности и надежной инфраструктуры, особенно для крупных предприятий. Эффективная оркестровка сотен графических процессоров имеет решающее значение для глобальных ИИ-платформ, обеспечивая баланс между обучением и инференсом без увеличения затрат или задержек. UiPath переработала свою инфраструктуру в Google Cloud, перейдя на общий парк графических процессоров для интеллектуальной обработки документов. Теперь они используют экземпляры виртуальных машин A3 для обучения и экземпляры виртуальных машин G4 для инференса, справляясь с пиковыми нагрузками и обеспечивая предсказуемые затраты. Это партнерство с Google Cloud обеспечивает необходимый масштаб, гибкость и специализированные возможности ИИ для амбициозных инициатив UiPath в области агентного ИИ. Предыдущий подход компании к выделению графических процессоров по запросу стал неуправляемым из-за пиковых нагрузок, узких мест в поставках высокопроизводительных чипов и операционных накладных расходов. Рассматривая графические процессоры как общий стратегический ресурс, платформа ML Services от UiPath приоритизирует работу и балансирует спрос между рабочими процессами, оптимизируя использование. Архитектура AI Hypercomputer от Google Cloud, интегрирующая аппаратное обеспечение, программное обеспечение и гибкие модели потребления, дополнительно поддерживает растущий масштаб UiPath. UiPath использовала Google Kubernetes Engine и динамический планировщик рабочих нагрузок Google Cloud (DWS) для заблаговременного обеспечения мощностей графических процессоров, что позволило осуществлять проактивное планирование. Теперь они используют экземпляры виртуальных машин A3 для обучения и экономичные экземпляры виртуальных машин G4 для инференса, оптимизируя производительность и цену. Эта новая инфраструктура позволяет UiPath внедрять в производство передовые модели, такие как те, которые используются Omega Healthcare и Thermo Fisher Scientific, достигая замечательной точности и эффективности обработки. Основные извлеченные уроки включают разделение мощностей, заблаговременное планирование вычислений и правильный подбор кремния для различных рабочих нагрузок.