Google Cloud Blog на русском
Подписаться
Создание экономически эффективных, высокопроизводительных рабочих процессов генеративного ИИ в Google Dataflow
Современные предприятия полагаются на потоковые конвейеры в реальном времени для непрерывной обработки данных. Традиционно эти конвейеры имеют статическую логику, но генеративные ИИ-агенты обеспечивают адаптивное выполнение. Это позволяет рабочим процессам динамически строить планы и предпринимать действия на основе содержания данных. Например, сообщение от недовольного клиента может инициировать поиск заказа, исправление ситуации и уведомление клиента. Однако масштабирование генеративных ИИ-рабочих процессов сталкивается с такими проблемами, как высокая задержка и стоимость. Предлагаемое решение объединяет Google Dataflow с Agent Development Kit (ADK) для создания гибридного конвейера, эффективно обрабатывающего потоки большого объема. Легковесная модель на начальном этапе фильтрует события, направляя только сложные случаи к генеративному ИИ-агенту на последующем этапе. Эта модель предварительной фильтрации плюс агентурное действие универсально применима к потокам с преимущественно рутинными событиями. Примеры включают сортировку журналов ИТ-операций, обнаружение финансовых мошенничеств и мониторинг промышленного Интернета вещей. Архитектура использует стоимость и скорость локальных моделей на ЦП с расширенными возможностями генеративных ИИ-агентов. Используя модель, привязанную к ЦП, для первоначальной фильтрации, только небольшая часть событий влечет за собой затраты на использование тяжеловесных генеративных ИИ-моделей. Этот гибридный подход значительно снижает затраты и поддерживает высокую пропускную способность потоковой передачи. Интеграция с Apache Beam и ADK обеспечивает поддерживаемый и чистый код.