Предприятия часто используют несколько моделей для вывода ИИ, что требует архитектур для упрощенного вызова и централизованного управления. Представлены две эталонные архитектуры для обслуживания моделей вывода ИИ в сети: одна для Google Kubernetes Engine (GKE) и одна для всех других типов серверных систем. Обе архитектуры используют общие службы, предназначенные для повышения безопасности и эффективности. Точка входа, будь то Cloud Load Balancer или Inference Gateway, обеспечивает стабильный и безопасный интерфейс для вызовов вывода. Эта точка входа обрабатывает завершение TLS, интегрируется с управлением API и может расширять функциональность с помощью расширений служб.Общие службы в обеих конструкциях включают конечную точку вывода Private Service Connect для закрепления точки входа в потребительской сети VPC. Apigee API Management — это необязательная служба для проверки подлинности клиента, ограничения скорости и соблюдения квот. Model Armor действует как встроенный контрольный пункт безопасности ИИ, проверяя запросы и результаты. Конструкция, специфичная для GKE, использует GKE Inference Gateway, который действует как специализированный механизм входа. Этот шлюз направляет запросы к соответствующим целевым серверам моделей на основе правил HTTPRoute.Используются пулы вывода, логические группы реплик моделей, при этом шлюз выбирает правильный пул на основе идентификатора модели. Наборы реплик моделей представляют собой однородные группы отдельных реплик моделей, развернутых в различных пулах узлов. Для архитектур, обслуживающих несколько типов серверных систем, региональный внутренний Application Load Balancer действует как центральный прокси-сервер маршрутизации. Inference Payload Processor, реализованный как расширение службы, проверяет входящие полезные данные запроса для извлечения идентификатора целевой модели. Группы сетевых конечных точек (NEG) обеспечивают гибкую маршрутизацию к гетерогенным серверным системам на основе этого идентификатора.