kagent — это проект CNCF в стадии песочницы, который интегрирует ИИ-агентов непосредственно в кластеры Kubernetes. Он позволяет пользователям запускать ИИ-нагрузки параллельно с существующими подами, используя привычные инструменты, такие как kubectl и GitOps. Основная идея заключается в предоставлении унифицированной абстракции для взаимодействия ИИ-агентов с различными языковыми моделями, будь то облачные, такие как Claude, или локальные, такие как Ollama. Данное руководство демонстрирует создание стека инференса для домашней лаборатории с помощью kagent.Стек инференса kagent состоит из нескольких уровней: поставщики моделей, ресурсы ModelConfig для указания деталей модели, ресурсы Agent, определяющие запросы и инструменты, сервер инструментов, предоставляющий действия Kubernetes, и контроллер, управляющий системой. Предварительные требования включают кластер Kubernetes, kubectl, helm, ключ API Anthropic и достаточные ресурсы для локальной модели. kagent устанавливается с помощью Helm-чартов для его CRD и компонентов контроллера.Руководство подробно описывает настройку облачного инференса путем создания ModelConfig для Claude, ссылаясь на ключ API Anthropic, хранящийся в секрете Kubernetes. Для локального инференса Ollama развертывается внутри кластера с PersistentVolumeClaim и предоставляется через Service. Создается еще один ModelConfig для Ollama, указывающий на его внутрикластерный Service.Затем агенты создаются как пользовательские ресурсы Kubernetes, указывая системный запрос, инструменты и ссылку на ModelConfig. Это позволяет использовать один и тот же агент с разными моделями, просто изменяя ссылку на ModelConfig. Пользователи могут взаимодействовать с этими агентами с помощью CLI kagent, вызывая их с конкретными запросами и сравнивая ответы от разных моделей.Важной функцией безопасности, на которую делается акцент, является возможность "Человек в цикле" (Human in the Loop), которая позволяет пользователям настроить этап утверждения для конкретных инструментов агента. Это предотвращает случайные или непреднамеренные действия ИИ-агента над ресурсами кластера. Интегрируя ИИ-агентов нативно в Kubernetes, kagent предлагает мощный и гибкий способ управления ИИ-нагрузками в рамках привычной инфраструктуры.