kagent는 AI 에이전트를 Kubernetes 클러스터에 직접 통합하는 CNCF 샌드박스 프로젝트입니다. 사용자는 kubectl 및 GitOps와 같은 익숙한 도구를 사용하여 기존 파드와 함께 AI 워크로드를 실행할 수 있습니다. 핵심 아이디어는 Claude와 같은 클라우드 기반 모델이나 Ollama와 같은 로컬 모델 등 다양한 언어 모델과 상호 작용할 수 있는 AI 에이전트에게 통합된 추상화를 제공하는 것입니다. 이 가이드에서는 kagent를 사용하여 홈랩 추론 스택을 구축하는 방법을 보여줍니다.kagent 추론 스택은 여러 계층으로 구성됩니다. 모델 제공자, 모델 세부 정보를 지정하는 ModelConfig 리소스, 프롬프트 및 도구를 정의하는 Agent 리소스, Kubernetes 작업을 노출하는 도구 서버, 시스템을 관리하는 컨트롤러입니다. 사전 요구 사항에는 Kubernetes 클러스터, kubectl, helm, Anthropic API 키, 로컬 모델을 위한 충분한 리소스가 포함됩니다. kagent는 CRD 및 컨트롤러 구성 요소에 대해 Helm 차트를 통해 설치됩니다.이 가이드는 Claude에 대한 ModelConfig를 생성하고 Kubernetes Secret에 저장된 Anthropic API 키를 참조하여 클라우드 추론 설정을 안내합니다. 온프레미스 추론의 경우 Ollama는 PersistentVolumeClaim과 함께 클러스터 내에 배포되고 Service를 통해 노출됩니다. Ollama에 대한 또 다른 ModelConfig가 생성되며, 이는 클러스터 내 Service를 가리킵니다.그런 다음 Agent는 Kubernetes 사용자 정의 리소스로 구축되며, 시스템 프롬프트, 도구 및 ModelConfig에 대한 참조를 지정합니다. 이를 통해 ModelConfig 참조를 변경하는 것만으로 동일한 에이전트를 다른 모델과 함께 사용할 수 있습니다. 사용자는 kagent CLI를 사용하여 이러한 에이전트와 상호 작용하고 특정 프롬프트로 호출하며 다른 모델의 응답을 비교할 수 있습니다.강조된 중요한 안전 기능은 Human in the Loop 기능으로, 사용자가 특정 에이전트 도구에 대한 승인 게이트를 설정할 수 있습니다. 이를 통해 AI 에이전트가 클러스터 리소스에 대해 실수로 또는 의도하지 않은 작업을 수행하는 것을 방지할 수 있습니다. AI 에이전트를 Kubernetes에 네이티브로 통합함으로써 kagent는 익숙한 인프라 내에서 AI 워크로드를 관리하는 강력하고 유연한 방법을 제공합니다.