DEV Community 日本語
フォロー
🤖 Kubernetes を AI コントロールプレーンとして: kagent を使用した Claude および Ollama エージェントの実行 🧠
kagentは、AIエージェントをKubernetesクラスターに直接統合するCNCFサンドボックスプロジェクトです。ユーザーは、kubectlやGitOpsのような使い慣れたツールを使用して、既存のポッドと並行してAIワークロードを実行できます。中心的なアイデアは、Claudeのようなクラウドベースのモデルであっても、Ollamaのようなローカルモデルであっても、さまざまな言語モデルと対話するためのAIエージェントに統一された抽象化を提供することです。このガイドでは、kagentを使用してホームラボ推論スタックを構築する方法を説明します。kagent推論スタックは、モデルプロバイダー、モデルの詳細を指定するためのModelConfigリソース、プロンプトとツールを定義するAgentリソース、Kubernetesアクションを公開するツールサーバー、およびシステムを管理するコントローラーといういくつかのレイヤーで構成されています。前提条件には、Kubernetesクラスター、kubectl、helm、Anthropic APIキー、およびローカルモデルに必要な十分なリソースが含まれます。kagentは、CRDおよびコントローラーコンポーネントのためにHelmチャートを介してインストールされます。このガイドでは、Kubernetes Secretに保存されたAnthropic APIキーを参照するClaude用のModelConfigを作成することにより、クラウド推論の設定について説明します。オンプレミス推論の場合、OllamaはPersistentVolumeClaimとともにクラスター内にデプロイされ、Serviceを介して公開されます。Ollama用の別のModelConfigが作成され、クラスター内Serviceを指します。次に、システムプロンプト、ツール、およびModelConfigへの参照を指定して、AgentがKubernetesカスタムリソースとして構築されます。これにより、ModelConfig参照を変更するだけで、同じAgentを異なるモデルで使用できます。ユーザーは、kagent CLIを使用してこれらのAgentと対話し、特定のプロンプトで呼び出し、異なるモデルからの応答を比較できます。強調されている重要な安全機能は、Human in the Loop機能であり、ユーザーは特定のAgentツールに対して承認ゲートを設定できます。これにより、AIエージェントがクラスターリソースに対して誤ってまたは意図しないアクションを実行することを防ぎます。AIエージェントをKubernetesにネイティブに統合することにより、kagentは、使い慣れたインフラストラクチャ内でAIワークロードを管理するための強力で柔軟な方法を提供します。