인공지능 배포가 기존 보안 조치를 앞지르고 있어 강력한 플랫폼 보안의 필요성이 대두되고 있습니다. 독점적인 모델 가중치 보호, 프롬프트 주입과 같은 새로운 위협에 대한 방어, AI 개발을 저해하지 않으면서 규정 준수를 보장하는 것이 주요 과제입니다. Google Kubernetes Engine(GKE)은 Google Cloud 서비스와 GKE 기능을 통합한 AI 워크로드 보안 청사진을 통해 솔루션을 제공합니다. 이 청사진은 AI 스택의 세 가지 중요한 계층에 걸쳐 보안을 다룹니다. 인프라 계층은 하드웨어 증명된 기밀성을 위한 Confidential GKE 노드와 Workload Identity Federation 및 VPC Service Controls를 통한 제로 트러스트 네트워킹으로 안전한 클러스터 기준선을 보장합니다. 모델 보안은 모델, 데이터셋 및 프레임워크에 대한 가시성을 위해 k8s-aibom을 사용하여 출처 및 동작 무결성에 중점을 둡니다. 애플리케이션 보안은 프롬프트와 응답에서 위협을 검사하기 위해 Model Armor를 사용하여 추론 경로를 방어합니다. GKE Inference Gateway를 통한 세션 관리는 할당량을 시행하고 남용을 탐지합니다. 에이전트 격리는 GKE Sandbox를 통해 달성되며, 컨테이너 탈출을 방지하고 예측할 수 없는 에이전트 동작으로부터 노드를 보호합니다. 배포부터 운영 및 거버넌스까지 보안에 대한 단계적 접근 방식이 권장됩니다. 이 포괄적인 전략은 AI 배포가 기본적으로 안전하고 확장 가능하도록 보장합니다. 이러한 모범 사례를 따르면 AI 배포가 보안을 손상시키는 것을 방지할 수 있습니다.