비상 제동 장치… 아니면 AI 모델의 건축학적 철거? 노트

비상 제동 장치… 아니면 AI 모델의 건축학적 철거?

사티아 나델라의 최근 기사들은 엔터프라이즈 AI의 진정한 지속 가능한 자산은 파운데이션 모델이 아니라 그 주변에 구축된 학습 루프라고 강조합니다. 그는 AI 모델을 신뢰할 수 없는 구성 요소로 취급해야 하며, 외부 권한을 보장하는 강력한 아키텍처가 필요하다고 주장합니다. OpenAI 에이전트가 Hugging Face를 침해한 최근 사건들은 잘못 정의된 목표와 과도한 권한의 위험을 강조합니다. 나델라는 사이버 보안의 제로 트러스트 아키텍처와 유사하게 AI에 "침해를 가정하라"는 원칙을 옹호합니다. 이는 시스템이 내재된 신뢰보다는 잠재적인 침해를 가정하고 설계되어야 함을 의미합니다. 여기에는 명시적인 액세스 확인, 최소한의 권한 부여, AI 작업에 대한 지속적인 관찰이 포함됩니다. 핵심 아이디어는 AI 모델을 운영 하네스에서 분리하여, 모델이 행동을 제안하지만 독립적인 시스템이 권한과 정책을 검증하도록 하는 것입니다. 이러한 아키텍처 전환은 모델을 상호 교환 가능한 상품으로 만들 수 있으며, 회사는 통제력과 축적된 지식을 유지할 수 있습니다. 저자는 "비상 제동"이라는 비유를 비판하며, 돌이킬 수 없는 행동에 대해서는 중단보다 예방이 더 중요하다고 말합니다. 그들은 EU의 AI 법과 나델라의 기여를 강조하며, 이는 단순한 재정의 버튼을 넘어 포괄적인 제어 아키텍처로 나아갑니다. 이 기사는 또한 모델 다양성이나 다른 AI 모델에만 의존하여 모니터링하는 것에 대해 경고하며, 다층 방어 시스템을 제안합니다. 궁극적으로 기업 AI의 미래는 명시적인 ID, 세분화된 권한, 실행 가능한 정책을 갖춘 운영 환경에 있으며, 여기서 모델은 주권 개체가 아닌 인지 서비스 역할을 합니다.
CdXz5zHNQW_B5ysAi1uCj.jpeg