AI 실패는 종종 기술적인 것이 아니라 조직적인 문제이며, 모델의 한계보다는 인간의 결정에 명확성이 부족한 데서 비롯됩니다. 핵심 문제는 의도 정의, 감독 제공, 충분한 맥락 보장, 정확한 언어 사용, 기대치 설정, 평가 수행, 결과 명확화, 적절한 도구 선택 등 상류에 있습니다. Anthropic의 경험은 AI가 코드 생성을 가속화함에 따라 제약이 구축에서 무엇을 구축할지 결정하는 것으로 이동한다는 것을 강조합니다. 이러한 속도 증가는 사용자 경험과 신중한 계획을 강조하며 더 나은 인간 정렬과 제어를 필요로 합니다.많은 AI 프로젝트가 사용자 의도를 이해하기보다는 도구의 기능으로 시작하기 때문에 실패하며, 이는 사용되지 않는 기능으로 이어집니다. AI에 대한 언급이 있기 전에 사용자의 문제를 자신의 말로 시작하는 것이 후속 결정을 정렬하는 데 중요합니다. 일반적인 실수는 간단한 작업에 너무 강력한 AI 에이전트를 사용하는 것인데, 이는 비효율적이고 위험합니다. 검색을 위한 도우미나 고정된 단계를 위한 자동화를 사용하는 것과 같이 작업에 도구를 맞추는 것이 필수적입니다. 에이전트 AI는 불확실성 하에서의 실제 결정이 필요할 때만 명확한 경계와 인간 체크포인트를 가지고 사용해야 합니다.입력 요구 사항과 출력 신뢰성에 대한 사용자 기대치를 명확하게 설정하는 것은 AI 도구에 대한 과도한 의존 또는 포기를 피하는 데 중요합니다. AI 시스템은 신입 사원이 온보딩을 받는 것처럼 기능, 한계 및 정확도 수준을 명확하게 전달해야 합니다. 대부분의 AI 배포는 시스템 결정 및 그 결과에 대한 명확한 소유권과 책임이 부족합니다. 권한 및 체크포인트를 통한 강력한 감독을 확립하는 것이 유해한 AI 행동을 방지하는 가장 신뢰할 수 있는 방법입니다. 효과적으로, AI 실패는 기계의 실패가 아니라 그것을 안내하는 인간 결정의 실패입니다.