Expedia Group의 최고 AI 및 데이터 책임자인 Xavi Amatriain은 평가가 이제 AI 시스템의 주요 제품 요구 사항 문서 역할을 한다고 밝혔습니다. 레드팀을 포함한 이러한 평가는 설계 프로세스 초기에 보안 요구 사항을 포함합니다. 그는 AI 지원 코드 생성이 이러한 접근 방식을 향상시켜 모든 개발 사고를 평가에 집중시킬 것이라고 믿습니다. Amatriain은 Expedia에 합류하기 전에 Google에서 중요한 AI 역할을 수행했습니다.VentureBeat의 연구는 자동화된 평가에 대한 상당한 신뢰 격차를 강조하며, 많은 기업이 이러한 시스템에 대한 완전한 확신 없이 AI를 배포하고 있습니다. 상당수의 AI 에이전트가 내부 평가를 통과했음에도 불구하고 실제 고객 상호 작용에서 실패했습니다. Amatriain은 과도한 안전 장치가 피드백 루프를 방해하고 학습 프로세스에 편향을 줄 수 있다고 주장하며, 이를 필요하지만 점차 줄어드는 악으로 간주합니다. Expedia의 거버넌스 모델은 원칙, 프로세스 및 자동화를 계층화하며, 릴리스 톨 게이트는 위험 수준에 맞춰 조정됩니다.Amatriain은 단일 거대 AI보다는 더 큰 시스템으로 구성된 전문화된 에이전트를 옹호하며, 이 접근 방식이 더 안전하고 관리하기 쉽다고 생각합니다. Expedia의 아키텍처는 구성 요소에서 스킬, 하위 에이전트, 그리고 궁극적으로 오케스트레이션된 에이전트 시스템으로 구축됩니다. 그는 효과적인 AI 개발에는 특정 모델이 아닌 시스템적 설계가 중요하다고 강조합니다. 에이전트의 범위를 좁게 설정하면 통합 전에 격리된 평가 및 잠금이 용이합니다.Expedia는 지연 시간 요구 사항에 따라 검색 증강 생성 및 직접 API 호출을 사용하며, 캐시된 정보에 대한 즉각적인 응답과 실시간 데이터에 대한 더 복잡한 추론을 보장합니다. 일반적인 챗봇과 달리 Expedia는 공급업체의 주장을 자체 검토 데이터와 교차 확인합니다. 중요한 것은 사용자가 예약에 대한 최종 클릭을 유지한다는 점인데, 이는 무단 작업을 방지하는 협상 불가능한 보안 결정입니다. Amatriain은 사후 안전 장치의 필요성을 최소화하기 위해 설계 단계부터 보안이 통합되어야 한다고 강조합니다.그는 AI 시스템이 점점 더 강력한 다른 AI 에이전트에 의해 위협받을 것으로 예상하며, 신속한 탐지 및 수정이 필수적입니다. 운영 AI 시스템에서 평가로의 지속적인 피드백 루프는 신속한 수정을 위해 중요합니다. Expedia의 위험 조정 거버넌스는 이러한 피드백 루프보다 앞서 나가기 위해 노력하며, 증가하는 위협 환경과 강력한 보안 조치의 필요성을 인정합니다.