이 블로그 게시물은 CI/CD 파이프라인의 일부로 Foundry Hosted Agents에 대한 스모크 테스트를 구성하는 방법을 자세히 설명합니다. 스모크 테스트는 에이전트가 응답을 생성하는지, 그리고 해당 응답이 프롬프트와 일치하는지 확인하여 기본 에이전트 기능을 검증합니다. 이는 단위 테스트 및 기능 테스트와 다르며, 시간이 더 오래 걸리는 평가 전에 배포 실패를 신속하게 감지하는 방법을 제공합니다. 이 게시물은 주제에 맞는 응답 확인, 상태 비저장 및 상태 저장 대화 모두에서 스레드 연속성 유지, 주제에서 벗어난 질문 거부, 환각 방지, 컨텍스트 종속 쿼리 처리 등 몇 가지 필수 스모크 테스트 시나리오를 개략적으로 설명합니다. 이러한 테스트는 프롬프트 및 어설션 기준이 포함된 JSON 파일에 정의되어 반복 가능하고 쉽게 업데이트할 수 있습니다. JSON 구조를 통해 다양한 프롬프트와 어설션을 가진 여러 테스트를 수행할 수 있습니다. 특정 예시는 주제에 맞는 응답 테스트, previous_response_id를 사용한 응답 체이닝, use_conversation을 사용한 대화 기반 스레딩을 보여줍니다. 시나리오에는 에이전트가 범위를 벗어난 쿼리를 거부해야 할 때와 조작된 전제를 거부해야 할 때를 테스트하는 것도 포함됩니다. 마지막으로, 배포 환경 또는 Azure CLI의 인증을 활용하여 정의된 스모크 테스트를 실행하는 Python 스크립트가 제시됩니다.