엔지니어들은 AI 에이전트를 사용할 때, 특히 사용자 정의 스킬을 호출해야 할 때 신뢰성 문제를 겪고 있습니다. 이를 해결하기 위해 특정 iOS 아키텍처 스킬을 사용하는 에이전트에 대한 테스트가 수행되었습니다. 목표는 스킬 호출의 신뢰성을 정량화하고 최적화 기법을 식별하는 것이었습니다. 핵심 테스트 도구는 Bash 스크립트를 기반으로 구축되었으며, 이는 프롬프트를 사용하여 자동화된 테스트를 조율하고 로그를 캡처하며 결과를 확인했습니다. 스킬 호출 능력을 평가하기 위해 긍정 및 부정 테스트 케이스가 정의되고 사용되었습니다. 로그 파싱 기법은 JSON 출력 패턴을 기반으로 스킬 호출을 감지하기 위해 구현되었습니다. 성공률 및 정확도와 같은 주요 성능 지표는 에이전트의 성능을 평가하기 위해 계산되었습니다. 초기 테스트 결과, 두 에이전트 모두 스킬 호출율이 완벽하지 않았으며, 특히 모호한 프롬프트에서 그러했습니다. 스킬 설명 강화, 공격적인 언어 사용, 스킬 테이블 추가를 포함한 여러 최적화 기법이 발견되었습니다. 여러 기법을 결합하면 특히 Codex 에이전트의 경우 개선된 결과를 제공했습니다. 결론적으로 스킬 호출 프로세스의 테스트 및 개선의 중요성이 강조되었습니다. 개발자는 AI 에이전트의 효과를 극대화하기 위해 고품질의 철저한 프롬프트를 사용해야 합니다.