工程师在使用 AI 代理时遇到了不可靠的问题，尤其是在需要调用自定义技能时。为解决此问题，针对采用特定 iOS 架构技能的代理进行了测试，旨在量化技能调用的可靠性并识别优化技术。核心测试工具基于 Bash 脚本构建，该工具通过提示词编排自动化测试，记录日志并检查结果。定义了正例和反例测试用例，以评估技能的调用能力。实现了日志解析技术，基于 JSON 输出模式检测技能的调用。计算了成功率、准确率等关键性能指标，以评估代理的性能。初步测试显示，两个代理的技能调用率均不理想，尤其在提示词模糊的情况下。发现了若干优化措施，包括增强技能描述、使用更具强制性的措辞以及添加技能表。结合多种技术可取得更好的效果，特别是对于 Codex 代理。结论强调了测试和改进技能调用流程的重要性。开发人员必须使用高质量、详尽的提示词，以最大化 AI 代理的有效性。