今天，AWS 宣布推出 aws-bench 的研究预览版。aws-bench 是一个开源基准测试工具，用于衡量 AI 代理在真实世界 AWS 任务中的完成准确率和效率。在 AWS 基础设施上运行 AI 代理的模型提供商和研究人员，需要一种客观且可复现的方式来评估性能并诊断故障。aws-bench 提供了一套公开测试用例，这些用例源自对真实 AWS 使用情况的分析，涵盖调查、故障排查和基础设施创建等任务。每个测试用例将自然语言查询与定义的云资源状态及标准答案配对，使您能够在一致且可验证的基础上对任何代理或模型进行评分。研究人员和模型提供商可利用 aws-bench 提升基础模型在 AWS 任务上的性能、优化代理框架，并跟踪改进进展。此次发布包含一个易于使用的命令行工具（CLI），可用于实例化测试环境、执行并评分评估运行，以及重置资源状态。aws-bench 现已在 GitHub 上开放。要开始使用，请遵循 README 中的设置说明。