本日、AWSは、AIエージェントが実際のAWSタスクをどれだけ正確かつ効率的に完了できるかを測定するオープンソースベンチマークであるaws-benchのプレビュー版を発表します。AWSインフラストラクチャ上で動作するエージェントを構築するモデルプロバイダーやAI研究者は、パフォーマンスを測定し、障害を診断するための客観的で再現可能な方法を必要としています。aws-benchは、調査、トラブルシューティング、インフラストラクチャ作成タスクを含む、実際のAWS使用状況の分析から派生した公開テストケーススイートを提供します。各テストケースは、自然言語クエリと定義されたクラウドリソースの状態、および正解をペアにしており、一貫性のある検証可能な基盤で任意の剤やモデルをスコアリングできます。研究者やモデルプロバイダーは、aws-benchを使用して、AWSタスクにおける基盤モデルのパフォーマンスを向上させ、エージェントハーネスを改善し、改善の進捗状況を追跡できます。このリリースには、テスト環境をインスタンス化し、評価実行を実行およびスコアリングし、リソース状態をリセットするための使いやすいCLIツールが含まれています。aws-benchは現在GitHubで利用可能です。開始するには、READMEのセットアップ手順に従ってください。