RSS VentureBeat
フォロー
AIエージェントをアップデートすると、パフォーマンスは向上するのか、それとも低下するのか？ Raindropの新しいツール「Experiments」がその答えを教えてくれます。
AIアプリケーションのオブザーバビリティ（可観測性）スタートアップであるRaindropは、エンタープライズAIエージェント向けに特別に設計されたA/Bテストスイート「Experiments」をローンチしました。この新機能により、企業は、基盤となるモデル、指示、ツールへのアクセスにおける変更に基づいて、異なるAIエージェントのパフォーマンスを比較できます。「Experiments」は、Raindropの既存のツールを拡張し、AIエージェントが実際のユーザーインタラクションでどのように動作し、進化するかについての洞察を提供します。このプラットフォームは、数百万件のインタラクションにわたるAIパフォーマンスへの変更の影響を追跡し、結果を可視化し、ポジティブなシグナルとネガティブなシグナルの両方を強調表示します。このツールは、AIエージェントの反復に最新のソフトウェアデプロイメントの厳密さをもたらし、データに基づいた改善を促進することを目的としています。Raindropのコアミッションは、AIにおける「ブラックボックス問題」に対処し、チームがAIシステムがなぜ、どのように失敗するのかを理解できるようにすることです。「Experiments」は、「評価は合格するが、エージェントは失敗する」という一般的な問題に、実際のAIエージェントの動作に焦点を当てることで対応します。このプラットフォームは、開発者がタスクの失敗や予期しないエラーなどの問題を迅速に特定し、修正するのに役立つ、解釈しやすいデータを提供します。「Experiments」は、フィーチャーフラグプラットフォームと既存の分析パイプラインと統合されており、十分なユーザーデータによる正確な比較を保証します。Raindropは、PII（個人を特定できる情報）の編集オプションとSOC 2コンプライアンスを含む包括的なデータセキュリティを提供し、さまざまな料金プランも用意しています。同社は継続的な改善を重視しており、実際のユーザーデータを優先することで、開発者がより速く、よりパフォーマンスの高いAIモデルをリリースできるよう支援することを目指しています。
