Spring AIとTypeSafe Jev:高速、安価、構... ノート
Spring 日本語

Spring AIとTypeSafe Jev:高速、安価、構造化された意思決定

Spring AI TypeSafe は、TypeSafe AI の Jev API を統合し、AI アプリケーション向けに高速、低コスト、構造化された意思決定コンポーネントを提供します。従来のプロンプトテンプレートと JSON スキーマ解析をバイパスし、代わりに状態と型付けされた質問を受け取り、構造化された回答を返すクライアントを提供します。システムは 3 つのプリミティブな質問タイプを処理します。Noul (はい/いいえ)、Choice (オプションの選択)、Score (ルーブリックでのランキング) です。これらのプリミティブは、正確な値、確率、信頼度を返し、詳細な評価を可能にします。このサービスは、速度とコスト効率のために設計されており、パフォーマンスと価格の両方のベンチマークで、通常のチャットモデルの呼び出しを大幅に上回ります。これにより、AI パイプラインのさまざまな段階でチェックが可能になります。コアアイデアは、コード内でアトミックな質問を構成することであり、サービスは単一の状態観測に対してそれらを並列で処理できます。この機能は、LLM-as-a-Judge シナリオで例示されており、JevJudge は特定の基準と閾値で構築され、モデルの出力を評価できます。信頼度スコアは、分布に基づいた回答の確実性を示す追加の情報軸を提供します。JevSelfRefineAdvisor は、このジャッジメントシステムを活用して自己修正ループを実装し、基準が満たされない場合にフィードバックとともにモデルの呼び出しを再試行します。さらに、JevGuardrailAdvisor は安全レイヤーとして機能し、ユーザー入力とモデル出力の両方を定義済みの危険に対してスクリーニングします。再試行するのではなく、重大度に基づいてブロックまたはフラグを立てます。システムの出力は構造化されており、散文を生成することなく、分類、スコア、決定を提供します。TypeSafe AI のプリミティブは、Noul (はい/いいえ、0 から 1 の間の真偽値を返す)、Choice (1 つのオプションを選択し、選択されたラベルとすべてのオプションの確率、および信頼度を返す)、Score (順序付けられたルーブリックに配置し、連続値と関連する確率を返す) です。オプションの説明とこれらのプリミティブの明確な指示は、パフォーマンスと信頼度を大幅に向上させます。このプロジェクトは Maven Central スターターとして利用可能であり、Spring Boot と共に、または Spring Boot なしで使用できます。
CdXz5zHNQW_hDXjfLYIZj.png