DEV Community 日本語
フォロー
プロンプトはコードです。Genkitはランタイムをレビュー可能にします。
本番環境のプロンプトは、モデルプレイグラウンドのものとは大きく異なり、潜在的な障害につながる可能性があります。Genkitは、プロンプトをフロー、スキーマ、ツール、コンテキスト、トレース、評価と統合し、統一されたアプリケーションモデルとしてこれを解決します。プロンプトは、GenkitのDotprompt形式を使用してバージョン管理されたアーティファクトとして保存し、テンプレートコンテンツ、モデル構成、スキーマ定義をカプセル化する必要があります。これにより、プロンプトの変更はGitでレビュー可能になり、設定はテンプレートと共に移動します。プロンプトは、型付けされたフローでラップし、安定した名前、検証済みの入出力、トレースIDでアプリケーションの境界を確立する必要があります。この分離により、生成前のビジネスルールと生成後の検証が、モデルのコア機能とは独立して発生することが保証されます。認証トークンなどの実行コンテキストは、プロンプト自体に補間するのではなく、Genkitのコンテキストオブジェクトを介して渡され、セキュリティが強化されます。モデルの出力は信頼できないデータとして扱われ、スキーマは解析可能性を検証し、その他の制御は主張、トーン、配信に対処する必要があります。Genkitはフロー全体をトレースし、操作、モデル呼び出し、ツール、潜在的な障害のビューを提供します。OpenTelemetryに基づいたこのテレメトリは、デバッグとオブザーバビリティに役立ちます。変更は、個々の文に一致するだけでなく、ワークフローが製品契約を満たしていることを確認するために、さまざまなエッジケースを含むデータセットに対して評価する必要があります。開発者は、緩いプロンプトだけでなく、フロー全体をデプロイする必要があり、これにより、調整されたロールバック、一貫した評価、および安全なデプロイが可能になります。最終的に、プロンプト、フロー、コンテキスト、ツール、スキーマ、トレース、評価を含む完全なワークフローが、保守可能な製品を形成します。