RSS Microsoft Teams Blog 記事 フォロー ローカルファーストかつ完全トレース可能:Ollama、Foundry Local、Microsoft Foundry間のルーティング パブリッシングエージェントプロジェクトは、強力なクラウドベースのAIの挙動と、プロジェクトを数分しか試さないユーザーの限られた忍耐力との間の緊張関係を伴います。これに対処するため、ハイブリッドアプローチは、単一の契約の下で、利用可能性に基づいて異なるモデルティアにリクエストをルーティングします。これにより、クラウドサービスが失敗した場合でも、同じスキーマとコードパスを持つローカルフォールバックが使用されます。フォーク可能性、つまりプロジェクトを他者のマシンで実行できる能力は、このアプローチによって信頼性の高いものになります。詳細なロギングとトレーシングによるオブザーバビリティは、どのパスが各リクエストを提供したのか、そしてその理由を明確にすることで、ユーザーの信頼を構築します。システムはローカルモデルを優先しますが、ローカルオプションが利用できない場合やエラーが発生した場合は、クラウドベースのFoundryモデルにシームレスにフォールバックできます。このレジリエンスは、create_chat_completionのような関数内で自動的に管理され、呼び出し元が介入する必要なく、複数の障害モードを処理します。フォールバックが発生した場合、それは明示的にログに記録され、リプレイログで可視化され、プロセスの透明な記録を提供します。システムはロールごとのルーティングを可能にし、システム内の異なるエージェントが、クラウドまたはローカルのいずれであっても、特定のモデルを利用できるようにします。ランタイム構成は設定コンソールを通じて調整でき、アプリケーションを再起動することなくルーティングモードとモデル割り当ての変更を許可します。タイムアウトとリトライは厳密に制限され、システムが停止するのを防ぎ、ユーザーに迅速で情報に基づいたエラー体験を保証します。 Local-First and Fully Traced: Routing Between Ollama, Foundry Local, and Microsoft Foundry techcommunity.microsoft.com
create_chat_completionのような関数内で自動的に管理され、呼び出し元が介入する必要なく、複数の障害モードを処理します。フォールバックが発生した場合、それは明示的にログに記録され、リプレイログで可視化され、プロセスの透明な記録を提供します。システムはロールごとのルーティングを可能にし、システム内の異なるエージェントが、クラウドまたはローカルのいずれであっても、特定のモデルを利用できるようにします。ランタイム構成は設定コンソールを通じて調整でき、アプリケーションを再起動することなくルーティングモードとモデル割り当ての変更を許可します。タイムアウトとリトライは厳密に制限され、システムが停止するのを防ぎ、ユーザーに迅速で情報に基づいたエラー体験を保証します。