RSS春季
フォロー
Docker Model Runner を使用した Spring AI
Eddú Meléndez は、Docker Desktop for MacにおけるModel Runnerのリリースを強調しています。これは、OpenAI APIと互換性のあるローカル推論APIを提供します。これにより、特に1.0.0-M7リリースにおいて、Spring AIとのシームレスな統合が可能になります。モデルは、Docker Hubのai名前空間の下でOCIアーティファクトとして配布されます。Model Runnerを有効にするには、直接的に、またはTestcontainersを使用して、2つのオプションが提供されています。必要な依存関係には、Spring Web、OpenAIスターター、およびTestcontainersが含まれます。設定には、OpenAIクライアントエンドポイントをModel Runnerを指すように設定することが含まれます。チャットコントローラーの例は、HTTPエンドポイントを通じてモデルとの基本的なインタラクションを示しています。株価取得の例で示されているように、ツール呼び出し機能がサポートされています。この投稿では、公式ドキュメントとサンプルプロジェクトへの参照を提供しています。Docker Model Runnerは、より迅速なイテレーション、ローカル開発、および効率的なAIアプリケーション構築を実現します。将来のTestcontainersとの統合により、モデルの管理とテストがさらに簡素化されることが期待されます。