Printemps RSS
Suivre
Printemps IA avec exécuteur de modèle Docker
Eddú Meléndez met en avant la sortie de Model Runner dans Docker Desktop pour Mac, offrant une API d'inférence locale compatible avec l'API OpenAI. Cela permet une intégration transparente avec Spring AI, en particulier avec la version 1.0.0-M7. Les modèles sont distribués sous forme d'artefacts OCI sur Docker Hub dans l'espace de noms ai. Deux options sont proposées pour activer le Model Runner, soit directement soit en utilisant Testcontainers. Les dépendances requises incluent Spring Web, le démarrage OpenAI et Testcontainers. La configuration implique de définir le point de terminaison du client OpenAI pour pointer vers le Model Runner. Un exemple de contrôleur de chat démontre une interaction de base avec le modèle via des points de terminaison HTTP. La fonctionnalité d'appel d'outil est prise en charge, illustrée par un exemple de récupération de prix des actions. L'article fournit des références à la documentation officielle et un projet d'exemple. Docker Model Runner permet une itération plus rapide, un développement local et une construction d'applications d'IA plus efficace. L'intégration future de Testcontainers promet une gestion et un testing des modèles encore plus simplifiés.