Spring AI con Docker Model Run... Nota

Spring AI con Docker Model Runner

Eddú Meléndez destaca el lanzamiento de Docker de Model Runner en Docker Desktop para Mac, que ofrece una API de Inferencia local compatible con la API de OpenAI. Esto permite una integración perfecta con Spring AI, especialmente con la versión 1.0.0-M7. Los modelos se distribuyen como artefactos OCI en Docker Hub bajo el espacio de nombres `ai`. Se proporcionan dos opciones para habilitar el Model Runner, directamente o usando Testcontainers. Las dependencias requeridas incluyen Spring Web, el starter de OpenAI y Testcontainers. La configuración implica establecer el endpoint del cliente de OpenAI para que apunte al Model Runner. Un ejemplo de controlador de chat demuestra la interacción básica con el modelo a través de endpoints HTTP. Se admite la funcionalidad de llamada a herramientas, ilustrada con un ejemplo de recuperación del precio de las acciones. La publicación proporciona referencias a la documentación oficial y un proyecto de ejemplo. Docker Model Runner permite una iteración más rápida, desarrollo local y una construcción eficiente de aplicaciones de IA. La futura integración con Testcontainers promete una gestión y pruebas de modelos aún más simplificadas.