Весенняя ИИ с запуском модели ... Заметка
RSS Весна

Весенняя ИИ с запуском модели Docker

Эдду Мелендес освещает выпуск Docker Model Runner в Docker Desktop для Mac, предоставляющий локальный API для вывода, совместимый с API OpenAI. Это позволяет бесшовную интеграцию с Spring AI, особенно с релизом 1.0.0-M7. Модели распространяются как OCI-артефакты на Docker Hub в пространстве имён ai. Предлагаются два варианта включения Model Runner: напрямую или с использованием Testcontainers. Необходимые зависимости включают Spring Web, OpenAI starter и Testcontainers. Конфигурация включает настройку конечной точки клиента OpenAI для указания на Model Runner. Пример контроллера чата демонстрирует базовое взаимодействие с моделью через HTTP-endpoints. Поддерживается функциональность вызова инструментов, проиллюстрированная примером получения котировок акций. В публикации приведены ссылки на официальную документацию и пример проекта. Docker Model Runner позволяет ускорить итерации, локальную разработку и эффективное создание AI-приложений. Будущая интеграция с Testcontainers обещает дальнейшее упрощение управления моделями и тестирования.