도커 모델 러너와 함께하는 스프링 AI 노트
RSS 봄

도커 모델 러너와 함께하는 스프링 AI

Eddú Meléndez는 Docker Desktop for Mac에서 Model Runner 출시를 강조하며, OpenAI API와 호환되는 로컬 추론 API를 제공한다고 설명합니다. 이를 통해 Spring AI, 특히 1.0.0-M7 릴리스와의 원활한 통합이 가능해집니다. 모델은 Docker Hub의 ai 네임스페이스에 OCI 아티팩트로 배포됩니다. Model Runner를 활성화하는 두 가지 방법, 즉 직접 활성화하거나 Testcontainers를 사용하는 방법이 제공됩니다. 필요한 종속성에는 Spring Web, OpenAI starter, Testcontainers가 포함됩니다. 구성에는 OpenAI 클라이언트 엔드포인트를 Model Runner로 지정하는 것이 포함됩니다. 채팅 컨트롤러 예제는 HTTP 엔드포인트를 통해 모델과의 기본적인 상호 작용을 보여줍니다. 주식 가격 검색 예제에서 보여주듯이 툴 호출 기능도 지원됩니다. 해당 게시물은 공식 문서와 샘플 프로젝트에 대한 참조를 제공합니다. Docker Model Runner는 더 빠른 반복, 로컬 개발 및 효율적인 AI 애플리케이션 구축을 가능하게 합니다. 향후 Testcontainers 통합은 모델 관리 및 테스트를 더욱 간소화할 것으로 기대됩니다.