RSS DEV 커뮤니티

AI 재미에 빠져보세요: 우분투에서 도커 컨테이너에 DeepSeek-R1 실행하기

Docker 컨테이너는 애플리케이션, 종속성 및 설정을 패키징하여 다양한 환경에서 일관된 실행을 보장합니다. 이는 정확한 구성이 필요한 AI 모델에 매우 중요합니다. 이 가이드는 Microsoft Store에서 Ubuntu를 사용하여 Windows에 Docker 환경을 설정하는 방법을 자세히 설명합니다. Docker 설치는 확인되며, 필요한 경우 apt 명령어를 사용하여 설치됩니다. NVIDIA GPU의 경우, curl 및 apt 명령어 시리즈를 통해 NVIDIA Container Toolkit이 설치됩니다. Ollama 컨테이너는 리소스 할당(GPU, 메모리, CPU)을 지정하는 docker 명령어를 사용하여 실행됩니다. DeepSeek-R1은 또 다른 docker 명령어를 사용하여 Ollama 컨테이너 내에서 실행됩니다. DeepSeek-R1의 다양한 버전을 지정할 수 있습니다. AI 상호 작용을 종료하려면 "/bye"를 입력합니다. 그 이후 DeepSeek-R1을 실행하려면 Ollama 컨테이너를 시작한 다음 DeepSeek-R1 명령어를 다시 실행해야 합니다.
dev.to
Dive into AI Fun: Running DeepSeek-R1 on Docker Container on Ubuntu
Create attached notes ...