Docker-Container verpacken Anwendungen, Abhängigkeiten und Einstellungen für eine konsistente Ausführung in verschiedenen Umgebungen. Dies ist entscheidend für KI-Modelle, die präzise Konfigurationen benötigen. Die Anleitung beschreibt die Einrichtung einer Docker-Umgebung unter Windows mit Ubuntu aus dem Microsoft Store. Die Docker-Installation wird verifiziert und falls nötig mit apt-Befehlen installiert. Für NVIDIA-GPUs wird das NVIDIA Container Toolkit mittels einer Reihe von curl- und apt-Befehlen installiert. Der Ollama-Container wird mit einem Docker-Befehl gestartet, wobei die Ressourcenzuweisung (GPU, Arbeitsspeicher, CPU) angegeben wird. DeepSeek-R1 wird innerhalb des Ollama-Containers mit einem weiteren Docker-Befehl ausgeführt. Verschiedene DeepSeek-R1-Versionen können angegeben werden. Um die KI-Interaktion zu beenden, geben Sie "/bye" ein. Das spätere Starten von DeepSeek-R1 beinhaltet das erneute Starten des Ollama-Containers und die anschließende Ausführung des DeepSeek-R1-Befehls.
dev.to
Dive into AI Fun: Running DeepSeek-R1 on Docker Container on Ubuntu
Create attached notes ...