Сообщество RSS DEV

Погрузитесь в весёлый мир ИИ: запуск DeepSeek-R1 в контейнере Docker на Ubuntu

"Контейнеры Docker упаковывают приложения, зависимости и настройки для последовательного выполнения в разных средах. Это крайне важно для моделей ИИ, требующих точных конфигураций. Руководство описывает настройку среды Docker на Windows с помощью Ubuntu из магазина Microsoft. Сначала проверяется установка Docker, а затем, если необходимо, она устанавливается с помощью команд apt. Для NVIDIA GPU устанавливается инструментарий контейнеров NVIDIA с помощью серии команд curl и apt. Контейнер Ollama запускается с помощью команды docker, в которой указывается распределение ресурсов (GPU, память, CPU). DeepSeek-R1 выполняется внутри контейнера Ollama с помощью другой команды docker. Можно указать разные версии DeepSeek-R1. Чтобы выйти из взаимодействия с ИИ, наберите "/bye". Последующий запуск DeepSeek-R1 предполагает запуск контейнера Ollama, а затем повторный запуск команды DeepSeek-R1."
dev.to
Dive into AI Fun: Running DeepSeek-R1 on Docker Container on Ubuntu
Create attached notes ...