Запуск DeepSeek R1 на локальном Raspberry Pi

DeepSeek R1 - это отличная модель, которая потрясла мир генеративного ИИ, и многие заинтересованы в том, чтобы попробовать ее. Автор этого учебника решил проверить, может ли DeepSeek R1 работать на Raspberry Pi, небольшом и доступном устройстве. Учебник описывает, как запустить модели DeepSeek R1 на Raspberry Pi 5 и оценить их производительность. Чтобы начать, вам понадобится Raspberry Pi 5 с 8 ГБ или 16 ГБ ОЗУ, микро-карта памяти с операционной системой Raspberry Pi, стабильный источник питания и подключение к интернету. Учебник состоит из пяти шагов: настройка Raspberry Pi, установка Ollama, запуск моделей DeepSeek R1, развертывание контейнеризированного чат-приложения и эксперименты с кластером Raspberry Pi. Автор протестировал две модели: модель с 1,5 миллиардами параметров и модель с 7 миллиардами параметров. Модель с 1,5 миллиардами параметров работала приемлемо на Raspberry Pi 5 с 8-16 ГБ ОЗУ, со скоростью ~6,12 токенов в секунду и использованием ОЗУ ~3 ГБ. Модель с 7 миллиардами параметров была слишком медленной, со скоростью ~1,43 токена в секунду и использованием ОЗУ ~6 ГБ. Учебник также исследует развертывание контейнеризированного чат-приложения и эксперименты с кластером Raspberry Pi. Автор отмечает, что хотя DeepSeek R1 не заменит облачные модели LLM на Raspberry Pi, это интересный способ изучать ИИ на бюджетном оборудовании. Основные выводы из учебника заключаются в том, что модель с 1,5 миллиардами параметров подходит для легких задач, модель с 7 миллиардами параметров нецелесообразна из-за скорости, и лучшие случаи использования - образовательные эксперименты и прототипирование приложений ИИ на краю сети.