DeepSeek R1 lokal auf einem Raspberry Pi ausführen

DeepSeek R1 ist ein großartiges Modell, das die Welt der generativen KI erschüttert hat, und viele sind daran interessiert, es auszuprobieren. Der Autor dieses Tutorials entschied sich, zu testen, ob DeepSeek R1 auf einem Raspberry Pi, einem kleinen und erschwinglichen Gerät, laufen kann. Das Tutorial führt durch die Schritte, um DeepSeek R1-Modelle auf einem Raspberry Pi 5 auszuführen und ihre Leistung zu bewerten. Um zu beginnen, benötigen Sie einen Raspberry Pi 5 mit 8 GB oder 16 GB RAM, eine microSD-Karte mit Raspberry Pi OS, eine stabile Stromversorgung und eine Internetverbindung. Das Tutorial besteht aus fünf Schritten: Konfiguration des Raspberry Pi, Installation von Ollama, Ausführung von DeepSeek R1-Modellen, Bereitstellung einer Docker-Chat-Anwendung und Experimentieren mit einem Raspberry-Pi-Cluster. Der Autor testete zwei Modelle: das 1,5-Milliarden-Parameter-Modell und das 7-Milliarden-Parameter-Modell. Das 1,5-Milliarden-Modell lief akzeptabel auf einem Raspberry Pi 5 mit 8-16 GB RAM, mit einer Geschwindigkeit von etwa 6,12 Token pro Sekunde und einem RAM-Verbrauch von etwa 3 GB. Das 7-Milliarden-Modell war aufgrund seiner Geschwindigkeit von etwa 1,43 Token pro Sekunde und einem RAM-Verbrauch von etwa 6 GB praktisch nicht brauchbar. Das Tutorial erforscht auch die Bereitstellung einer Docker-Chat-Anwendung und das Experimentieren mit einem Raspberry-Pi-Cluster. Der Autor bemerkt, dass DeepSeek R1 auf einem Raspberry Pi nicht die cloud-basierten LLMs ersetzen wird, aber es ist eine lustige Möglichkeit, KI auf Budget-Hardware zu erkunden. Die wichtigsten Erkenntnisse aus dem Tutorial sind, dass das 1,5-Milliarden-Modell für leichte Aufgaben geeignet ist, das 7-Milliarden-Modell aufgrund seiner Geschwindigkeit nicht praktikabel ist und die besten Anwendungsfälle pädagogische Experimente und die Prototypisierung von Edge-KI-Anwendungen sind.