DeepSeek R1をラズベリーパイでローカルに実行する

DeepSeek R1は、ジェネレーティブAIの世界を震撼させた優れたモデルであり、多くの人が試してみたいと思っている。 このチュートリアルの著者は、DeepSeek R1が、コンパクトで手頃な価格のRaspberry Piで動作するかどうかをテストすることにした。 このチュートリアルでは、Raspberry Pi 5でDeepSeek R1モデルを実行し、そのパフォーマンスを評価する方法を説明する。 はじめに、8GBまたは16GBのRAMを搭載したRaspberry Pi 5、Raspberry Pi OSがインストールされたmicroSDカード、安定した電源供給、およびインターネット接続が必要である。 このチュートリアルは、5つのステップからなる。Raspberry Piの設定、Ollamaのインストール、DeepSeek R1モデルの実行、Docker化されたチャットアプリケーションの展開、Raspberry Piクラスターの実験である。 著者は、1.5Bパラメータモデルと7Bパラメータモデルの2つをテストした。 1.5Bモデルは、8-16GBのRaspberry Pi 5で容認できる速度で動作し、速度は約6.12トークン/秒、RAM使用量は約3GBであった。 一方、7Bモデルは、速度が約1.43トークン/秒、RAM使用量が約6GBと、実用的に遅すぎた。 チュートリアルでは、さらに、Docker化されたチャットアプリケーションの展開とRaspberry Piクラスターの実験についても説明する。 著者は、DeepSeek R1が、クラウドベースのLLMをRaspberry Piで代替することはないが、予算のあるハードウェアでAIを探求するための楽しい方法であると述べている。 チュートリアルから得られる主な結論は、1.5Bモデルは軽量タスクに適しているが、7Bモデルは速度の問題で実用的ではなく、教育用の実験やエッジAIアプリケーションのプロトタイピングが最も適した用途である。