著者は、サブスクリプションの罠だと考えている、高価で制限のあるクラウドAIサービスにうんざりしていました。彼らは、Hailo-8 AIアクセラレータとRaspberry Pi 5を使用して、AIタスクをローカルで実行するポケットサイズの低電力デバイスを構築しました。このアプローチにより、クラウドベースの推論に伴うレイテンシ、コスト、プライバシーの懸念が解消されます。Hailo-8チップは、エッジコンピューティングにおける電力効率とパフォーマンスで高く評価されています。著者は、Raspberry Pi 5、Hailo-8、NVMeベース、タッチスクリーンなどのハードウェアコンポーネントについて詳しく説明しており、その費用は約220〜280ドルです。機能的でポータブルなデバイスを構築するには、冷却と安定した電力供給を慎重に検討する必要がありました。ソフトウェアスタックはデータフローアーキテクチャを採用しており、Hailo-8を重い計算に、Raspberry PiのCPUを逐次的なタスクに使用しています。このローカルセットアップは、ビジョン言語タスクにおいて大幅に低いレイテンシを実現します。著者は、推論をローカルに移行することは、パフォーマンスだけでなく、プライバシーとデータ制御のためでもあると強調しています。このデバイスは、リアルタイムの物体検出、姿勢推定、画像埋め込み生成などの堅牢な機能を提供します。ローカルモデルの composability により、APIペナルティを発生させることなく、複雑な連鎖操作が可能になります。著者は、このようなデバイスを構築することで、クラウドプロバイダーからの独立と、AI展開に関するより深い理解が得られると結論付けています。