作者厌倦了昂贵且限制重重的云端 AI 服务，认为其是一种订阅陷阱。他们利用 Hailo-8 AI 加速器和 Raspberry Pi 5 构建了一款口袋尺寸、低功耗设备，用于在本地执行 AI 任务。这种方法消除了与云端推理相关的延迟、成本及隐私顾虑。Hailo-8 芯片因其边缘计算中的能效与性能而备受赞誉。作者详细列出了硬件组件，包括 Raspberry Pi 5、Hailo-8、NVMe 底座和触摸屏，总成本约为 220 至 280 美元。构建一台功能完备且便携的设备需要仔细考量散热与稳定供电。软件栈采用数据流架构，结合 Hailo-8 处理繁重计算任务，以及 Raspberry Pi 的 CPU 处理顺序任务。这种本地部署显著降低了视觉 - 语言任务的延迟。作者强调，将推理移至本地不仅关乎性能，更关乎隐私与数据控制。该设备具备强大的能力，如实时目标检测、姿态估计和图像嵌入生成。本地模型的可组合性支持复杂的链式操作，而无需承担 API 调用费用。作者总结道，构建此类设备不仅能实现独立于云服务商的自主性，还能深化对 AI 部署的理解。