Автор устал от дорогих и ограничивающих облачных ИИ-сервисов, которые он считает ловушкой подписки. Он создал компактное, энергоэффективное устройство, используя ИИ-ускоритель Hailo-8 и Raspberry Pi 5 для выполнения ИИ-задач локально. Такой подход устраняет задержки, затраты и проблемы конфиденциальности, связанные с облачным инференсом. Чип Hailo-8 хвалят за его энергоэффективность и производительность в граничных вычислениях. Автор подробно описывает аппаратные компоненты, включая Raspberry Pi 5, Hailo-8, NVMe-базу и сенсорный экран, стоимостью около 220-280 долларов. Создание функционального и портативного устройства потребовало тщательного рассмотрения охлаждения и стабильной подачи питания. Программный стек включает архитектуру потока данных, объединяющую Hailo-8 для интенсивных вычислений и ЦП Raspberry Pi для последовательных задач. Эта локальная установка обеспечивает значительно меньшую задержку для задач, связанных с обработкой изображений и текста. Автор подчеркивает, что перенос инференса на локальный уровень — это не только вопрос производительности, но и конфиденциальности и контроля над данными. Устройство предлагает надежные возможности, такие как обнаружение объектов в реальном времени, оценка позы и генерация эмбеддингов изображений. Компонуемость локальных моделей позволяет выполнять сложные, последовательные операции без штрафов за использование API. Автор заключает, что создание такого устройства обеспечивает независимость от облачных провайдеров и более глубокое понимание развертывания ИИ.