저자는 비싸고 제한적인 클라우드 AI 서비스에 싫증을 느꼈으며, 이를 구독 함정으로 간주합니다. 저자는 Hailo-8 AI 가속기와 Raspberry Pi 5를 사용하여 AI 작업을 로컬에서 수행하는 주머니 크기의 저전력 장치를 구축했습니다. 이 접근 방식은 클라우드 기반 추론과 관련된 지연 시간, 비용 및 개인 정보 보호 문제를 제거합니다. Hailo-8 칩은 엣지 컴퓨팅에서의 전력 효율성과 성능으로 칭찬받습니다. 저자는 Raspberry Pi 5, Hailo-8, NVMe 베이스 및 터치스크린을 포함한 하드웨어 구성 요소에 대해 자세히 설명하며, 비용은 약 $220-$280입니다. 기능적이고 휴대 가능한 장치를 구축하려면 냉각 및 안정적인 전력 공급에 대한 신중한 고려가 필요했습니다. 소프트웨어 스택은 데이터 흐름 아키텍처를 포함하며, 무거운 계산을 위해 Hailo-8과 순차 작업을 위해 Raspberry Pi의 CPU를 결합합니다. 이 로컬 설정은 비전-언어 작업에 대해 훨씬 낮은 지연 시간을 달성합니다. 저자는 추론을 로컬로 이동하는 것이 성능뿐만 아니라 개인 정보 보호 및 데이터 제어에 관한 것이라고 강조합니다. 이 장치는 실시간 객체 감지, 포즈 추정 및 이미지 임베딩 생성과 같은 강력한 기능을 제공합니다. 로컬 모델의 구성 가능성은 API 페널티를 발생시키지 않고 복잡한 연결된 작업을 가능하게 합니다. 저자는 이러한 장치를 구축하면 클라우드 제공 업체로부터 독립하고 AI 배포에 대한 더 깊은 이해를 얻을 수 있다고 결론짓습니다.