RSS DEV 커뮤니티
팔로우
저는 16세에 완전한 로컬 AI 어시스턴트를 구축했습니다. 클라우드도 없고, API 키도 필요 없으며, 여러분의 GPU에서 실행됩니다.
인도 푸네 출신의 16세인 Shriisoot가 완전히 로컬 AI 데스크톱 어시스턴트인 O-AI를 개발했습니다. 클라우드 기반 어시스턴트가 개인 정보를 침해하는 것에 좌절감을 느낀 그는 Iron Man의 JARVIS처럼 개인적이고 사적인 상호 작용을 우선시하는 O-AI를 만들었습니다. O-AI는 llama.cpp 또는 Ollama를 사용하여 대규모 언어 모델을 로컬에서 실행하며, 인터넷 연결이나 외부 API 키가 필요하지 않습니다. 대화 사실을 기억하는 자체 학습 코어와 개인화된 모델 학습을 위한 파인튜닝 파이프라인을 갖추고 있습니다. 이 어시스턴트는 로컬 Whisper 구현을 통해 영어, 힌디어, 마라티어로 음성 제어를 지원하며 사용자가 말한 언어로 응답합니다. O-AI는 JARVIS와 유사한 인터페이스, PC 자동화, 애니메이션 데스크톱 펫을 포함한 다양한 모드를 제공합니다. 애플리케이션 열기, 웹 검색, 미디어 제어와 같은 작업을 위한 30가지 이상의 자동화 기능을 자랑합니다. 다단계 에이전트 시스템은 다양한 단계 유형을 지원하여 복잡한 계획, 실행 및 작업 검증을 가능하게 합니다. 기술 스택에는 백엔드를 위한 Flask가 포함된 Python과 프론트엔드를 위한 vanilla JavaScript가 포함된 Electron이 포함됩니다. 상당한 과제에는 에이전트 작업에 대한 결과 검증 구현과 오류를 방지하기 위한 강력한 콘텐츠 유효성 검사가 포함되었습니다.
