Сообщество RSS DEV
Подписаться
Я создал полностью локального ИИ-ассистента в 16 лет — без облака, без API-ключей, работает на вашем GPU
Шрисут, 16-летний подросток из Пуны, Индия, разработал O-AI, полностью локального настольного ИИ-ассистента. Будучи недовольным тем, что облачные ассистенты ставят под угрозу конфиденциальность, он создал O-AI, чтобы он работал как JARVIS из "Железного человека", уделяя приоритетное внимание личному и приватному взаимодействию. O-AI запускает большие языковые модели локально, используя llama.cpp или Ollama, не требуя подключения к Интернету или внешних API-ключей. Он оснащен самообучающимся ядром, которое запоминает факты из разговоров, и конвейером тонкой настройки для персонализированного обучения модели. Ассистент поддерживает голосовое управление на английском, хинди и маратхи через локальную реализацию Whisper, отвечая на языке, на котором говорит пользователь. O-AI предлагает различные режимы, включая интерфейс, похожий на JARVIS, автоматизацию ПК и анимированных настольных питомцев. Он может похвастаться более чем 30 возможностями автоматизации для таких задач, как открытие приложений, поиск в Интернете и управление мультимедиа. Многошаговая агентская система позволяет планировать, выполнять и проверять сложные действия, поддерживаемые различными типами шагов. Технологический стек включает Python с Flask для серверной части и Electron с чистым JavaScript для клиентской части. Основные трудности включали реализацию проверки результатов для задач агента и надежную проверку содержимого для предотвращения ошибок.
