Забудьте о ChatGPT: почему исследователи теперь запускают небольшие ИИ на своих ноутбуках

ИИ на вашем ноутбуке: новые горизонты для биоинформатики и не только Биоинформатик использует искусственный интеллект (ИИ) для создания удобных для восприятия аннотаций к своей базе данных структур белков иммунной системы. При этом он запускает ИИ на своем Mac, а не использует веб-ориентированные большие языковые модели (LLM), такие как ChatGPT. В последнее время наблюдается две тенденции: - Открытый доступ к весам LLM: организации публикуют "открытые веса" версий LLM, делая их доступными для локального использования. - Масштабирование LLM для потребительского оборудования: технологические компании создают уменьшенные версии LLM, способные работать на бытовой технике. Эти инструменты позволяют исследователям экономить деньги, защищать конфиденциальность и обеспечивать воспроизводимость результатов. По мере того, как компьютеры становятся быстрее, а модели — эффективнее, люди все чаще будут запускать ИИ на своих ноутбуках или мобильных устройствах. Уже доступно несколько небольших моделей с открытым весом, в том числе Llama от Meta, Gemma от Google DeepMind и модели Phi от Microsoft. Microsoft выпустила несколько версий своих моделей Phi с количеством активных параметров от 3,8 до 14 миллиардов, которые способны обрабатывать изображения. Даже самая маленькая модель Phi по некоторым показателям превосходит GPT-3.5 Turbo от OpenAI. Локальный запуск LLM также дает исследователям контроль над воспроизводимостью, поскольку им не нужно беспокоиться об обновлении моделей компаниями. Исследователи могут использовать эти инструменты в качестве основы для создания специализированных приложений. В скором времени локальные LLM станут достаточно эффективными для большинства задач. Темпы развития локальных LLM поразительны, и пользователям рекомендуется экспериментировать и исследовать открывающиеся возможности.