Mistral выпускает Pixtral 12B, свой первый мультимодальный модель AI

Мистраль AI выпустила Pixtral 12B, многомодальную модель ИИ, которая сочетает в себе языковую и визуальную обработку. Pixtral 12B может анализировать изображения и отвечать на вопросы о их содержимом, когда ему задают текстовые запросы. Модель доступна для загрузки на Hugging Face, GitHub и по торренту. Хотя подробности о тренировочных данных Pixtral являются конфиденциальными, она native поддерживает любое количество изображений любого размера. С 40 слоями, размером скрытого измерения в 14 336 и 32 головами внимания Pixtral 12B предлагает обширную вычислительную обработку. Она также имеет выделенный визуальный энкодер для продвинутой обработки изображений. Шаг Мистраль AI в сторону многомодальных моделей ставит компанию в конкуренцию с лидерами ИИ, такими как OpenAI и Anthropic, чьи модели уже обладают возможностями обработки изображений. Однако уникальные особенности Pixtral 12B, такие как поддержка изображений любого размера и количества, могут отличать ее от конкурентов.