UX Collective | Medium на русском
Подписаться
15-минутный стресс-тест с использованием ИИ, который может пройти каждый дизайнер
Задача "Протокол спагетти-стола" предлагает пользователям проверить понимание ИИ физической реальности. Результаты недавнего пилотного исследования для GPT-4o, Gemini 1.5 Pro и Claude 3.5 Sonnet выявили существенные ограничения в генерации физически связных изображений. Несмотря на безупречную фотореалистичную генерацию, ИИ испытывали трудности с базовой физикой, показав низкие результаты по структурной связности. Claude 3.5 Sonnet лингвистически определил невозможность, но все же сгенерировал ошибочное изображение. GPT-4o и Gemini 1.5 Pro не обладали даже символическим осознанием проблемы. Протокол измеряет непрерывность, гравитацию и физику, а также обратимость мышления. Человеческое воплощенное познание мгновенно обнаруживает физические невозможности, способность, которая в настоящее время отсутствует у ИИ. Задача призывает к более широкому тестированию сообществом UX/UI и HCI. Участникам предлагается дать ИИ команду сгенерировать определенный стол, а затем смоделировать его разрушение через пять секунд. Результаты оцениваются на основе того, отметила ли ИИ невозможность и последовала ли последовательность разрушения физической логике. Исследование также проверяет наличие непреднамеренного загрязнения элементов из предыдущих запросов. Это совместное усилие направлено на создание общедоступного набора данных для понимания ограничений ИИ.