Исследователи обнаружили, что успех моделей на тестах скрывает иллюзию понимания
Исследователи из Массачусетского технологического института (MIT), Гарвардского университета и Чикагского университета предложили термин «потемкинское понимание» для описания нового типа сбоя в больших языковых моделях. Он характеризуется тем, что модели отлично справляются с концептуальными тестами, но им не хватает истинного понимания, необходимого для применения этих концепций на практике...
go.theregister.com
AI models just don't understand what they're talking about
