Ваш выбор модели не имеет такого большого значения, как вы думаете...И это на самом деле хорошая новость

Нейробиологи когда-то сканировали мёртвую форель, обнаружив «активность мозга» из-за случайного шума, подчёркивая необходимость надлежащих статистических контролей. Это отражает современное машинное обучение, где улучшения часто оказываются недействительными, когда базовые показатели правильно реализуются. Нулевые модели, которые игнорируют входные данные, достигают высоких баллов на эталонных тестах больших языковых моделей, указывая на сосредоточение внимания на форматировании, а не на настоящем понимании. Модели часто учатся «неправильным вещам», таким как текстуры вместо форм, что приводит к неточным оценкам, несмотря на высокие баллы. «Стыдно простые» подходы, такие как линейная регрессия, часто превосходят сложные архитектуры, просто используя правильную базовую линию. XGBoost, алгоритм 2016 года, часто побеждает в задачах с табличными данными, доказывая, что качество данных более важно, чем архитектура модели. Качество данных, проектирование запросов и использование сильных базовых линий имеют решающее значение для успешного развития ИИ и часто упускаются из виду в пользу сложных архитектур. Сосредоточение внимания на этих аспектах — данных, запросах, извлечении и оценке — приводит к более надёжным и переносимым результатам. Исследователям необходимо реализовать надлежащие контроли и базовые линии, чтобы избежать ловушек празднования «активности мозга» в метафорической мёртвой рыбе. Навязчивая идея последних моделей часто затмевает более важные и долговечные аспекты успешного проекта ИИ. Нынешняя тенденция отдает приоритет инновациям в архитектуре над важными аспектами, такими как надёжные данные, правильный дизайн запросов и надёжные методы оценки. Вместо последних моделей приоритет качества данных, проектирования запросов и сильных базовых линий является ключом к достижению надёжных и переносимых результатов.