LLM достигают параллельного контекстного обучения благодаря замечательной способности «наложения задач»

«Крупные языковые модели продемонстрировали впечатляющие возможности обучения в контексте, и в недавнем исследовании рассматривается удивительное явление, при котором эти модели могут выполнять несколько вычислительно разных задач одновременно во время одного запроса на вывод, возможность, называемая «суперпозицией задач». Исследователи предоставляют эмпирические доказательства этого явления для разных семейств и масштабов LLM и показывают, что оно возникает даже тогда, когда модель обучается выполнять одну задачу за раз. Исследование предлагает теоретические объяснения этой способности и исследует, как LLM внутренне составляют векторы задач во время суперпозиции. Результаты дают представление о скрытых возможностях LLM и поднимают вопросы о механизмах, обеспечивающих одновременное выполнение задач. Исследователи обнаружили, что более крупные LLM могут решать больше задач ICL параллельно и лучше калибровать свои выходные распределения. Результаты исследования дают ценное представление о природе больших языковых моделей и их потенциале для одновременного выполнения задач. Однако исследование имеет ограничения, такие как отсутствие всестороннего исследования границ или ограничений этого явления суперпозиции задач. Дальнейшие исследования могут изучить, в какой степени LLM могут совмещать несколько задач, и факторы, которые влияют на их производительность. Результаты исследования имеют существенные последствия для будущего развития и применения больших языковых моделей».