Последнее десятилетие ознаменовалось значительным прогрессом в машинном обучении, но столкнулось с проблемами непрерывного обучения, в отличие от адаптивного человеческого мозга. Современные большие языковые модели страдают от катастрофического забывания, когда изучение новой информации стирает старые знания. Традиционные решения рассматривают архитектуру модели и алгоритмы обучения отдельно, препятствуя созданию унифицированных систем обучения. В статье, опубликованной на NeurIPS 2025, представлено "Вложенное обучение" (Nested Learning), которое объединяет архитектуру и оптимизацию как взаимосвязанные многоуровневые задачи. Эта парадигма предполагает, что архитектура модели и правила обучения являются различными уровнями оптимизации с различными информационными потоками и скоростями обновления. Вложенное обучение обеспечивает большую вычислительную глубину в ИИ, решая такие проблемы, как катастрофическое забывание. Архитектура "Hope", являющаяся доказательством концепции, демонстрирует превосходную производительность в языковом моделировании и управлении долговременной памятью. Перспектива вложенного обучения показывает, что сложные модели машинного обучения представляют собой вложенные задачи оптимизации, открывая новое измерение проектирования для более глубоких обучающих компонентов. Этот подход позволяет осуществлять обновления каждого компонента в различных временных масштабах, улучшая возможности непрерывного обучения. Эксперименты показывают, что принципы вложенного обучения приводят к созданию более выразительных, способных и эффективных алгоритмов обучения.