RSS VentureBeat
Подписаться
Самосовершенствующиеся языковые модели становятся реальностью с обновленной техникой SEAL от MIT.
Исследователи из MIT разработали SEAL, новую технику, позволяющую большим языковым моделям, таким как те, что используются ChatGPT, улучшать себя. SEAL позволяет LLM генерировать синтетические данные и формулировать собственные стратегии тонкой настройки, достигая самоадаптации. Этот метод, в отличие от традиционных моделей, не полагается исключительно на внешние данные и процессы, созданные человеком. Расширенная статья и код с открытым исходным кодом, выпущенные в прошлом месяце, привлекли значительное внимание в сообществе искусственного интеллекта. SEAL структурирован с двумя циклами: внутренний цикл выполняет тонкую настройку, используя самогенерируемые правки, а внешний цикл использует обучение с подкреплением для оптимизации политики генерации правок. Производительность оценивалась на задачах включения знаний и обучения с несколькими примерами, показывая значительные улучшения в точности. Технология помогает моделям реструктурировать знания перед усвоением, аналогично процессам обучения человека. Несмотря на достижение высоких результатов, проблемы включают потенциальную катастрофическую забывчивость и вычислительные издержки во время тонкой настройки. Тем не менее, способность SEAL создавать высокоэффективные обучающие данные и обобщать различные сценарии является многообещающей. Исследователи предвидят применение в самоподготовке и разработке более агентных систем искусственного интеллекта. Эта работа представляет собой шаг к автономной эволюции LLM, потенциально решая ограничения данных и приводя к улучшениям.
