Динамическое понимание языка: адаптация к новым знаниям в параметрических и полу-параметрических моделях

Чтобы изучать, как полупараметрические модели QA и лежащие в их основе параметрические языковые модели (LM) адаптируются к развивающимся знаниям, мы создаем новый масштабный набор данных, StreamingQA, с вопросами, написанными и сгенерированными людьми на определенную дату, чтобы быть отвеченными из 14-летних временно помеченных новостных статей. Мы оцениваем наши модели раз в квартал, поскольку они читают новые статьи, не виденные в предварительном обучении. Мы показываем, что параметрические модели могут быть обновлены без полного переобучения, избегая катастрофического забывания.