Многотокенное предсказание: устранение несоответствия между обучением и выводом в языковых моделях большой языковой модели

Мы резюмируем, как предсказание нескольких токенов улучшает производительность, уменьшая несоответствие распределений, особенно для более крупных моделей и задач кодирования, и позволяет ускорить вывод.