Оптимизация прямых предпочтений для выравнивания больших языковых моделей

Оптимизация прямых предпочтений (DPO) предлагает более простую и стабильную альтернативу традиционному обучению с подкреплением на основе предпочтений человека (RLHF) для согласования больших языковых моделей с человеческими предпочтениями. Переформулируя обучение предпочтениям как задачу классификации и исключая необходимость в отдельной модели вознаграждения, DPO снижает вычислительные издержки и сложность обучения. Хотя она превосходит по эффективности и простоте использования, RLHF по-прежнему имеет преимущества в сложных, высокорискованных или онлайн-сценариях обучения.