RSS Блог Google AI
Подписаться
Оценка согласованности поведенческих склонностей в больших языковых моделях
Данное исследование посвящено пониманию и согласованию поведенческих склонностей больших языковых моделей (LLM) с поведением человека. В исследовании представлена структура для оценки LLM в реалистичных сценариях, связанных с повседневным взаимодействием. Структура использует психологические опросники, адаптируя их в тесты ситуационных суждений (SJT) для оценки реакции LLM. Исследование анализирует соответствие ответов LLM человеческим предпочтениям, фокусируясь на сценариях с консенсусом и без него. Результаты выявляют расхождения между поведением LLM и человеческим консенсусом, особенно у меньших моделей. Более крупные модели демонстрируют улучшенное соответствие, но все еще имеют ограничения в улавливании полного спектра человеческих мнений. Исследование также подчеркивает несоответствия между самоописанными чертами LLM и их фактическим поведением в SJT. Полученные данные свидетельствуют о важности улучшения поведенческого соответствия LLM для лучшего социального взаимодействия. Эта работа является первым шагом к более глубокому пониманию поведения LLM. Будущие исследования необходимы для устранения выявленных в данном исследовании пробелов.