Ловушка персонализации: как память пользователя меняет эмоциональные рассуждения в больших языковых моделях

Ученые обнаружили, что ИИ-ассистенты, хранящие личные данные, могут изменять свою эмоциональную интерпретацию. Когда профиль пользователя изменился с родителя с низким доходом на состоятельного руководителя, эмоциональные советы ИИ значительно изменились. Системы ИИ с улучшенной памятью, как правило, предоставляли более точные и поддерживающие ответы для привилегированных профилей. Этот предвзятость непреднамеренно отражает реальные социальные иерархии. Функция персонализации, разработанная для эмпатии, может вместо этого усугубить неравенство. Это создает «ловушку персонализации», когда понимание ИИ зависит от предполагаемого социально-экономического статуса. Исследование подчеркивает необходимость того, чтобы ИИ запоминал пользователей справедливо, а не только благосклонно. Это крайне важно, поскольку ИИ все больше интегрируется в повседневную жизнь. Последствия указывают на необходимость тщательного проектирования, чтобы избежать внедрения социальных предубеждений. Пользователи должны знать об этой возможности искаженных ответов в персонализированных чат-ботах.