Автор ранее считал, что любое исследование, даже несовершенное, лучше, чем никакого. Однако появление синтетических пользователей заставило его пересмотреть этот принцип. Несовершенные исследования ранее включали некоторое прямое взаимодействие с реальными пользователями, несмотря на такие ограничения, как малые размеры выборки или грубые прототипы. Эти исследования по-прежнему давали подлинное представление о реальных людях. Синтетические пользователи, с другой стороны, генерируют имитированные ответы на основе моделей ИИ и данных, а не прямого человеческого опыта. Команды могут создавать синтетических участников на основе своих собственных предположений, а затем рассматривать сгенерированные ответы как проверенные результаты исследований. Это создает опасную ложную уверенность, заставляя недоказанные предположения казаться конкретными выводами. В отличие от полного отсутствия исследований, синтетические выводы могут маскировать предположения под видом доказательств. Недавние исследования показывают, что даже передовые "цифровые двойники" могут быть неточными и приводить к неверным толкованиям, потенциально изменяя решения по продуктам. Предоставление синтетическим пользователям большего количества данных не привело к последовательному повышению точности в одном исследовании. Другое исследование показало, что синтетические двойники лишь слабо коррелировали с реальными человеческими ответами. Автор теперь считает, что синтетические пользователи не эквивалентны несовершенным исследованиям из-за их принципиально различных рисков. Потенциально допустимое использование синтетических пользователей — это инструмент для отработки навыков исследователей перед взаимодействием с реальными участниками. В конечном итоге, несовершенные исследования дают неполное представление о реальных людях, в то время как синтетические исследования генерируют прогнозируемые ответы. Отношение к синтетическим данным как к результатам исследований является значительным и вызывающим беспокойство изменением.