合成用户让我重新思考“不完美的研究” 笔记

合成用户让我重新思考“不完美的研究”

作者此前认为,任何研究,即便不完美,也胜过没有研究。然而,合成用户的兴起使其重新审视这一原则。以往的不完美研究仍包含与真实用户的某种直接互动,尽管存在样本量小或原型粗糙等局限,但这些研究仍能提供来自真实人群的真知灼见。相比之下,合成用户基于 AI 模型和数据生成模拟回应,而非源于直接的人类体验。团队可依据自身假设构建合成参与者,随后将生成的回应视为经验证的研究成果。这制造了一种危险的虚假自信,使未经证实的假设看似确凿的洞察。与完全缺失的研究不同,合成成果可能将假设伪装成证据。近期研究表明,即便是先进的“数字孪生”也可能不准确并导致误读,进而可能改变产品决策。在一项研究中,为合成用户提供更多数据并未一致提升准确性;另一项研究则发现,合成孪生与真实人类回应的相关性仅较弱。作者如今认为,合成用户与不完美研究并不等同,因其存在根本不同的风险。合成用户的一个潜在有效用途是作为研究人员在接触真实参与者之前的练习工具。最终,不完美研究仅能产生对真实人群的不完整洞察,而合成研究则生成预测性回应。将合成输出视为研究结论,是一项重大且令人担忧的转变。
CdXz5zHNQW_tzZilTgAwd.jpeg