合成ユーザーのせいで「不完全な研究」について考え直すようにな... ノート

合成ユーザーのせいで「不完全な研究」について考え直すようになりました

著者は以前、不完全であっても、何もしないよりはどんな研究でも良いと考えていた。しかし、シンセティックユーザーの台頭により、この原則を再考するに至った。以前の不完全な研究は、サンプルサイズが小さい、プロトタイプが粗いといった限界はあったものの、実際のユーザーとの直接的なやり取りを含んでいた。これらの研究は、それでも実際の人間からの真の洞察を提供していた。一方、シンセティックユーザーは、AIモデルとデータに基づいてシミュレートされた応答を生成するものであり、直接的な人間の経験に基づくものではない。チームは、自身の仮定に基づいてシンセティック参加者を作成し、生成された応答を検証された研究結果として扱うことができる。これは危険な誤った自信を生み出し、証明されていない仮定を具体的な洞察に見せかける。真に欠如した研究とは異なり、シンセティックな結果は仮定を証拠として偽装することができる。最近の研究では、高度な「デジタルツイン」でさえ不正確であり、誤解を招き、製品の意思決定を変える可能性があることが示唆されている。ある研究では、シンセティックユーザーに多くのデータを与えても、一貫して精度が向上しなかった。別の研究では、シンセティックツインが実際の人間からの応答と弱くしか相関しないことがわかった。著者は現在、シンセティックユーザーは、その根本的に異なるリスクのため、不完全な研究と同等ではないと考えている。シンセティックユーザーの潜在的に有効な使用法は、実際の参加者と関わる前の研究者の練習ツールとしてである。最終的に、不完全な研究は実際の人間についての不完全な洞察をもたらすが、シンセティック研究は予測された応答を生成する。シンセティックな出力を研究結果として扱うことは、重大で懸念される変化である。
CdXz5zHNQW_tzZilTgAwd.jpeg