합성 사용자들이 저로 하여금 "불완전한 연구"를 다시 생각하게 만듭니다.
저자는 이전에는 불완전하더라도 어떤 연구든 전혀 하지 않는 것보다 낫다고 믿었다. 그러나 합성 사용자(synthetic users)의 등장은 그들로 하여금 이 원칙을 재고하게 만들었다. 불완전한 연구는 이전에는 표본 크기가 작거나 프로토타입이 조악하다는 등의 한계에도 불구하고 실제 사용자와의 직접적인 상호작용을 포함했다. 이러한 연구는 여전히 실제 사람들로부터 진정한 통찰력을 제공했다. 반면에 합성 사용자는 AI 모델과 데이터를 기반으로 시뮬레이션된 응답을 생성하며, 직접적인 인간 경험에서 비롯된 것이 아니다. 팀은 자체 가정에 기반하여 합성 참가자를 생성한 다음, 생성된 응답을 검증된 연구 결과로 취급할 수 있다. 이는 입증되지 않은 가정을 구체적인 통찰력으로 보이게 만드는 위험한 잘못된 자신감을 만들어낸다. 진정으로 존재하지 않는 연구와 달리, 합성 결과는 가정을 증거로 위장할 수 있다. 최근 연구에 따르면 고급 "디지털 트윈(digital twins)"조차도 부정확할 수 있으며 오해를 불러일으켜 제품 결정이 변경될 수 있다. 한 연구에서 합성 사용자에게 더 많은 데이터를 제공하는 것이 일관되게 정확도를 향상시키지 못했다. 또 다른 연구에서는 합성 트윈이 실제 인간 응답과 약하게만 상관관계가 있음을 발견했다. 저자는 이제 합성 사용자가 근본적으로 다른 위험 때문에 불완전한 연구와 동등하지 않다고 믿는다. 합성 사용자의 잠재적으로 유효한 용도는 실제 참가자와 상호작용하기 전에 연구자를 위한 연습 도구로서이다. 궁극적으로 불완전한 연구는 실제 사람들에 대한 불완전한 통찰력을 산출하는 반면, 합성 연구는 예측된 응답을 생성한다. 합성 결과물을 연구 결과로 취급하는 것은 중요하고 우려스러운 변화이다.