구글, 거대언어모델 'Gemini'의 답변 사실 확인에 초보자들을 이용했다는 비난을 받아.

TechCrunch이 입수한 내부 지침에 따르면, 구글은 자사의 AI 시스템 Gemini를 평가하는 계약직 근로자들에게 전문 분야에 관계없이 모든 프롬프트를 건너뛰지 말라고 지시했습니다. 이전에는 계약직 근로자들이 자신의 전문 분야 밖의 프롬프트는 건너뛸 수 있었지만, 이제는 이해할 수 있는 부분은 평가하고, 전문 분야가 아니면 메모를 추가하도록 되었습니다. 중요한 정보가 누락되었거나, 해당 콘텐츠가 유해하여 특정 동의서가 필요한 경우만 예외입니다. 한 계약직 근로자는 이러한 변경으로 전문성이 높은 사람에게 프롬프트가 제공되지 않아 정확도가 떨어질 수 있다고 문제를 제기했습니다. 구글은 계약직 근로자들이 제공하는 평가가 알고리즘에 직접적인 영향을 미치지 않고, 시스템 성능을 측정하는 데 도움이 되는 데이터 지점일 뿐이라고 답변했습니다. 또한 계약직 근로자들이 여전히 이해하는 부분을 평가하기 때문에 새로운 지침이 Gemini의 정확도에 영향을 미치지 않을 것이라고 언급했습니다. 구글은 평가가 콘텐츠뿐만 아니라 스타일, 형식 및 기타 요소도 포함한다고 강조했습니다. 구글은 최근 LLM 응답의 사실 정확성과 세부 사항을 확인하는 FACTS Grounding 벤치마크를 발표했습니다. 이러한 지침 변경은 AI 평가의 신뢰성에 대한 우려를 불러일으켰습니다.