Google、GeminiのAI回答のファクトチェックに初心者を利用していると非難される

Googleは、契約労働者に、AIシステムGeminiの評価において、専門知識に関係なく、どのプロンプトもスキップしないよう指示した。TechCrunchが確認した内部ガイダンスによると、以前は契約労働者は自分の専門知識外のプロンプトをスキップすることができたが、現在は、理解できる部分を評価し、自分の専門知識外の場合はノートを追加するよう指示されている。ただし、重要な情報が欠けている場合や、有害なコンテンツで特定の同意書が必要な場合は例外となる。契約労働者は、この変更により、専門知識のある人にプロンプトを渡さないことで、正確性が低下する可能性があると懸念を表明した。Googleは、契約労働者が提供する評価は、直接アルゴリズムに影響を与えないが、システムのパフォーマンスを測定するための有用なデータポイントであると回答した。同社は、新しい指示がGeminiの正確性に影響を与えないことを強調し、契約労働者はまだ理解できる部分を評価しているからであると述べた。Googleは、評価はコンテンツだけでなく、スタイル、フォーマット、その他の要素も含むものであると強調した。同社は最近、FACTS Groundingベンチマークを公開し、LLM（大規模言語モデル）の応答の事実的正確性と詳細性をチェックする。指示の変更は、AI評価の信頼性に関する懸念を引き起こしている。