Google accusé d'utiliser des novices pour vérifier les réponses de son IA Gemini

Google a donné des instructions aux travailleurs contractuels évaluant son système d'IA Gemini de ne pas ignorer aucun des stimuli, indépendamment de leur expertise, selon des directives internes consultées par TechCrunch. Auparavant, les contractuels pouvaient ignorer les stimuli en dehors de leur domaine d'expertise, mais maintenant, on leur demande de noter les parties du stimulus qu'ils comprennent et d'ajouter une note si ce n'est pas leur domaine de connaissance. Les seules exceptions sont si une quantité significative d'informations manque ou si le contenu est nocif et nécessite des formulaires de consentement spécifiques. Un contractuel a remis en question ce changement, affirmant qu'il pourrait réduire la précision en ne donnant pas les stimuli à ceux qui ont plus d'expertise. Google a répondu que les notes fournies par les contractuels n'ont pas d'impact direct sur leurs algorithmes, mais constituent un point de données utile pour mesurer la performance du système. La société a également noté que le nouveau langage ne devrait pas affecter la précision de Gemini, car les contractuels notent toujours les parties des stimuli qu'ils comprennent. Google a souligné que les notes ne portent pas uniquement sur le contenu, mais également sur le style, le format et d'autres facteurs. La société a récemment publié la mesure de référence FACTS Grounding, qui vérifie l'exactitude factuelle et le détail des réponses des LLM. Le changement de directive a suscité des inquiétudes quant à la fiabilité des évaluations d'IA.