Google обвиняют в использовании новичков для проверки фактов ответов ИИ Gemini

Гугл инструктировал контрактных работников, оценивающих систему искусственного интеллекта Gemini, не пропускать ни одного запроса, независимо от их экспертизы, согласно внутреннему руководству, просмотренному TechCrunch. Ранее контрактные работники могли пропускать запросы, выходящие за пределы их экспертизы, но теперь им сказано оценивать части запроса, которые они понимают, и добавлять примечание, если это не их область знаний. Единственные исключения - если отсутствует значительное количество информации или если контент вредоносен и требует специальных форм согласия. Один из контрактных работников поставил под сомнение это изменение, сказав, что оно может снизить точность, не давая запросы тем, кто имеет больше экспертизы. Гугл ответил, что оценки, предоставленные контрактными работниками, не напрямую влияют на их алгоритмы, но являются полезной точкой данных для измерения производительности системы. Компания также отметила, что новая языковая конструкция не должна повлиять на точность Gemini, поскольку контрактные работники все еще оценивают части запросов, которые они понимают. Гугл подчеркнул, что оценки не только о контенте, но и о стиле, формате и других факторах. Компания недавно выпустила бенчмарк FACTS Grounding, который проверяет ответы LLM на фактическую точность и детализацию. Изменение в руководстве вызвало обеспокоенность по поводу надежности оценок ИИ.