Синопсис представляет собой краткий обзор шоу, помогающий зрителям решить, что посмотреть. Синопсисы должны быть фактическими, находя баланс между информированием и интригой. Проверка фактов в масштабах Netflix требует автоматизированной службы проверки фактической точности. Существующая служба использует модель рассуждений, но сталкивается с ограничениями из-за высоких затрат на вызовы моделей с длинным контекстом и несоответствия обоснований.Новый подход значительно снижает затраты на 52,4% на синопсис и повышает качество: Recall-Fail вырос с 0,77 до 0,86. Он также обеспечивает 82% совпадение с человеческими обоснованиями, по сравнению с 69% ранее. Фактическая точность включает не только буквальную правду, но и избегание вводящих в заблуждение впечатлений, как видно на примерах "Бриджертонов". Изначальный конвейер включал множество дорогостоящих целостных вызовов LLM с длинными контекстами и часто давал ненадежные рассуждения.Анализ текущего конвейера показал, что не все синопсисы требуют многократных проверок; простые случаи могут быть идентифицированы по показателям уверенности. Это привело к подходу "с контролем уверенности", при котором только сложные случаи подвергаются дополнительной проверке. Вместо идентичных целостных судей были введены специализированные судьи "Буквальный" и "Подразумеваемый" для выявления конкретных типов ошибок.Кроме того, теперь используются обоснования модели, часто содержащие "шаткие места", такие как предположения или сомнения. Маршрутизатор перефразирует их в проверяемые "атомарные утверждения" и отправляет их вторичным судьям второго этапа. Эта каскадная служба проверки фактической точности сочетает специализированных судей, эскалацию с контролем уверенности и целенаправленную повторную проверку для повышения точности и эффективности.Новая многоуровневая система обрабатывает синопсисы обоими судьями; вердикты с высокой степенью уверенности являются окончательными, в то время как случаи с низкой степенью уверенности передаются маршрутизатору и судьям второго этапа. Второй этап может отменить первоначальные вердикты, если вторичные проверки подтверждают уступки или противоречат предположениям. Эта комплексная оценка фокусируется на качестве, в первую очередь на Recall-FAIL, и на снижении затрат, включая вызовы LLM и стоимость производства вердиктов "под ключ".