시놉시스는 쇼에 대한 간략한 개요를 제공하여 시청자가 무엇을 볼지 결정하는 데 도움을 줍니다. 시놉시스는 사실에 기반해야 하며, 정보를 제공하는 것과 흥미를 유발하는 것 사이의 균형을 맞춰야 합니다. 넷플릭스 규모에서 이러한 사실 확인을 위해서는 자동화된 사실성 서비스가 필요합니다. 기존 서비스는 추론 모델을 사용하지만, 긴 컨텍스트 모델 호출로 인한 높은 비용과 잘못 정렬된 추론으로 인해 한계에 직면해 있습니다.새로운 접근 방식은 시놉시스당 비용을 52.4% 크게 절감하고 품질을 개선하여 Recall-Fail을 0.77에서 0.86으로 높였습니다. 또한 인간 추론과의 일치율을 69%에서 82%로 달성했습니다. 사실성은 문자 그대로의 진실뿐만 아니라, 미묘한 Bridgerton 예시에서 볼 수 있듯이 오해의 소지가 있는 인상을 피하는 것을 포함합니다. 원래 파이프라인은 긴 컨텍스트를 가진 여러 개의 비싼 전체 LLM 호출을 포함했으며, 종종 신뢰할 수 없는 추론을 생성했습니다.현재 파이프라인을 분석한 결과, 모든 시놉시스가 여러 번의 확인을 필요로 하는 것은 아니며, 자신감 점수를 통해 쉬운 경우를 식별할 수 있다는 것을 발견했습니다. 이로 인해 "자신감 게이트" 접근 방식이 도입되었으며, 어려운 경우에만 추가적인 조사가 이루어집니다. 동일한 전체 심사관 대신, 특정 오류 유형을 대상으로 하는 전문적인 "Literal" 및 "Implicature" 심사관이 도입되었습니다.또한, 종종 가정이나 의심과 같은 "불안정한 부분"을 포함하는 모델의 추론이 이제 활용됩니다. 라우터 모델은 이를 검증 가능한 "원자적 주장"으로 재구성하여 2단계 심사관에게 보냅니다. 이 캐스케이드 사실성 서비스는 전문 심사관, 자신감 게이트 에스컬레이션 및 대상 재확인을 결합하여 정확성과 효율성을 향상시킵니다.새로운 계층 시스템은 두 심사관을 통해 시놉시스를 처리합니다. 높은 자신감의 판결은 최종적이며, 낮은 자신감의 경우는 라우터 및 2단계 심사관에게 에스컬레이션됩니다. 2단계는 2차 확인이 양보를 지원하거나 가정을 반박하는 경우 초기 판결을 뒤집을 수 있습니다. 이 포괄적인 평가는 품질, 주로 Recall-FAIL, 그리고 LLM 호출 및 엔드투엔드 판결 생산 비용을 포함한 비용 절감에 중점을 둡니다.