광고 성과에 중요한 Pinterest의 L1 순위 단계는 새로운 전환율(CVR) 모델을 도입할 때 지속적인 온라인-오프라인(O/O) 격차에 직면했습니다. 오프라인에서 손실과 보정에서 강한 상승세가 있었음에도 불구하고, 온라인 A/B 테스트에서는 중립적이거나 음성적인 결과가 나와 발사 지연이 발생했습니다. 이 조사는 모델과 평가, 서비스와 기능, 그리고 퍼널의 영향력을 다루는 풀스택 진단을 포함했습니다. 초기 점검에서는 오프라인 평가 문제, 노출 편향, 서비스 실패가 주요 원인임을 배제했습니다. 학습에 사용된 기능이 없는 기능 O/O 불일치와 쿼리 및 핀 타워 정렬 불균형을 초래하는 버전 비우침 등이 주요 문제로 확인되었습니다. 이 솔루션은 기능 온보딩과 임베딩 왜향 해결, 기능 커버리지 개선, 모델 버전 정렬을 포함했습니다. 추가 분석을 통해 퍼널 정렬과 지표 매칭의 중요성이 드러났으며, L1 지표의 개선이 기존 깔때기 한계로 인해 CPA 향상으로 이어지지 않을 수 있습니다. 이는 모델 배포를 위한 핵심 설계 제약으로 O/O 불일치를 고려해야 할 필요성을 부각시켰습니다.