Этап L1 рейтинга Pinterest, критически важный для эффективности рекламы, столкнулся с устойчивым разницами в онлайн-офлайн (O/O) при внедрении новых моделей коэффициента конверсии (CVR). Несмотря на значительный офлайн-рост потерь и калибровки, онлайн-тесты A/B показали нейтральные или отрицательные результаты, что привело к задержкам запуска. Расследование включало полноценную диагностику, охватывающую модель и оценку, обслуживание и характеристики, а также влияние воронки. Первичные проверки исключили проблемы с офлайн-оценкой, предвзятость экспозиции и неудачи в обслуживании как основные причины. Ключевыми проблемами были выявлены расхождения между O/O, когда обслуживание не использовалось в обучении, а также смещение версии вложения, приводящее к несогласованности запросов и вышки выводов. Решение включало онбординг функций и сброс встраивания адресов, улучшение покрытия функций и выравнивание версий моделей. Дальнейший анализ выявил важность выравнивания воронок и метрического сопоставления, где улучшения показателей L1 могут не привести к росту CPA из-за существующих ограничений воронки. Это подчеркнуло необходимость учитывать разницу операционной и выходной операции как основное ограничение проектирования для развертывания моделей.