Путешествие к пониманию метрич... Заметка

Путешествие к пониманию метрических движений

Pinterest разработал платформу анализа корневых причин (RCA) для понимания колебаний метрик. Платформа использует три основных подхода: срез и нарезка, общее сходство и эффекты экспериментов. Срез и нарезка анализирует сегменты метрик по разным измерениям, чтобы определить значимые вкладчики изменений. Этот метод черпает вдохновение из LinkedIn's ThirdEye, используя дерево структуры для организации сегментов метрик и оценки их значимости. Общее сходство идентифицирует метрики с похожими паттернами движения, используя корреляцию и динамическое временное искажение для измерения сходства. Это помогает обнаружить отношения между кажущимися не связанными метриками, такими как производительность и распределение контента. Эффекты экспериментов анализируют результаты тестирования А/Б, чтобы определить, повлияли ли эксперименты на метрику. Тест Уэлча и гармоническое среднее значение p-значений используются для оценки экспериментального воздействия, фильтруя шум и дисбаланс. Эти три подхода могут быть использованы итеративно для всестороннего анализа. Будущие улучшения включают механизм обратной связи пользователей и использование открытия причинно-следственных связей для более сильного вывода причин. Планируется также интеграция с более широкими платформами данных и интерфейсами пользователя. Успех платформы зависит от обратной связи пользователей и непрерывного улучшения. Команда признает вклад инженеров и ученых Pinterest в разработку платформы.
CdXz5zHNQW_ydRcPLqWkc.png