Pinterest использует метрику под названием "распространенность" для измерения контента, нарушающего правила, которая определяется как процент всех просмотров, пришедшихся на вредоносный контент. Распространенность дополняет отчеты пользователей, выявляя недостаточно сообщаемые нарушения и отслеживая тенденции. Исторически сложилось так, что полагаться на человеческую проверку для измерения распространенности было медленно и дорого. Для решения этой проблемы Pinterest разработал рабочий процесс с использованием ИИ для ежедневного измерения распространенности. Это включает в себя выборку пользовательских показов и использование мультимодальной большой языковой модели (LLM) для крупномасштабной маркировки. LLM, управляемая подсказками экспертов и специалистов в предметной области, значительно сокращает задержку и затраты при сохранении точности. Распространенность рассчитывается ежедневно с доверительными интервалами и может быть разбита по областям политики, подполитикам и поверхностям контента. Система использует оценки риска от моделей принудительного исполнения для эффективной выборки, но эти оценки не служат метками. Взвешивание по обратной вероятности гарантирует, что статистика распространенности точно отражает пользовательские показы с течением времени, даже при изменении пороговых значений принудительного исполнения. Машинное обучение имеет решающее значение для беспристрастной выборки и эффективной маркировки, что позволяет быстрее выявлять риски и принимать упреждающие меры. Этот подход, основанный на данных, позволяет быстрее итерировать продукты, разрабатывать обоснованную политику и принимать стратегические решения, включая постановку целей и эффективное распределение ресурсов. Проблемы, такие как широкие доверительные интервалы для редких категорий или дрейф политики, решаются с помощью адаптивной выборки и непрерывного мониторинга. Будущие планы включают расширение возможностей поворота, оптимизацию использования LLM и совершенствование процессов с участием человека для повышения точности и снижения предвзятости.