Pinterest использует дедупликацию на уровне запросов для оптимизации своих рекомендательных моделей и управления затратами на инфраструктуру. Этот метод позволяет избежать избыточной обработки данных на уровне запросов, которые включают в себя огромные последовательности действий пользователей. Дедупликация значительно снижает потребность в хранении, при этом сжатие данных достигает 10-50 раз для столбцов признаков с большим количеством пользователей с использованием Apache Iceberg. При внедрении данных, отсортированных по запросам, они решали проблемы и поддерживали качество моделей с помощью SyncBatchNorm и маскирования на уровне пользователей. Это привело к значительному ускорению обучения: улучшение в 4 раза для ретривал-моделей и в 2,8 раза для ранжирующих моделей. Это также повысило пропускную способность обслуживания, обеспечив 7-кратное увеличение мощности ранжирующего обслуживания с использованием архитектуры Deduplicated Cross-Attention Transformer (DCAT). Этот комплексный подход привел к значительным улучшениям в хранении, обучении и обслуживании. В конечном итоге, дедупликация на уровне запросов является сквозной техникой с простыми, но эффективными решениями.