Pinterest 利用请求级去重技术来优化其推荐模型并管理基础设施成本。该技术避免了请求级数据的冗余处理，其中包含海量的用户行为序列。去重显著降低了存储需求，在用户密集型特征列上，借助 Apache Iceberg 实现了 10 至 50 倍的存储压缩比。在实现请求排序数据的过程中，Pinterest 通过同步批归一化（SyncBatchNorm）和用户级掩码技术解决了相关问题，同时保持了模型质量。这一举措带来了显著的训练加速效果：召回模型提升 4 倍，排序模型提升 2.8 倍。此外，它还提升了服务吞吐量，使得基于去重交叉注意力 Transformer（DCAT）架构的排序服务容量提升了 7 倍。这一综合方案在存储、训练和服务三个维度均产生了深远影响。总体而言，请求级去重是一种跨领域的技术，其解决方案虽简单却行之有效。