Pinterest는 추천 모델을 최적화하고 인프라 비용을 관리하기 위해 요청 수준 중복 제거를 활용합니다. 이 기술은 방대한 사용자 행동 시퀀스를 포함하는 요청 수준 데이터의 중복 처리를 방지합니다. 중복 제거는 스토리지 요구 사항을 크게 줄여주며, Apache Iceberg를 사용하여 사용자 트래픽이 많은 피처 컬럼에서 스토리지 압축률이 10-50배에 달합니다. 요청 정렬 데이터를 구현하는 동안 SyncBatchNorm과 사용자 수준 마스킹을 통해 문제를 해결하고 모델 품질을 유지했습니다. 이를 통해 검색 모델의 경우 4배, 랭킹 모델의 경우 2.8배의 상당한 학습 속도 향상을 가져왔습니다. 또한 서빙 처리량을 개선하여 중복 제거 교차 어텐션 트랜스포머(DCAT) 아키텍처를 사용하여 랭킹 서빙 용량을 7배 증가시켰습니다. 이 포괄적인 접근 방식은 스토리지, 학습 및 서빙 전반에 걸쳐 영향력 있는 개선을 가져왔습니다. 궁극적으로 요청 수준 중복 제거는 간단하지만 효과적인 솔루션을 갖춘 범용적인 기술입니다.