피터레스트의 홈 피드 추천 시스템이 다단계 설계를 채택했으며, 고급 예비 순위 계층이 비즈니스 지표를 개선했다. 초기 설계에는 배포 노력, 모델 재훈련 도전, 항목 상호 작용을 효과적으로 학습할 수 없는 2층 구조와 같은 제약이 있었다. 팀은 예비 순위 계층을 현대화하는 데 기초적인 개선을 이루었으며, 새로운 시스템 설계, 로깅 파이프라인, 및 서비스 아키텍처를 포함한다. 새로운 설계에는 요청 수준의 하위 구성 요소와 항목 수준의 하위 구성 요소가 함께 훈련되고 서비스 중에 분리된다. 팀은 또한 예비 순위 및 순위 구별을 위해 초기 로깅 파이프라인을 구현했으며, 훈련에 무편향 데이터를 가져왔다. 서비스 아키텍처 설계에는 CPU 및 메모리 오버헤드를 완화하는 루트-리프 아키텍처가 포함된다. 팀은 또한 L2 순위자와 예비 순위 모델을 더 잘 맞추기 위해 모델 증류를 채택했다. 온라인 실험에서는 중요한 참여 승리를 보여 주었으며, 팀은 신선한 참여 데이터를 활용하는 자동 재훈련 프레임워크를 설정하는 데 작업을 계속하고 있다. 팀은 모델 혁신, 데이터 샘플링, 모델 아키텍처 개선, 손실 탐색 및 서비스 최적화를 계속 작업하고 있다.