Pinterest는 특정 관심사와 의도와 관련된 상호작용의 연속인 '여정(journeys)'이라고 불리는 사용자의 장기적인 목표를 이해하는 것을 목표로 합니다. 이는 단일 클릭을 기반으로 다음 항목을 추천하는 것을 넘어섭니다. 이러한 여정을 식별하면 더 관련성 높은 추천 및 알림을 제공하여 사용자가 프로젝트를 완료하도록 도울 수 있습니다. 초기에는 Pinterest가 키워드를 클러스터링하고 속성을 첨부하여 여정을 추론하기 위해 다단계 파이프라인을 사용했습니다. 이 레거시 시스템은 참여 지표를 개선했지만 파편화, 일반적인 분류, 관련 없는 클릭으로 인한 부수적인 노이즈로 어려움을 겪었습니다. 이러한 문제를 해결하기 위해 Pinterest는 미세 조정된 40억 개의 매개변수를 가진 대규모 언어 모델을 사용하여 여정 추론을 생성 작업으로 재구성했습니다. 이 LLM은 사용자의 연대순 활동 로그를 직접 읽고 사용자의 로케일에서 여정 이름의 순위 목록을 출력합니다. 이 LLM에 대한 프롬프트 엔지니어링은 행동 중요도, 이벤트 그룹화, 싫어요와 같은 부정적인 신호 처리 등을 정의하는 데 중요합니다. 프론티어 모델은 더 작고 프로덕션 준비가 된 학생 모델을 미세 조정하기 위한 합성 훈련 데이터를 생성하는 교사로 사용되었습니다. 40억 개의 매개변수 모델은 출력 품질과 서빙 효율성의 균형을 위해 선택되었습니다. 이러한 모델을 대규모로 서빙하는 것은 수억 명의 사용자를 효율적으로 처리하기 위해 PagedAttention 및 연속 배치와 같은 정교한 최적화를 포함합니다. 새로운 생성 시스템은 파편화된 여정을 성공적으로 통합하고, 구체적인 이름을 제공하며, 손실된 의도를 다시 도입합니다. 이 접근 방식은 Pinterest를 넘어선 개인화를 위한 일반적인 레시피를 제공하며, 순차적인 사용자 활동과 구조화된 의도 목표를 가진 플랫폼에 적용할 수 있습니다.