Pinterestは、特定の興味や意図に関連するインタラクションのシーケンスである「ジャーニー」と呼ばれるユーザーの長期的な目標を理解することを目指しています。これは、単一のクリックに基づいて次のアイテムを推奨するだけにとどまりません。これらのジャーニーを特定することで、より関連性の高い推奨や通知が可能になり、ユーザーがプロジェクトを完了するのを支援します。当初、Pinterestはキーワードをクラスタリングし属性を付与することでジャーニーを推測するためにマルチステージパイプラインを使用していました。このレガシーシステムはエンゲージメントメトリクスを改善しましたが、断片化、一般的なバケット、無関係なクリックからの偶発的なノイズに悩まされていました。これらの問題に対処するため、Pinterestは、ファインチューニングされた40億パラメータの大規模言語モデルを使用して、ジャーニー推論を生成タスクとして再構築しました。このLLMは、ユーザーの時系列アクティビティログを直接読み取り、ユーザーのロケールでジャーニー名のランク付けされたリストを出力します。このLLMのプロンプトエンジニアリングは、アクションの重要性、イベントのグループ化、および嫌いなどのネガティブシグナルの処理を定義する上で重要です。フロンティアモデルは、より小さく、本番環境に対応した学生モデルのファインチューニングのための合成トレーニングデータを生成する教師として使用されました。4Bパラメータモデルは、出力品質とサービング効率のバランスから選択されました。これらのモデルを大規模にサービングするには、何億人ものユーザーを効率的に処理するために、PagedAttentionや連続バッチングなどの洗練された最適化が含まれます。新しい生成システムは、断片化されたジャーニーを正常に統合し、具体的な名前を提供し、失われたインテントを再導入します。このアプローチは、Pinterestだけでなく、シーケンシャルなユーザーアクティビティと構造化されたインテントターゲットを持つプラットフォームに適用可能な、パーソナライゼーションのための一般的なレシピを提供します。