Airbnbは、ゲストの行動を時系列で理解することにより、リスティングのレコメンデーションをパーソナライズするために、Transformerベースのシーケンスモデルを開発しました。従来のメソッドは手作業で作成された特徴量に依存していましたが、これはスケーリングが困難になり、表現力を制限するようになりました。新しいモデルは、リスティングの閲覧数の膨大さや、他のイベントと比較した場合の予約の稀少性といった課題に対処します。ゲストの履歴を、頻度は低いが情報量の多いイベントの長期シーケンスと、最近のリスティング閲覧の短期シーケンスに分割します。トレーニング効率を向上させるために、バッチ処理による検索や、バケッティングとスパース計算によるパディングの最小化といった戦略を実装しました。サービング設計では、計算負荷の高いシーケンスエンコーダーをリアルタイムランキングモデルから分離し、低レイテンシーを実現しています。長期シーケンスのみでの初期テストでは改善が見られ、短期閲覧シーケンスを追加することでさらに向上しました。シーケンスエンコーダーと共同でトレーニングされたセットワイズランカーの導入により、ランキングの質はさらに向上しました。オンラインA/Bテストではこれらの成果が確認され、予約数と閲覧数の大幅な増加が示されました。このシステムの有効性は、プロモーションメールのランキングでも実証され、ゲストエンベディングの汎用性が強調されました。この新しいアプローチにより、Airbnbはこれまで以上にゲストの好みを深く理解できるようになりました。今後の作業には、リアルタイム更新、より豊富なイベントタイプ、生成型レコメンダーが含まれます。