Airbnbでのユーザーシグナルズプラットフォームの構築
Airbnbは、ユーザーの体験をパーソナライズ化することで向上させるために、User Signals Platform(USP)と呼ばれるストリーム処理プラットフォームを開発しました。このプラットフォームは、ユーザーのエンゲージメントデータを利用して、予約プロセス中にカスタマイズされたインタラクションを提供します。データパイプラインレイヤーとオンラインサービングレイヤーで構成されており、Flinkストリーミングを使用してほぼリアルタイム処理とバッチ処理を実行し、データの修正とバックフィルを行っています。USPは、ユーザーシグナル、ユーザーセグメント、セッションエンゲージメントなどのさまざまなユーザーイベント処理をサポートしています。また、イベントレイテンシ、インジェストレイテンシ、ジョブレイテンシ、トランスフォームレイテンシなどのメトリクスを使用して、ストリーミングジョブのパフォーマンスを測定します。プラットフォームは、開発者がストリーミングコンポーネントを心配せずにトランスフォームとユーザーセグメントを定義できるように設計されています。Flinkジョブの安定性を向上させるために、Airbnbは、タスクマネージャーが失敗した場合に継続的な処理を保証するために、スタンバイタスクマネージャーを使用しています。