Airbnb разработала модель последовательностей на основе Трансформера для персонализации рекомендаций объявлений, анализируя поведение гостей с течением времени. Традиционные методы опирались на вручную созданные признаки, которые становились трудными для масштабирования и ограничивали выразительность. Новая модель решает такие проблемы, как огромный объем просмотров объявлений и редкость бронирований по сравнению с другими событиями. Она разделяет историю гостя на долгосрочную последовательность редких, но информативных событий и краткосрочную последовательность недавних просмотров объявлений. Для повышения эффективности обучения были реализованы такие стратегии, как пакетная обработка поисковых запросов и минимизация дополнений с помощью бакетирования и разреженных вычислений. Архитектура обслуживания отделяет вычислительно интенсивный кодировщик последовательностей от модели ранжирования в реальном времени для обеспечения низкой задержки. Первоначальное тестирование только с долгосрочной последовательностью показало улучшения, которые были дополнительно усилены добавлением краткосрочной последовательности просмотров. Внедрение ранжировщика наборов, совместно обученного с кодировщиком последовательностей, привело к еще более высокому качеству ранжирования. Онлайн A/B-тесты подтвердили эти достижения, показав значительное увеличение количества бронирований и просмотров. Эффективность системы также была продемонстрирована при ранжировании в промо-письмах, что подчеркивает обобщающую способность эмбеддингов гостей. Этот новый подход позволяет Airbnb глубже понимать предпочтения гостей, чем раньше. Будущие работы включают обновления в реальном времени, более богатые типы событий и генеративные рекомендатели.