Etsy улучшила свою модель ранжирования рекламы в поиске, чтобы повысить вовлеченность покупателей и видимость продавцов. Целью было лучше предсказать намерение совершить покупку, отображая более релевантные рекламные списки. Это было достигнуто за счет двух основных улучшений: интеграции архитектуры Multigate Mixture of Experts (MMoE) и использования добавления в корзину в качестве вспомогательного сигнала.Оригинальная многозадачная модель была оптимизирована для коэффициента кликабельности (CTR) и коэффициента конверсии после клика (PCCVR), но страдала от скудости данных на более поздних этапах процесса покупки. MMoE решает проблему "эффекта качелей" при многозадачном обучении, когда оптимизация одной задачи может ухудшить другую. Она вводит специализированные "экспертов" и "ворота", которые позволяют задачам учиться уникальным закономерностям, сохраняя при этом выгоду от общих представлений.Архитектура MMoE включает в себя общую нижнюю часть, а затем экспертов, которые являются параллельными подсетями, обучающими разные закономерности данных. Каждая задача имеет сеть управления, которая контролирует, как она объединяет выходы экспертов, оптимизируя как CTR, так и PCCVR.Настройка MMoE включала эксперименты с количеством, размером и типом экспертов. Гетерогенные эксперты (на основе DCN и MLP) показали улучшенные метрики. Среди проблем было обеспечение использования и специализации экспертов.Техники регуляризации, такие как dropout экспертов и масштабирование температуры, были изучены для решения этих проблем. Масштабирование температуры, которое смягчает распределение вероятностей выбора эксперта, оказалось более эффективным в содействии как использованию, так и специализации.Помимо кликов и покупок, Etsy признала ценность других взаимодействий пользователей, таких как добавление в корзину и избранное. Эти действия указывают на высокое намерение совершить покупку и более частые, чем покупки, предлагая более сильные сигналы для модели.Введение вспомогательных задач, в частности добавления в корзину, помогает модели учиться более общим представлениям вовлеченности пользователей. Это использует более частые сигналы для пользы более скудного прогнозирования покупок, в конечном итоге приводя к более эффективной системе ранжирования.