Pinterest разработал новую легковесную модель ранжирования под названием Nexus, которая выходит за рамки традиционных двухбашенных архитектур. Эта модель совместно предсказывает вероятность клика (pCTR), вероятность хорошего клика (pGCTR30) и вероятность исходящего клика (pOCTR). Для эффективной поддержки этих предсказаний эмбеддинги сегментируются для каждой задачи. Система Nexus позволяет использовать более сложные архитектуры моделей, такие как перекрестное внимание и моделирование последовательностей. Однако оценка сотен тысяч кандидатов на запрос создает значительные проблемы с задержкой и стоимостью. Для решения этой проблемы была разработана трехбашенная модель совместного обучения, сочетающая быстрое двухбашенное предсказание с более полным трехбашенным предсказанием.Эта архитектура сохраняет исходные башни запроса и Pin для эффективного кэширования и предсказаний скалярным произведением. Она вводит третью перекрестную башню, использующую внимание между последовательностями пользователя и признаками кандидатов, и межмодуль для объединения этих эмбеддингов. Модель обучается совместно, что позволяет получить быструю оценку для всех кандидатов и более точную оценку для подмножества. Такой подход балансирует производительность и задержку, распределяя вычислительные ресурсы там, где они наиболее эффективны. Перекрестная башня улавливает высокоуровневые взаимодействия, в то время как межмодуль генерирует общее представление для всех задач.Процесс обучения использует многозадачную функцию потерь, придавая больший вес основным трехбашенным потерям по сравнению с вспомогательными двухбашенными потерями совместного обучения. Это гарантирует, что трехбашенные предсказания являются основной целью оптимизации, сохраняя при этом качество быстрых двухбашенных предсказаний. Были реализованы значительные оптимизации обслуживания для управления вычислительными затратами. К ним относятся предварительная обработка признаков Pin в башне Pin, чтобы избежать вычислений на каждый запрос, и использование инференса с пониженной точностью с BF16. Эти оптимизации значительно сократили время инференса модели P99, сделав трехбашенный подход практичным в масштабе. Совокупность изменений привела к существенному снижению офлайн-потерь и положительным онлайн-метрикам бизнеса.