Создание крупномасштабной сист... Заметка

Создание крупномасштабной системы извлечения информации на основе машинного обучения в Pinterest

В Pinterest миссия заключается в том, чтобы вдохновить пользователей создавать жизнь, которую они любят, и найти подходящий контент в интернете является ключевым для этой миссии. Система рекомендаций компании включает в себя несколько этапов, включая поиск и ранжирование, чтобы предложить пользователям подходящий контент. Модель ранжирования - это мощная модель на основе трансформера, которая учитывает долгосрочное и краткосрочное взаимодействие пользователей, но система поиска ранее основывалась на эвристических подходах. Чтобы улучшить это, Pinterest создала внутреннюю систему поиска на основе встроенных представлений, обученную на основе зарегистрированных событий взаимодействия пользователей, которая была развернута для домашнего ленты и уведомлений. Система использует двухбашенный подход, где одна башня учится вычислять встроенное представление запроса, а другая башня учится вычислять встроенное представление элемента, что позволяет эффективно обслуживать онлайн с помощью поиска ближайших соседей. Модель обучается с помощью выборочного softmax-approach для коррекции популярности и долгосрочного взаимодействия пользователей, профиля и контекста, которые кодируются как вход. Проект системы включает в себя разделение встроенных представлений элементов на онлайн-обслуживание и офлайн-индексацию с автоматическим повторным обучением для обновления знаний пользователей и учета recent trends. Чтобы обеспечить синхронизацию версий модели, к каждому хосту сервиса поиска ближайших соседей прикрепляется метаданные версии модели, содержащие отображение имени модели к последней версии модели. Учебный генератор кандидатов поиска достиг наивысшей степени покрытия пользователей и наивысшей частоты сохранения в топ-3, и помог отменить два других генератора кандидатов с огромными общими выигрышами на сайте.
CdXz5zHNQW_jl6TXRt0LH.png