RSS Stories by Pinterest Engineering on Medium
Подписаться
PinLanding: Превратите миллиарды продуктов в мгновенные торговые коллекции с помощью мультимодального ИИ
Крупные онлайн-платформы сталкиваются с проблемой организации миллиардов товаров в удобные для навигации торговые коллекции. Исторически эти коллекции основывались на истории поиска пользователей и ручной кураторской работе. Однако мультимодальные большие языковые модели (LLM) теперь позволяют генерировать коллекции непосредственно из контента, учитывая при этом паттерны поиска пользователей. В данной статье представлена Pinlanding — производственный конвейер для генерации торговых коллекций. Pinlanding состоит из четырех компонентов: понимание намерений пользователя при поиске, создание словаря торговых коллекций с использованием LLM, построение лент на основе атрибутов и оценка/развитие системы. Данные о взаимодействии пользователей помогают охарактеризовать намерения при покупках, выявляя как поисковые запросы с большим объемом, так и новые длиннохвостые разговорные запросы. Визуально-языковая модель генерирует первоначальные атрибуты продукта, которые затем курируются в компактный словарь с использованием статистической фильтрации, кластеризации на основе вложений и обзора с помощью LLM. Двухэнкодерная модель в стиле CLIP обучается для масштабируемого назначения атрибутов, эффективно сопоставляя продукты с атрибутами. Ray используется для масштабируемого пакетного вывода при назначении атрибутов, а Spark строит ленты, оценивая релевантность продукта теме. Классификатор на основе CLIP демонстрирует превосходную производительность на эталонном тесте по прогнозированию атрибутов моды. Человеческая оценка показывает, что Pinlanding значительно повышает точность качества коллекций по сравнению с традиционными методами. Система привела к четырехкратному увеличению количества уникальных тем покупок и 35% улучшению производительности поиска. Дальнейшая работа включает интеграцию социальных тенденций и разработку слоя ИИ-агента для обработки возникающих составных концепций.