От классификации изображений к моделированию нескольких задач: создание функции поиска по изображению на Etsy

Функция поиска по изображению на Etsy позволяет пользователям искать товары, похожие на загруженные ими фото. Эта функция использует модель машинного обучения, чтобы преобразовывать изображения в численные представления, называемые вложениями, которые затем используются для поиска по сходству. Модель основана на предварительно обученной сверточной нейронной сети (СВС), которая была дообучена для задачи обучения вложений изображений. Модель обучается с помощью подхода multitask learning, где она одновременно учится выполнять несколько задач классификации, включая категорию товаров, цвет и атрибуты. Чтобы уменьшить предвзятость в сторону высококачественных изображений товаров, модель также обучается на наборе данных из пользовательских фото-отзывов. Конвейер инференции включает в себя создание приближенного ближайшего соседа (ANN) индекса с помощью алгоритма инвертированного файла (IVF), чтобы оптимизировать производительность поиска. Запросы фото интерпретируются в реальном времени с помощью технологии GPU-инференции, чтобы обеспечивать быстрые ответы. Функция поиска по изображению была впервые разработана во время хакатона CodeMosaic Etsy и с тех пор реализована как функция в производстве. Функция помогает покупателям открывать для себя уникальные и особенные вещи на Etsy, предоставляя им новый и интуитивный способ поиска похожих продуктов. Архитектура модели и цель обучения были оптимизированы для обеспечения визуально согласованной результаты, сохраняя при этом категориальную точность. Добавление фото-отзывов в обучающий набор данных значительно улучшило способность модели находить соответствующие результаты из пользовательских фото. Функция была хорошо принята пользователями и способствовала увеличению вовлеченности и удовлетворенности покупателей на Etsy.