Улучшение поддержки глубокого обучения в платформе машинного обучения Etsy

Предоставление масштабных моделей ранжирования глубокого обучения сопровождается сложностями из-за высокой задержки и вычислительных затрат. Чтобы преодолеть эти проблемы, команда Search Ranking в Etsy создала Caliper - инструмент для раннего обратной связи по задержке во время разработки модели. Изолировав компонент вывода, Caliper позволяет эффективно настраивать параметры, такие как размер пакета. Кроме того, увеличение наблюдаемости за счет распределенного трассирования и журналов доступа Envoy позволили команде обнаружить узкое место в передаче признаков. Используя методы сжатия, размер полезной нагрузки удалось значительно уменьшить, что привело к уменьшению частоты ошибок на 68% и снижению задержки p99 на 50 мс. Чтобы быть готовым к будущим сложностям, команда изучает дополнительные оптимизации размера полезной нагрузки и улучшает Caliper для автоматического настройки производительности. Эти достижения позволили команде Search Ranking эффективно обслуживать модели глубокого обучения в масштабе, обеспечивая быстрые и точные результаты поиска для пользователей Etsy.