Команда Etsy по релевантности поиска стремится помочь покупателям найти именно то, что они ищут, а продавцам — охватить этих покупателей. Они разработали фреймворк семантической релевантности для улучшения результатов поиска за пределами сигналов вовлеченности, используя большие языковые модели (LLM). Этот фреймворк использует данные, курируемые людьми, и LLM для создания категорий: релевантные, частично релевантные и нерелевантные. Система использует аннотатор LLM, модель учителя и модель ученика с различными компромиссами в точности и скорости. Эта трехуровневая система улучшает поиск, фильтруя нерелевантные листинги, обогащая функции и корректируя веса ранжирования. Фреймворк полностью развернут, и процент полностью релевантных листингов увеличился. Etsy планирует уточнить понимание релевантности, изучить более детальные метки, уменьшить усилия по аннотированию и оптимизировать свою многоступенчатую модель для дальнейшего улучшения.