이미지 분류에서 멀티태스크 모델링까지: Etsy의 이미지 검색 기능 구축

에스티의 이미지 검색 기능은 사용자가 업로드한 사진과 유사한 항목을 검색할 수 있도록 합니다. 이 기능은 기계 학습 모델을 사용하여 이미지로 부터 숫자 표현을 추출하여 유사성 검색에 사용합니다. 이 모델은 이미지 임베딩을 학습하기 위해 미리 학습된 합성곱 신경망(CNN)을 기반으로 하며, 항목 카테고리, 색상 및 속성과 같은 여러 분류 작업을 동시에 수행하는 다중 작업 학습 접근 방식을 사용하여 학습됩니다. 고품질 제품 이미지를 사용하여 편향을 줄이기 위해, 모델은 사용자 제출 리뷰 사진 데이터 세트로도 학습됩니다. 추론 파이프라인에는 검색 성능을 최적화하기 위해 역파일(IVF) 알고리즘을 사용하여 근사 최근접 이웃(ANN) 인덱스를 구축합니다. 쿼리 사진은 실시간으로 GPU 추론 기술을 사용하여 빠른 응답 시간을 보장합니다. 이미지 검색 기능은 에스티의 CodeMosaic 해커톤에서 처음 개발되었으며 이후 프로덕션 기능으로 구현되었습니다. 이 기능은 구매자에게 새로운 검색 방법을 제공하여 에스티에서 고유하고 특별한 항목을 발견할 수 있도록 도와줍니다. 모델의 아키텍처와 학습 목표는 시각적으로 일관된 결과를 생성하면서 카테고리 정확성을 유지하도록 최적화되었습니다. 리뷰 사진을 학습 데이터 세트에 추가하면 모델이 사용자 제출 사진에서 관련 결과를 제공하는 능력이 크게 향상되었습니다. 이 기능은 사용자로부터 좋은 반응을 얻었으며 에스티에서 구매자 참여도와 만족도를 높이는 데 기여했습니다.