기업이 고객, 제품, 코드에 대해 더 많은 데이터를 수집할수록 중복 정보가 축적되어 이를 활용하는 팀을 혼란스럽게 합니다. 수백만 건의 기록을 수동으로 검토할 수는 없습니다. 따라서 중복 제거는 이제 머신러닝 문제가 되었습니다. 이 글에서는 기존 기법이 여전히 작동하는 ML 시스템에서의 중복 탐지 현황과 임베딩 및 대규모 언어 모델이 가져온 변화를 살펴봅니다. ML 시스템은 어떻게 중복을 탐지하는가?사람은 두 개의 그림이나 두 개의 문자열을 보고 동일한지 알 수 있습니다. 기계에 동일한 작업을 가르치는 것은 어려운 질문을 제기합니다. '유사함'이란 무엇인가? 유사함에는 정도가 있습니다. "Jon Smith, 12 Oak St."는 "Jonathan Smith, 12 Oak Street?"와 동일한 고객인가?