Чем больше данных компании собирают о своих клиентах, продуктах и коде, тем больше накапливается дублирующейся информации, что сбивает с толку команды, которые на нее полагаются. Миллионы записей вручную не переберешь. Поэтому дедупликация теперь стала проблемой машинного обучения. В этой статье рассматривается текущее состояние обнаружения дубликатов в системах машинного обучения, где старые методы все еще работают, а также то, что привнесли в эту область эмбеддинги и большие языковые модели. Как системы машинного обучения обнаруживают дубликаты?Человек может посмотреть на две картинки или две строки и понять, одинаковые ли они. Обучение машины тому же самому поднимает сложные вопросы. Что такое «похожее»? Существуют степени сходства. Является ли «Джон Смит, ул. Дуб, 12» тем же клиентом, что и «Джонатан Смит, ул. Оук, 12»?