数据公司收集的客户、产品及代码数据越多，重复信息就越会不断累积，令依赖这些数据的团队感到困惑。人们不会手动处理数百万条记录，因此去重如今已成为一个机器学习问题。本文探讨了当前机器学习系统中重复检测的现状：哪些传统技术依然有效，以及嵌入表示和大语言模型带来了哪些新进展。机器学习系统如何检测重复项？人类可以查看两张图片或两个字符串，并判断它们是否相同。但要教会机器做同样的事，却会引发诸多难题。什么是“相似”？相似度是有程度之分的。那么，“Jon Smith, 12 Oak St.”与"Jonathan Smith, 12 Oak Street"算不算同一位客户？