企業が顧客、製品、コードに関するデータを収集すればするほど、重複した情報が蓄積され、それに依存するチームを混乱させます。何百万ものレコードを手作業で処理することはありません。そのため、重複排除は今や機械学習の問題となっています。この記事では、古い技術が依然として有効な機械学習システムにおける重複検出の現状と、埋め込みと大規模言語モデルがもたらしたものについて考察します。 機械学習システムはどのように重複を検出するのか？人間は2つの画像や2つの文字列を見て、それらが同じかどうかを知ることができます。機械に同じことを教えることは、難しい疑問を投げかけます。「似ている」とはどういうことでしょうか？類似度には度合いがあります。「Jon Smith, 12 Oak St.」は「Jonathan Smith, 12 Oak Street」と同じ顧客でしょうか？