Pinterest использует понимание контента для управления распространением и вовлечением, что требует понимания изображений и исходящих ссылок. Основная проблема заключается в нормализации URL-адресов, когда идентичные страницы продуктов отображаются под разными URL-адресами из-за параметров отслеживания. Эта избыточность приводит к растрате вычислительных ресурсов из-за повторного получения и обработки. Канонизация элементов направлена на унификацию идентичных элементов, представленных разными URL-адресами, что крайне важно для каталогов покупок. Когда идентификаторы элементов отсутствуют, продвинутая нормализация URL-адресов имеет решающее значение для дедупликации.Алгоритм Minimal Important Query Param Set (MIQPS) автоматически определяет, какие параметры URL влияют на идентичность контента. Он различает нейтральные параметры, которые не влияют на содержимое страницы, и ненейтральные параметры, которые влияют. В то время как статические правила работают для известных платформ, обширный набор доменов Pinterest требует динамического, основанного на данных подхода.Алгоритм MIQPS работает в три этапа. Во-первых, он собирает корпус наблюдаемых URL-адресов для каждого домена из конвейера приема Pinterest. Во-вторых, URL-адреса группируются по шаблону их параметров запроса, гарантируя, что параметры анализируются в их конкретном контексте. Это предотвращает неправильную классификацию параметра на основе другого типа URL.Наконец, для каждого параметра в шаблоне алгоритм эмпирически проверяет его важность. Он выбирает образцы URL-адресов с различными значениями параметров и вычисляет идентификаторы контента как для исходных, так и для измененных (с удаленным параметром) URL-адресов. Если удаление параметра изменяет идентификатор контента в значительном проценте образцов, он классифицируется как ненейтральный и сохраняется. В противном случае он считается нейтральным и может быть безопасно удален для нормализации. Каждый домен продавца получает свою собственную карту MIQPS, учитывающую значения параметров, специфичные для домена.