Авторы стремились обновить свою систему показа рекламы, выйдя за рамки модели Two-Tower, чтобы использовать более сложные нейронные сети, требующие этапа вывода на основе GPU. Основной задачей была интеграция этого нового этапа без увеличения задержки в их высокооптимизированной воронке показа. Они решили проблему узкого места при извлечении признаков, объединив высокоценные признаки-кандидаты непосредственно в модель и используя высокопроизводительное хранилище "ключ-значение" для других. Бизнес-логика, такая как фильтрация и сортировка, была перенесена в модель для повышения эффективности, минимизируя передачу данных. Значительное снижение задержки было достигнуто за счет оптимизации GPU, включая многопоточный CUDA и слияние ядер. Авторы также переработали поток данных извлечения, сначала возвращая основные метаданные, а остальные извлекая позже. Дальнейшее улучшение задержки было достигнуто за счет введения параллельных путей для расширения признаков. Наконец, неожиданное изменение метрик возникло из-за перехода от локального к глобальному ранжированию, что потребовало тщательного анализа и настройки для поддержания производительности. Этот переход представляет собой значительные усилия по перепроектированию для повышения качества рекомендаций.