Zillow столкнулась с проблемой, связанной с клиентскими путями, охватывающими несколько этапов и специалистов, что требовало сохранения контекста на протяжении всего взаимодействия. Один чат-бот оказался недостаточным для этого сложного и длительного процесса. Старший вице-президент Zillow по инжинирингу Тоби Робертс и генеральный директор Glean Арвинд Джайн обсудили свою архитектуру ИИ, разработанную для поддержания этого контекста. Они подчеркнули, что именно контекст, а не необработанные данные, оказался более сложной проблемой для решения. Работа Zillow в области ИИ началась с создания прочного фундамента данных с использованием дата-меша и надежного управления. Однако настоящим препятствием стало создание системы, которая запоминала бы прогресс клиента и передавала эту информацию через различные платформы.Zillow решила создать собственный постоянный слой контекста, а не полагаться на внешние чат-интерфейсы, осознавая специфику сделок с недвижимостью. Их подход использует небольшие, специализированные на задачах модели ИИ, доработанные для различных целей, вместо одной универсальной модели. Внутри компании Zillow использует тысячи агентов Glean для автоматизации повторяющихся задач. Платформа Glean централизует интеграционную работу, предотвращая дублирование между отделами и выступая в качестве меры экономии затрат. Это достигается за счет маршрутизации моделей к менее дорогим моделям и предварительно вычисленного контекста, что значительно снижает потребление токенов.Для предприятий, начинающих использовать агентный ИИ, Zillow и Glean предлагают ключевые рекомендации. Установление базовых показателей до внедрения ИИ имеет решающее значение для количественной оценки воздействия. Централизация управления контекстом позволяет избежать избыточных усилий по интеграции между командами. Конфиденциальные данные требуют дополнительных проверок соответствия, помимо автоматизированных разрешений. Наконец, контекст следует рассматривать как инструмент оптимизации затрат, а не просто как функциональную возможность, что демонстрируется маршрутизацией моделей и предварительно вычисленным контекстом.