Intuit столкнулась со значительными трудностями при разработке своего агентивного ИИ, что потребовало двух крупных архитектурных пересмотров за короткий период. Изначально они перешли от независимых специализированных агентов к центральному слою оркестровки, чтобы упростить взаимодействие с клиентами. Однако этот оркестратор вышел из строя из-за сложности, поскольку передача информации между агентами на естественном языке приводила к накоплению ошибок и потере контекста. Система вышла из строя, потому что каждому агенту приходилось делать выводы о предыдущих шагах, что снижало точность при увеличении числа агентов в цепочке.Вследствие этого Intuit вернулась к архитектуре, основанной на навыках и инструментах, завершив перестройку за 60 дней. Убеждение руководства включало демонстрацию превосходной производительности новой системы на реальных запросах клиентов. Получение поддержки инженеров было сосредоточено на преимуществах масштабируемости общих навыков и инструментов по сравнению с изолированными агентами. Этот сдвиг также переопределил обязанности команд в сторону оценки, а не создания агентов.Перестройка привела к появлению клиентских функций, таких как бесшовная интеграция человеческой поддержки в диалоги с ИИ, позволяющая напрямую связываться со специалистами. Система Intuit отдает приоритет явному разрешению на действия с финансовыми данными, укрепляя доверие со временем благодаря журналу аудита для подотчетности. Сбор обратной связи превратился из редких, поляризованных ответов в то, что почти каждый разговор служил источником данных. Нхунг Хо лично возвращается к программированию для разработки моделей, которые систематически анализируют этот огромный объем прямой обратной связи от клиентов, даже когда она критична, для улучшения системы.