«Ксави Аматриайн, директор по искусственному интеллекту и данным Expedia Group, заявил, что оценки теперь служат основным документом с требованиями к продукту для систем ИИ. Эти оценки, включая «красное тестирование», встраивают требования безопасности на ранних этапах процесса проектирования. Он считает, что генерация кода с помощью ИИ улучшит этот подход, сосредоточив все мысли разработчиков на оценках. Ранее Аматриайн занимал важные должности в области ИИ в Google, прежде чем присоединиться к Expedia.Исследование VentureBeat выявляет значительный разрыв в доверии к автоматизированным оценкам: многие предприятия внедряют ИИ без полной уверенности в этих системах. Значительное количество ИИ-агентов потерпели неудачу во взаимодействии с реальными клиентами, несмотря на прохождение внутренних оценок. Аматриайн утверждает, что чрезмерные ограничения могут препятствовать циклам обратной связи и искажать процессы обучения, рассматривая их как необходимое, но уменьшающееся зло. Модель управления Expedia включает принципы, процессы и автоматизацию, а контрольные точки выпуска откалиброваны в соответствии с уровнями риска.Аматриайн выступает за специализированных агентов, объединенных в более крупные системы, а не за монолитный ИИ, считая этот подход более безопасным и управляемым. Архитектура Expedia строится от компонентов к навыкам, субагентам и, в конечном итоге, к оркестрованным агентским системам. Он подчеркивает, что системный дизайн, а не конкретная модель, имеет решающее значение для эффективной разработки ИИ. Узкое ограничение агентов облегчает изолированную оценку и блокировку перед интеграцией.Expedia использует генерацию с дополненным поиском и прямые вызовы API в зависимости от требований к задержке, обеспечивая немедленные ответы для кэшированной информации и более сложное рассуждение для данных в реальном времени. В отличие от обычных чат-ботов, Expedia перекрестно проверяет заявления поставщиков с собственными данными отзывов. Важно отметить, что пользователь сохраняет за собой окончательное решение о бронировании, что является не подлежащим обсуждению решением по безопасности, защищающим от несанкционированных действий. Аматриайн подчеркивает, что безопасность должна быть интегрирована с этапа проектирования, минимизируя необходимость в последующих ограничениях.Он прогнозирует, что системы ИИ будут все чаще подвергаться угрозам со стороны других мощных ИИ-агентов, что делает быстрое обнаружение и устранение последствий необходимым. Непрерывный цикл обратной связи от операционных систем ИИ к оценке имеет решающее значение для быстрых исправлений. Управление Expedia, откалиброванное по уровню риска, направлено на то, чтобы опережать этот цикл обратной связи, признавая растущий ландшафт угроз и необходимость надежных мер безопасности».