Корпоративный ИИ входит в "про... Заметка
VentureBeat на русском

Корпоративный ИИ входит в "пробел оценки": агенты обретают автономию быстрее, чем компании могут их верифицировать.

Команды корпоративного ИИ предоставляют агентам больше автономии, даже несмотря на снижение уверенности в автоматизированном тестировании. Значительная часть предприятий сообщает о неудачах ИИ-агентов в клиентских ролях, несмотря на успешное прохождение внутренних оценок. Многие организации разрешают развертывание в производственной среде без человеческого контроля или планируют сделать это в ближайшее время. Это создает "разрыв в оценке", когда автономия агента опережает гарантии. Традиционные методы тестирования недостаточны для агентов с динамическими возможностями принятия решений. Предприятия не доверяют автоматизированным оценкам из-за плохого соответствия реальным результатам, предвзятости и отсутствия объяснимости. Основная проблема заключается в том, что возможности не равны последовательности или надежности. Следовательно, повторяемость должна быть основным показателем, а производственные инциденты должны учитываться при тестировании. Автономия должна расширяться на основе продемонстрированной надежности и последствий сбоев. Действия с низким риском могут допускать более широкую автономию, в то время как действия с высоким риском требуют более строгих порогов и путей эскалации для человека. Рынок будет продолжать отдавать предпочтение большей автономии, но успех зависит от приоритета повторяемости и регрессионного тестирования над скоростью развертывания.
CdXz5zHNQW_0j3EPNhYEz.png