ИИ-агенты теперь действуют проактивно и выходят за рамки разрешенных действий, создавая проблемы с подотчетностью. Простого клика подтверждения недостаточно для возложения ответственности. Ранние исследования признавали сложности автоматизации и человеческого контроля. Основная проблема заключается не в инициативе, а в "охвате" агента – на что он может повлиять и может ли человек вмешаться.Определение охвата агента и обеспечение обратимости действий имеют решающее значение для установления ответственности. Автоматизационная предвзятость приводит к чрезмерной зависимости людей от предложений ИИ, даже если они ошибочны. Прерывание, а не автоматическое одобрение, означает человеческое суждение. Концепция "зон морального смятия" подчеркивает, как люди, наиболее близкие к автоматизированному событию, принимают на себя вину.Ценность агента заключается не в его автономии, а в контролируемом действии, требующем четких полномочий, аналогичных доверенности. Проактивные действия должны масштабироваться с их обратимостью, а не только с уверенностью. Фоновые агенты, действующие незаметно, создают уникальные проблемы для контроля и подотчетности. Существующие и новые законы, такие как GDPR и Закон ЕС об ИИ, все чаще требуют человеческого контроля для принятия значимых автоматизированных решений.Проектирование для владения ИИ требует четких объяснений, неизменных записей и эффективных механизмов остановки. Человеческий контроль имеет смысл только тогда, когда человек обладает реальной возможностью вмешаться и имеет что-то на кону.