Сбои в работе ИИ часто носят организационный, а не технический характер, возникая из-за нечеткости человеческих решений, а не ограничений модели. Основные проблемы лежат на предыдущих этапах: определение цели, обеспечение надзора, предоставление достаточного контекста, использование точного языка, постановка ожиданий, проведение оценок, уточнение результатов и выбор подходящих инструментов. Опыт Anthropic подчеркивает, что по мере ускорения ИИ в генерации кода, ограничением становится не создание, а решение того, что создавать. Это увеличение скорости требует лучшего согласования и контроля со стороны человека, уделяя особое внимание пользовательскому опыту и продуманному планированию.Многие проекты ИИ терпят неудачу, потому что они начинаются с возможностей инструмента, а не с понимания намерений пользователя, что приводит к созданию функций, которые никогда не используются. Начинать с проблемы пользователя, сформулированной его собственными словами, прежде чем упоминать ИИ, крайне важно для согласования последующих решений. Распространенной ошибкой является использование слишком мощных ИИ-агентов для простых задач, что неэффективно и рискованно; сопоставление инструмента с задачей, например, использование помощника для поиска информации или автоматизации фиксированных шагов, имеет важное значение. Агентный ИИ следует использовать только тогда, когда требуются реальные решения в условиях неопределенности, с четкими границами и контрольными точками для человека.Установление четких ожиданий для пользователей относительно требований к вводу и надежности вывода жизненно важно, чтобы избежать чрезмерной зависимости или отказа от инструментов ИИ. Системы ИИ должны четко сообщать о своих возможностях, ограничениях и уровнях точности, подобно тому, как новый сотрудник проходит адаптацию. Большинство внедрений ИИ страдают от отсутствия четкой ответственности и подотчетности за решения системы и их последствия. Установление надежного надзора посредством разрешений и контрольных точек является наиболее надежным способом предотвращения вредоносных действий ИИ. По сути, сбои ИИ — это не сбой машины, а сбой человеческих решений, которые ею управляют.