Текст исследует опасные последствия уверенных заявлений ИИ, особенно в сочетании с доверием к известным брендам. При разработке процесса онбординга продукта на базе ИИ обсуждалось, но в итоге было отвергнуто искушение использовать обманные приемы, такие как фальшивые анимации загрузки, чтобы произвести впечатление на пользователей, из-за опасений ввести их в заблуждение. Это подчеркивает основную проблему: люди часто доверяют уверенности больше, чем точности, — тенденция, которой пользуется ИИ, выдающий неверную информацию с той же уверенностью, что и правильные ответы. В отличие от людей, модели ИИ могут становиться более уверенными после ошибок, не имея естественных сигналов колебания, на которые мы привыкли полагаться. Обманные шаблоны, такие как скрытые кнопки отписки, манипулируют поведением, но заставить пользователей поверить в надежность ИИ до того, как он ее заслужил, — это гораздо более коварная форма обмана. Исторически уверенно ошибающиеся люди сталкивались с последствиями, что делало доверие к уверенности разумной стратегией. Однако масштаб и непрозрачность ИИ усиливают этот риск. Авторитетный уклон заставляет людей доверять информации на основе ее источника, даже вопреки собственному суждению, как показали исторические эксперименты. Продуктивизированные эксперты, лишенные человеческих колебаний, предлагают выводы в масштабе, но это устраняет важный элемент надежности. Компании, использующие доверенные имена для ИИ, рискуют растратить десятилетия заработанного доверия одним-единственным, уверенно ошибочным выводом. Дорогое падение акций Google после ошибки Bard и юридическая ответственность Air Canada за вымышленную политику ее чат-бота иллюстрируют серьезные финансовые и репутационные издержки. Асимметрия доверия означает, что оно строится медленно, но может быстро рухнуть, причем ИИ усугубляет это, совершая ошибки в беспрецедентном масштабе под знаменем доверенного бренда.