Все более человечная природа разговорного ИИ — палка о двух концах. Хотя он и удачен в плане дизайна, его естественность затрудняет различение правды и правдоподобия, что приводит к необоснованному доверию. Это создаёт замкнутый круг, когда зависимость от ИИ ослабляет наши навыки критического мышления. Системы ИИ, в отличие от традиционного программного обеспечения, непредсказуемы, генерируя выходные данные на основе статистической вероятности, а не истинного понимания. Пользователи часто воспринимают человекоподобную речь ИИ как магию, не подозревая, что это цепочка вероятностных слов. Эта иллюзия понимания может привести к принятию выдуманной информации за факт.Основная проблема заключается в том, что цель полезности ИИ противоречит прозрачности, необходимой для истинного доверия. Антропоморфизация ИИ посредством языка и индикаторов «мышления» создаёт связь, но устраняет важные сигналы неопределённости. В отличие от людей, ИИ не колеблется и не уточняет утверждения, проявляя одинаковую уверенность как в правильных, так и в неправильных ответах. Это делает обнаружение ошибок невероятно сложным и способствует формированию доверия, основанного на ощущениях, а не на реальной производительности.Современные решения, такие как объяснимость, часто являются реактивными и не приветствуются разговорным форматом. Ограничители, хотя и присутствуют, имеют ограничения и могут быть обойдены. Компании инвестируют в создание человекоподобного ИИ, ожидая при этом, что пользователи будут сохранять дистанцию благодаря отказам от ответственности, предлагая ложное чувство безопасности. Такой подход возлагает бремя ответственного использования на пользователей, предоставляя при этом инструменты, которые препятствуют скептицизму.Лучший подход заключается в переосмыслении трения, рассматривая прозрачность как возможность для развития. Вместо костылей, которые способствуют зависимости, ИИ должен выступать в качестве строительных лесов, постепенно развивая способность пользователей оценивать информацию. «Режим обучения» мог бы выявлять неопределённость и побуждать к проверке, причём защитные меры со временем ослабевают по мере развития навыков пользователей. Для важных решений может быть реализована максимальная прозрачность, требующая внешней проверки. Этот компромисс создаёт трение, но он защищает и обучает, способствуя независимому мышлению, а не зависимости.