La nature de plus en plus humaine de l'IA conversationnelle est une arme à double tranchant. Bien que réussie sur le plan de la conception, son naturel rend difficile la distinction entre vérité et plausibilité, conduisant à une confiance mal placée. Cela crée une boucle de rétroaction où la dépendance à l'IA diminue nos capacités de pensée critique. Les systèmes d'IA, contrairement aux logiciels traditionnels, sont imprévisibles, générant des sorties basées sur la probabilité statistique plutôt que sur une véritable compréhension. Les utilisateurs perçoivent souvent le langage humain de l'IA comme de la magie, sans se rendre compte qu'il s'agit d'une chaîne de mots probables. Cette illusion de compréhension peut conduire à accepter des informations fabriquées comme des faits.Le problème principal est que l'objectif d'utilité de l'IA est en conflit avec la transparence nécessaire à une confiance véritable. L'anthropomorphisme de l'IA par le langage et les indicateurs de « pensée » crée un lien mais supprime les signaux d'incertitude cruciaux. Contrairement aux humains, l'IA n'hésite pas et ne nuance pas ses affirmations, paraissant aussi confiante qu'elle soit correcte ou incorrecte. Cela rend la détection des erreurs incroyablement difficile et favorise une confiance basée sur le sentiment plutôt que sur les performances réelles.Les solutions actuelles comme l'explicabilité sont souvent réactives et découragées par le format conversationnel. Les garde-fous, bien présents, ont des limites et peuvent être contournés. Les entreprises investissent dans la création d'une IA humaine tout en s'attendant à ce que les utilisateurs gardent leurs distances grâce à des clauses de non-responsabilité, offrant une fausse assurance. Cette approche place le fardeau d'une utilisation responsable sur les utilisateurs tout en fournissant des outils qui découragent le scepticisme.Une meilleure approche consiste à repenser le frottement, à traiter la transparence comme une capacité sur laquelle s'appuyer. Au lieu de béquilles qui favorisent la dépendance, l'IA devrait agir comme un échafaudage, développant progressivement la capacité des utilisateurs à évaluer l'information. Un « mode d'apprentissage » pourrait mettre en évidence l'incertitude et inciter à la vérification, les protections diminuant avec le temps au fur et à mesure que les utilisateurs développent leurs compétences. Pour les décisions à enjeux élevés, une transparence maximale, nécessitant une vérification externe, pourrait être mise en œuvre. Ce compromis introduit des frottements, mais il est protecteur et éducatif, favorisant la pensée indépendante plutôt que la dépendance.