Le fait de faire oublier aux modèles d'IA des données indésirables nuit à leurs performances

Les techniques dites d'« désapprentissage » sont utilisées pour faire oublier à un modèle d'IA générative des informations spécifiques et indésirables qu'il a acquises à partir des données d'entraînement, comme des informations privées sensibles ou des matériaux protégés par le copyright. Cependant, les techniques actuelles de désapprentissage sont un double tranchant : elles pourraient rendre un modèle comme OpenAI's GPT-4o ou Meta's Llama 3.1 405B beaucoup moins capable de répondre à des questions, ce qui pourrait être problématique pour les utilisateurs.