LLM04 : Empoisonnement des données et des modèles – Blog FireTail

Les 10 principaux risques de l'OWASP pour les LLM incluent l'empoisonnement des données et des modèles, qui est le quatrième risque répertorié. L'empoisonnement des données se produit lorsque les données sont manipulées pour introduire des vulnérabilités dans un modèle, souvent sous forme de biais, de désinformation ou d'hallucinations. Ce type d'empoisonnement peut se produire à n'importe quelle étape du cycle de vie du LLM, du pré-entraînement à l'intégration, et est plus susceptible de se produire dans les modèles qui utilisent des sources de données externes. Les attaquants peuvent introduire des informations nuisibles dans le modèle pendant sa période d'entraînement, ce qui conduit à des sorties biaisées, et les utilisateurs peuvent partager sans le savoir des informations sensibles avec le modèle. Les développeurs peuvent également contribuer involontairement à l'empoisonnement des données en ne limitant pas les informations que le modèle consomme, ce qui lui permet d'ingérer des sources de données inexactes. Pour atténuer le risque d'empoisonnement des données, il est essentiel de suivre l'origine des données, de vérifier les sources de données et de valider les sorties par rapport à des sources fiables. Les tests et le versionnement sont également essentiels pour déterminer les niveaux de risque et éviter l'empoisonnement des données. De plus, des techniques telles que le sandboxing, les contrôles d'infrastructure et la détection d'anomalies peuvent aider à filtrer et à limiter l'exposition à des sources de données non fiables. Le réglage fin des ensembles de données et l'utilisation de la génération augmentée par la récupération et des techniques d'ancrage peuvent également réduire les risques d'hallucinations et d'empoisonnement des données. Cependant, même avec ces mesures en place, les équipes de sécurité doivent rester vigilantes, car l'empoisonnement des données peut toujours se produire, en particulier lorsque la provenance des données est cachée ou que le contenu empoisonné n'est pas détecté lors des tests.