LLM04: Daten- & Modellvergiftung – FireTail Blog

Die OWASP Top 10 Risiken für LLMs umfassen Data und Model Poisoning, welches das vierte aufgeführte Risiko ist. Data Poisoning (Datenvergiftung) tritt auf, wenn Daten manipuliert werden, um Schwachstellen in ein Modell einzuführen, oft in Form von Verzerrungen, Falschinformationen oder Halluzinationen. Diese Art der Vergiftung kann in jeder Phase des Lebenszyklus eines LLM auftreten, vom Vortraining bis zum Embedding, und tritt häufiger bei Modellen auf, die externe Datenquellen nutzen. Angreifer können dem Modell während seiner Trainingsphase schädliche Informationen zuführen, was zu verzerrten Ausgaben führt, und Benutzer können unwissentlich sensible Informationen mit dem Modell teilen. Entwickler können auch unbeabsichtigt zur Datenvergiftung beitragen, indem sie die Informationen, die das Modell konsumiert, nicht einschränken und es so ermöglichen, ungenaue Datenquellen aufzunehmen. Um das Risiko der Datenvergiftung zu mindern, ist es wichtig, die Datenherkunft zu verfolgen, Datenquellen zu überprüfen und Ausgaben anhand vertrauenswürdiger Quellen zu validieren. Tests und Versionierung sind ebenfalls entscheidend, um Risikostufen zu bestimmen und Datenvergiftung zu vermeiden. Darüber hinaus können Techniken wie Sandboxing, Infrastrukturkontrollen und Anomalieerkennung helfen, die Exposition gegenüber unzuverlässigen Datenquellen zu filtern und zu begrenzen. Das Feinabstimmen von Datensätzen und die Verwendung von Retrieval-Augmented Generation und Grounding-Techniken können ebenfalls die Risiken von Halluzinationen und Datenvergiftung reduzieren. Aber selbst mit diesen Maßnahmen müssen Sicherheitsteams wachsam bleiben, da Datenvergiftung immer noch auftreten kann, insbesondere wenn die Datenherkunft verborgen ist oder vergiftete Inhalte während der Tests nicht erkannt werden.