LLM04：データ＆モデル汚染 – FireTailブログ

「LLM（大規模言語モデル）に対するOWASP Top 10リスクには、4番目にリストされている「データおよびモデル汚染」が含まれます。データ汚染とは、モデルに脆弱性を導入するためにデータが操作されることであり、バイアス、誤情報、あるいはハルシネーション（幻覚）の形で現れることが多いです。この種の汚染は、LLMのライフサイクルのあらゆる段階、すなわち事前学習から埋め込みまでで発生する可能性があり、外部データソースを利用するモデルでより発生しやすいです。攻撃者は、モデルの学習期間中に有害な情報を導入し、偏った出力を引き起こす可能性があります。また、ユーザーは気付かずに機密情報をモデルと共有してしまうかもしれません。開発者も、モデルが消費する情報を制限しないことで、誤ったデータソースを取り込んでしまい、意図せずデータ汚染に加担してしまう可能性があります。データ汚染のリスクを軽減するには、データの出所を追跡し、データソースを検証し、出力を信頼できるソースと照合して検証することが不可欠です。テストとバージョン管理も、リスクレベルを判断し、データ汚染を回避する上で重要です。さらに、サンドボックス、インフラストラクチャ制御、異常検知などの技術は、信頼できないデータソースへの接触をフィルタリングし制限するのに役立ちます。データセットのファインチューニング、Retrieval-Augmented Generation（検索拡張生成）、グラウンディング技術の利用も、ハルシネーションやデータ汚染のリスクを軽減できます。しかし、これらの対策を講じても、セキュリティチームは油断してはなりません。データの出所が隠されていたり、テスト中に汚染されたコンテンツが検出されなかったりする場合には、データ汚染が依然として発生する可能性があるからです。」