Hello there, ('ω')ノ
OWASP TOP 10 LLM 2025年版の概要
OWASP（Open Web Application Security Project）は2025年版でLLM（大規模言語モデル）に関するセキュリティリスクを以下の10項目に分類している：
- LLM01：プロンプトインジェクション（Prompt Injection）
- LLM02：機密情報の漏洩（Sensitive Information Disclosure）
- LLM03：サプライチェーンの脆弱性（Supply Chain）
- LLM04：データおよびモデルの汚染（Data and Model Poisoning）
- LLM05：不適切な出力処理（Improper Output Handling）
- LLM06：過剰な自律性（Excessive Agency）
- LLM07：システムプロンプトの漏洩（System Prompt Leakage）
- LLM08：ベクターおよび埋め込みの脆弱性（Vector and Embedding Weaknesses）
- LLM09：誤情報（Misinformation）
- LLM10：無制限な消費（Unbounded Consumption）
実際の事例とOWASP分類
LLM01：プロンプトインジェクション
事例1：Google Bardの文書インジェクション攻撃（2024年） セキュリティ研究者が共有されたGoogle Docに悪意のある命令を埋め込んだ。Bardが文書を要約するよう求められた際、隠された悪意のあるコマンドを実行し、マークダウン画像を通じてデータの窃取を試みた。
事例2：Google Geminiの脆弱性（2025年8月） セキュリティ研究者が「Invitation Is All You Need」と呼ばれる攻撃手法で、Google Calendarの招待状に隠された悪意のあるプロンプトインジェクションによりGeminiを操作し、実際の物理的なスマートホームデバイス（照明の消灯、窓の開放、暖房の起動など）を制御することに成功した。
LLM02：機密情報の漏洩
事例1：ChatGPTのデータ漏洩事件（2023年3月） OpenAIのRedisライブラリの脆弱性により、ChatGPT Plus加入者の個人情報（氏名、メールアドレス、決済情報、クレジットカードの下4桁など）が他のユーザーに漏洩した。約1.2%の有料ユーザーの会話履歴も外部に流出した。
事例2：ChatGPTの記憶データ漏洩（2023年） 研究者がChatGPTに特定の単語を無限に繰り返すよう指示したところ、モデルが訓練データから個人識別可能情報（PII）である実際の名前、メールアドレス、電話番号を出力した。
LLM03：サプライチェーンの脆弱性
事例1：Hugging Faceの悪意のあるモデル（2024年） JFrog研究者が100以上の悪意のあるAI/MLモデルがHugging Face上に存在することを発見した。これらのモデルは「baller423/goober2」などのリポジトリ名で、ロードされると被害者のマシン上で任意のコードを実行し、攻撃者にバックドアアクセスを提供していた。
事例2：nullifAI攻撃手法（2025年2月） ReversingLabs研究者が、Pickle ファイルのシリアル化を悪用した新しい攻撃手法「nullifAI」を発見。Hugging Face上の2つの悪意のあるモデルが、圧縮形式の違いを利用してPicklescanセキュリティツールの検出を回避していた。
LLM04：データおよびモデルの汚染
事例：医療LLMへのデータ汚染攻撃（2024年） 研究者がThe Pileデータセットに対するデータ汚染攻撃のシミュレーションを実施し、HTMLドキュメントに隠されたAI生成の医療偽情報を注入した。このような汚染により、医療LLMが有害なコンテンツを生成するリスクが増加することが実証された。
LLM05：不適切な出力処理
事例：DeepSeekの出力インジェクション→XSS（2024年） プロンプトインジェクションを使用してDeepSeekチャットボットにJavaScriptが埋め込まれたHTMLを生成させ、WebアプリケーションでAIレスポンスの適切なサニタイゼーションが行われていない場合、格納型XSS攻撃が可能であることが実証された。
LLM06：過剰な自律性
事例：Microsoft Copilotの「EchoLeak」脆弱性（2025年6月） Aim Security研究者が発見したCVE-2025-32711は、Microsoft 365 Copilotにおける「LLMスコープ違反」により、組織外部からの信頼できない入力がAIモデルをハイジャックし、機密データへのアクセスと窃取を可能にする脆弱性だった。
LLM10：無制限な消費
事例1：LLMハイジャッキング攻撃（2024年-2025年） Sysdig脅威研究チームが発見した「LLMジャッキング」攻撃では、攻撃者がDeepSeekなどのLLMサービスにおいて大量のAPIキーを不正取得し、約20億トークンを不正使用した。これにより、正規ユーザーのサービス利用が阻害された。
事例2：DoS汚染攻撃（P-DoS）（2024年10月） 研究者がGPT-4oとGPT-4o miniに対し、1ドル未満のコストで単一の汚染サンプルを注入し、最大推論長（16Kトークン）まで繰り返し出力を生成させるDoS攻撃に成功した。
新たな脅威：北朝鮮のAPT攻撃（2025年1月）
Google Cloud脅威インテリジェンスの報告によると、北朝鮮政府系のAPTアクターがGeminiを使用して攻撃インフラの調査、ペイロード開発、悪意のあるスクリプト作成支援を行っていた。さらに、偽の身元を使用して西側企業での雇用を得る工作活動にもLLMが悪用されていた。
まとめ
これらの事例は、OWASPが特定したLLMセキュリティリスクが理論的なものではなく、実際に発生している脅威であることを示している。特にプロンプトインジェクション、機密情報漏洩、サプライチェーン攻撃は頻繁に報告されており、組織はこれらのリスクに対する包括的な対策を講じる必要がある。LLMの普及に伴い、これらの攻撃手法はより巧妙化し、実世界への影響も拡大している。
Best regards, (^^ゞ
