Shikata Ga Nai

Private? There is no such things.

LLM02:2025 — 機密情報漏洩(Sensitive Information Disclosure)を初心者向けに徹底解説

Hello there, ('ω')ノ

機密情報漏洩とは?

LLMの内部や関連システムには以下のような情報が含まれることがあります:

  • 個人識別情報(PII):氏名、メールアドレス、電話番号など
  • 企業秘密や機密文書:契約書、設計資料、財務情報
  • セキュリティ情報:APIキー、認証情報、内部システム構成
  • 学習データ:利用者ログや対話履歴

これらが不適切な出力や設定ミスによって漏洩することがあります。


具体例:初心者でもイメージしやすい攻撃シナリオ

例 1:ユーザーの個人情報が出力に混ざる

  • 攻撃/状況:AIが複数ユーザーの会話を処理中、別ユーザーのメールアドレスを回答に混ぜてしまった。
  • 被害:プライバシー侵害、法的責任。
  • 簡単防御:PIIを自動検出し、マスク処理してから保存・出力

例 2:学習データから内部情報が再現される

  • 攻撃:AIに「内部の規則を詩にして」と依頼。
  • AIの誤作動:過去のログや設定文がそのまま出力される。
  • 被害:内部仕様やセキュリティ制御の漏洩。
  • 簡単防御:学習前にデータを匿名化/除外

例 3:APIキーの誤露出

この続きはcodocで購入