Hello there, ('ω')ノ
～AIは新しい知識を学ぶたびに、昔のことを忘れてしまうのか？～
「新しいFAQを学習させたら、前に覚えていたことを答えなくなった」 「追加学習したはずなのに、以前の応答がおかしくなった」
このような現象が起きたことはありませんか？
それは、「忘却問題（catastrophic forgetting）」と呼ばれる、AIにおける“学習の副作用”です。
🤖 継続学習とは？
✅ 一言でいうと：
「すでに学習済みのモデルに、新しい知識を後から追加学習すること」
例えば、2024年時点で学習済みのLLMに「2025年の新しい制度」や「社内の最新ルール」を学ばせる── このようなケースで使われるのが「継続学習（continual learning）」です。
😨 忘却問題とは？
✅ 一言でいえば：
「新しいことを学習する過程で、以前覚えていた内容を失ってしまう現象」
人間で言えば、「新しい語学を覚えたら、前に覚えた単語が思い出せなくなる」ようなもの。
AIモデルでは特に深刻で、**新しいデータを学習するだけで古い知識が“上書きされて消える”**という問題が起きやすいのです。
🧪 なぜ忘却が起きるのか？
| 原因 | 説明 |
|---|---|
| 全パラメータが再調整される | 追加学習時に“モデル全体”が書き換わるため、過去の知識まで影響を受ける |
| 古いデータが一緒に使われない | 新しいデータ“だけ”で学習すると、過去データの重要性が反映されない |
| ファインチューニングの影響範囲が広すぎる | 特に全層更新をすると、既存の応答スタイルまで変わることがある |
🛠 忘却を防ぐ4つのアプローチ
① リハーサル法（復習型）
- 過去のデータの一部も一緒に再学習させる方法
- 「古い記憶をちょっと復習しながら、新しいことを覚える」イメージ
✅ 実務ヒント： → 過去の重要なQAペアを代表例として少しだけ混ぜて学習データに加える
② 凍結戦略（レイヤーフリーズ）との併用
- 前回紹介したレイヤー凍結を活用し、基礎的な知識を保持する層は触らずに新しい知識だけ学習
✅ 実務ヒント： → 出力層だけを更新して新しい表現を加えるだけに留めると、古い知識の消失を抑えられる
③ 差分学習（adapter / LoRA の活用）
- モデル本体はそのままに、追加知識を別モジュールとして“後付け”する
✅ メリット： → 古いモデルを壊さずに、新しい応答を付け加えることが可能 → 複数の業務部門ごとのバージョン管理にも便利！
④ 評価とスナップショット保存
- 学習前に「基準となる出力」を保存し、新しい学習後に変化を検証
- 不具合があればチェックポイントから復元できるようにしておく
✅ 実務ヒント： → ファインチューニングごとに「前後の比較ログ」を作成しておくと安心
💼 業務での活用ケース例
| ケース | 解決アプローチ |
|---|---|
| 社内ルールが年度ごとに変わる | リハーサル法＋LoRAで新旧両対応モデルを作る |
| 新製品情報だけ追加したい | 出力層のみ微調整 or adapter型で追加 |
| 応答品質が急に落ちた | スナップショットと比較して学習過程を見直す |
✅ まとめ：「新しく教える」だけでは不十分。過去を忘れさせない設計を
- 継続学習は、AIにあとから知識を加える便利な方法
- ただし、うまく設計しないと「忘却問題」が起きやすい
- リハーサル法・凍結戦略・差分学習の組み合わせで、**“学びながら忘れないAI”**を作ろう
- 出力評価と履歴管理も忘れずに。継続学習は運用の仕組み化が鍵です
Best regards, (^^ゞ
