Hello there, ('ω')ノ
前回までは、仮説検定における「p値」や「有意水準」について解説しました。 今回はさらに一歩進んで、仮説検定で起こり得る“判断ミス”について考えてみましょう。
それが、よく聞く 「第1種の過誤（Type I error）」と「第2種の過誤（Type II error）」 です。
これは分析結果の解釈ミスや意思決定の誤りにもつながるので、 ビジネスで分析を活用したい方にはぜひ押さえていただきたいポイントです！
✅ 過誤（エラー）とは何か？
仮説検定では、「差がある／ない」という判断を下します。 でも…その判断が間違っていることもあります。
その間違いには、以下の2つのパターンがあります：
🔴 第1種の過誤（Type I Error）
本当は差がないのに、「差がある」と判断してしまうエラー。
✔ 例
- 実際には効果がない広告Bを、「効果あり！」として採用してしまう。
- 無実の人を「有罪」と判定してしまうイメージ。
🔍 原因
- 有意水準（α）が低すぎないか？
- 偶然のばらつきに過剰に反応してしまった。
🔵 第2種の過誤（Type II Error）
本当は差があるのに、「差がない」と判断してしまうエラー。
✔ 例
- 本当は優秀な新商品があるのに、「旧商品と変わらない」と見なして見逃してしまう。
- 有罪の人を「無罪」としてしまうイメージ。
🔍 原因
- サンプルサイズが小さすぎる。
- 検出力（後述）が弱く、差を捉えきれない。
🧠 判断パターンを表で整理すると…
| 現実の状態 → 検定結果 ↓ |
差がある（H₁が真） | 差がない（H₀が真） |
|---|---|---|
| 差があると判断 | 正解（検出成功） | ❌ 第1種の過誤 |
| 差がないと判断 | ❌ 第2種の過誤 | 正解（見送り成功） |
✅ エラーを避けるにはどうすればいい？
① 有意水準（α）の設定に注意する
- α = 0.05（5%）は定番だが、厳しすぎると第2種の過誤が増えやすい。
- 逆に緩くすると第1種の過誤が増える。
🔧 業界・用途によって使い分けよう：
| 分野 | 有意水準（例） | 理由 |
|---|---|---|
| 医療・安全 | 0.01（1%） | 偽陽性のリスクを極力減らすため |
| マーケティング | 0.05 | バランス型 |
| ゲームやテスト設計 | 0.10 | 機会損失を抑えたい場面で有効 |
② 検出力（パワー）を上げる
📌 検出力とは？
本当に差があるときに、それを正しく見抜く力。
高い検出力 ＝ 第2種の過誤が起こりにくい！
✔ 検出力を上げるには？
- サンプル数を増やす（最も効果的！）
- 効果量を見積もる（違いの大きさ）
- 標準偏差を抑える（データのばらつき）
③ p値や信頼区間だけに頼らず「効果の大きさ」も見る
✔ 効果量（Effect Size）とは？
- 「どのくらい違いがあるか？」の実務的な意味の大きさ。
- 有意でも、効果が小さければ「意味のない差」になる可能性あり。
🎯 実務での過誤のリスクと対策
| シーン | 過誤 | 対策 |
|---|---|---|
| A/Bテストで誤った差を採用 | 第1種 | 有意水準を設定・効果量も確認 |
| 本当に売れる商品の導入を見送る | 第2種 | サンプル数を確保・検出力アップ |
| 顧客満足度の改善効果が見逃される | 第2種 | データの質を上げる・測定設計を見直す |
✅ まとめ：過誤を知れば、検定の“落とし穴”が見える
| 項目 | 内容 |
|---|---|
| 第1種の過誤 | 本当は差がないのに「差あり」と判断 |
| 第2種の過誤 | 本当は差があるのに「差なし」と判断 |
| 有意水準 | 第1種の過誤を制御するカギ |
| 検出力 | 第2種の過誤を防ぐポイント（サンプル数が重要） |
| 実務では | 「正しい判断」と「現実的コスト」のバランスが重要 |
Best regards, (^^ゞ
