Hello there, ('ω')ノ 「平均を出したら、ものすごく大きな値が混じっていて意味がなかった…」 「一部のデータだけ極端におかしい」 こんな経験はありませんか？ こういった“場違いな値”は、外れ値（がいれち／アウトライアー）と呼ばれ、分析をゆがめる原因…

Hello there, ('ω')ノ データ分析において、よくある困りごとの一つが「見た目は合ってるのに、中身がヘン！」という問題です。 たとえばこんな経験、ありませんか？ 「日付」と思ったら文字列だった 「数値」と思ったら“十”とか“0円”が混じっていた 「男性…

Hello there, ('ω')ノ データ分析やレポート作成をしていると、必ず出会うのが 「空欄」や「値が入っていない」という問題。 この状態のデータは、「欠損値（けっそんち）」と呼ばれ、SQLやExcelでは NULL（ヌル） という特別な値で表現されます。 放ってお…

Hello there, ('ω')ノ データ分析を始める前に避けて通れないのが、「データの掃除（クレンジング）」です。 その中でも非常に多いトラブルの一つが「重複データ（ダブり）」。 たとえば顧客名簿に同じ人が2回登録されていたり、売上データに同じ取引が重複…

Hello there, ('ω')ノ 「SQLでデータを取るのはいいけど、遅い…」 「大量データを扱ったら、結果が出るまで待たされる」 こんな経験はありませんか？ データ量が増えると、クエリ（データ抽出の命令）のパフォーマンスが非常に重要になります。 ✅ まずは、な…

Hello there, ('ω')ノ 「データベースから欲しい情報だけ取り出したい」 「分析のためにデータを抽出したい」 そんなときに欠かせないのが、SQL（エスキューエル）というデータ操作言語です。 ✅ クエリって何？ 「クエリ（query）」とは、データベースに送る…

Hello there, ('ω')ノ 1. ビジネスロジック脆弱性とは？ アプリが「正しく」動いた結果、ビジネスルールを破壊してしまう状態 （入力検証など技術的な脆弱性ではなく、仕様上の抜け穴） コードはエラーを出さず、ステータス 200 を返す WAF／スキャナでは検…

Hello there, ('ω')ノ 1. 権限昇格とは？ 区分 説明 例 縦（Vertical） 低権限 → 高権限へ 一般ユーザ → 管理者 横（Horizontal） 同レベル間だが他人のリソースへ ユーザ A → ユーザ B の情報 どちらも 「本来できない操作ができる」 点が共通。 バグバウン…

Hello there, ('ω')ノ 1. まずは“入力点”を洗い出す 入力面 例 チェック方法 URL パラメータ ?q=検索ワード 末尾に '">< など追加 POST フォーム ログイン／問い合わせ Burp で送信内容を編集 HTTP ヘッダー User-Agent Referer Repeater で任意文字列を注入…

Hello there, ('ω')ノ 1. なぜ API テストが重要か？ 観点 理由 機能の集中 本番ロジック・認可判断・データ処理が API に集約 UI 非依存 フロント改装後もエンドポイントは生存し続ける 自動攻撃の的 Bot やスクリプトが直接 API を叩くほうが効率的 2. テ…

Hello there, ('ω')ノ 1. 入力フォームが狙われやすい理由 観点 内容 自由度 テキスト・数値・ファイル・URL など多様な入力を受け取る コード密度 バリデーション、DB 書き込み、メール送信など処理が複数絡む 「動くからOK」思考 ユーザテストは通るがセキ…

Hello there, ('ω')ノ 1. なぜ GitHub で秘密情報が漏れるのか？ 原因 具体例 コミット忘れ .env に本番 DB パスを書いたまま push 履歴に残存 直後に削除しても git log で丸見え Fork 連鎖 他人に Fork され、コピー先で公開状態に Gist 誤用 メモ用に貼っ…

Hello there, ('ω')ノ データベースや分析の話になると、よく出てくる用語に「OLAP（オーラップ）」と「OLTP（オーエルティーピー）」があります。 一見似ていますが、この2つは目的も、得意な処理もまったく異なるシステム構造です。 簡単に言うと： OLTP：…

Hello there, ('ω')ノ データ分析やBIツールの活用に取り組むと、よく目にするのが「ETL」や「ELT」という言葉。 似たような言葉ですが、データをどの順番で処理するかという違いがあり、仕組みも使いどころも異なります。 ✅ ETL・ELTとは？ まずは言葉の意…

Hello there, ('ω')ノ データ収集といえば、アンケートやシステムログのような「数字で集まるデータ」をイメージする方が多いかもしれません。 しかし、現場に足を運び、直接観察して手で記録する「フィールドワーク型データ収集」も、実は非常に価値の高い…

Hello there, ('ω')ノ 「お客様の声を集めたい」 「社内の満足度を測ってみたい」 そう考えたときに活用されるのがアンケート調査です。 ただし、アンケートは設計を間違えると、集めたデータが使い物にならないことも…。 せっかく時間と労力をかけるなら、…

Hello there, ('ω')ノ 「ホームページにある情報を手作業でコピーするのが面倒…」 「特定のサイトから最新情報を毎日取りたい」 そんなときに力を発揮するのが、Webスクレイピング（Web scraping）という技術です。 これは、インターネット上のページからデ…

Hello there, ('ω')ノ 「APIって最近よく聞くけど、正直よくわからない…」 「プログラミングの話？」と思っている方も多いかもしれません。 でも、APIはデータ分析や業務システムでも頻繁に使われる“便利なデータの取り出し口”なんです。 今回は、IT初心者の…

Hello there, ('ω')ノ 「面白いデータで分析練習がしたい」 「公開データを使って社内の教育用に使えないかな？」 そんなときにぜひ活用したいのが、世界中のデータサイエンティストが集まるKaggle（カグル）というプラットフォームです。 ✅ Kaggle（カグル…

Hello there, ('ω')ノ 「社内に使えるデータがない」「どこから情報を取ればいいかわからない」―― そんなときに頼りになるのが、公共データ（オープンデータ）の存在です。 最近では、国や自治体、研究機関などが無料で公開している信頼性の高いデータが豊富…

Hello there, ('ω')ノ 業務でデータを扱っていると、毎日のようにいろんなファイル形式に出会います。 たとえばCSVやExcel、PDF、JSON、画像ファイルまで――。 「このファイルってどうやって開けばいいの？」「何に使えるの？」と悩んだことはありませんか？ …

Hello there, ('ω')ノ データ分析を進める中で、データのやり取りや保存にはさまざまなファイル形式（フォーマット）が使われます。 その中でも特によく登場するのが、CSV・JSON・HTMLという3つの形式です。 それぞれ見た目も構造も違いますが、「何に使われ…

Hello there, ('ω')ノ データ分析を始めると、「変数の種類（タイプ）」という言葉に出会うようになります。 これは、そのデータがどういう性質を持っていて、どんな分析が向いているのかを判断するための基本です。 特に、離散（Discrete）・連続（Continuo…

Hello there, ('ω')ノ データ分析を行ううえでとても重要なのが、「データの型（データ型）」の理解です。 実は、見た目が同じでも中身の型が違うと、正しく集計できないことがあります。 たとえば、数字に見えるのに合計できない。日付なのに並び順がおかし…

Hello there, ('ω')ノ データを扱っていると、必ず直面するのが「データの更新」に関する悩みです。 たとえば、顧客の住所が変わった、商品の価格が改定された、ステータスが更新された── そんなとき、「前のデータを上書きしていいのか？」「それとも履歴と…

Hello there, ('ω')ノ 近年、企業ではデータ活用が加速し、膨大な情報を保管・分析するための「データの保管場所」にも注目が集まっています。 その代表的な手段が 「データウェアハウス（DWH）」 と 「データレイク」 です。 名前は似ていますが、役割・特…

Hello there, ('ω')ノ 名前の通り、雪の結晶のように枝分かれした構造が特徴です。 一見複雑ですが、実務では大規模なデータ分析やデータベース設計でよく登場する形です。 ❄️ スノーフレーク型スキーマとは？ スノーフレーク型スキーマ（Snowflake Schema）…

Hello there, ('ω')ノ データ分析において、「データがどのように整理されているか」は非常に重要なポイントです。 複雑なデータベースでも、ある一定の「型」に従って整理されていることが多く、 それがいわゆる「スキーマ（schema）」と呼ばれるものです。…