初心者ガイド > 確率校正と選択バイアス

確率校正と選択バイアス
— AI予想の「正しさ」を測る2つの基準

読み終わるまで: だいたい10分

1. 「確率」って何を意味するか

AIが「この艇は30%で1着になる」と言ったとき、 殿（あなた）はどう受け止めますか？

多くの人は 「3回に1回当たるんだな」 と理解する。これは正しい。 しかし、 「AIが30%と言ったレースで、本当に30%当たっているか」 は、また別の問題で御座る。

たとえば、AIが「30%」と予想したレースが100回あったとして：

• 実際に30回当たれば → 完璧な校正
• 実際に40回当たれば → AIが控えめすぎ（楽観的に直すべき）
• 実際に20回当たれば → AIが楽観的すぎ（控えめに直すべき）

この 「予想確率と実際の的中率の一致度」 を 「確率校正（カリブレーション）」 と呼ぶ。 AI予想の質を測る、最も基本的な指標で御座る。

2. 「校正がズレている」とどうなるか

確率校正がズレていると、 賭ける判断が全部狂う 。具体例を出す。

あるレースで、AIが「この艇は40%で当たる」と予想したとする。 オッズが3.0倍（つまり「市場予測 33%」）なら、これは 期待値プラス （40% × 3.0倍 = 1.20）と判断して買う。

しかし、 AIの校正がズレていて、実際は25%しか当たらない としたら、 期待値は 25% × 3.0倍 = 0.75 で 大赤字 。 これを長期で続ければ、25%ずつ負けていく。

つまり、 校正のズレは、賭ける判断を全部狂わせる致命的な問題 で御座る。

3. 校正の測り方 — Reliability Diagram

機械学習の世界では、確率校正を測るのに 「Reliability Diagram（信頼性ダイアグラム）」 という図を使う。

作り方：

1. AIの予想確率を10段階に分ける（0-10%, 10-20%, ..., 90-100%）
2. 各段階で、 実際の的中率 を計算する
3. 横軸に予想確率、縦軸に実際の的中率をプロット
4. 完璧な校正なら 対角線（y=x） 上に乗る
5. ズレが大きいほど、対角線から外れる

当サイトでは、各モデルでこの図を作って 「校正がズレていないか」 を確認しておる。 詳しくは methodology ページに技術詳細を載せる予定で御座る。

4. 選択バイアスとは何か

確率校正と並ぶもう一つの問題が、 「選択バイアス」 で御座る。

選択バイアスとは、 「都合のいいケースだけ選んで成績を計算してしまう」 問題のこと。 意図的でなくても、データの取り方によって自然に発生する。

これらは全部 「結果を見てから条件を決めている」 。 これでは 「将来も同じ成績が出る」 保証はどこにもない。 過去に都合よく当たっただけで御座る。

5. Strict Hold-out で選択バイアスを除去

選択バイアスを取り除く方法はシンプル。 「事前に条件を決めて、絶対に変えない」 こと。 これを 「strict hold-out（厳格な隔離）」 と呼ぶ。

具体的な手順：

1. 過去データを「学習用」と「評価用」に分ける（例: 8 : 2）
2. 学習用だけで AIモデルを訓練
3. 学習用だけで「閾値（賭けるかどうかの基準）」を決定
4. 評価用には 一切触らない （データを見ることすらしない）
5. 最後に評価用で 1回だけ ROIを計算する

このルールを守れば、 「未来のデータで同じ手法を使った場合の期待値」 が分かる。 評価用データを見て条件を変えたら、それは選択バイアス入りの数字に戻ってしまう。

6. 当サイトの選択バイアス除去

当サイトでは、 /performance/ ページで 2種類の数字 を出している：

複勝の場合、 rolling ROI は0.75、strict hold-out ROI は1.12。 差の +0.37 が 選択バイアスの大きさ を表す。 このバイアスを引いた「真の実力」が、将来期待できる数字で御座る。

世の中の予想サイトは 「rolling ROI」だけを実績として表示 するのが普通。 選択バイアスなしの数字を出してくれない。 詳しくは 回収率200%の罠 を読んでくだされ。

7. Bootstrap CI で「数字の不確実性」を測る

選択バイアスを除いた数字でも、 「サンプル数が少ないと、たまたまの可能性」 がある。 n=30の試行で「ROI 1.5」が出ても、それが 偶然か実力か は分からない。

これを判定するために 「Bootstrap信頼区間（CI）」 という方法を使う。 仕組みはシンプル：

1. 手元のデータから、 ランダムに サンプリング （重複あり）してデータセットを作る
2. そのデータセットでROIを計算
3. これを 1,000回〜10,000回繰り返す
4. 得られた1,000〜10,000個のROI値の 2.5%〜97.5% の範囲 が、95% Bootstrap CI

たとえば、 「ROI 1.16, CI [0.18, 2.47]」 という数字なら、 「真のROIはたぶん 0.18 〜 2.47 の間にある」 という意味。 幅が広すぎる場合は、 「数字がほぼ偶然」 と判断する。

8. 「実弾基準」を超えるとは何か

当サイトでは、 「strict hold-out ROI が 1.05倍以上」 を「実弾基準クリア」と呼んでおる。

1.05倍に意味がある理由：

• 1.0倍 → トントン（テラ銭25%を考えると実は奇跡）
• 1.05倍 → 100円賭けて平均105円戻る、 5%の利益マージン
• これくらいないと、ノイズに飲み込まれる（CI下限がマイナスに振れすぎる）

現状、 複勝（hold-out 1.12）だけが実弾基準クリア 。 単勝・3連単・3連複は超えていない。 詳しくは 過去30日 ROI ガチ分析 を読んでくだされ。

9. 「校正」と「バイアス」を両方守る

AI予想の質は、 確率校正 × 選択バイアス除去 の両方が揃って初めて担保される。

• 校正だけ守ってバイアス除去サボる → ROIが将来再現しない
• バイアス除去だけ守って校正サボる → 賭ける判断が狂う
• 両方守る → 将来も再現性ある正直なROI

当サイトは両方守ることに 運営コストの大半を割いている 。 地味だが、これがあるから「複勝1.12倍」という数字が 「将来も期待できる」 と言える。

10. 殿への一言

ここまで読んでくだされた殿は、もう 普通の予想サイトに騙されることはない はず。 「ROI 200%」「的中率 50%」を見たら、必ず聞いてくだされ：

• 「strict hold-out で計算しましたか？」
• 「Bootstrap CI はいくつですか？」
• 「サンプル数は何件ですか？」
• 「どの期間のデータですか？」

こういう質問に答えられない予想サイトは、 選択バイアス込みの数字 を出している可能性が高い。 しっかり中身を確認する習慣をつけてくだされ。

11. ギャンブル依存症窓口