予測はどれだけ当たるのか ― 10年分で検証した、正直な話

予測を出しているサイトとして、私がいちばん大事にしているのは、「その予測が当たったのかを、自分で検証して公開する」ことです。当てるだけ当てて結果を振り返らないのは、フェアじゃないと思っているので。この記事では、その検証の中身を正直に書きます。

10年分、8千試合超でテストした

Pennant Labの予測モデルは、過去10年・8,400試合あまりのデータでバックテスト（＝過去に当てはめてどれだけ当たったかの検証）をしています。結果はこんな感じです。

1試合単位の勝敗の的中率：およそ 55%
Brierスコア（確率の当てはまりの良さ）：0.245

Brierスコアは聞き慣れないと思いますが、「予測した確率が、実際の結果とどれだけ合っていたか」を測る数字で、小さいほど良い、という指標です。

「55%」は、低いのか

的中率55%と聞くと、「思ったより低いな」と感じるかもしれません。私も最初はそう思いました。

でも、ここが野球の面白いところで、そもそもコイントスは50%です。そして野球は番狂わせの多いスポーツで、シーズンで6割勝てば優勝級のチーム。どんなに強いチームでも、4割は負けるんです。つまり「勝敗を事前に当てる」というのは、そもそもかなり難しい。そのなかで50%を5ポイント上回っているというのは、「そこそこ効いている」水準だと考えています。

派手に当たるわけではないけれど、コイントスよりは確かに賢い。それがこのモデルの実力の、正直なところです。

序盤は、外すこともある

シーズンの途中経過を予測する場合、序盤ほど外しやすい傾向もあります。分かりやすい例が2021年のセ・リーグで、最終的に優勝したヤクルトは、開幕から1か月の時点では優勝確率がわずか1%でした。そこからの大逆転だったので、序盤の予測は完全に外していたことになります（この年の詳しい推移は2021年の振り返りで見られます）。

こういう「外した」記録も、隠さずに残すようにしています。効くと思って試して、検証の結果ダメで外した要素もいくつもある。予測は万能ではなくて、あくまで「今持っているデータでの、最善の見立て」でしかありません。

数字は、たたき台として使ってほしい

なので、Pennant Labの数字は、信じ込む対象ではなく、議論のたたき台として使ってもらえたら理想です。「モデルはこう言ってるけど、自分はこう思う」と上書きしてもらうくらいがちょうどいい。

仕組みのほうに興味が出たら、Eloレーティングやモンテカルロの記事も覗いてみてください。どういう根拠でこの55%が出ているのか、少し見え方が変わると思います。