数字と報道
過去のデータにぴったり合う予測は、将来も正確？
過去にぴったり合うだけでは、将来の予測の正確さは分かりません。モデルを作るデータと評価するデータを分け、予測時点で利用できた情報だけで成績を測ります。時系列では時間の順序も守ります。
基本の用語
モデルが既に見た数字をどれだけ再現したかと、まだ見ていない数字をどれだけ当てたかは別の問いです。予測を選ぶときは、いつ何を知っていたのかを評価の設計に入れる必要があります。
もう少し詳しく知りたいときは、次の基礎で補えます。
- 予測の幅と、複数のシナリオは何が違う？点予測・将来値の予測区間・平均の推定区間・前提を変えるシナリオを区別する。
過去への当てはまりと、新しい値の予測を分ける
訓練データへの当てはまりは、そのデータでモデルを作った後の残差から調べられます。一方、予測誤差は評価対象の実際の値と、その値を見ずに作った予測との差です。二つは作る時点と使える情報が異なります。
過去の変動へ細かく合わせるモデルは、訓練中の誤差を小さくできても、新しいデータで同じ成績になるとは限りません。過去の再現がよいという結果だけでは、予測に必要な評価を終えたことになりません。
学習する期間と、評価する期間を分ける
モデルを学習する訓練データと、予測を評価するデータを分けます。評価対象の値を見てモデルを作れば、その値はまだ見ていないデータではなくなります。どの期間で学び、どの期間を評価したかを明示します。
評価結果を何度も見てモデルを選んだ場合も、その評価データへ選択を合わせることになります。最終的な成績を知りたいデータと、モデルを調整するために使うデータの役割を分ける必要があります。
時系列では、予測する時点より前だけで学ぶ
時系列の予測では、予測の起点までに得られた観測だけで学習します。例えば、ある月までの値を使って翌月を予測し、次は一か月先へ起点を動かして予測します。そのたびに、予測時には知らなかった後の値と照合します。未来の観測を訓練に混ぜる分け方とは意味が違います。
一時点先を予測する成績と、数時点先を予測する成績も別です。目的に合う予測期間をそろえ、十分な訓練期間を確保して比べます。時間の順序を守った評価でも、その後の全期間で同じ誤差になる保証ではありません。
平均の計算や変数選びにも、評価情報を混ぜない
情報の混入は、モデルの係数を決めるときだけ起こるのではありません。平均で欠損を補う、尺度をそろえる、変数を選ぶといった準備にも、評価データの情報を使わないようにします。
例えば補うための平均を訓練データだけで学び、その同じ平均で評価データを処理します。全データの平均を先に計算してから分けると、評価対象から情報が入ります。学ぶ処理と、学んだものを適用する処理を区別します。
誤差の大きさを、同じ単位と目的で比べる
誤差を「実際の値−予測値」と置くと、正と負の誤差が打ち消し合う平均だけでは大きさを見落とします。MAEは誤差の絶対値の平均、RMSEは誤差を二乗して平均し、その平方根を取ったものです。どちらも元の値と同じ単位になります。
RMSEは大きい誤差を二乗してからまとめます。どちらの指標を使うかは目的に合わせ、同じ対象・単位・予測期間で比べます。別の尺度の数値を単純に並べたり、誤差の小ささだけでモデルの因果的な説明力を判断したりはできません。
二回の予測の誤差を数える
架空の例
ある数量を二時点で100と110と観測し、それぞれを見る前の予測を105と100と置きます。実際の値から予測を引いた誤差は−5と10です。MAEは（5＋10）÷2＝7.5です。RMSEは（25＋100）÷2＝62.5の平方根で、約7.9です。どちらも元の数量と同じ単位です。
この計算で分かるのは、設定した二回の予測の成績です。予測を作るために実際の100と110を使っていたなら、同じ計算をしても見ていない値の評価とは呼べません。数字だけでなく作った順序を確かめます。
持ち帰る見方
- 予測する値をまだ見ていない状態で、評価の情報と時間を分ける。
- 前処理も訓練だけで学び、誤差は同じ単位・期間・目的で比べる。
次に広がる疑問
- 一つの予測値と不確かさの区間を読む
- 公表後に数字が変わる理由を確かめる
- 条件によって比較が変わるモデルを読む
順番に読んでいる方へ
出典
Forecasting: Principles and Practice (3rd ed) — 5.8 Evaluating point forecast accuracy（Rob J. Hyndman / George Athanasopoulos / OTexts）https://otexts.com/fpp3/accuracy.html
確認日：2026-10-05
scikit-learn documentation — Common pitfalls and recommended practices（scikit-learn developers）https://scikit-learn.org/stable/common_pitfalls.html
確認日：2026-10-05
Forecasting: Principles and Practice (3rd ed) — 5.10 Time series cross-validation（Rob J. Hyndman / George Athanasopoulos / OTexts）https://otexts.com/fpp3/tscv.html
確認日：2026-10-05
本文の出典・補足
過去への当てはまりと、新しい値の予測を分ける
訓練データへの残差が小さくても、新しいデータの予測誤差が小さいとは限らない。十分多くのパラメーターを使えば過去へよく合わせられるが、それだけでは将来を当てる力を確かめられない。
- 対象
- 新しい時点の値を予測するモデルの評価。時系列順に利用できる情報を区別する。
- 条件
- モデルを推定したデータ上の当てはまりと、推定に使わないデータを予測した誤差を比較する。
- 例外・限界
- 残差と評価側の予測誤差ではデータと予測段数が違い得る。一つの評価期間が良かったことを、どの将来期間にも同じ精度の保証としない。
Forecasting: Principles and Practice (3rd ed) — 5.8 Evaluating point forecast accuracy（Rob J. Hyndman / George Athanasopoulos / OTexts）https://otexts.com/fpp3/accuracy.html
学習する期間と、評価する期間を分ける
訓練データでモデルのパラメーターを推定し、その推定に使わない評価データで誤差を見る。比べるモデルには同じ評価対象と予測期間を用意する。
- 対象
- 新しい時点の値を予測するモデルの評価。時系列順に利用できる情報を区別する。
- 条件
- 評価に使う値は予測を作るために使わない。必要な予測の先の長さに合う評価期間を用意する。
- 例外・限界
- 評価データを見て選んだ模型を同じデータだけで最終評価すると、模型選択にその情報を使ったことになる。評価側をモデルの選択に使わない条件を保つ。
Forecasting: Principles and Practice (3rd ed) — 5.8 Evaluating point forecast accuracy（Rob J. Hyndman / George Athanasopoulos / OTexts）https://otexts.com/fpp3/accuracy.html
scikit-learn documentation — Common pitfalls and recommended practices（scikit-learn developers）https://scikit-learn.org/stable/common_pitfalls.html
時系列では、予測する時点より前だけで学ぶ
時系列の交差検証では、各評価時点より前の観測だけで学び、予測の起点を順に進めて誤差を集める。必要なら一段先だけでなく、使いたい複数段先の予測も評価する。
- 対象
- 新しい時点の値を予測するモデルの評価。時系列順に利用できる情報を区別する。
- 条件
- 未来の観測を訓練に混ぜない。各起点で利用できるデータの長さと、評価した予測段数を決める。
- 例外・限界
- 並べ替えた時間の前後を無視し、後の値から前の値を予測した結果を、その時点で可能だった予測としない。
Forecasting: Principles and Practice (3rd ed) — 5.10 Time series cross-validation（Rob J. Hyndman / George Athanasopoulos / OTexts）https://otexts.com/fpp3/tscv.html
平均の計算や変数選びにも、評価情報を混ぜない
情報漏洩は、実際の予測時に使えない情報を模型作成に使うことで起きる。データを分けても、全体から計算した平均での正規化などを先に行えば、評価側の情報が学習へ入ることがある。
- 対象
- 新しい時点の値を予測するモデルの評価。時系列順に利用できる情報を区別する。
- 条件
- 前処理で学ぶ平均や変数選択等は訓練側から求め、その学習済み変換を評価側へ適用する。
- 例外・限界
- 訓練と評価へ同じ変換を適用することと、両方から変換の値を学ぶことを区別する。
scikit-learn documentation — Common pitfalls and recommended practices（scikit-learn developers）https://scikit-learn.org/stable/common_pitfalls.html
誤差の大きさを、同じ単位と目的で比べる
予測誤差は実際の値から予測値を引いた差で、絶対値の平均MAEや二乗平均の平方根RMSEなどにまとめられる。同じ単位の対象と同じ予測段数で、目的に合う指標を比べる。
- 対象
- 新しい時点の値を予測するモデルの評価。時系列順に利用できる情報を区別する。
- 条件
- 観測値と予測値の対象を合わせる。MAEは元の変数と同じ単位で、符号が相殺しない。
- 例外・限界
- 異なる単位の系列のMAEを、単位をそろえず数だけで比べない。誤差がゼロでないことを、そのまま計算ミスと扱わない。
Forecasting: Principles and Practice (3rd ed) — 5.8 Evaluating point forecast accuracy（Rob J. Hyndman / George Athanasopoulos / OTexts）https://otexts.com/fpp3/accuracy.html