説明する数字を増やすほど、回帰の答えは安定する？

同じ情報を二重に入れると係数を分けられない

ある説明変数が、ほかの説明変数の完全な線形結合になっていると、元の全ての係数を一意に求められません。説明変数をX1とX2、その係数をβ1とβ2とします。X2＝2X1なら、β1X1＋β2X2は（β1＋2β2）X1になり、データから二つの係数を別々に識別できません。

これは観測が少ないから推定が少し揺れるという問題とは異なります。完全な関係を保ったまま観測を追加しても、同じ組合せに何通りもの係数を当てられます。どの変数を残し、何を比較したいかを考える必要があります。

似た数字では各係数の不確かさが増える

完全な線形結合でなくても、説明変数同士の重なりが強いと、各係数の推定が不精確になり得ます。ほかの変数から分けて使える変動が小さくなるためです。個別の係数の標準誤差と、模型全体の当てはまりを混同しないことが要点です。

この比較は、説明変数を固定し、誤差の平均が0、分散が同じで互いに無相関という条件で考えます。誤差分散、観測数、その変数自身のばらつきをそろえると、他の説明変数との重なりが増えるほど係数の分散が大きくなります。

二つずつの相関だけでは見落とす

二つの変数の相関だけを調べても、複数の変数による線形関係を見落とす場合があります。一つの変数がほかの複数の変数を合わせたものに近いかどうかも、別に考える必要があります。

VIFは、ある説明変数をほかの説明変数で説明したときの重なりから、係数の分散がどの程度大きくなるかを見る指標です。よく使う目安の数値があっても、それだけで全ての分析に共通する採否の境界が決まるわけではありません。

係数の解釈と当てはめを分ける

係数の精度が悪い場合でも、観測した範囲で変数が一緒に動く組合せを使う当てはまりが、必ず同じ程度に悪くなるとは限りません。しかし、これまでと違う組合せへの予測まで保証されるという意味ではありません。

また重なる変数を一つ外すことは、係数を計算しやすくする対応でも、因果分析に必要な交絡の調整を満たすとは限りません。どの変数を外してよいかは、説明したい関連や因果の問いと、使えるデータに合わせて判断します。

二つの係数を分けられない例

架空の例

X2＝2X1のデータで、同じ切片を使って比べます。β1＝2、β2＝1なら合計の係数β1＋2β2は4です。β1＝0、β2＝2でも4になります。例えばX1＝3、X2＝6のとき、2×3＋1×6も、0×3＋2×6も12です。どのX1でも、二つの係数の組合せは同じ予測値を作ります。

このデータでは、X1だけを変えてX2を固定する組合せはありません。予測値が同じだと分かっても、X1を単独で1だけ変えたときの係数をデータから一つに決めたことにはなりません。完全な関係と、重なりが強いが完全ではない関係も区別します。

持ち帰る見方

• 完全な線形結合では全係数を分けて求められず、強い重なりも精度に関わる。
• 個別係数、当てはまり、新しい条件の予測、因果の条件を分ける。

次に広がる疑問

• ほかの変数をそろえる回帰の意味を読む
• 二つの変数の相関が表す範囲を確かめる
• 変数の積で条件別の比較を表す方法を読む

出典

• Multicollinearity（Marco Taboga / Statlect）https://www.statlect.com/fundamentals-of-statistics/multicollinearity

  確認日：2026-10-05

• Introduction to Econometrics with R — 6.4 OLS Assumptions in Multiple Regression（Christoph Hanck, Martin Arnold, Alexander Gerber, Martin Schmelzer / University of Duisburg-Essen）https://www.econometrics-with-r.org/6.4-ols-assumptions-in-multiple-regression.html

  確認日：2026-10-05

• An Introduction to Statistical Learning with Applications in R（Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani / Springer）https://www.statlearning.com/s/ISLR-Seventh-Printing.pdf

  確認日：2026-10-05