「統計的に有意」なら、効果は大きく確実に役立つ？

p値は何を仮定して計算するか

p値は、帰無仮説と統計モデルの条件を置いたとき、観測した検定統計量以上に極端な値が出る確率です。どちら向きの差を極端と見るか、どんな抽出やばらつきを仮定するかも計算の条件です。p値の説明は、置いた条件を抜いて読むことができません。

この確率は「帰無仮説が正しい確率」ではありません。また、「見つかった効果が偶然だった確率」や「結論が間違っている確率」とも違います。仮説を仮定したときのデータの出方と、データを見た後の仮説の確率は、問いの向きが違うためです。

決めた基準よりp値が小さいと帰無仮説を棄却する手順があります。しかし、基準を超えたかだけで、データの質やモデルの条件、因果関係まで確かめたことにはなりません。どの差をどう比べた結果なのかが、まず必要です。

小さいp値と、大きい効果を分ける

p値や有意性は効果の大きさを表す数字ではありません。平均の差を検定するモデルでは、推定した差を、推定値のばらつきを表す標準誤差で割って比べます。同じ差でも、推定のばらつきが小さい場合と大きい場合では、検定結果が変わり得ます。

標本規模や調査設計も標準誤差に関わります。条件のそろったモデルで精密に推定すれば、小さな差でも有意になることがあります。逆に、実際には重要かもしれない大きさでも、推定の幅が広く、差を十分に確かめられない場合があります。

「有意だった」という一語で結果をまとめず、差が何分、何円、何ポイントかを読みます。その差についてどの範囲の不確かさが残るかも確認します。大きさと精度を別々に見れば、同じ有意という表示でも内容が違うことが分かります。

使うかどうかは、差と費用も比べる

米国統計学会の声明は、科学や事業・政策の判断を、p値が特定の基準を超えたかだけで決めるべきでないとしています。実際の目的にとってどれくらいの差が意味を持つか、実施にどんな費用が必要かという問いは、検定だけでは答えられません。

因果効果を主張するなら、差を生んだ原因を分ける研究設計も必要です。調査の二集団に有意差があったという結果と、一つの施策がその差を起こしたという結果を、同じ説明にしません。別の集団へ使えるかも対象の条件によります。

有意でなかった場合も、差が厳密にゼロだと証明したことにはなりません。推定差と区間を見て、重要な大きさの差まで除けたのか、それとも不確かさが広く残るのかを考えます。結果の二択表示より、判断に必要な大きさと条件を持ち帰ります。

窓口の待ち時間を短くする提案

架空の例

市が、窓口の案内方法を変える提案を比べるとします。比較する研究から「平均待ち時間をわずかに短縮する差が有意」と報告されたとしても、その一文だけでは導入を決められません。何分の差か、どんな比較から得たのか、新しい案内の費用はどれくらいかを確かめます。

市が重視するのが長時間待つ人の改善なら、平均の差だけで目的に答えられるかも考えます。統計的に確かめられた差、利用者にとって重要な差、導入の価値という三つの問いを分けます。

持ち帰る見方

• p値は仮説とモデルを置いた条件付きの確率で、仮説が真の確率ではありません。
• 有意性、差の大きさ、推定の精度は別々に見ます。
• 政策判断には研究設計や実際の意味・費用も必要で、非有意もゼロの証明ではありません。

次に広がる疑問

• たくさん比べた中で見つかった一つの差をどう読む？
• 観測した差を政策の原因と呼べる条件は何？

出典

• Survey Methods and Practices（カナダ統計局（Statistics Canada））https://www150.statcan.gc.ca/n1/en/pub/12-587-x/12-587-x2003001-eng.pdf

  確認日：2026-10-04

• Statement on Statistical Significance and P-Values の公表文（6原則）（米国統計学会（American Statistical Association））https://www.amstat.org/asa/files/pdfs/P-ValueStatement.pdf

  確認日：2026-10-04