見つけたい差に応じて、調べる人数をどう決める？

見逃す確率も設計にある

差が本当にあるのに帰無仮説を棄却しないことを、第二種の誤りと呼びます。その確率βに対し、検出力は1−βです。どんな大きさの差を仮定するかを指定して、検定がその差をどれくらい見つけられるかを考えます。

例えば意味のある差を見つける能力を高くしたいなら、その差、対象集団、結果の尺度、検定方法を先に定めます。差が1点のときと10点のときの検出力は、同じ人数でも同じとは限りません。効果があるという二択だけでは設計できません。

有意水準は、帰無仮説が正しいのに棄却する第一種の誤りに関係する別の確率です。検出力を80％にしたことは、第一種の誤りも20％にした意味ではありません。二つの誤りが何を条件にしているかを分けます。

見つけたい差に合わせて人数を考える

著者教材の検出力説明では、同じ検定条件なら、想定する差が大きいほど、ばらつきが小さいほど、人数が多いほど検出力は高くなりやすくなります。小さい差を捉えたい研究ほど、必要な精度を得るための情報量が問題になります。

有意水準を厳しくすると、同じ条件の下では棄却しにくく、検出力も低くなります。そのため「何人なら十分」という万能の人数はありません。見つけたい差と、見逃し・誤検出の条件をそろえて必要人数を設計します。

実際には割付や抽出の仕方、追跡で得られる人数なども設計に関わります。最初に募集した人数と、結果を測れた人数は同じとは限りません。また結果を見てから検定を片側へ変えるなどして、有意を得る方法を選び直すことはしません。

非有意と小ささの証拠を分ける

非有意は、その検定で帰無仮説を棄却しなかった結果です。真に指定の差がある場合にも見逃し得るので、差がゼロと証明したことにはなりません。設計時の検出力は、どんな差に対して見逃しを抑えようとしたかを読む情報です。

結果が出た後は、推定した差と不確かさの区間を、事前に考えた意味のある差と比べます。重要な差をなお含む広い区間と、重要な差を除く狭い区間は、同じ非有意でも分かる範囲が違います。p値だけで小ささを判断しません。

観測した差を後から仮定に入れた検出力を一つ計算しても、結果の証拠が増えるわけではありません。設計時に置いた想定と、観測した推定・区間を分けて説明します。差を発見する設計と、得た差を評価する工程は別です。

人数を決めた根拠を読む

研究報告では、主な結果の項目、想定差、ばらつき、有意水準、目標検出力、必要人数の計算条件を探します。それらが分かれば、何を見つけるために人数を選んだかが読めます。社会的に必要な人数が検定だけで決まるわけではありません。

予算や実施可能性で人数に限界がある場合も、その限界を踏まえて何が捉えられるかを示します。事前に設計することは結果の成功を保証することではなく、比較が答えようとする問いと必要な情報を合わせる作業です。

検出力80％の意味

架空の条件で、指定した真の差に対して検出力80％となる検定を設計したとします。同じ条件で研究を繰り返すと、平均的には約80％でその帰無仮説を棄却する、という確率の説明です。

仮に100回繰り返しても、必ず80回になるとは限りません。また一つの研究で出た結論が80％の確率で正しいという意味でもありません。指定した真の差と設計条件の下で、棄却する割合を説明する数字です。

持ち帰る見方

• 検出力は指定した真の差の下で棄却する確率。
• 想定差、ばらつき、有意水準、設計に応じ人数を決める。
• 設計時の確率と、得られた差の区間を分ける。

次に広がる疑問

• 「統計的に有意」なら、効果は大きく確実に役立つ？
• 平均が同じでも、ばらつきが大きいと何が違う？
• 学校単位でくじ引きした研究は、生徒全員を別々に比べてよい？
• たくさん調べて見つけた一つの差は、そのまま信じてよい？

出典

• Introductory Statistics 2e, 9.2 Outcomes and the Type I and Type II Errors（OpenStax／Barbara Illowsky・Susan Dean）https://openstax.org/books/introductory-statistics-2e/pages/9-2-outcomes-and-the-type-i-and-type-ii-errors

  確認日：2026-10-04

• Factors Affecting Power（David M. Lane／Online Statistics Education）https://onlinestatbook.com/2/power/factors.html

  確認日：2026-10-04