同じ研究をやり直したら、同じ数字になるはず？

同じ資料を再計算する

このページでは、米国National Academiesの2019年報告の区別を使います。同じデータと計算手順などから整合する結果を得るのが計算の再現性、新しいデータを集めて同じ科学的問いの結果を確かめるのが追試です。用語の使い方は分野によって異なるので、実際に何をやり直したかを読みます。

計算をやり直すには、入力データだけでなく、処理の手順、使った条件、必要な計算環境も関わります。データや手順の公開を確認したことと、実際に計算して同じ結果を得たことも別です。

新しい資料で確かめる

新しい人を調べる追試では、標本が入れ替わり、観測値が変わります。厳密に同じ数値にならないこと自体は、元の結果が誤っていた証拠ではありません。元の研究と追試が、同じ結果の定義と比較を使っているかを先に見ます。

効果の向きだけでなく、推定された大きさと不確かさを比べます。両方とも有意だったかという二択だけでは、かなり違う効果を同じと判断したり、近い推定値を違うと判断したりしかねません。追試で何を一致とみなすかにも説明が必要です。

一致は正しさの保証ではない

同じデータとコードで完全に同じ数字を得ても、元の処理の誤りが直ったわけではありません。誤った計算を同じように実行すれば、同じ誤った答えも再現できます。計算結果の一致と、計算方法の正しさは、異なる点検です。

例えば対象の除外条件が問いに合っているか、単位を取り違えていないかなどは、結果の一致だけから分かりません。再現できる手順があると、その内容をほかの人が具体的に調べやすくなりますが、それが無誤謬の保証になるわけではありません。

一度の失敗を読み過ぎない

追試の成功も、元の主張を完全に保証するものではありません。一度の失敗も決定的な反証とは限りません。標本のばらつき、測定の限界、制御できなかった条件、手順の問題など、差が生じた理由を調べます。

追試が同じ地域・同じ対象で行われたのか、別の条件へ移した研究なのかも重要です。結果が違うなら、単に成功と失敗の票を数えず、どの条件でどの大きさの効果が得られるという説明へ進みます。失敗したという一語から、不正まで断定しません。

数字の差を検討するときは、「同じ問いを違う資料で確かめた」のか、「支援の内容まで変えた」のかを分けます。後者の結果が違えば、元の条件での結論に加えて、どの条件で結果が変わるかを考える材料になります。

報告の見出しが再現した、再現しなかったという二択でも、本文には具体的な比較の尺度を探します。推定値の大きさ、ばらつき、手順の対応が示されていなければ、何をもってそう判定したのかが次の確認になります。

架空の例：同じ計算と新しい調査

最初の調査では、ある施策の推定差が5ポイントでした。同じデータを再計算して5ポイントになったなら、確認したのはその計算の再現です。別の100人を調べて推定差が4ポイントになったなら、新しいデータによる確認です。

5と4が異なるという事実だけでは、結果が食い違うと判定できません。それぞれの不確かさと対象・方法を見ます。一方、同じデータの再計算が4になったなら、入力や処理の違いを具体的に調べる必要があります。

持ち帰る見方

• 同じ資料の再計算か、新しい資料の追試かを読む。
• 完全一致や有意性の二択だけで追試を判定しない。
• 結果の違いを、対象・方法・不確かさから調べる。

次に広がる疑問

• 同じデータの再計算か、新しいデータの追試か。
• 一致の判定は、どの効果と不確かさに基づくか。

出典

• Reproducibility and Replicability in Science — Summary（National Academies of Sciences, Engineering, and Medicine）https://nap.nationalacademies.org/read/25303/chapter/3

  確認日：2026-10-05