まずは読んでほしいおすすめ記事

トレーナーが知っておきたいP値のこと

この記事で伝えたいことは一つです。

統計学的有意差が認められた方法 =「現場で活用できる効果的な方法」とは限らない

ということです。

この手の内容は長々と書いても読むのが疲れてしまうので、内容を極力削りました。そのため、厳密に言えば、必ずしも正確な表現ではない部分もありますが、ご了承ください。

P値とは

論文を読んでいると必ず出てくるのがp値です。

このP値のPはProbability(=確率)の頭文字のPです。

一般的にP値が0.05未満(p<0.05)であれば、比較しているグループ間に「統計学的に差がある」と判定します。実際に論文を読んだことがある方なら、「○○を行うことで、統計学的有意に△△が増加した」「〇〇の結果、△△に有意な変化が認められた」というような文言を見たことがあると思います。

ちなみに、この0.05(5%)という数値は、「統計学的に差がある」という判定が間違っている可能性を表しています。95%は正しい判定ですが、5%は間違う可能性も残っているということです。


そして、大事なポイントですが、P値は効果の大小の程度を一切表していません

あくまでも、データを比較したときに差があるか、ないか、を判定しているだけです。

たとえば、「サプリメントAを摂取することで、統計学的有意に体脂肪量が減少した。本研究結果は、サプリメントAの摂取が体脂肪量を減少させうることを示唆している。」と論文に書いてあったとしても「サプリメントAを飲めば、効果的に体脂肪を減らせられる!」とは限らない、ということです。

仮に、サプリメントAを毎日摂取することで、1ヶ月後に体脂肪量が統計学的有意に減少していたという報告があったとします。しかし、データを見てみると以下のように示されていたら、どうでしょうか?

サプリメントA摂取群の前後の差のP値は0.03であり、0.05未満という条件を満たしていますから、サプリメントAを摂取することで、体脂肪量が有意に減少したことは確かです。しかし、その減少量は5 gだったわけです。この5 gの減少は、私たちにとって価値のある変化でしょうか(=臨床的に意味のある変化か)、というところがポイントです。

(価値があると考える値は、人やシチュエーションによってそれぞれです。)

統計学的有意差 ≠ 臨床的有意差

被験者の数が多いとP値は小さくなります。つまり、統計学的有意な差があるという判定が出やすくなる、ということです。

被験者数が増えれば、臨床的には意味のない微々たる差であっても統計的な有意差が出ることになるわけですから、「被験者数が多ければ多いほど信頼できる素晴らしい研究」という考えは適切ではないということがわかると思います。

それと同時に、P値に基づいた有意差だけで、効果があるかないかを判断することも適切ではないことがわかると思います。

「統計的に有意差が認められた」と見聞きすると、なんだかすごいことのように感じる方もいるかもしれませんが、実は大したことではないということです。

時々、「私たちのメソッドは実験の結果、統計学的有意な変化が認められています。つまり、科学的な裏付けのあるメソッドなんですよ、すごいでしょう?」という宣伝文句を見かけますが、それだけでは判断できないので、慎重に解釈する必要があるということです。

 まとめ 
  • 統計学的有意差があるからといって、臨床的に有益であるとは限らない
  • P値による判定は、統計的な差があるか・ないかを見ているに過ぎず、それ以上でも以下でもない
  • P値は被験者数に左右される