実験から得られた結果を、実験の被験者以外の人にも、どの程度適用できるのかという概念を「外的妥当性(external validity)」と言います。この考えは、研究論文を解釈するときに、非常に大切になります。
論文の結論部分「~は,効果がある」の対象者は,だれ?
たとえば、運動習慣の無い被験者に対して、何らかのトレーニング(仮にAトレーニング法)を行った結果、筋力が向上したとします。当然、論文の結論部分には「Aトレーニング法は筋力向上に効果的であることが示された」と書かれます。
この結論を読んで、「Aトレーニング法は科学的裏付けのある良い方法だから、明日からのセッションに取り入れよう」と考えるのは妥当でしょうか?
ここで、外的妥当性について検討する必要がでてきます。その研究では、「運動習慣の無い被験者」が対象ですから、基本的に、その研究結果が適用できるのは運動習慣の無い人に限られます。
もし、担当するクライアントが運動習慣の無い人なのであれば、それで良いかもしれませんが、この研究結果の適用範囲をトレーニング習慣のある人にも広げたいのであれば、「運動習慣の無い人とトレーニング習慣のある人では、筋力の向上度合いは一律で差が無いことが先行研究で示されている」というデータを提示する必要があります(注:説明のための例ですので、そのような事実はありません)。もちろん、それでも間接的に主張できるだけで、強い根拠になるとは言えません。
このように、外的妥当性を考える上で、被験者情報は重要であるにも関わらず、結論部分だけを抽出して、自らの主張の根拠としているパターンが多く見受けられます。
ひとつの研究から分かることは限られている
ひとつひとつの研究を、パズルのピースに例えることがあります。あるひとつのテーマの真実を明らかにするために、いくつもの研究を行い、知見という名のピースを重ね合わせることでパズルが完成するという考えです。
先ほどの、運動習慣の無い人を対象にした研究だけをもって、「筋力向上には、Aトレーニング法が良い」と主張するのは、同じ形のピースで無理やりパズルを完成させようとしているようなものです。その主張は必ず穴だらけになります。
他との比較も考える必要がある
また、研究デザインが絡んでくる他の問題として、Aトレーニング法が効果的と主張する場合、それは「従来のトレーニングと比較して効果的」なのか「従来のトレーニングと同様に効果的」なのか「トレーニングをしなかったコントロール群と比較して効果的(研究のデザイン的に他のトレーニング方法との比較はなく、Aトレーニング法 vs. コントロール群の場合)」なのか、でも現場での応用の仕方は変わってきます。
「コントロール群と比較して、Aトレーニング法は筋力向上という点で優れている」のであれば、ひとまずAトレーニング法がまったくの無駄ではないということは判断できますが、どのように活用していくかは難しいところです。
「どうしてもAトレーニング法がしたい」という人に対して「このトレーニング法を続けていれば、(効果の程度は分からないけれども)筋力が向上します」と、ひとまず説明することはできます。しかし、従来のトレーニングとの比較結果が無いため、得られる効果の優劣を判定することができません(エフェクトサイズが記載されていない場合)。
つまり、「従来のトレーニングよりも、ものすごく効果のある方法」である可能性がある一方で、「従来のトレーニングと比べて、効果は非常に小さく、やらないよりかはマシという程度の方法」という可能性もあるわけです。
以上のように、データ分析の限界、研究の限界を知ることは、研究論文を適切に活用するための助けになります。「研究で○○トレーニング(あるいは健康器具○○や健康食品○○)の効果が実証されました!!」という情報には、過剰な一般化がなされてしまっているパターンが多くみられます。
そのような情報に、何らかの違和感を感じるときは外的妥当性について検討してみるべきです。妥当性の低い情報に振り回されて、無駄な時間を費やすことがないように、研究結果とじっくり向き合いたいものです。