今回はtomsekiguchiさんのブログ『講義のページへようこそ』からご寄稿いただきました。
なぜ分析結果を見てから仮説を作った論文はリジェクトされるのか（講義のページへようこそ）
HARKingとは、Hypothesizing After the Results are Knownの略語で、データを分析してみて結果を見てから、それにフィットするように仮説を作り、あたかもその仮説がデータ収集よりも先に存在していたかのように論文化していく行為である。このような行為は、科学的視点からは不適切な方法である。
「HARKing, p-hacking, asterisk-seekingを助長している学術界」2017年7月27日『講義のページへようこそ』
http://d.hatena.ne.jp/tomsekiguchi/20170727
HARKingは倫理的に問題がある行為だと考えられるが、Shaw (2017)は、そもそもこのような行為によって論文を作成しても、優れたジャーナルでは出版が不可能であるということを示唆している。優れたエディターやレビュアーであれば、論文の著者が、結果を見てから「無理やりこじつけた理論やロジックで仮説を説明しようとしている」ことはすぐに分かってしまうからである。一言でいえば、理論⇒仮説⇒検証の流れが非常に不自然な論文になっているのである。Shawは、HARKingの疑いが濃い論文には、以下のようなシグナルが出ていることを示唆する。
まず、論文で論じる際に使用している理論がいびつになっていることである。それを示すシグナルの１つは、理論から予測や仮説が素直にかつロジカルに導かれておらず、理論と仮説がフィットしていない場合である。非常におおざっぱな形で理論に言及しただけで、そこから一気に何かを予測しようとする。そのため、理論そのものに対する深い理解が伝わってこない。例えば、その理論が成立するための前提の整理やその理論の利用が適切である文脈などが整理されておらず、また、理論から仮説にいたる段階的な論理展開とかが丁寧に記述されておらず、飛躍があったり強引であったりする。もう１つのシグナルは、様々な理論を用いて、その仮説が正しいことを示そうとしている場合である。これは、あたかも仮説が正しいことがすでに決まっていて、それを支持するのに都合の良い理論だけをあちこちから蒐集して貼り付けているという印象を与える。主要な理論から演繹的に仮説を導こうという姿勢が見えず、なぜここでそのような理論を使うのかが理解できなかったり、なぜこの研究でそのような変数の組み合わせ（独立変数、従属変数、調整変数の組み合わせなど）を選択したのかが理解できない。結果が得られた後で作成した仮説を説明するために都合のよい理論をどこからか持ってこようとするから、そのような齟齬ないしは不具合が生じるのである。
次に、HARKingの疑いが強い論文では、研究で使用している概念定義がきちんとなされておらず、曖昧であったり弱かったりする。これは、結果から後付けで理論や仮説を作るものだから、もともとそれらの理論に対する造詣がないからである。使用する理論の表面的な理解にとどまっており、深い考察がなされず、かつ理論から仮説に用いる概念を抽出する際にも、注意深い概念定義がなされないのである。
また、HARKingが疑わしい論文では、例えば、理論から仮説やモデルを導いているが、そこで使用されている概念と、仮説を検証するための実証調査で測定されている変数とが一貫していなかったりする。本来、理論から演繹的に仮説やモデルを構築し、その仮説やモデルを実証的に検証する場合には、このようなことは見られない。なぜなら、実証研究で用いられる変数は、仮説やモデルで定義され用いられている概念に対応しているからである。しかし、何らかの結果がでてから後付けで仮説やモデルを作成する場合、そもそも初めからそれらの概念を用いた仮説やモデルを想定していたわけではないので、無理やりデータに含まれている変数に近い概念をあてがって仮説やモデルを作ろうとする。だからそこにずれが生じてしまうのである。
さらに、HARKingが疑わしい論文では、理論と調査デザインとのあいだに不自然な乖離が見られる。例えば、理論から何らかのメカニズムを想定し、そこから何かを予測したり仮説を立てたりしているはずなのに、そのメカニズムや予測が妥当かどうかを検証するために必要な変数が測定されていなかったり、非常に重要なメカニズムの検証が省略されていたりする。それもそのはずで、結果を見るまえにはそのような理論やメカニズムも想定していなかったわけであるから、データを収集するときにそれらの必要な変数を入れていないのである。だから、結果がでた変数だけで作成したモデルをなんとか説明しようとして理論をあてはめようとするから、ほんとうに重要な変数やメカニズムの検証が欠落してしまうのである。
以上のように、Shawは、HARKingによって論文を作っても結局は優れたジャーナルからリジェクトされてしまうのため、HARKingは効果的な方法とは言えないと断じている。ではどうすればよいのかと言えば、Shawのエッセイのタイトルにもあるように、「理論から出発することの大切さ」を肝に銘じることである。経営学の目的は、重要な経営現象を理解し、予測し、操作するために有用な理論を作ることである。であるから、既存の理論に精通し、既存の理論の限界点を理解し、それらの限界点をどう乗り越えようとするのかから出発することである。世の中に完璧な理論などない。例えば、既存の理論の予測に反する無視できないアノマリーが存在したり、実務の世界において既存の理論では説明できないような新たな現象が生じていたり、既存の理論ではおおざっぱすぎて予測が十分にできないことなとなどがある。すなわち、研究機会は際限なくあるのである。既存の理論の限界を乗り越えるための新たな理論づくりや理論の拡張、修正を行い、その試みが妥当であるかどうかを検証しようとする姿勢が大切なのである。
文献
Shaw, J. D. (2017). Advantages of starting with theory. Academy of Management Journal, 60(3), 819-822.
執筆： この記事はtomsekiguchiさんのブログ『講義のページへようこそ』からご寄稿いただきました。
寄稿いただいた記事は2019年8月9日時点のものです。
―― 面白い未来、探求メディア 『ガジェット通信(GetNews)』
