カタパルトスープレックス

興味がない人は無理して読まなくていいんだぜ。

書評|壊れた科学に泣かないで|"Science Fictions" by Stuart Ritchie

f:id:kazuya_nakamura:20201014200205p:plain

科学は人類の進歩に欠かせない手段ですよね。生物的な進歩よりも技術的な進歩の方がずっと早く、そのスピードが人間と他の生物の大きな差となっています。一方で、科学の信用が揺らぐような事件も起きています。日本だとSTAP細胞の論文の問題が取り沙汰されましたよね。

本書で著者のスチュワート・リッチーは科学が機能不全になりつつある危機状態だと警笛を鳴らします。その代表例が再現性の危機で、2016年の調査では1500人の研究者に対する調査で70%が他者の研究の再現に失敗しました。なぜ、科学は機能不全になりつつあるのか、その原因は何か、そして再び科学に健全性を取り戻すことができるのか。

本書では多くの科学の間違った事例が紹介されています。当然ながらSTAP細胞論文不正も事例として取り上げられています。それ以前のファン・ウソクによるES細胞論文不正もそうですし、TEDでも有名となったエイミー・カディのパワーポージングもそうです。もっと有名なところだとノーベル賞を受賞したダニエル・カーネマンもベストセラー『ファスト&スロー』で主張していたプライミングに関して間違っていたことをのちに認めています。科学者は時には意図的に、時には不注意で間違いを犯します。これらは全てピアレビューなど科学的なプロセスを経て著名なジャーナルに論文が掲載された研究成果です。

スチュワート・リッチーはマートンの規範(以下)をリファレンスとして科学が壊れてしまった事例を検証します。

普遍性(Universalism):性別や国籍など特定の文化に影響を受けない

無私性(Disinterestedness):人類の利益であり私利私欲のためではない

共有性(Communarity):科学は共有して協業することで発展する

組織的懐疑主義(Organized Skepticism):科学の成果は常に積極的で懐疑的な姿勢で精査されるべき

科学が機能していない状態にある場合、以下のいずれかが当てはまるそうです。

  • 不正(Fraud)
  • バイアス(Bias)
  • 過失(Negligence)
  • ハイプ(Hype)

ES細胞論文不正STAP細胞不正論文は不正(Fraud)の事例ですよね。多くの論文でデータを捏造した藤井善隆の事例もそうですし、人工気管支の移植手術で多くの犠牲者を出したパオロ・マッキャリーニの事例もそうですね。本来だったらピアレビューが組織的懐疑主義を担保しているはずなのですが、機能しなかった。

出版バイアスはバイアス(Bias)の代表例で、肯定的な研究結果ばかり公表されることです。本来であれば、良い仮説で良い実験であれば、結果が出なくても評価されるべきです。ジャーナルで出版できないのであれば、科学者としては意味がない(評価されない)ため、お蔵入り問題(file drawer problem)が発生します。それだけならいいのですが、出版してもらうため肯定的な成果を意図的に出そうとしてしまいます。統計的な有意性P値が使われます。このP値を意図的に出すことをPハッキングと言います。数値的なゴールが設定されると、その数字が意図する本来の目的から離れて、数字自体が目的になってしまいます。

このほかにも単純に計算が間違ったり、ケアレスミスがある過失(Negligence)の事例もGRIMSPRITEテストを単純に受ければいいのに受けていなかったり。心理学の分野でGRIMテスト手法が使えた71本の論文のうち、50.7%で1つの疑わしい平均値があり、20%以上の論文で複数の疑わしい数値が含まれていました。ラインハートとロゴフの「債務がGDP比90%を超えることで、債務と経済成長の間の負の相関関係が大きくなる」という経済学に関する発表も、結局はExcelのタイプミスが原因でした。

不正にせよ、バイアスにせよ、過失にせよ、ピアレビューを逃れて出版された論文は多数あります。そして、それが判明するのは大抵は内部告発だったり、メタ科学(とその手法であるメタ分析)からわかったことです。多くは発見できずにそのままになっています。

その上にハイプ(Hype)の問題があります。メディアが相関関係しかないのに、あたかも因果関係があるように報道するなど外的要因もありますが、論文自体がセンセーショナルでミスリーディングな見出しをつける内的要因が増えているそうです。NASAの異質な生命体に関する発表(GFAJ-1)がこれにあたります。ほかにもTEDみたいなプレゼンの見た目で勝負するイベントもハイプの温床になっているっぽいですね。この本で紹介されているキャロル・ドウェックの「グロースマインドセット」なんてまさにこれですね。

なんでそうなってしまうの?マートンの規範がなぜ機能しないの?となりますよね。スチュワート・リッチーはインセンティブの問題だと指摘します。研究者は評価されるために論文をジャーナルに掲載したい、ジャーナルはステータスを維持するために肯定的な論文を掲載したい。正確さを担保する数値ゴールはハッキングされてしまう。正確さよりもインセンティブが勝ってしまう。

じゃあ、どうしたらいいの?これもマートンの規範に求めるしかない。スチュワート・リッチーが期待するのが共有性(Communarity)と 無私性(Disinterestedness)です。それを代表するのがオープンサイエンスオープンアクセスです。査読前のプレプリントによって共有性(Communarity)が高まることによってPハッキングもある程度防ぐことができます。

科学って万能で信用できるイメージがありますよね。この前に紹介した”Calling Bullshit" もそうなのですが、その信用できるイメージを悪用するケースが増えているということなんだと思います。リテラシーを高めて自己防衛するのも限界があります。やはり、ここは科学やジャーナリズムの自浄作用を期待したいところですよね。ミルクが溢れたら拭けばいいだけなんですよ。