その後数年の世の中の論調を決める書籍ってあります。ちょっと前だとショシャナ・ズボフの『監視資本主義: 人類の未来を賭けた闘い』なんてそうだったと思います。今回紹介するアダム・ベッカーの"More Everything Forever: AI Overlords, Space Empires, and Silicon Valley's Crusade to Control the Fate of Humanity"もそんな書籍になるような気がしています。この本を読んでいると、いまの雰囲気がギュッと凝縮されているような気がします。最近読んだ書籍の要素がこの中に詰まっている感じ。
寡占状態のテック企業への批判がある一方で（監視資本主義のテーマ）、シリコンバレーが煽るAIブームに乗っかって浮かれている世の中。でも、どこかに残る違和感。その違和感が何なのかを一つ一つ検証していくのが本書の目的となっています。具体的には「直近の大きな課題があるのに、そこから目をそらそうとしているテック至上主義者たちのカルト性を暴く」みたいな感じとなっています。
トランスヒューマニズムへの批判
自分が読んだ中で「テック至上主義者たちのカルト性」を感じた最近の書籍の筆頭はレイ・カーツワイルの『シンギュラリティはより近く: 人類がAIと融合するとき』でした。あまりにも荒唐無稽すぎて、読了したにもかかわらず書評を書くのを見送ったくらいです（だからリンクも張りません）。アダム・ベッカーが真っ先にやり玉に挙げているのもレイ・カーツワイルを代表するトランスヒューマニズムです。
トランスヒューマニズムとは、科学技術を用いて人間の能力を拡張し、身体や認知能力を向上させることを目指す思想や運動のことです。老化や病気、死といった人間の限界を克服し、より優れた存在を目指すという考え方が根底にあります。レイ・カーツワイルの定義する「シンギュラリティ」とは、人間とAIが融合した状態を指しています。AIとナノテクノロジーですべてが解決されるというのがその主張です。
レイ・カーツワイルはこのような「シンギュラリティ」はすぐ目の前に来ていると言うのですが、それを立証する具体的な技術革新はまだ起きていません。思考実験にすぎない。思考実験をすること自体は悪くないのですが、それによって今まさに起きている問題から目をそらすのはよくない。「シンギュラリティ」が起きれば地球温暖化など解決されるのだから、それほど大きな問題ではない……のような。
慈善活動の何がいけないのか？
ボクが効果的利他主義（EA: Effective Altruism）について初めて知ったのは、ネイト・シルバーの書籍"On the Edge"でした。効果的利他主義（以下、EA）は「稼いだ金は他者のために使うべきだ」という考え方です。ネイト・シルバーは、"On the Edge"のなかで成功する人の傾向を分析しています。成功する人は、計算されたリスクを取る傾向があり、「リバーの住人」とネイト・シルバーは呼んでいます。EAや功利主義（Utilitarianism）の信奉者は「リバーの住人」が多いのだそうです。そして「リバーの住人」＝成功している人にはテック億万長者も多い。
ネイト・シルバーの"On the Edge"を読んだときはEAにしても功利主義にしても、あまりピンと来ていませんでした。テック億万長者の間でそういうのが流行ってるんだなぁ（よくわからんけど）……程度の認識でした。アダム・ベッカーは本書で功利主義とEA、さらにはその発展形である長期主義（Longtermism）も批判の対象としていています。その説明を読んでようやく自分の解像度も上がってきたと感じました。具体的に言えば功利主義、EAと長期主義はそれぞれ違う主張でありながら、連続性があることが分りました。ネイト・シルバーの説明ではそれが分らなかった。
功利主義とは？
功利主義（Utilitarianism）とは効用（Utility）を最大化する考え方です。最大化するには効用を定量的に測ることが必要になります。そのため、功利主義では意思決定において定量的かつ確率論的なアプローチを取ることが多い 。そういう意味では統計学者であり、「期待値最大化」を提唱するネイト・シルバーとは相性が良さそうなのですが、サム・バンクマン＝フリード（SBF）の例を通じて、功利主義を批判的に検証しています。数学的には「合理的」であるにもかかわらず、このような計算は、直感的な倫理に挑戦する道徳的に不快な結論につながる可能性があることも指摘しています。ギャンブラーの誤謬を例に挙げて必ずしも諸手で歓迎しているわけではなさそうです。
アダム・ベッカーが功利主義の限界として例に挙げているのが幸福や快楽を数量化して比較することへの疑問で、具体的には「嫌悪すべき結論（Repugnant Conclusion）」を挙げています。「嫌悪すべき結論」は人口倫理学において議論される有名なパラドックスです。
功利主義のトータルヴュー考えでは、一人ひとりの幸福度がたとえ非常に低くても、人口の数が十分に多ければ、その総幸福度は、幸福度が高い少数の人々の総幸福度を上回る可能性があります。これが「嫌悪すべき結論」です。
例えば、
Aの社会: 100人がそれぞれ100の幸福度を持つ（総幸福度：100 × 100 = 10,000）
Zの社会: 10,000人がそれぞれ1の幸福度を持つ（総幸福度：10,000 × 1 = 10,000）
この場合、トータルヴューの立場では、AとZの社会は同じ価値を持つとされます。しかし、さらにZの社会の人数を増やし、一人ひとりの幸福度がわずかでもプラスであれば、Aの社会よりもZの社会の方が「より良い」と結論づけられてしまいます。
この功利主義的な考え方は効果的利他主義（EA）に引き継がれていきます。この発展の過程で、どんどんテック億万長者にとって都合のいい考え方になっていきます。
効果的利他主義（EA）とは？
あなたが1万円の新品の靴を履いて散歩中に子どもが浅い池で溺れているのを見たら、靴を汚すことなど構わず助けるだろう。それなのに、遠く離れた貧しい国の子どもを救うために1万円の寄付を躊躇するのはなぜか。この議論から導かれる結論は明快で、もし他人の命を救うことができるなら、自分の財布から多少の出費をすることは道徳的義務である。さらに、「どうせ寄付するなら同じ額でもより多くの命や幸福を救える使い方をすべきだ」とする考え方。これが効果的利他主義（EA）の考え方です。悪くないですよね？
しかし、重要なのは「誰にとって幸せなのか？」ですし、「幸せになるための手段とは？」でもあります。テック億万長者たちにとって、その対象はいま苦しんでいる人たちではないですし、その手段もAIや最新技術だったりします。儲けたお金を他者のために使うと言いながら、それは自分たちの事業分野だったりするわけです。貧しい人100万人を救うのと、貧しくない人を1000人救うことは等価だったりするわけです、EAが影響を受けている功利主義的には。
特にAGIはすべての問題を解決するはずなのですから、そこに投資することはEAの精神に適合しているわけです。AIに「貧富の差をなくしてください」とか「温暖化問題を解決してください」とプロンプトで聞けばいい。直近の問題を直接解決しなくても（むしろ電力問題など一時的に悪化させてでも）、長い目で見ればそれが世のため人のためになる。
もっと重要なAIアラインメントの問題？
アダム・ベッカー的にはAIアラインメントの問題もAIに投資する口実でしかないということになります。ボクがAIアラインメントという言葉を知ったのはブライアン・クリスチャンの書籍"The Alignment Problem: Machine Learning and Human Values"でした。この書籍で扱っている「AIアラインメント」の問題は、倫理的な問題で人間とAIの間で整合性が取れるのかとということでした。たとえば、公平性の問題や透明性の問題です。
一方で最近の「AIアラインメント」の問題は「AIが人類に危害をもたらさない」ことが中心になっているようです。少なくともアダム・ベッカーが批判している「AIアラインメント」はAIに更なる投資が必要という口実を与えていることです。EA的に言えばAGIですべての問題が解決する。しかし、AGIが実現した時に人間が滅ぼされる可能性もある。そうならないようにAGIを管理できるようにしなければいけない。これがアダム・ベッカーが批判している「AIアラインメント」のロジックですし、AI倫理で有名なティムニット・ゲブルが同様に「AIアラインメント」を批判する理由です。
実現するかどうかも怪しいAGIの心配をするより、もっと身近で解決しなければいけない問題はもっとあるだろうということです。
長期主義とは？
より効用を最大化するには？より多くの人を助けるにはどうしたらいい？この功利主義とEAの命題を極端に突き詰めたのが長期主義（Longtermism）です。数千年後、数万人後の人口は今よりもずっと多い（はず）。孫のさらに孫のその先の世代のことを考えなければいけない（いまではなく）。地球の資源は有限で、人類が繁栄するには足りない。功利主義的にこれは正しいことだし、自分の財産をそのために使うことはEA的にも正しい。イーロン・マスクやジェフ・ベゾスが宇宙を目指すのはまさにこれが理由です。
もともと物理学をやっていて、カール・セーガンの『コスモス』に心ときめかせていた元宇宙少年アダム・ベッカーが最も熱く糾弾するのがこの部分だったりします。「宇宙になんて移住できるわけねーだろ、ボケが！」という勢いです。非常に科学的に説明してくれるのですが、感情が溢れ出てしまってる。金持ちの道楽半分の事業に偽善の皮を被してんじゃねーよ！もっと身近に解決すべき問題があるだろ！という声が聞こえてきそうです。
アダム・ベッカーのポジション
本書はリベラル的な視点で語られたストーリーのひとつだと思います。リベラルは公平や公正であることに重きを置く考え方で、市場に重きを置き自己責任の考え方を持つ保守的な考え方と対立します。アメリカの特に都市部ではリベラルが強く、ニューディールからリベラル的な政治システムになっていました。80年代のレーガン政権からその反動が起き、現在のトランプ政権もリベラル的な規制の仕組みに飽き飽きしてきた人たちの支持が集まったとみることができます。
その反省を活かした中道リベラルの動きはエズラ・クラインとデレク・トンプソンの著書"Abundance"にも現れはじめています。一方で現在のトランプ政権が行きすぎたリベラルへの反発なのであれば、行きすぎた保守への反発が本書なのではないかと思います。本書で批判されているテック億万長者たちは伝統的にリベラル支持者が多かったのですが、最近は保守への切り替えが目立っています。彼らに取って功利主義やEAは非常に都合のいいストーリーですからね。
個人的な感想
ボク個人は社会がまっすぐ直線の道を進んでいくことはないと思います。右に行ったり、左に行ったり、ジグザグに進むしかない。ボートの左と右で、左が強くなりすぎたら右を強くしなければいけない、逆もしかりです。そうしないと、目的地にたどり着けない。方向修正するには、極端なリベラルも極端な保守も時には必要な力なのかもしれません。いまは力を持ったテック億万長者が極端な方向に振れようとしているので、この書籍が代表する意見はその反作用なのだと思います。
例えばなのですが、AIの研究やナノテクノロジーの研究が全くダメだというわけではないはずです。それが一番大事で環境問題などは取るに足りない問題だと切り捨ててしまう、現在の一部のカルトっぽいAI村の人たちがよくないんだと思います。
