書評｜人間と機械の利害は合致できるのか｜"The Alignment Problem" by Brian Christian

グーグルで人工知能（AI）の倫理を研究していたティムニット・ゲブルが解雇されたニュースは2020年の終わりのニュースとしてはかなり衝撃的に受け止められました。なぜか。職場における差別の要素もあるのですが、AI倫理の重要性がかなり大きくなってきているからではないでしょうか。ビジネスと倫理のバランス。これはグーグルのような営利企業にとっては非常にデリケートな問題です。

今回紹介するブライアン・クリスチャンによる"The Alignment Problem"は「人間と機械の利害は合致できるのか」という倫理を含めた幅広いAIに関する問題を扱った非常にタイムリーな書籍となりました。AIの何が問題で、どのような解決方法が模索されているのかを取材を通じて丁寧に解説しています。AIによるディストピアみたいな遠い将来の話ではなく、今現在何が起きていて、どのようなアプローチで解決が模索されているのか。

The Alignment Problem: Machine Learning and Human Values (English Edition)

Algorithms to Live By: The Computer Science of Human Decisions (English Edition)

本書では、まず"Alignment Problem"とは何かを解説します。三つの代表的な例が1) Word2vec、2) 保釈リスクを計算するソフトウェアCOMPAS、そして 3) Googleのイメージ検索です。それぞれ、AIが導き出す結果は必ずしも人間にとって正しくない。つまり、人間と機械の利害が合致（Align）できていない例です。

Word2vecは非常に優れた言語解析ができると評価される一方で、人間の持つバイアスをそのまま引き継いでしまう性格もあります。例えば以下の数式。

医者ー男性＋女性＝看護婦

医者から男性の要素を抜き出し、女性の要素を加える。そうすると導き出される答えが「看護婦」となってしまう傾向にあるのです。え？正しいと思う？それがバイアスです。本来であれば……

医者ー男性＋女性＝医者

……でなければいけないですよね。医者は職業なんだから、男性も女性も関係ない。このバイアスを取り除くのにImplicit Association Testが有力視されていますが、現時点でまだ解決できていません。Googleイメージのゴリラ問題もいまだに解決できてないですしね。

AIは人間の言葉から女性差別や人種差別を学び取る - GIGAZINE

分散表現とWord2vec｜実践的自然言語処理入門 #3 - Liberal Art’s diary

この他に、この書籍では公平性の問題や透明性の問題など幅広いトピックをカバーしています。例えば、「犯罪者の仮釈放の逃亡リスクをAIで判断していいのか？」という問題。2020年のアメリカ選挙で隔週で行われる投票法案でカリフォルニア州が仮釈放をAIで行う法案（Proposition 25）において住民に評決を託しました（関連記事）。結果的には否決されましたけどね。本書でも多くの専門家はまだAIがそこまで予測するのは難しいとの見解を示しています。

同様に犯罪を未然に防ぐためにAIを活用できないのでしょうか？AIは犯罪を起こす可能性がある場所や人物を事前に特定できるのでしょうか。これもバイアスの問題と根っこは同じなのですが、公平性に問題があります。つまり、そのデータセットにバイアスがそもそもあるのではないかということです。公平性を高めるにはより多くのデータが必要になります。しかし、その場合はプライバシーの問題もより大きくなってしまいます。機械学習でプライバシーを担保する方法として「差分プライバシー（differential privacy）」が注目されています。

AIはブラックボックスのシステムとして有名です。どうしてAIはそのように判断したのか人間には説明が難しい。例えばなのですが、コロナ禍でトリアージが必要になったとします。トリアージは「全員を救うことはできない」という前提のもとに、救う優先順位を決めることです。「命の選択」なんて日本語では言われたりもします。その「命の選択」をAIが決めたらどうですか？嫌ですよね。だって、AIがなぜAさんではなく、Bさんを優先したか、理由がわからないんですよ。実際に本書で紹介されているアメリカでの事例では肺炎のトリアージは、ルールベースのシステムが採用されています。ニューラルネットワークのシステムの方が精度が高い結果が出たにもかかわらずです。なぜか？ニューラルネットワークのシステムで出た結果は医師が説明できないからです。

そこで注目されているのが「説明可能なAI（XAI：explainable AI）」です。XAIはDARPAをはじめとした多くの研究機関が力を入れている分野で、英語圏では一般的なテックメディアでも紹介されるくらいには注目されている分野です。

XAIの分野で注目されているのは一般化加法モデル（GAM：Generalized Additive Model）だそうです。流石にここまで来ると私もよくわからないので、Qiitaのリンクを下に貼っておくので、興味があったら調べてみてください。

ここまでが本書の中盤くらいです。残りはディープラーニングの歴史（主に強化学習）をおさらいした上で、「好奇心」をAIに植え付けるにはどうしたらいいのか（intrinsic novelty preference）、「不確実性」をAIが持つにはどうしたらいいのか（inverse reword designやAI safety gridworlds）などこれからの課題と現在の研究結果の紹介となっています。

ブライアン・クリスチャンは前著"Algorithms to Live By"で生活の中にあるアルゴリズムを普通の人にもわかりやすく解説してくれました。本書はそれよりもかなり技術よりの書籍ではありますが、倫理を含めたAIに関する非常にホットなトピックをわかりやすく解説してくれています。AIの知識をアップデートしたい人には強くお勧めします。