面接で人を採用するかしないか、少額融資希望者に融資するかしないか、犯罪者の量刑をどの程度に定めるか――。

こうした判断を人間ではなくAIに判断させようという動きが広まっています。

決定いかんで人生を左右しかねないこれらの判断。そこにAIを持ち込もうという試みの背景にあるのは、AIであれば人種や性別による偏見(バイアス)なく、公平な判断を下せるだろうという期待があります。

しかし、万一AIにもバイアスが発生するならば、どうやって公平性を保てばよいのでしょう?

AIによる意思決定が実用化されている分野

この問いはけして机上の空論ではなく、現実的な問題として浮上しつつあるものです。
本記事では意思決定を行うアルゴリズムの現状と、そのバイアスがもたらしうる影響について見ていきましょう。

AIやアルゴリズムを使って人間を介さず意思決定を行うことは、ADM(Automated Decision Making、自動意思決定)と呼ばれています。現在、ADMは金融や刑事司法といった分野ですでに実用化されており、今後もさらなる普及が予想されています。

金融分野では、ZestFinanceという会社がBaidu社と提携して成果を上げています。

ZestFinanceは機械学習を活用したローン査定用のプラットフォームやコンサルティングサービスを行う会社です。ZestFinance自体が誰かにお金を貸すわけではありません。ZestFinanceのプラットフォームは、お金を借りたい人のことを調査して貸したお金を返す能力があるかどうか分析し、貸し手側にその情報を提供するためのサービスなのです。

お金を貸す際に問題になるのは返済能力、つまり貸したお金を期日までに返せるかどうか、という点です。従来の金融機関は過去に借金を返済したかどうかという返済履歴をもとに判断する場合が多かったのですが、このシステムでは初めてお金を借りる人は判断基準がないままローン審査に望むことになり、不利になってしまいます。ZestFinanceは機械学習を導入し、ローン希望者本人のさまざまな情報をAIに分析させることで基づいて、返済履歴によらないローン審査を行うというサービスを提供しています。

中国企業のBaidu社は少額融資サービスを展開していますが、ZestFinanceのプラットフォームを活用した結果、驚くべき躍進を遂げました。貸し倒れ率が据え置きのまま、審査を通ってローンを借りた人数が2ヶ月で150%増加したのです。

アメリカでは刑事司法の現場でADMが幅広く活用されています。主要な分野としては、被告人が審理中に暴力行為や逃亡を行うかどうかのリスク算定、有罪となった人の量刑や仮釈放の決定、また少年犯罪の加害者の処置の判断などがあります。

これらのシステムには1980年頃から実用化され始めましたが、導入の目的は審理をより早く正確に行うことでした。個人の犯罪歴や現状を統計的に分析し、さまざまなリスクを推定するこれらのシステム。ゆくゆくは量刑判断や判決の合理性を増し、人間の判断にまぎれこむバイアスを排除して判断をより公平にする可能性があるとして、さらなる推進と活用が期待されています。

AIにもつきまとうバイアス

このようなADM導入で期待される効果の一つは、人間の判断の不合理性やバイアスを排除することです。
ところが近年、ADMの判断にさえ不公平性やバイアスが発生しうる可能性が指摘されています。

実際に論争を呼んだ例として、COMPASというシステムの事例を見ていきましょう。

COMPASは服役中の犯罪者の再犯リスクを評価するためのツールです。COMPASの判断は仮釈放を行うかどうかの判断基準の一つとして活用されるものですが、2016年、このシステムに人種差別的なバイアスがかかっているという調査結果が物議を醸しました。

アメリカのNPO「ProPublica」はCOMPASの出力結果を分析し、白人に比べ黒人の再犯リスクが2倍に見積もられているという調査結果を発表。司法の現場で実際に使われるシステムについてこのような調査結果が出たことで、刑事司法の専門家も巻き込んだ論争へと発展しました。

同じ2016年にはAIの訓練に使う学習用データのバイアスも発見され、問題視されました。ここで問題になったのは、チャットボットや機械翻訳など言語を処理するAIに関わる学習用データです。

AIはまず、膨大なデータを入力して学習をする必要があります。言語処理を行うAIの学習には、単語同士の関連性を数値化して表現したデータを使います。こうすることで、例えば「翼」という言葉は「魚」よりも「鳥」とより強く関連する、といったことをコンピューターが学習できるのです。

このような学習用データは既存のものが複数存在するのですが、2016年の研究で、データ中の単語の関連性に性別にまつわる偏りがあったことがわかったのです。例として挙げられたのは、プログラマという言葉は女性よりも男性に強く関連付けられ、専業家事従事者は男性よりも女性に強く関連付けられたという例です。

このような形のバイアスが最終的にどのような効果となって現れるのかは、まだまだわからないことが多いのが現状です。しかし、今後ADMが普及してくるにつれ、無視できない不安要素となるのは確実でしょう。

（次ページ：バイアスへの対処）