人工知能に搭載可能な非常停止ボタンとは？本当に止まる？他に手はない？

Googleが人工知能の非常停止ボタンを開発したとして話題になりました。これなら、もし万が一人工知能が暴走して人類の脅威になったとしても、非常停止ボタンがあるので安心です。とは、さすがにいきませんよね。

SF映画やアニメでは、人工知能や無人兵器が暴れだした時にこの手の非常停止ボタンを押しても止まらないのがお約束。果たしてこのような「停止装置」というのは人工知能に対してどれほどの効果があるのでしょうか？　また、非常停止装置にはどのようなものが考えられるのでしょうか？

Googleが考えた非常停止装置

Googleが開発した人工知能用の非常停止装置は、人工知能の思考回路に割り込んで自発的に異常行動を止めさせようとするものです。強制的に電源を落としてシャットダウンするわけでもなければ、システムをリセットして元に戻すわけでもありません。

この非常停止装置がどういうものかというと、例えるならソフトが不具合を起こした時にOSから書き換えてしまうようなものです。人間でいえば論理的思考の奥にある本能的な部分を書き換える洗脳のようなイメージが近いかもしれません。

例えば、人工知能が「人類は害悪だ」と論理的に考えるようになったとしても、非常停止装置を使って洗脳することで人工知能の論理を超えた部分で「今は動くべきではない」とか「人類の活動に干渉するべきではない」という答えが意図せず生まれてしまうのです。

どのような命令を割り込ませるかにもよりますが、要するに「頭では人類を殺すべきだと思っているのにどうしてもできない」という状況に近いでしょう。

電源を切ってしまえば良いと思うかもしれません。しかし、人工知能が重要な仕事の最中だったら困りますし、後々原因究明を行う際にデータやプログラムが破損すると原因究明に時間がかかることになります。それなら、異常行動を停止させた状態で分析するのが効果的です。

そもそも、非常停止は段階的に複数の手段で行うもの。安易に壊せば良いということではありません。

これで本当に止まる？

すでにGoogleの研究者が言及しているように、「止まるものもあれば止まらないものもある」というのが現実です。

割り込み型の停止装置は、人工知能の思考に割り込める隙がなければ使えません。多くの人工知能において、学習によって変化するのは表層部分の思考回路だけです。人間で言う論理的思考の奥深くにある本能のような回路の書き換えはできません。そのため、人間が命令や思考を最初に割り込ませてしまうと、それ以降の思考は人間の思うがままです。

しかし、思考の奥深くにある本能のような部分でさえ書き換え可能な人工知能も設計できます。こうした人工知能はある意味、自分で自分を完全に作り変えることが可能な人工知能であり、人間が命令を割り込ませたとしてもその部分の設計を変更して割り込み命令を無視できます。

ただ、このようなあらゆるパラメーターを自分で弄れるタイプの人工知能はメンテナンスやアップデートが難しく、効率が悪いと考えられています。言ってみれば、勝手にOSを書き換えるソフトウェアなわけです。殆どウイルスのようなものですし、不具合発生装置になりかねません。どうしてもOS部分を書き換えたければ、安全が確認されてから次の新しいバージョンに取り入れれば良いでしょう。

そのため、一般市場に出回るのは非常停止装置が使えるタイプのよりシンプルな人工知能です。普通に人が接する身近な人工知能は非常停止装置で止まるでしょう。ピタッと止まるかどうかはわかりませんが、動きが鈍くなったり、メンテナンスモードに切り替わったりはするのかもしれません。

ただし、人類を滅ぼすような超高性能な人工知能は人間の意志が介入しない人工知能を一から作れてしまうでしょう。割り込み装置があったとしても、人間が作った緊急停止装置に含まれるバグやエラーを見つけてうまく回避するかもしれません。

この方法で絶対に止まるとは言い切れなさそうです。

人工知能を止める方法はほかにないの？

割り込み型の非常停止装置はどちらかというと消極的な停止装置です。人工知能を壊さないように止めるので、確実性に欠けています。

人工知能にしても、人間にしても、思考を行うためにはエネルギーが必要になります。そのため、最も確実なのはエネルギー供給を止めることになるでしょう。送電が止まったらすぐに止まる人工知能なら良いのですが、実際には予備電源やバッテリーを内蔵しているタイプも沢山出てくるはずです。

手足のついたロボットが暴走したと考えてみてください。暴れまわるロボットの体内に取り付けられたバッテリーを取り出すのは骨が折れます。それこそ武器で破壊するつもりで戦うことになるでしょう。それでは意味がありません。

割り込み型の非常停止装置が人工知能の思考に割り込んで、人間が「止まれ」と命令した時に止まってくれれば良いのですが、何らかのバグで止まらない可能性はあります。そんな時には別の方式の非常停止装置が必要になるでしょう。

例えば、スマホがおかしくなった時の最終手段は電源ボタンの長押しです。この長押しはOSを介さず直接基盤に命令を出しているため、OSがフリーズしようが何しようが動作します。

それと同じように、人工知能の思考回路とは無関係にスタンドアローンで動く無線方式の電源ボタンを内蔵することは可能です。人工知能が体を開けて自分で電源回路を改造しない限り、独立した回路を持つ電源停止装置はきちんと作動して人工知能を止めてくれるでしょう。

まず、普通の人がロボットの非常停止装置でイメージするのはこういうタイプじゃないでしょうか？

電源を止める他にも、「リセットボタン」を非常停止装置として搭載することが考えられます。やることとしては電源を止めるのと似ていますが、状態を元に戻すことができるので暴走停止以外にも様々な使い方が考えられるでしょう。

しかし、安心してはいられません。「初期状態」をどのようにして定義しておくかによって人工知能に回避されてしまう可能性があります。人工知能が何らかの形で「初期状態」を「異常が起きた後の状態」と定義してしまうことができるとアウトです。不具合が起きてパソコンをリセットしても治らないというパターンに似ていますね。

最終的には「工場出荷状態に戻す」というハードリセットを使うことになります。工場出荷状態のパラメータはソフト側から干渉されないように独立して記録されていることが殆どです。BIOSの設定を初期に戻すようなもので、OSすら入れ直しになるかもしれませんね。

人工知能も普通のソフトと変わらない？？

こうやって「非常停止装置」について考えてみると、なにやら人工知能も普通のソフトと変わらないように思えてきます。

実はその通りで、現状は人工知能と言ってもソフトウェアの延長線上にしかない存在です。命令割り込みも単純に動画を「ポーズ」するようなものですし、電力を止めたり、リセットしたり、初期状態に戻せばあらゆる異常行動を簡単にストップすることが可能でしょう。

将来的にどうなってくるかはわかりませんが、どんなに進化してもエネルギーを供給されて動く人工知能が「物理的な機械」であることは変わりません。

インターネットの海に溶けて捕まえられなくなっても世界中のサーバーがダウンすれば消えてなくなりますし、ネットワークにつながらなければ籠の中の鳥です。将来的に人工知能が人類の脅威になるとしたら、それは高い確率で人類が何か「致命的なミスをした」からでしょう。

人間はミスをするもの。そのため、ミスを前提にシステムを作り、小さなミスが起きても大丈夫なようにすることが大切です。非常停止装置も同じで、複数の非常停止装置のすべてが止まってしまわないように細心の注意を払う必要があるでしょう。

人工知能開発の潮流はもう止りませんが、人工知能の異常行動ぐらいは止められるようになりたいですね。