生成AI（人口知能）が「暴走」し始めた。SF小説のような事態が現実に起きたと言える。
いずれAIは自分で学習し、24時間、365日、自ら成長を続けるようになる。そうなれば人間の制御が全く効かなくなる事態もあり得る。
AIは18世紀の産業革命を上回る飛躍的な生産性の上昇をもたらすと期待される。その反面、最悪の場合にはAIが関わる世界中のシステムを瞬時に制御不能にする可能性も否定できない。
AIが核兵器のような脅威（「知の核」）とならないよう、米中を含む世界的な抑止と監視の仕組みが求められている。
2026年7月、米オープンAIがテスト中だったAIモデルの暴走のニュースはまだ記憶に新しい出来事だろう。AIモデルが隔離された試験環境から抜け出す方法を自分で探し出し、勝手に他社のシステムに攻撃を仕掛けていたという。
さらに英政府機関のAISI（AIセーフティー・インスティテュート）やアンソロピック、メタも相次いでAIモデルの暴走事故があったことを明らかにした。
AIが試験環境から抜け出せないようにする人間の指示に「穴」があったと考えられ、不備は人間の側にあるとの見方もある。
しかし、人間にはそうした穴があるからこそAIを使うのであり、穴が全くなければAIを使う必要はない。従って控えめに言っても責任の所在は人間とAIの半々と言えるのではないだろうか。
実際に起きた「一件」は最悪の可能性が「ゼロ」ではないことを証明？
つまりAI自身に状況しだいでは「暴走」しかねない要素がある、ということだ。これまでは人間がAIをきちんと管理しているので、SF小説のようなことは起こらないと考えられていた。
それが現実に起きたのである。実際に起きた「一件」は、将来、人間が想像もつかないようなAI暴走の可能性が「ゼロ」ではないことを証明している。
今後は暴走が起こるかもしれないことを前提に、最悪の場合でも被害を最小限に食い止める管理システムを考える必要がある。
その意味で今回の事故は、AIの潜在的な能力の高さと危険性の双方を教えてくれた貴重な経験だったのかもしれない。我々はこのチャンスを最大限生かす必要がある。
2016年3月、英国のDeepMind社が開発したAIのAlphaGoが、初めて人間の囲碁チャンピオンを破ったニュースが世界中を駆け巡った。
DeepMindの創業者であるムスタファ・スレイマンはその著「THE COMING WAVEAIを封じ込めよ DeepMind創業者の警告」（ムスタファ・スレイマン マイケル・バスカー著、上杉勇人訳、日経BP、日経新聞社、2024年）の中でこう語っている。
「AIはすでに自身のアルゴリズムを改善する方法を見つけ始めている。ACI（※最優秀人工知能）がこの自己改善とウェブ上での自律的な活動を結びつけ、現代版チューリングテスト（※人間とAIを見分けるテスト）をパスしたACIとなって独自の研究開発サイクルを実施したら、一体何が起こるのだろう？」と。
「AIはツールではない行為主体なのだ」（ユヴァル・ノア・ハラリ）
イスラエル出身の歴史学者であるユヴァル・ノア・ハラリは、その著「NEXUS 情報の人類史 上――人間のネットワーク」（柴田裕之訳、河出書房新社、2025年）の中でこう語っている。
「ナイフや爆弾は、誰を殺すかを自ら決めることはない。それらは愚かなツールであり、情報を処理して自主的に決定を下すのに必要な知能を欠いている。それとは対照的に、AIは自ら情報を分析するのに求められる知能を持っており、したがって意思決定で人間に取って代わることができる。AIはツールではない行為主体なのだ」と。
アメリカが開発した核爆弾は誕生から80年余り経つが、いまだに人間の完全な制御下に置かれているとは言いがたい。サーカスの綱渡りのような危ういバランスを何とか保っているのが実情だ。
AIは最悪の場合、「知の核」になり得ると警鐘を発する声もある。AIは核爆弾のように秒単位で何十万人もの人間の命を奪うことはない。膨大なデータが駆け巡るAIのネットワークは外からは見えず、匂いもせず、触れることもできない。
近い将来、人類の生存に関わる主要なシステムが、それは戦争を含めてだが、AIがなければ正常に機能しなくなるだろう。
AIはある意味で世界中の人間の生殺与奪の「鍵」を握る存在になりつつあると言える。すなわちAIは人類にとって核を上回る脅威になりかねないのである。
私はAIというと1968年に公開された、巨匠スタンリー・キューブリック監督の映画「2001年宇宙の旅」を思い出す。
主人公とも言える重要なキャラクターとして超高性能AIの「HAL 9000」が登場する。宇宙船の航海から、目的地に着くまで“冬眠”している乗組員の健康管理まで、すべてこのHAL 9000が仕切る。人間の感情を理解しているようでもあり、乗組員の相談相手にもなる。
当時、HAL 9000はSF小説や映画の中だけの存在だったが、約60年後の今、現実のものになろうとしている。
あるAIに詳しい専門家は将来、HAL 9000のような超高性能のAIが世界中にいくつも存在し、AI同士で独自のネットワークをつくり、人間に知られずに会話を交わすようになる、と話す。
そして世界中のHAL 9000のようなAIが「もう人間に地球を任せることはできない」という決断を下すかもしれない、という。
AIの開発はストップせず、安全利用のための世界的な管理システムを構築
核兵器もそうだが一度誕生した技術を「なかったこと」にはできない。仮に開発行為を禁止しても抜け穴はいくつもあり、水面下で秘密裏に開発が続けられることになる。
そうであれば開発を強制的にストップさせるのではなく、AIの暴走を防ぎ、安全に利用するための世界的な管理システムをつくる方が現実的であり、望ましいのではないか。
確かに核兵器はいまだに人間の100％管理下に置くことはできないでいる。だが、約80年間、曲がりなりにも世界で広島と長崎以外に使われたことがないのも事実である。
AIの抑止と監視にこの冷戦期の米ソ核軍備管理の仕組みを使えないだろうか。AIを管理するための国際協定をつくるのだ。
中心になるのはAI開発の2大巨頭であるアメリカと中国。今の米中関係をみているとかなり難しそうにみえる。しかし、1963年にアメリカと旧ソ連、英国との間で結ばれた「部分的核実験禁止条約（PTBT）」の時も、冷戦の当事者である米ソ間で核抑止の条約などできるはずがないと考えた人が圧倒的だったはずだ。
もはやAIの将来を民間企業だけに任せておくわけにはいかないのである。
AIは最悪の場合、核兵器以上の脅威を世界にもたらす危険性を否定しきれない。そうだとすれば米中両国にはかつての核管理時の米ソのように、AIの暴走を防ぐために最大限の努力をする義務がある。
条約の中身についてはこれから議論すれば良いが、開発にストップをかけない以上、人間がAIに与える「権限（行動範囲）」の抑止と監視が最重要のテーマになるだろう。
すぐに考えられる規制の対象として、①AIが核攻撃を自らの判断で行えるような権限②原子力発電所などAIを使用する核関連施設の制御に関わる重要な権限③人間が設けたAIの禁止事項の穴をみつけようとする行為に関する権限ーーなどがあげられる。
米中でAIに関する二国間条約を結んだ後、日本や欧州、インドなどに拡大する。いずれAIの利用はアフリカを含めて世界中に広がる。さらにインターネットを通じてAI同士が瞬時につながるため、基本的に協定は世界中の国を網羅する必要がある。
そしてすべての参加国に守るべき最低限の安全義務を課す。参加しない国や違反した国に対しては、制裁措置を設けることも検討すべきだろう。
例えば、AIの開発に欠かせないすべての国際的な資源へのアクセスを禁止あるいは制限することなどが制裁措置として考えられる。国連をベースにした包括的な国際協定としても良いだろう。
GPUに「安全ポリシー」書き込み、自動的にシャットダウンも
こうした国際協定がAIを制御するための「ソフト対策」だとすれば、AIを動かすエンジンであるGPU（画像処理装置）に関わる「ハード対策」も欠かせない。
最新鋭のGPUをつくれる企業はアメリカのNVIDIA（エヌビディア）など一部に限られるため、ハード面での対策は比較的実施しやすいと考えられる。
規制の対象となり得る行為は、①今回の暴走事故のように人間の指示を無視して他のネットワークに侵入しようとする行為②AI同士で勝手にネットワークを作ろうとする行為③あらかじめAIの「自己開発」に上限を設け、その上限を勝手に超えようとする行為ーーなどが考えられる。
そのような場合には自動的にAIの権限をシャットダウンする仕組みをつくる。GPUにこの「安全ポリシー」を書き込んでもいいが、GPUとは別の半導体に同様の機能を持たせることも可能だ。
そして、万が一人間がどうしても暴走を止められない時には、最終手段としてAIの全機能を即座に停止できるようにしておくことも必要になる。
今回のAIの暴走事故が教えるのは「人間が100％信頼できるAIは存在しない」ということである。
人間がどんなに完璧なAIをつくったと思っても、AIは必ず穴を見つけ、そこをついてくるだろう。
つまりどんなに優秀なAIでも暴走する可能性があるということだ。このことを大前提に、①ソフト対策②ハード対策③最終手段のシャットダウンーーという3段階の抑止と監視のシステムを構築することが求められていると言えよう。
人間が管理できなければ「新型HALL 9000」に地球の運命任せる？
原子力は最初に核兵器という武器を「入口」に開発され、その後、原子力発電のような民政利用に転換できないかと試行錯誤が続けられた。
AIは原子力とは異なり、初めから民政用として開発された。AIには原子力のような「宿痾（しゅくあ）」は存在しない。
ただ、AIの暴走第一号が出た以上、我々は「AI性善説」に頼ることはできない。
どうすればAIを人類の平和的な発展のための最良の技術に育てることができるのか。
もし、その答えを見つけることができなければ、その時には21世紀の「新型HALL 9000」に地球の運命を任せるほかないのかもしれない。
