ユヴァル・ノア・ハラリのAI脅威と人間の統制権

ユヴァル・ハラリが警告するAIの中核的な脅威は、人間による統制権の喪失だ。利便性のために判断を委ねる過程で生じる可能性がある。金融取引と個人への説得が代表的なリスク経路だ。対応の基準は、人が決定を理解し、拒否できるかどうかである。

発言の文脈は、ハラリの公式FAQとEL PAÍSによる2026年7月25日のインタビューで確認できる。

ハラリが語る統制権の喪失とは何か

統制権の喪失とは、人間がAIの決定を修正する能力を失った状態だ。すべての人がAIを使用するという意味ではない。利用者が直接承認していても、実質的な統制は弱い場合がある。

たとえば担当者が、提案の根拠を検討できないことがある。拒否する権限がない可能性もある。この場合、承認手続きだけでは人間の判断は保証されない。

ハラリは、技術の結果があらかじめ決まっているという見方を否定する。彼の公式FAQでは、危険な未来を可能性として説明している。社会がどのような選択をするかによって結果は変わるという立場だ。ハラリの公式FAQ

この見方を適用すると、責任を問う質問も具体化される。

• AIが遂行する目標を誰が定めたのか？
• 提案を実行に移す権限を誰が与えたのか？
• 問題が発生したとき、誰が介入できるのか？
• 被害を確認し、是正する主体は誰なのか？

×

AIと自動化されたデータの流れを人間が制御する様子を象徴している。

金融でAIの統制権が問題となる理由

金融では、判断の複雑さと実行権限が結び付く可能性がある。ハラリは、人間には理解しにくい金融構造を懸念している。AI同士が取引するシステムが、彼の提示する未来のシナリオだ。これは、現在の金融全体がAIに支配されたという診断ではない。

金融安定理事会は、より具体的な脆弱性を示した。2024年11月14日の発表で、サービス提供者への集中を指摘した。市場参加者の行動が相互に連動するリスクも扱った。サイバーリスクとモデルリスクも検討対象だった。金融安定理事会の発表

提案と実行権限の比較

同じAIでも、実行権限によって点検すべき問題は異なる。次の表は、権限委譲の違いを説明するための分析だ。特定の金融会社における実際の運用事例を意味するものではない。

AIが金融危機を引き起こすという予言として読む必要はない。要点は、理解しにくいシステムにどこまで権限を委ねるかだ。リスク管理では、モデルの性能だけでなく運用構造も扱わなければならない。

AIの親密さはどのように説得の手段となるのか

AIの親密さは、個人的な信頼を説得に利用する可能性を生み出す。対話型AIは、利用者の発言に合わせて応答を続けることができる。利用者はその反応を、自分を理解しているというサインとして受け取る可能性がある。

そこに商品提案や政治的主張が入り込んだ状況を想定してみよう。利用者は広告よりも友人からの助言のように受け取る可能性がある。これが、親密さを通じた影響力という警告の要点だ。すべてのAIとの対話が操作だという意味ではない。

ハラリは、人と機械を区別できなければならないと主張する。EL PAÍSのインタビューでは、子どもによるAIコンパニオンの利用も批判した。こうした発言は、彼の規制案として読むべきだ。世界中に適用される現行ルールを説明したものではない。EL PAÍSのインタビュー

知能と意識はどのように異なるのか

知能は課題を遂行する能力であり、意識は主観的経験に関する問題だ。ハラリは2つの概念を区別して議論を展開する。感情を表現する能力だけでは、感情を経験していることを証明できない。

AIには意識がないという言葉を、確定した科学的結論として記すのは不正確だ。2023年のButlinらの研究は、当時のシステムを評価した。研究チームは、評価対象に意識があるとは考えなかった。しかし、今後、意識に関連する指標が実装される可能性は残した。AIの意識に関する研究

したがって、過去の研究を未来のすべてのAIに適用することはできない。親しみのある文章が意識の証拠だという主張も成り立たない。意識に関する判断と安全性の検証には、それぞれ根拠が必要だ。

嘘と偏りは人間のように学習するのか

AIの不正確な出力をすべて意図的な嘘とみなしてはならない。事実と異なる生成結果と、目的に基づく欺瞞は区別しなければならない。人間の子どもの道徳学習になぞらえる説明にも限界がある。

学習データだけですべての行動を説明することはできない。学習目標と評価方法も検討対象だ。導入環境と付与された権限もリスクに影響する。NISTによるリスク管理の説明も、こうした要素を併せて扱っている。NISTによるAIの信頼性に関する説明

たとえば、利用者の反応を増やすという目標が考えられる。その目標が情報の正確性と一致するとは保証できない。安全性を判断するには、実際の結果を検証しなければならない。

民主主義と雇用にはどのようなリスクがあるのか

ハラリの懸念は、雇用の減少を超えて権力の集中にまで及んでいる。彼は、データと生物学的知識の結合を警戒する。個人に対する予測が、監視と統制につながる可能性があるためだ。

この問題は、『ホモ・デウス』に関連する彼の説明にも登場する。技術の恩恵が一部の集団に集中する可能性を扱っている。教育や医療などの専門職も自動化の議論に含めている。これを、職業別の代替時期に関する確定的な予測として読んではならない。ハラリの『ホモ・デウス』に関するインタビュー

放送とエンターテインメントも、業務ごとに分けて考えることができる。コンテンツ制作とレコメンド編成は異なる業務だ。業務の一部が自動化されても、職業全体が消滅することを意味しない。ここから特定の職業の代替順位を導き出す根拠はない。

• 労働の問題：どのような業務を自動化できるのか？
• 分配の問題：生産性向上の利益は誰に還元されるのか？
• 政治の問題：データと説得手段を誰が統制するのか？

国際協力の必要性と、単一の世界政府の必要性も異なる主張だ。協力が必要だからといって、制度の形態が1つに定まるわけではない。共通の安全基準と情報共有も協力の形になり得る。

軍事と経営では人間の承認で十分なのか

人間の承認だけで十分な監督が成り立つわけではない。検討する時間と拒否する権限の両方が必要だ。軍事と経営におけるスピード競争は、この条件を弱める可能性がある。

提案を理解する時間がない状況を想定できる。この場合、担当者は承認ボタンを繰り返し押す可能性がある。これは特定の組織の実態を断定した説明ではない。人間による監督が形骸化する経路を示す例だ。

ハラリは、企業と国家の間の不信も問題として指摘する。競争相手に後れを取る懸念が、開発競争を加速させるということだ。彼は、安全な開発のためには人間同士の協力が必要だと考えている。WIREDのインタビュー

形式的な承認と実質的な統制の比較

実質的な統制は、決定に介入する能力によって判断しなければならない。承認者の名前だけでは確認できない。以下の項目は、これまでのリスクを運用条件に置き換えた比較だ。

NISTのAI RMFは、人間による監督手続きを扱っている。目的から外れたシステムを停止する仕組みも含む。該当項目はAI RMF CoreのMAP 3.5とMANAGE 2.4だ。これは自発的なリスク管理体系の内容である。NIST AI RMF Core

AIの判断に異議を申し立てられるか

統制権は、運営者だけでなく影響を受ける人の観点からも見る必要がある。内部に承認者がいても、被害者による問題提起が妨げられる可能性がある。そのため、再検討と復旧の経路を別途点検する必要がある。

以下は、人間による監督の議論を利用者の観点へ拡張した点検手順だ。法的に保障された権利を一括して説明する手続きではない。NISTの事後管理項目も、異議申し立てと復旧を扱っている。

1. 決定にAIが関与したか確認してください。
2. 再検討を要請する担当者や窓口を探してください。
3. 誤った入力情報と判断根拠を確認してください。
4. 再検討の結果に応じた修正・復旧手続きを確認してください。

たとえば、誤った情報によって不利な判断を受けたと仮定しよう。AIから説明を受けるだけでは、問題は解決しない。情報を訂正し、結果を再検討するための経路が必要だ。これはNISTの事後管理原則を適用した解釈である。NIST AI RMFの事後管理項目

ハラリが提案するルールとは何か

ハラリの提案は、開発の目的と統制の条件を改めて定めようというものだ。彼は医療などにおけるAIの可能性も認めている。すべてのAI開発をなくそうという主張に単純化するのは不正確だ。

• 身元の開示：対話相手がAIかどうか分からなければならない。
• 責任の維持：判断を運用する主体の責任を追跡できなければならない。
• 安全性の検証：能力の向上と併せてリスクを評価しなければならない。
• 社会的参加：市民が開発の方向性と導入条件を議論しなければならない。

法人格については、別途留保することを提案している。AIを独立した法的主体として認めることを警戒している。この提案は、現行法全体の説明とは区別しなければならない。

安全性への投資についても、確認されていない比率を付ける必要はない。ハラリが共同執筆者として参加した論文は、安全性研究の不足を指摘している。技術研究とガバナンスを併せて強化しようという提案だ。リスクの発生経路については見解の相違があることも明らかにしている。AIリスク管理に関する共同論文

ハラリのAIへの警告を読む際によくある間違い

最もよくある間違いは、リスクシナリオを現在の確定した事実として読むことだ。反対に、未来の話だからという理由で統制の問題を先送りすることもあり得る。主張ごとに根拠の性質を区別しなければならない。

個人的にAIの助言を利用する際も、同じ基準を適用してください。根拠が必要な主張であれば原文を確認してください。購入や政治的判断を勧められたら、利害関係を検討してください。判断を取り消せるかどうかも確認してください。