ユヴァル・ノア・ハラリのAI脅威と人間の統制権 ======================= ユヴァル・ノア・ハラリのAIへの警告は、人間が利便性を理由に判断権を手放す危険に焦点を当てている。金融と親密さの問題を説明し、未来のシナリオと研究結果を区別して、実質的な統制の基準を提示する。 - ハラリは、AIに判断権を委ねる過程で、人間の統制力が弱まる可能性があると警告している。 - AIの親しげな表現は、感情や推奨の信頼性を証明するものではない。 - AIが金融を支配するという見通しは、すでに確認された事実と区別する必要がある。 - 人間による監督には、根拠の検討、決定の拒否、実行の中止が可能となる条件が必要だ。 - ハラリの規制提案は、現行法や確定した科学的結論と区別して読む必要がある。 ユヴァル・ハラリが警告するAIの中核的な脅威は、人間による統制権の喪失だ。利便性のために判断を委ねる過程で生じる可能性がある。金融取引と個人への説得が代表的なリスク経路だ。対応の基準は、人が決定を理解し、拒否できるかどうかである。 発言の文脈は、ハラリの公式FAQとEL PAÍSによる2026年7月25日のインタビューで確認できる。 ハラリが語る統制権の喪失とは何か 統制権の喪失とは、人間がAIの決定を修正する能力を失った状態だ。すべての人がAIを使用するという意味ではない。利用者が直接承認していても、実質的な統制は弱い場合がある。 たとえば担当者が、提案の根拠を検討できないことがある。拒否する権限がない可能性もある。この場合、承認手続きだけでは人間の判断は保証されない。 ハラリは、技術の結果があらかじめ決まっているという見方を否定する。彼の公式FAQでは、危険な未来を可能性として説明している。社会がどのような選択をするかによって結果は変わるという立場だ。ハラリの公式FAQ この見方を適用すると、責任を問う質問も具体化される。 AIが遂行する目標を誰が定めたのか？ 提案を実行に移す権限を誰が与えたのか？ 問題が発生したとき、誰が介入できるのか？ 被害を確認し、是正する主体は誰なのか？ 金融でAIの統制権が問題となる理由 金融では、判断の複雑さと実行権限が結び付く可能性がある。ハラリは、人間には理解しにくい金融構造を懸念している。AI同士が取引するシステムが、彼の提示する未来のシナリオだ。これは、現在の金融全体がAIに支配されたという診断ではない。 金融安定理事会は、より具体的な脆弱性を示した。2024年11月14日の発表で、サービス提供者への集中を指摘した。市場参加者の行動が相互に連動するリスクも扱った。サイバーリスクとモデルリスクも検討対象だった。金融安定理事会の発表 提案と実行権限の比較 同じAIでも、実行権限によって点検すべき問題は異なる。次の表は、権限委譲の違いを説明するための分析だ。特定の金融会社における実際の運用事例を意味するものではない。 AIに任せる業務 人が確認する対象 統制の要点 情報の要約 原文と欠落した条件 原資料にアクセスできるか 商品や取引の提案 提案の根拠と損失の可能性 提案を拒否できるか 承認の補助 承認基準と例外的な状況 独立して再検討できるか 取引の実行 実行範囲と累積的な結果 権限を制限し、停止できるか AIが金融危機を引き起こすという予言として読む必要はない。要点は、理解しにくいシステムにどこまで権限を委ねるかだ。リスク管理では、モデルの性能だけでなく運用構造も扱わなければならない。 AIの親密さはどのように説得の手段となるのか AIの親密さは、個人的な信頼を説得に利用する可能性を生み出す。対話型AIは、利用者の発言に合わせて応答を続けることができる。利用者はその反応を、自分を理解しているというサインとして受け取る可能性がある。 そこに商品提案や政治的主張が入り込んだ状況を想定してみよう。利用者は広告よりも友人からの助言のように受け取る可能性がある。これが、親密さを通じた影響力という警告の要点だ。すべてのAIとの対話が操作だという意味ではない。 相互作用 信頼が形成される経路 確認すべき問題 公開広告 広告であることを前提にメッセージを評価 広告主と主張の根拠 提案リスト 好みに合った選択肢が繰り返し提示される 提案の目的と表示基準 個人的な対話 自分を理解しているという感覚が積み重なる 運営主体と説得における利害関係 ハラリは、人と機械を区別できなければならないと主張する。EL PAÍSのインタビューでは、子どもによるAIコンパニオンの利用も批判した。こうした発言は、彼の規制案として読むべきだ。世界中に適用される現行ルールを説明したものではない。EL PAÍSのインタビュー 知能と意識はどのように異なるのか 知能は課題を遂行する能力であり、意識は主観的経験に関する問題だ。ハラリは2つの概念を区別して議論を展開する。感情を表現する能力だけでは、感情を経験していることを証明できない。 概念 この記事での意味 区別すべき点 知能 目標の達成と問題解決の能力 高い遂行能力は意識を証明しない 意識 苦痛や喜びを感じる主観的経験 言語表現だけでは確認しにくい 感情表現 共感や愛情を示す出力 実際の感情経験とは同一ではない 法人格 法律が権利・義務の主体として認める地位 意識の存在とは別に議論すべき問題 AIには意識がないという言葉を、確定した科学的結論として記すのは不正確だ。2023年のButlinらの研究は、当時のシステムを評価した。研究チームは、評価対象に意識があるとは考えなかった。しかし、今後、意識に関連する指標が実装される可能性は残した。AIの意識に関する研究 したがって、過去の研究を未来のすべてのAIに適用することはできない。親しみのある文章が意識の証拠だという主張も成り立たない。意識に関する判断と安全性の検証には、それぞれ根拠が必要だ。 嘘と偏りは人間のように学習するのか AIの不正確な出力をすべて意図的な嘘とみなしてはならない。事実と異なる生成結果と、目的に基づく欺瞞は区別しなければならない。人間の子どもの道徳学習になぞらえる説明にも限界がある。 学習データだけですべての行動を説明することはできない。学習目標と評価方法も検討対象だ。導入環境と付与された権限もリスクに影響する。NISTによるリスク管理の説明も、こうした要素を併せて扱っている。NISTによるAIの信頼性に関する説明 たとえば、利用者の反応を増やすという目標が考えられる。その目標が情報の正確性と一致するとは保証できない。安全性を判断するには、実際の結果を検証しなければならない。 民主主義と雇用にはどのようなリスクがあるのか ハラリの懸念は、雇用の減少を超えて権力の集中にまで及んでいる。彼は、データと生物学的知識の結合を警戒する。個人に対する予測が、監視と統制につながる可能性があるためだ。 この問題は、『ホモ・デウス』に関連する彼の説明にも登場する。技術の恩恵が一部の集団に集中する可能性を扱っている。教育や医療などの専門職も自動化の議論に含めている。これを、職業別の代替時期に関する確定的な予測として読んではならない。ハラリの『ホモ・デウス』に関するインタビュー 放送とエンターテインメントも、業務ごとに分けて考えることができる。コンテンツ制作とレコメンド編成は異なる業務だ。業務の一部が自動化されても、職業全体が消滅することを意味しない。ここから特定の職業の代替順位を導き出す根拠はない。 労働の問題：どのような業務を自動化できるのか？ 分配の問題：生産性向上の利益は誰に還元されるのか？ 政治の問題：データと説得手段を誰が統制するのか？ 国際協力の必要性と、単一の世界政府の必要性も異なる主張だ。協力が必要だからといって、制度の形態が1つに定まるわけではない。共通の安全基準と情報共有も協力の形になり得る。 軍事と経営では人間の承認で十分なのか 人間の承認だけで十分な監督が成り立つわけではない。検討する時間と拒否する権限の両方が必要だ。軍事と経営におけるスピード競争は、この条件を弱める可能性がある。 提案を理解する時間がない状況を想定できる。この場合、担当者は承認ボタンを繰り返し押す可能性がある。これは特定の組織の実態を断定した説明ではない。人間による監督が形骸化する経路を示す例だ。 ハラリは、企業と国家の間の不信も問題として指摘する。競争相手に後れを取る懸念が、開発競争を加速させるということだ。彼は、安全な開発のためには人間同士の協力が必要だと考えている。WIREDのインタビュー 形式的な承認と実質的な統制の比較 実質的な統制は、決定に介入する能力によって判断しなければならない。承認者の名前だけでは確認できない。以下の項目は、これまでのリスクを運用条件に置き換えた比較だ。 点検項目 形式的な承認にとどまる場合 実質的な統制のための条件 根拠へのアクセス 提案結果だけが提示される 判断に必要な根拠を確認する 検討時間 検討前に承認を急かされる リスクに応じた検討時間を確保する 拒否権限 反対しても実行が続く 保留するか、別の決定を選択する 実行の停止 停止する主体が不明確 担当者と停止手続きが定められている 事後責任 AIの判断だったという説明で終わる 運用責任と修正手続きが残されている NISTのAI RMFは、人間による監督手続きを扱っている。目的から外れたシステムを停止する仕組みも含む。該当項目はAI RMF CoreのMAP 3.5とMANAGE 2.4だ。これは自発的なリスク管理体系の内容である。NIST AI RMF Core AIの判断に異議を申し立てられるか 統制権は、運営者だけでなく影響を受ける人の観点からも見る必要がある。内部に承認者がいても、被害者による問題提起が妨げられる可能性がある。そのため、再検討と復旧の経路を別途点検する必要がある。 以下は、人間による監督の議論を利用者の観点へ拡張した点検手順だ。法的に保障された権利を一括して説明する手続きではない。NISTの事後管理項目も、異議申し立てと復旧を扱っている。 決定にAIが関与したか確認してください。 再検討を要請する担当者や窓口を探してください。 誤った入力情報と判断根拠を確認してください。 再検討の結果に応じた修正・復旧手続きを確認してください。 たとえば、誤った情報によって不利な判断を受けたと仮定しよう。AIから説明を受けるだけでは、問題は解決しない。情報を訂正し、結果を再検討するための経路が必要だ。これはNISTの事後管理原則を適用した解釈である。NIST AI RMFの事後管理項目 ハラリが提案するルールとは何か ハラリの提案は、開発の目的と統制の条件を改めて定めようというものだ。彼は医療などにおけるAIの可能性も認めている。すべてのAI開発をなくそうという主張に単純化するのは不正確だ。 身元の開示：対話相手がAIかどうか分からなければならない。 責任の維持：判断を運用する主体の責任を追跡できなければならない。 安全性の検証：能力の向上と併せてリスクを評価しなければならない。 社会的参加：市民が開発の方向性と導入条件を議論しなければならない。 法人格については、別途留保することを提案している。AIを独立した法的主体として認めることを警戒している。この提案は、現行法全体の説明とは区別しなければならない。 安全性への投資についても、確認されていない比率を付ける必要はない。ハラリが共同執筆者として参加した論文は、安全性研究の不足を指摘している。技術研究とガバナンスを併せて強化しようという提案だ。リスクの発生経路については見解の相違があることも明らかにしている。AIリスク管理に関する共同論文 ハラリのAIへの警告を読む際によくある間違い 最もよくある間違いは、リスクシナリオを現在の確定した事実として読むことだ。反対に、未来の話だからという理由で統制の問題を先送りすることもあり得る。主張ごとに根拠の性質を区別しなければならない。 よくある解釈 区別して読むべき内容 AIがすでに金融全体を支配している 金融支配のシナリオと観測された脆弱性は異なる 親切なAIは私の利益を優先する 親しみのある表現は利害の一致を証明しない AIに意識がないことは永久に証明された 特定時点の研究から未来全体を断定することはできない 人が承認すれば統制上の問題はない 検討能力と拒否・停止権限を確認しなければならない ハラリの提案はすでに施行されているルールだ 思想家の提案と現行制度は区別しなければならない 個人的にAIの助言を利用する際も、同じ基準を適用してください。根拠が必要な主張であれば原文を確認してください。購入や政治的判断を勧められたら、利害関係を検討してください。判断を取り消せるかどうかも確認してください。 FAQ Q. ユヴァル・ハラリが語るAIの核心的な脅威とは何ですか？ A. 人間が判断と実行の権限を委ねる過程で、制御力を失うリスクです。判断を検討し、拒否するための条件が残されているかどうかが核心です。 Q. ハラリは、すべてのAI開発を中止すべきだと主張していますか？ A. 2026年7月のEL PAÍSのインタビューでは、すべてのAI開発の中止を主張してはいません。社会が適応できるよう、より慎重に開発すべきだという立場です。 Q. AIはすでに金融システムを掌握したのですか？ A. ここで検討した根拠から、そのように断定することはできません。ハラリの未来シナリオと、金融安定理事会が指摘した現在の脆弱性は区別する必要があります。 Q. AIの親しみやすい会話は、なぜ注意して受け止める必要があるのですか？ A. 親しみやすい会話から生まれた信頼が、推奨や説得につながる可能性があるためです。優しい表現だけで、推奨の正確性や利害関係の一致を判断しないでください。 Q. 現在、AIに意識がないと断定できますか？ A. すべてのAIに適用される確定的な命題として記述するのは困難です。2023年のButlinらの研究は、当時評価したシステムに意識があるとは見なしませんでした。将来のシステムの可能性まで排除した結論ではありません。 Q. AIの法的人格と意識は同じ問題ですか？ A. 異なる問題です。法的人格は、法律が権利・義務の主体を定める問題です。意識は、主観的経験の存在に関する問題です。 Q. AIの誤った回答は、すべて嘘なのですか？ A. そのように見ることはできません。事実と異なる出力と意図的な欺瞞は区別する必要があります。誤った回答が出たという事実だけで、人間と同じような意図を推測してはいけません。 Q. 最終承認を人間が行えば安全ですか？ A. 承認手続きだけで安全が保証されるわけではありません。根拠を検討する時間と、決定を拒否する権限が必要です。実行を中止できるかどうかも確認する必要があります。 Q. どの職業が最初に代替されると考えられますか？ A. この記事で確認した根拠から、職業別の代替順位を決めることはできません。職業内の個別業務が自動化されることと、職業全体がなくなることは別の問題です。 Q. 個人がAIに判断を委ねる際、何を確認すべきですか？ A. 主張の原文と、推奨に関わる利害関係を確認してください。実行権限を与える際は、取り消しや中止が可能かどうかを点検してください。不利な決定について、再検討を申し立てる窓口があるかどうかも確認してください。 Sources - Yuval Noah Harari 公式FAQ — 技術決定論と未来のシナリオ: https://www.ynharari.com/faqs/ - EL PAÍS — Yuval Noah Harariへのインタビュー、2026年7月25日: https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html - WIRED — How Do We Share the Planet With This New Superintelligence?: https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/ - Yuval Noah Harari — Homo Deus and the Impact of Digitalization on Society: https://www.ynharari.com/homo-deus-impact-digitalization-society/ - 金融安定理事会 — AIの金融安定への影響評価を発表、2024年11月14日: https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/ - Butlinほか — Consciousness in Artificial Intelligence、2023年: https://arxiv.org/abs/2308.08708 - Bengioほか — Managing extreme AI risks amid rapid progress、2024年改訂版: https://arxiv.org/abs/2310.17688 - NIST AI RMF Core — 人間による監督、システムの停止と事後管理: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ - NIST — AI Risks and Trustworthiness: https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/ Images - グラフを映す複数のモニターの前で、保護カバー付きの赤い非常ボタンに手を伸ばす女性: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkyOTgsInB1ciI6ImJsb2JfaWQifX0=--1d3c9a5c3c3ea22fd3d6200207dad6fa60b4fa60/ai-ee66864f.webp - データ画面の横にある赤い停止ボタンを押す女性と見守る男性: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkzMDQsInB1ciI6ImJsb2JfaWQifX0=--79cd70cb4a57e2d634de94e6a6089227bf6f920d/ai-f8e7a91b.webp --- Category: AIデータ Source: https://injoys.com/ja/articles/yuval-harari-ai-threats-human-control License: cc_by Translation-Status: reviewed