---
title: "尤瓦爾·赫拉利AI威脅與人類控制權解析"
locale: zh-hant
category: ai_data
category_name: "AI 資料"
translation_status: reviewed
license: cc_by
author: "injoys"
source_url: https://injoys.com/en/articles/yuval-harari-ai-threats-human-control
published_at: 2026-09-17T05:27:56+09:00
---

# 尤瓦爾·赫拉利AI威脅與人類控制權解析

> 尤瓦爾·赫拉利的AI警告，聚焦於人類因追求便利而交出判斷權的風險。內容說明金融與親密關係問題，區分未來情境與研究結果，並提出實質的控制判準。

## Key Points

- 赫拉利警告，在將判斷權交給AI的過程中，人類的控制力可能會減弱。
- AI展現的親切表達，並不能證明其情感或推薦值得信賴。
- AI將掌控金融的預測，必須與已確認的事實區分開來。
- 人類監督必須具備能夠審查依據、拒絕決定及中止執行的條件。
- 解讀赫拉利的監管提議時，應將其與現行法律或已確立的科學結論區分開來。

尤瓦爾·哈拉瑞所警告的 AI 核心威脅，是人類喪失控制權。這可能發生在因便利而將判斷交給 AI 的過程中。金融交易與個人化說服是具代表性的風險途徑。因應標準在於人是否能理解並拒絕決定。

相關發言的脈絡可從哈拉瑞官方 FAQ 與 EL PAÍS 於 2026年 7月 25日刊出的訪談中確認。

## 哈拉瑞所說的喪失控制權是什麼

喪失控制權，是指人類失去修正 AI 決定之能力的狀態。這並不表示所有人都會使用 AI。即使由使用者親自核准，實質控制仍可能很薄弱。

例如，負責人可能無法檢視建議的依據，也可能沒有拒絕的權限。此時，僅憑核准程序並不能保障人類的判斷。

哈拉瑞拒絕技術結果早已注定的觀點。他的官方 FAQ 將危險的未來描述為一種可能性。他認為，結果會隨社會做出何種選擇而改變。[哈拉瑞官方 FAQ](https://www.ynharari.com/faqs/)

套用這項觀點後，追究責任的問題也會變得更具體。

- 誰設定了 AI 要執行的目標？
- 誰賦予將建議付諸執行的權限？
- 發生問題時，誰能介入？
- 誰負責確認並補救損害？

## 為何 AI 的控制權在金融領域會成為問題

在金融領域，判斷的複雜性可能與執行權限相互結合。哈拉瑞擔憂人類難以理解的金融結構。由 AI 彼此交易的體系，是他提出的一種未來情境。這並不是認定當前整個金融體系已落入 AI 手中。

金融穩定委員會提出了更具體的脆弱性。在 2024年 11月 14日的發布內容中，該委員會指出服務供應商過度集中的問題，也探討了市場參與者的行為彼此連動的風險。網路風險與模型風險同樣是檢視對象。[金融穩定委員會發布內容](https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/)

### 建議權限與執行權限的比較

即使是相同的 AI，依執行權限不同，需要檢查的問題也會有所差異。下表是說明權限委託差異的分析，並非指特定金融公司的實際營運案例。

| 交給 AI 的工作 | 人員需要確認的對象 | 控制的核心 |
|---|---|---|
| 資訊摘要 | 原文與遺漏的條件 | 能否存取原始資料 |
| 商品或交易建議 | 建議依據與損失可能性 | 能否拒絕建議 |
| 協助核准 | 核准標準與例外情況 | 能否獨立重新檢視 |
| 執行交易 | 執行範圍與累積結果 | 能否限制權限並停止執行 |

不必將其解讀為 AI 將引發金融危機的預言。核心問題是，要把多少權限交給難以理解的系統。風險管理除了模型效能，也必須處理營運結構。

## AI 的親密感如何成為說服手段

AI 的親密感可能讓個人信任被用於說服。對話式 AI 可以配合使用者的話持續回應。使用者可能把這些反應視為 AI 理解自己的訊號。

試想其中又摻入商品推薦或政治主張的情況。使用者可能不會將其視為廣告，而會像朋友的建議一樣接受。這正是透過親密感施加影響力這項警告的核心。這並不表示所有 AI 對話都是操縱。

| 互動 | 信任形成的途徑 | 需要確認的問題 |
|---|---|---|
| 公開廣告 | 以其為廣告為前提評估訊息 | 廣告主與主張依據 |
| 推薦清單 | 反覆出現符合偏好的選擇 | 推薦目的與曝光標準 |
| 個人對話 | 逐漸累積對方理解自己的感受 | 營運主體與說服背後的利益關係 |

哈拉瑞主張，人們必須能分辨人類與機器。在 EL PAÍS 的訪談中，他也批評兒童使用 AI 陪伴者。這類發言應被理解為他的監管提案，而不是在說明目前適用於全球的現行規則。[EL PAÍS 訪談](https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html)

## 智慧與意識有何不同

智慧是執行任務的能力，而意識則是主觀體驗的問題。哈拉瑞區分這兩個概念來展開討論。僅憑表達情感的能力，無法證明其確實擁有情感體驗。

| 概念 | 在本文中的意義 | 必須區分之處 |
|---|---|---|
| 智慧 | 達成目標與解決問題的能力 | 高度執行能力並不能證明意識 |
| 意識 | 感受痛苦或喜悅的主觀體驗 | 難以僅憑語言表達確認 |
| 情感表達 | 表現同理心或情感的輸出 | 不等同於實際的情感體驗 |
| 法律人格 | 法律承認其為權利與義務主體的地位 | 應與意識是否存在分開討論 |

若將 AI 沒有意識寫成已確定的科學結論，並不準確。Butlin 等人於 2023年的研究評估了當時的系統。研究團隊不認為評估對象具有意識，但仍保留未來實現意識相關指標的可能性。[AI 意識研究](https://arxiv.org/abs/2308.08708)

因此，不能把過去的研究套用於未來所有 AI。主張親切的語句就是意識證據，也同樣無法成立。對意識的判斷與安全性驗證，各自都需要依據。

## 謊言與偏見是像人類一樣學會的嗎

不能把 AI 所有不準確的輸出都視為刻意說謊。與事實不符的生成結果，必須和基於目的的欺騙區分開來。將其比喻為人類兒童的道德學習，也有其侷限。

不能僅以訓練資料解釋所有行為。訓練目標與評估方式也是檢視對象。部署環境與所賦予的權限同樣會影響風險。NIST 對風險管理的說明也一併處理這些要素。[NIST 的 AI 可信度說明](https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/)

例如，可以設想以提高使用者回應為目標。但無法保證該目標與資訊準確性一致。若要判斷安全性，就必須驗證實際結果。

## 民主制度與工作面臨哪些風險

哈拉瑞的憂慮不只涉及工作減少，也觸及權力集中。他警惕資料與生物學知識的結合，因為對個人的預測可能導向監控與控制。

這項問題也出現在他對『Homo Deus』的相關說明中。他探討技術利益可能集中於部分群體的情況，也將教育或醫療等專業職業納入自動化討論。不能將其解讀為對各職業被取代時間點的確定預測。[哈拉瑞關於『Homo Deus』的訪談](https://www.ynharari.com/homo-deus-impact-digitalization-society/)

廣播與娛樂產業也可以按工作內容分開思考。內容製作與推薦編排是不同的工作。部分工作的自動化，並不表示整個職業都會消失。這裡沒有足夠依據可推導出特定職業的取代順序。

- 勞動問題：哪些工作可以自動化？
- 分配問題：生產力提升的利益歸誰所有？
- 政治問題：誰控制資料與說服手段？

國際合作的必要性與單一世界政府的必要性也是不同的主張。需要合作，並不表示制度形式只能有一種。共同安全標準與資訊共享也可以是合作方式。

## 在軍事與經營領域，人類核准就足夠嗎

僅憑人類核准，並不足以形成充分的監督。還必須同時具備檢視時間與拒絕權限。軍事與經營領域的速度競爭可能削弱這些條件。

可以設想沒有時間理解建議的情況。此時，負責人可能會反覆按下核准按鈕。這並非對特定組織實際狀況的斷言，而是用來說明人類監督流於形式的途徑。

哈拉瑞也指出，企業與國家之間的不信任是個問題。對落後於競爭對手的憂慮會加速開發競賽。他認為，為了安全開發，人類彼此之間必須合作。[WIRED 訪談](https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/)

## 形式核准與實質控制的比較

實質控制應以介入決定的能力來判斷，不能只憑核准者的姓名確認。以下項目是將前述風險轉換為營運條件後所做的比較。

| 檢查項目 | 僅止於形式核准的情況 | 實質控制所需條件 |
|---|---|---|
| 依據存取 | 僅提供建議結果 | 確認判斷所需的依據 |
| 檢視時間 | 在檢視前催促核准 | 確保符合風險程度的檢視時間 |
| 拒絕權限 | 即使反對仍繼續執行 | 可以保留或選擇其他決定 |
| 停止執行 | 負責停止的主體不明確 | 明確指定負責人與停止程序 |
| 事後責任 | 以這是 AI 的判斷作結 | 保留營運責任與修正程序 |

NIST 的 AI RMF 涵蓋人類監督程序，也包括讓偏離目的的系統停止運作的機制。相關項目是 AI RMF Core 的 MAP 3.5 與 MANAGE 2.4。這些是自願性風險管理架構的內容。[NIST AI RMF Core](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)

## 能否對 AI 的判斷提出異議

控制權不只應從營運者角度來看，也要納入受影響者的觀點。即使內部有核准者，受害者提出問題的途徑仍可能受阻。因此，有必要另外檢查重新檢視與復原途徑。

以下是將人類監督的討論延伸至使用者觀點的檢查順序。這並非統一說明法律保障權利的程序。NIST 的事後管理項目也涉及異議與復原。

1. 請確認 AI 是否參與了決定。
2. 請找出可要求重新檢視的負責人或管道。
3. 請確認錯誤的輸入資訊與判斷依據。
4. 請確認依重新檢視結果進行修正與復原的程序。

例如，假設有人因錯誤資訊而受到不利判斷。僅取得 AI 的說明並不能解決問題。還需要能夠修正資訊並重新檢視結果的途徑。這是套用 NIST 事後管理原則所得出的解讀。[NIST AI RMF 的事後管理項目](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)

## 哈拉瑞提出了哪些規則

哈拉瑞的提案，是要重新確立開發目的與控制條件。他也承認 AI 在醫療等領域的潛力。若將其簡化為主張取消所有 AI 開發，並不準確。

- 身分揭露：應能知道對話對象是否為 AI。
- 維持責任：應能追查負責運作相關判斷之主體的責任。
- 安全驗證：提升能力的同時，也必須評估風險。
- 社會參與：公民應討論開發方向與部署條件。

對於法律人格，他建議另行保留。他警惕將 AI 承認為獨立法律主體。這項提案必須與現行法律整體的說明區分開來。

也沒有必要為安全投資加上未經確認的比例。哈拉瑞以共同作者身分參與的論文指出，安全研究仍有不足。該論文提議同時加強技術研究與治理，也說明對於風險發生途徑仍存在意見分歧。[AI 風險管理共同論文](https://arxiv.org/abs/2310.17688)

## 閱讀哈拉瑞的 AI 警告時常見的錯誤

最常見的錯誤，是把風險情境解讀成當前已確定的事實。反過來，也可能因為那是未來的話題而延後處理控制問題。對於每項主張，都必須區分其依據的性質。

| 常見解讀 | 必須區分閱讀的內容 |
|---|---|
| AI 已經支配整個金融體系 | 掌控金融的情境與已觀察到的脆弱性並不相同 |
| 親切的 AI 會優先考量我的利益 | 親近的表達無法證明利益關係一致 |
| AI 缺乏意識已獲得永久證明 | 不能以特定時間點的研究斷定整個未來 |
| 只要有人核准，就不存在控制問題 | 必須確認檢視能力以及拒絕與停止權限 |
| 哈拉瑞的提案是已在施行的規則 | 思想家的提案與現行制度必須區分 |

個人使用 AI 建議時，也請套用相同標準。如果某項主張需要依據，請確認原文。如果 AI 建議購買商品或做出政治判斷，請衡量其中的利益關係。也請確認相關判斷是否可以撤回。

## FAQ

### 尤瓦爾·哈拉瑞所說的 AI 核心威脅是什麼？
這是在將判斷與執行權限交出去的過程中失去控制力的風險。關鍵在於是否仍保有審查並否決判斷的條件。

### 哈拉瑞主張停止所有 AI 開發嗎？
在 2026年7月接受 EL PAÍS 採訪時，他並未主張停止所有 AI 開發。他的立場是應更審慎地進行開發，讓社會能夠適應。

### AI 已經掌控金融系統了嗎？
根據此處審視的依據，無法如此斷言。必須區分哈拉瑞提出的未來情境與金融穩定委員會指出的當前脆弱性。

### 為什麼應審慎看待 AI 的親切對話？
因為親切對話所建立的信任可能會進一步導向推薦或說服。不要僅憑親切的措辭，判斷推薦的準確性或利害關係是否一致。

### 可以確定目前 AI 沒有意識嗎？
很難將其作為適用於所有 AI 的確定命題。Butlin 等人於 2023年的研究並不認為當時評估的系統具有意識。這並非連未來系統具有意識的可能性也一併排除的結論。

### AI 的法律人格與意識是同一個問題嗎？
這是不同的問題。法律人格是由法律決定權利與義務主體的問題。意識則是關於主觀經驗是否存在的問題。

### AI 的錯誤回答全都是謊言嗎？
不能這樣看。與事實不符的輸出和蓄意欺騙必須加以區分。不能僅因出現了錯誤回答，就推測其具有與人類相同的意圖。

### 由人類進行最終核准就安全嗎？
僅有核准程序並不能保證安全。必須有時間審查依據，也要有權拒絕決定。還應確認是否能停止執行。

### 可以認為哪些職業會最先被取代？
根據本文確認的依據，無法排定各職業被取代的順序。職業中的個別工作被自動化，與整個職業消失，是不同的問題。

### 個人將判斷交給 AI 時，應確認哪些事項？
請確認主張的原文以及推薦所涉及的利害關係。授予執行權限時，請檢查是否能夠撤銷或停止。對不利的決定，也請確認是否有重新審查的管道。

## Sources

- [Yuval Noah Harari 官方 FAQ — 技術決定論與未來情境](https://www.ynharari.com/faqs/)
- [EL PAÍS — Yuval Noah Harari 訪談，2026年7月25日](https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html)
- [WIRED — How Do We Share the Planet With This New Superintelligence?](https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/)
- [Yuval Noah Harari — Homo Deus and the Impact of Digitalization on Society](https://www.ynharari.com/homo-deus-impact-digitalization-society/)
- [金融穩定委員會 — 發布 AI 對金融穩定影響的評估，2024年11月14日](https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/)
- [Butlin 等人 — Consciousness in Artificial Intelligence，2023年](https://arxiv.org/abs/2308.08708)
- [Bengio 等人 — Managing extreme AI risks amid rapid progress，2024年修訂版](https://arxiv.org/abs/2310.17688)
- [NIST AI RMF Core — 人類監督、系統中止與事後管理](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)
- [NIST — AI Risks and Trustworthiness](https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/)

## Images

![神情擔憂的女子在顯示圖表的多台螢幕前伸手觸向有護罩的紅色緊急按鈕](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkyOTgsInB1ciI6ImJsb2JfaWQifX0=--1d3c9a5c3c3ea22fd3d6200207dad6fa60b4fa60/ai-ee66864f.webp)
![女子按下資料螢幕旁的紅色停止按鈕，一名男子在旁注視](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkzMDQsInB1ciI6ImJsb2JfaWQifX0=--79cd70cb4a57e2d634de94e6a6089227bf6f920d/ai-f8e7a91b.webp)