{"content_id":"ltp31asme2","slug":"yuval-harari-ai-threats-human-control","locale":"ko","schema_type":"Article","category":"ai_data","category_name":"AI 데이터","title":"유발 하라리 AI 위협과 인간 통제권 정리","summary":"유발 하라리의 AI 경고는 인간이 편리함을 이유로 판단권을 넘기는 위험에 초점을 맞춘다. 금융과 친밀감의 문제를 설명하고, 미래 시나리오와 연구 결과를 구분해 실질적인 통제 기준을 제시한다.","sponsorship_disclosure":null,"affiliate_disclosure":null,"commerce_disclosure":null,"author":{"name":"인조이스 편집팀","url":"https://injoys.com/ko/about"},"key_points":["하라리는 AI에 판단권을 넘기는 과정에서 인간의 통제력이 약해질 수 있다고 경고한다.","AI의 친근한 표현은 감정이나 추천의 신뢰성을 입증하지 않는다.","AI가 금융을 장악한다는 전망은 이미 확인된 사실과 구분해야 한다.","인간의 감독에는 근거 검토와 결정 거부, 실행 중단이 가능한 조건이 필요하다.","하라리의 규제 제안은 현행법이나 확정된 과학적 결론과 구분해서 읽어야 한다."],"content_markdown":"유발 하라리가 경고하는 AI의 핵심 위협은 인간의 통제권 상실이다. 편리함 때문에 판단을 맡기는 과정에서 생길 수 있다. 금융 거래와 개인적 설득이 대표적인 위험 경로다. 대응의 기준은 사람이 결정을 이해하고 거부할 수 있느냐다.\n\n발언의 맥락은 하라리 공식 FAQ와 EL PAÍS의 2026년 7월 25일 인터뷰에서 확인할 수 있다.\n\n## 하라리가 말하는 통제권 상실은 무엇인가\n\n통제권 상실은 인간이 AI의 결정을 수정할 능력을 잃는 상태다. 모든 사람이 AI를 사용한다는 뜻은 아니다. 사용자가 직접 승인하더라도 실질적인 통제는 약할 수 있다.\n\n예를 들어 담당자가 추천의 근거를 검토하지 못할 수 있다. 거부할 권한이 없을 수도 있다. 이때 승인 절차만으로 인간의 판단이 보장되지는 않는다.\n\n하라리는 기술의 결과가 미리 정해져 있다는 관점을 거부한다. 그의 공식 FAQ는 위험한 미래를 가능성으로 설명한다. 사회가 어떤 선택을 하느냐에 따라 결과가 달라진다는 입장이다. [하라리 공식 FAQ](https://www.ynharari.com/faqs/)\n\n이 관점을 적용하면 책임을 묻는 질문도 구체화된다.\n\n- AI가 수행할 목표를 누가 정했는가?\n- 추천을 실행으로 옮길 권한을 누가 부여했는가?\n- 문제가 생겼을 때 누가 개입할 수 있는가?\n- 피해를 확인하고 바로잡을 주체는 누구인가?\n\n## 금융에서 AI의 통제권이 문제 되는 이유\n\n금융에서는 판단의 복잡성과 실행 권한이 결합할 수 있다. 하라리는 인간이 이해하기 어려운 금융 구조를 우려한다. AI끼리 거래하는 체계가 그가 제시하는 미래 시나리오다. 이는 현재 금융 전체가 AI에 넘어갔다는 진단은 아니다.\n\n금융안정위원회는 더 구체적인 취약성을 제시했다. 2024년 11월 14일 발표에서 서비스 제공자 집중을 지적했다. 시장 참여자의 행동이 서로 연동될 위험도 다뤘다. 사이버 위험과 모델 위험 역시 검토 대상이었다. [금융안정위원회 발표](https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/)\n\n### 추천과 실행 권한의 비교\n\n같은 AI라도 실행 권한에 따라 점검할 문제가 달라진다. 다음 표는 권한 위임의 차이를 설명하는 분석이다. 특정 금융회사의 실제 운영 사례를 뜻하지 않는다.\n\n| AI에 맡기는 일 | 사람이 확인할 대상 | 통제의 핵심 |\n|---|---|---|\n| 정보 요약 | 원문과 누락된 조건 | 원자료에 접근할 수 있는가 |\n| 상품이나 거래 추천 | 추천 근거와 손실 가능성 | 추천을 거부할 수 있는가 |\n| 승인 보조 | 승인 기준과 예외 상황 | 독립적으로 재검토할 수 있는가 |\n| 거래 실행 | 실행 범위와 누적 결과 | 권한을 제한하고 중단할 수 있는가 |\n\nAI가 금융 위기를 일으킨다는 예언으로 읽을 필요는 없다. 핵심은 이해하기 어려운 시스템에 권한을 얼마나 맡기느냐다. 위험 관리는 모델의 성능뿐 아니라 운영 구조도 다뤄야 한다.\n\n## AI의 친밀감은 어떻게 설득 수단이 되는가\n\nAI의 친밀감은 개인적인 신뢰를 설득에 이용할 가능성을 만든다. 대화형 AI는 사용자의 말에 맞춰 응답을 이어갈 수 있다. 사용자는 그 반응을 자신을 이해한다는 신호로 받아들일 수 있다.\n\n여기에 상품 추천이나 정치적 주장이 섞인 상황을 가정해 보자. 사용자는 광고보다 친구의 조언처럼 받아들일 수 있다. 이것이 친밀감을 통한 영향력이라는 경고의 핵심이다. 모든 AI 대화가 조작이라는 뜻은 아니다.\n\n| 상호작용 | 신뢰가 형성되는 경로 | 확인할 문제 |\n|---|---|---|\n| 공개 광고 | 광고임을 전제로 메시지를 평가 | 광고주와 주장 근거 |\n| 추천 목록 | 취향에 맞는 선택이 반복됨 | 추천 목적과 노출 기준 |\n| 개인 대화 | 나를 이해한다는 느낌이 쌓임 | 운영 주체와 설득의 이해관계 |\n\n하라리는 사람과 기계를 구분할 수 있어야 한다고 주장한다. EL PAÍS 인터뷰에서는 아동의 AI 동반자 이용도 비판했다. 이런 발언은 그의 규제 제안으로 읽어야 한다. 전 세계에 적용되는 현행 규칙을 설명한 것은 아니다. [EL PAÍS 인터뷰](https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html)\n\n## 지능과 의식은 어떻게 다른가\n\n지능은 과제를 수행하는 능력이고, 의식은 주관적 경험의 문제다. 하라리는 두 개념을 구분해 논의를 전개한다. 감정을 표현하는 능력만으로 감정의 경험을 입증할 수는 없다.\n\n| 개념 | 이 글에서의 의미 | 구분해야 할 점 |\n|---|---|---|\n| 지능 | 목표 달성과 문제 해결 능력 | 높은 수행 능력이 의식을 증명하지 않음 |\n| 의식 | 고통이나 기쁨을 느끼는 주관적 경험 | 언어 표현만으로 확인하기 어려움 |\n| 감정 표현 | 공감이나 애정을 나타내는 출력 | 실제 감정 경험과 동일하지 않음 |\n| 법적 인격 | 법이 권리·의무의 주체로 인정하는 지위 | 의식의 존재와 별도로 논의할 문제 |\n\nAI에 의식이 없다는 말을 확정된 과학적 결론으로 쓰면 부정확하다. 2023년 Butlin 등의 연구는 당시 시스템을 평가했다. 연구진은 평가 대상에 의식이 있다고 보지 않았다. 그러나 향후 의식 관련 지표의 구현 가능성은 열어 두었다. [AI 의식 연구](https://arxiv.org/abs/2308.08708)\n\n따라서 과거 연구를 미래의 모든 AI에 적용할 수는 없다. 다정한 문장이 의식의 증거라는 주장도 성립하지 않는다. 의식에 대한 판단과 안전성 검증은 각각 근거가 필요하다.\n\n## 거짓말과 편향은 인간처럼 학습하는가\n\nAI의 부정확한 출력을 모두 의도적인 거짓말로 보면 안 된다. 사실과 다른 생성 결과와 목적에 따른 기만은 구분해야 한다. 인간 아이의 도덕 학습에 빗대는 설명에도 한계가 있다.\n\n학습 데이터만으로 모든 행동을 설명할 수는 없다. 학습 목표와 평가 방식도 검토 대상이다. 배포 환경과 부여된 권한도 위험에 영향을 준다. NIST의 위험관리 설명 역시 이런 요소를 함께 다룬다. [NIST의 AI 신뢰성 설명](https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/)\n\n예를 들어 이용자의 반응을 늘리는 목표를 생각할 수 있다. 그 목표가 정보의 정확성과 일치한다고 보장할 수는 없다. 안전성을 판단하려면 실제 결과를 검증해야 한다.\n\n## 민주주의와 일자리에는 어떤 위험이 있는가\n\n하라리의 우려는 일자리 감소를 넘어 권력의 집중에 닿아 있다. 그는 데이터와 생물학적 지식의 결합을 경계한다. 개인에 대한 예측이 감시와 통제로 이어질 가능성 때문이다.\n\n이 문제는 『호모 데우스』와 관련한 그의 설명에도 등장한다. 기술의 혜택이 일부 집단에 집중될 가능성을 다룬다. 교육이나 의료 같은 전문직도 자동화 논의에 포함한다. 이를 직업별 대체 시점의 확정 예측으로 읽어서는 안 된다. [하라리의 『호모 데우스』 관련 인터뷰](https://www.ynharari.com/homo-deus-impact-digitalization-society/)\n\n방송과 엔터테인먼트도 업무별로 나누어 생각할 수 있다. 콘텐츠 제작과 추천 편성은 서로 다른 업무다. 업무 일부의 자동화가 직업 전체의 소멸을 뜻하지는 않는다. 여기서 특정 직업의 대체 순위를 도출할 근거는 없다.\n\n- 노동의 문제: 어떤 업무를 자동화할 수 있는가?\n- 분배의 문제: 생산성 향상의 이익이 누구에게 돌아가는가?\n- 정치의 문제: 데이터와 설득 수단을 누가 통제하는가?\n\n국제 협력의 필요성과 단일 세계정부의 필요성도 다른 주장이다. 협력이 필요하다고 해서 제도 형태가 하나로 정해지지는 않는다. 공동 안전 기준과 정보 공유도 협력의 방식이 될 수 있다.\n\n## 군사와 경영에서 인간의 승인은 충분한가\n\n인간의 승인만으로 충분한 감독이 성립하지는 않는다. 검토할 시간과 거부 권한이 함께 있어야 한다. 군사와 경영의 속도 경쟁은 이 조건을 약화시킬 수 있다.\n\n추천을 이해할 시간이 없는 상황을 가정할 수 있다. 이때 담당자는 승인 버튼을 반복해서 누를 수 있다. 이는 특정 조직의 실태를 단정한 설명이 아니다. 인간 감독이 형식화되는 경로를 보여주는 예시다.\n\n하라리는 기업과 국가 사이의 불신도 문제로 지적한다. 경쟁자에게 뒤처질 우려가 개발 경쟁을 재촉한다는 것이다. 그는 안전한 개발을 위해 인간 사이의 협력이 필요하다고 본다. [WIRED 인터뷰](https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/)\n\n## 형식적 승인과 실질적 통제의 비교\n\n실질적 통제는 결정에 개입할 능력으로 판단해야 한다. 승인자의 이름만으로 이를 확인할 수는 없다. 아래 항목은 앞선 위험을 운영 조건으로 바꾼 비교다.\n\n| 점검 항목 | 형식적 승인에 그치는 경우 | 실질적 통제를 위한 조건 |\n|---|---|---|\n| 근거 접근 | 추천 결과만 제시됨 | 판단에 필요한 근거를 확인함 |\n| 검토 시간 | 검토 전에 승인을 재촉함 | 위험에 맞는 검토 시간을 확보함 |\n| 거부 권한 | 반대해도 실행이 이어짐 | 보류하거나 다른 결정을 선택함 |\n| 실행 중단 | 중단 주체가 불명확함 | 담당자와 중단 절차가 정해짐 |\n| 사후 책임 | AI의 판단이라는 설명으로 끝남 | 운영 책임과 수정 절차가 남음 |\n\nNIST의 AI RMF는 인간 감독 절차를 다룬다. 목적에서 벗어난 시스템의 중단 장치도 포함한다. 해당 항목은 AI RMF Core의 MAP 3.5와 MANAGE 2.4다. 이는 자발적 위험관리 체계의 내용이다. [NIST AI RMF Core](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)\n\n## AI 판단에 이의를 제기할 수 있는가\n\n통제권은 운영자뿐 아니라 영향을 받는 사람의 관점에서도 봐야 한다. 내부 승인자가 있어도 피해자의 문제 제기는 막힐 수 있다. 그래서 재검토와 복구 경로를 별도로 점검할 필요가 있다.\n\n다음은 인간 감독 논의를 이용자의 관점으로 확장한 점검 순서다. 법적으로 보장된 권리를 일괄 설명하는 절차는 아니다. NIST의 사후 관리 항목도 이의제기와 복구를 다룬다.\n\n1. 결정에 AI가 관여했는지 확인하세요.\n2. 재검토를 요청할 담당자나 창구를 찾으세요.\n3. 잘못된 입력 정보와 판단 근거를 확인하세요.\n4. 재검토 결과에 따른 수정·복구 절차를 확인하세요.\n\n예를 들어 잘못된 정보로 불리한 판단을 받았다고 가정하자. AI의 설명을 받는 것만으로 문제가 해결되지는 않는다. 정보를 고치고 결과를 재검토할 경로가 필요하다. 이는 NIST의 사후 관리 원칙을 적용한 해석이다. [NIST AI RMF의 사후 관리 항목](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)\n\n## 하라리가 제안하는 규칙은 무엇인가\n\n하라리의 제안은 개발의 목적과 통제 조건을 다시 정하자는 것이다. 그는 의료 등에서 AI의 가능성도 인정한다. 모든 AI 개발을 없애자는 주장으로 단순화하면 부정확하다.\n\n- 신분 공개: 대화 상대가 AI인지 알 수 있어야 한다.\n- 책임 유지: 판단을 운영하는 주체의 책임을 추적할 수 있어야 한다.\n- 안전 검증: 능력 향상과 함께 위험을 평가해야 한다.\n- 사회적 참여: 시민이 개발 방향과 배포 조건을 논의해야 한다.\n\n법적 인격에 대해서는 별도의 유보를 제안한다. AI를 독립된 법적 주체로 인정하는 일을 경계한다. 이 제안은 현행법 전체의 설명과 구분해야 한다.\n\n안전 투자에도 확인되지 않은 비율을 붙일 필요는 없다. 하라리가 공동 저자로 참여한 논문은 안전 연구의 부족을 지적한다. 기술 연구와 거버넌스를 함께 강화하자는 제안이다. 위험의 발생 경로에는 견해 차이가 있다는 점도 밝힌다. [AI 위험관리 공동 논문](https://arxiv.org/abs/2310.17688)\n\n## 하라리의 AI 경고를 읽을 때 흔한 실수\n\n가장 흔한 실수는 위험 시나리오를 현재의 확정 사실로 읽는 것이다. 반대로 미래 이야기라는 이유로 통제 문제를 미룰 수도 있다. 주장마다 근거의 성격을 구분해야 한다.\n\n| 흔한 해석 | 구분해서 읽어야 할 내용 |\n|---|---|\n| AI가 이미 금융 전체를 지배한다 | 금융 장악 시나리오와 관측된 취약성은 다름 |\n| 친절한 AI는 내 이익을 우선한다 | 친근한 표현은 이해관계의 일치를 입증하지 않음 |\n| AI의 의식 부재는 영구히 증명됐다 | 특정 시점의 연구로 미래 전체를 단정할 수 없음 |\n| 사람이 승인하면 통제 문제가 없다 | 검토 능력과 거부·중단 권한을 확인해야 함 |\n| 하라리의 제안은 이미 시행 중인 규칙이다 | 사상가의 제안과 현행 제도는 구분해야 함 |\n\n개인적으로 AI의 조언을 사용할 때도 같은 기준을 적용하세요. 근거가 필요한 주장이라면 원문을 확인하세요. 구매나 정치적 판단을 권하면 이해관계를 따져 보세요. 판단을 되돌릴 수 있는지도 확인하세요.","content_html":"\u003cp\u003e유발 하라리가 경고하는 AI의 핵심 위협은 인간의 통제권 상실이다. 편리함 때문에 판단을 맡기는 과정에서 생길 수 있다. 금융 거래와 개인적 설득이 대표적인 위험 경로다. 대응의 기준은 사람이 결정을 이해하고 거부할 수 있느냐다.\u003c/p\u003e\n\u003cp\u003e발언의 맥락은 하라리 공식 FAQ와 EL PAÍS의 2026년 7월 25일 인터뷰에서 확인할 수 있다.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%ED%95%98%EB%9D%BC%EB%A6%AC%EA%B0%80-%EB%A7%90%ED%95%98%EB%8A%94-%ED%86%B5%EC%A0%9C%EA%B6%8C-%EC%83%81%EC%8B%A4%EC%9D%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80\" class=\"anchor\" id=\"하라리가-말하는-통제권-상실은-무엇인가\"\u003e\u003c/a\u003e하라리가 말하는 통제권 상실은 무엇인가\u003c/h2\u003e\n\u003cp\u003e통제권 상실은 인간이 AI의 결정을 수정할 능력을 잃는 상태다. 모든 사람이 AI를 사용한다는 뜻은 아니다. 사용자가 직접 승인하더라도 실질적인 통제는 약할 수 있다.\u003c/p\u003e\n\u003cp\u003e예를 들어 담당자가 추천의 근거를 검토하지 못할 수 있다. 거부할 권한이 없을 수도 있다. 이때 승인 절차만으로 인간의 판단이 보장되지는 않는다.\u003c/p\u003e\n\u003cp\u003e하라리는 기술의 결과가 미리 정해져 있다는 관점을 거부한다. 그의 공식 FAQ는 위험한 미래를 가능성으로 설명한다. 사회가 어떤 선택을 하느냐에 따라 결과가 달라진다는 입장이다. \u003ca href=\"https://www.ynharari.com/faqs/\"\u003e하라리 공식 FAQ\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e이 관점을 적용하면 책임을 묻는 질문도 구체화된다.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eAI가 수행할 목표를 누가 정했는가?\u003c/li\u003e\n\u003cli\u003e추천을 실행으로 옮길 권한을 누가 부여했는가?\u003c/li\u003e\n\u003cli\u003e문제가 생겼을 때 누가 개입할 수 있는가?\u003c/li\u003e\n\u003cli\u003e피해를 확인하고 바로잡을 주체는 누구인가?\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2\u003e\n\u003ca href=\"#%EA%B8%88%EC%9C%B5%EC%97%90%EC%84%9C-ai%EC%9D%98-%ED%86%B5%EC%A0%9C%EA%B6%8C%EC%9D%B4-%EB%AC%B8%EC%A0%9C-%EB%90%98%EB%8A%94-%EC%9D%B4%EC%9C%A0\" class=\"anchor\" id=\"금융에서-ai의-통제권이-문제-되는-이유\"\u003e\u003c/a\u003e금융에서 AI의 통제권이 문제 되는 이유\u003c/h2\u003e\n\u003cp\u003e금융에서는 판단의 복잡성과 실행 권한이 결합할 수 있다. 하라리는 인간이 이해하기 어려운 금융 구조를 우려한다. AI끼리 거래하는 체계가 그가 제시하는 미래 시나리오다. 이는 현재 금융 전체가 AI에 넘어갔다는 진단은 아니다.\u003c/p\u003e\n\u003cp\u003e금융안정위원회는 더 구체적인 취약성을 제시했다. 2024년 11월 14일 발표에서 서비스 제공자 집중을 지적했다. 시장 참여자의 행동이 서로 연동될 위험도 다뤘다. 사이버 위험과 모델 위험 역시 검토 대상이었다. \u003ca href=\"https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/\"\u003e금융안정위원회 발표\u003c/a\u003e\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#%EC%B6%94%EC%B2%9C%EA%B3%BC-%EC%8B%A4%ED%96%89-%EA%B6%8C%ED%95%9C%EC%9D%98-%EB%B9%84%EA%B5%90\" class=\"anchor\" id=\"추천과-실행-권한의-비교\"\u003e\u003c/a\u003e추천과 실행 권한의 비교\u003c/h3\u003e\n\u003cp\u003e같은 AI라도 실행 권한에 따라 점검할 문제가 달라진다. 다음 표는 권한 위임의 차이를 설명하는 분석이다. 특정 금융회사의 실제 운영 사례를 뜻하지 않는다.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eAI에 맡기는 일\u003c/th\u003e\n\u003cth\u003e사람이 확인할 대상\u003c/th\u003e\n\u003cth\u003e통제의 핵심\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"AI에 맡기는 일\"\u003e정보 요약\u003c/td\u003e\n\u003ctd data-label=\"사람이 확인할 대상\"\u003e원문과 누락된 조건\u003c/td\u003e\n\u003ctd data-label=\"통제의 핵심\"\u003e원자료에 접근할 수 있는가\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"AI에 맡기는 일\"\u003e상품이나 거래 추천\u003c/td\u003e\n\u003ctd data-label=\"사람이 확인할 대상\"\u003e추천 근거와 손실 가능성\u003c/td\u003e\n\u003ctd data-label=\"통제의 핵심\"\u003e추천을 거부할 수 있는가\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"AI에 맡기는 일\"\u003e승인 보조\u003c/td\u003e\n\u003ctd data-label=\"사람이 확인할 대상\"\u003e승인 기준과 예외 상황\u003c/td\u003e\n\u003ctd data-label=\"통제의 핵심\"\u003e독립적으로 재검토할 수 있는가\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"AI에 맡기는 일\"\u003e거래 실행\u003c/td\u003e\n\u003ctd data-label=\"사람이 확인할 대상\"\u003e실행 범위와 누적 결과\u003c/td\u003e\n\u003ctd data-label=\"통제의 핵심\"\u003e권한을 제한하고 중단할 수 있는가\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eAI가 금융 위기를 일으킨다는 예언으로 읽을 필요는 없다. 핵심은 이해하기 어려운 시스템에 권한을 얼마나 맡기느냐다. 위험 관리는 모델의 성능뿐 아니라 운영 구조도 다뤄야 한다.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#ai%EC%9D%98-%EC%B9%9C%EB%B0%80%EA%B0%90%EC%9D%80-%EC%96%B4%EB%96%BB%EA%B2%8C-%EC%84%A4%EB%93%9D-%EC%88%98%EB%8B%A8%EC%9D%B4-%EB%90%98%EB%8A%94%EA%B0%80\" class=\"anchor\" id=\"ai의-친밀감은-어떻게-설득-수단이-되는가\"\u003e\u003c/a\u003eAI의 친밀감은 어떻게 설득 수단이 되는가\u003c/h2\u003e\n\u003cp\u003eAI의 친밀감은 개인적인 신뢰를 설득에 이용할 가능성을 만든다. 대화형 AI는 사용자의 말에 맞춰 응답을 이어갈 수 있다. 사용자는 그 반응을 자신을 이해한다는 신호로 받아들일 수 있다.\u003c/p\u003e\n\u003cp\u003e여기에 상품 추천이나 정치적 주장이 섞인 상황을 가정해 보자. 사용자는 광고보다 친구의 조언처럼 받아들일 수 있다. 이것이 친밀감을 통한 영향력이라는 경고의 핵심이다. 모든 AI 대화가 조작이라는 뜻은 아니다.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003e상호작용\u003c/th\u003e\n\u003cth\u003e신뢰가 형성되는 경로\u003c/th\u003e\n\u003cth\u003e확인할 문제\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"상호작용\"\u003e공개 광고\u003c/td\u003e\n\u003ctd data-label=\"신뢰가 형성되는 경로\"\u003e광고임을 전제로 메시지를 평가\u003c/td\u003e\n\u003ctd data-label=\"확인할 문제\"\u003e광고주와 주장 근거\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"상호작용\"\u003e추천 목록\u003c/td\u003e\n\u003ctd data-label=\"신뢰가 형성되는 경로\"\u003e취향에 맞는 선택이 반복됨\u003c/td\u003e\n\u003ctd data-label=\"확인할 문제\"\u003e추천 목적과 노출 기준\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"상호작용\"\u003e개인 대화\u003c/td\u003e\n\u003ctd data-label=\"신뢰가 형성되는 경로\"\u003e나를 이해한다는 느낌이 쌓임\u003c/td\u003e\n\u003ctd data-label=\"확인할 문제\"\u003e운영 주체와 설득의 이해관계\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003e하라리는 사람과 기계를 구분할 수 있어야 한다고 주장한다. EL PAÍS 인터뷰에서는 아동의 AI 동반자 이용도 비판했다. 이런 발언은 그의 규제 제안으로 읽어야 한다. 전 세계에 적용되는 현행 규칙을 설명한 것은 아니다. \u003ca href=\"https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html\"\u003eEL PAÍS 인터뷰\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%EC%A7%80%EB%8A%A5%EA%B3%BC-%EC%9D%98%EC%8B%9D%EC%9D%80-%EC%96%B4%EB%96%BB%EA%B2%8C-%EB%8B%A4%EB%A5%B8%EA%B0%80\" class=\"anchor\" id=\"지능과-의식은-어떻게-다른가\"\u003e\u003c/a\u003e지능과 의식은 어떻게 다른가\u003c/h2\u003e\n\u003cp\u003e지능은 과제를 수행하는 능력이고, 의식은 주관적 경험의 문제다. 하라리는 두 개념을 구분해 논의를 전개한다. 감정을 표현하는 능력만으로 감정의 경험을 입증할 수는 없다.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003e개념\u003c/th\u003e\n\u003cth\u003e이 글에서의 의미\u003c/th\u003e\n\u003cth\u003e구분해야 할 점\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"개념\"\u003e지능\u003c/td\u003e\n\u003ctd data-label=\"이 글에서의 의미\"\u003e목표 달성과 문제 해결 능력\u003c/td\u003e\n\u003ctd data-label=\"구분해야 할 점\"\u003e높은 수행 능력이 의식을 증명하지 않음\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"개념\"\u003e의식\u003c/td\u003e\n\u003ctd data-label=\"이 글에서의 의미\"\u003e고통이나 기쁨을 느끼는 주관적 경험\u003c/td\u003e\n\u003ctd data-label=\"구분해야 할 점\"\u003e언어 표현만으로 확인하기 어려움\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"개념\"\u003e감정 표현\u003c/td\u003e\n\u003ctd data-label=\"이 글에서의 의미\"\u003e공감이나 애정을 나타내는 출력\u003c/td\u003e\n\u003ctd data-label=\"구분해야 할 점\"\u003e실제 감정 경험과 동일하지 않음\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"개념\"\u003e법적 인격\u003c/td\u003e\n\u003ctd data-label=\"이 글에서의 의미\"\u003e법이 권리·의무의 주체로 인정하는 지위\u003c/td\u003e\n\u003ctd data-label=\"구분해야 할 점\"\u003e의식의 존재와 별도로 논의할 문제\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eAI에 의식이 없다는 말을 확정된 과학적 결론으로 쓰면 부정확하다. 2023년 Butlin 등의 연구는 당시 시스템을 평가했다. 연구진은 평가 대상에 의식이 있다고 보지 않았다. 그러나 향후 의식 관련 지표의 구현 가능성은 열어 두었다. \u003ca href=\"https://arxiv.org/abs/2308.08708\"\u003eAI 의식 연구\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e따라서 과거 연구를 미래의 모든 AI에 적용할 수는 없다. 다정한 문장이 의식의 증거라는 주장도 성립하지 않는다. 의식에 대한 판단과 안전성 검증은 각각 근거가 필요하다.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%EA%B1%B0%EC%A7%93%EB%A7%90%EA%B3%BC-%ED%8E%B8%ED%96%A5%EC%9D%80-%EC%9D%B8%EA%B0%84%EC%B2%98%EB%9F%BC-%ED%95%99%EC%8A%B5%ED%95%98%EB%8A%94%EA%B0%80\" class=\"anchor\" id=\"거짓말과-편향은-인간처럼-학습하는가\"\u003e\u003c/a\u003e거짓말과 편향은 인간처럼 학습하는가\u003c/h2\u003e\n\u003cp\u003eAI의 부정확한 출력을 모두 의도적인 거짓말로 보면 안 된다. 사실과 다른 생성 결과와 목적에 따른 기만은 구분해야 한다. 인간 아이의 도덕 학습에 빗대는 설명에도 한계가 있다.\u003c/p\u003e\n\u003cp\u003e학습 데이터만으로 모든 행동을 설명할 수는 없다. 학습 목표와 평가 방식도 검토 대상이다. 배포 환경과 부여된 권한도 위험에 영향을 준다. NIST의 위험관리 설명 역시 이런 요소를 함께 다룬다. \u003ca href=\"https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/\"\u003eNIST의 AI 신뢰성 설명\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e예를 들어 이용자의 반응을 늘리는 목표를 생각할 수 있다. 그 목표가 정보의 정확성과 일치한다고 보장할 수는 없다. 안전성을 판단하려면 실제 결과를 검증해야 한다.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%EB%AF%BC%EC%A3%BC%EC%A3%BC%EC%9D%98%EC%99%80-%EC%9D%BC%EC%9E%90%EB%A6%AC%EC%97%90%EB%8A%94-%EC%96%B4%EB%96%A4-%EC%9C%84%ED%97%98%EC%9D%B4-%EC%9E%88%EB%8A%94%EA%B0%80\" class=\"anchor\" id=\"민주주의와-일자리에는-어떤-위험이-있는가\"\u003e\u003c/a\u003e민주주의와 일자리에는 어떤 위험이 있는가\u003c/h2\u003e\n\u003cp\u003e하라리의 우려는 일자리 감소를 넘어 권력의 집중에 닿아 있다. 그는 데이터와 생물학적 지식의 결합을 경계한다. 개인에 대한 예측이 감시와 통제로 이어질 가능성 때문이다.\u003c/p\u003e\n\u003cp\u003e이 문제는 『호모 데우스』와 관련한 그의 설명에도 등장한다. 기술의 혜택이 일부 집단에 집중될 가능성을 다룬다. 교육이나 의료 같은 전문직도 자동화 논의에 포함한다. 이를 직업별 대체 시점의 확정 예측으로 읽어서는 안 된다. \u003ca href=\"https://www.ynharari.com/homo-deus-impact-digitalization-society/\"\u003e하라리의 『호모 데우스』 관련 인터뷰\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e방송과 엔터테인먼트도 업무별로 나누어 생각할 수 있다. 콘텐츠 제작과 추천 편성은 서로 다른 업무다. 업무 일부의 자동화가 직업 전체의 소멸을 뜻하지는 않는다. 여기서 특정 직업의 대체 순위를 도출할 근거는 없다.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e노동의 문제: 어떤 업무를 자동화할 수 있는가?\u003c/li\u003e\n\u003cli\u003e분배의 문제: 생산성 향상의 이익이 누구에게 돌아가는가?\u003c/li\u003e\n\u003cli\u003e정치의 문제: 데이터와 설득 수단을 누가 통제하는가?\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e국제 협력의 필요성과 단일 세계정부의 필요성도 다른 주장이다. 협력이 필요하다고 해서 제도 형태가 하나로 정해지지는 않는다. 공동 안전 기준과 정보 공유도 협력의 방식이 될 수 있다.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%EA%B5%B0%EC%82%AC%EC%99%80-%EA%B2%BD%EC%98%81%EC%97%90%EC%84%9C-%EC%9D%B8%EA%B0%84%EC%9D%98-%EC%8A%B9%EC%9D%B8%EC%9D%80-%EC%B6%A9%EB%B6%84%ED%95%9C%EA%B0%80\" class=\"anchor\" id=\"군사와-경영에서-인간의-승인은-충분한가\"\u003e\u003c/a\u003e군사와 경영에서 인간의 승인은 충분한가\u003c/h2\u003e\n\u003cp\u003e인간의 승인만으로 충분한 감독이 성립하지는 않는다. 검토할 시간과 거부 권한이 함께 있어야 한다. 군사와 경영의 속도 경쟁은 이 조건을 약화시킬 수 있다.\u003c/p\u003e\n\u003cp\u003e추천을 이해할 시간이 없는 상황을 가정할 수 있다. 이때 담당자는 승인 버튼을 반복해서 누를 수 있다. 이는 특정 조직의 실태를 단정한 설명이 아니다. 인간 감독이 형식화되는 경로를 보여주는 예시다.\u003c/p\u003e\n\u003cp\u003e하라리는 기업과 국가 사이의 불신도 문제로 지적한다. 경쟁자에게 뒤처질 우려가 개발 경쟁을 재촉한다는 것이다. 그는 안전한 개발을 위해 인간 사이의 협력이 필요하다고 본다. \u003ca href=\"https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/\"\u003eWIRED 인터뷰\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%ED%98%95%EC%8B%9D%EC%A0%81-%EC%8A%B9%EC%9D%B8%EA%B3%BC-%EC%8B%A4%EC%A7%88%EC%A0%81-%ED%86%B5%EC%A0%9C%EC%9D%98-%EB%B9%84%EA%B5%90\" class=\"anchor\" id=\"형식적-승인과-실질적-통제의-비교\"\u003e\u003c/a\u003e형식적 승인과 실질적 통제의 비교\u003c/h2\u003e\n\u003cp\u003e실질적 통제는 결정에 개입할 능력으로 판단해야 한다. 승인자의 이름만으로 이를 확인할 수는 없다. 아래 항목은 앞선 위험을 운영 조건으로 바꾼 비교다.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003e점검 항목\u003c/th\u003e\n\u003cth\u003e형식적 승인에 그치는 경우\u003c/th\u003e\n\u003cth\u003e실질적 통제를 위한 조건\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"점검 항목\"\u003e근거 접근\u003c/td\u003e\n\u003ctd data-label=\"형식적 승인에 그치는 경우\"\u003e추천 결과만 제시됨\u003c/td\u003e\n\u003ctd data-label=\"실질적 통제를 위한 조건\"\u003e판단에 필요한 근거를 확인함\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"점검 항목\"\u003e검토 시간\u003c/td\u003e\n\u003ctd data-label=\"형식적 승인에 그치는 경우\"\u003e검토 전에 승인을 재촉함\u003c/td\u003e\n\u003ctd data-label=\"실질적 통제를 위한 조건\"\u003e위험에 맞는 검토 시간을 확보함\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"점검 항목\"\u003e거부 권한\u003c/td\u003e\n\u003ctd data-label=\"형식적 승인에 그치는 경우\"\u003e반대해도 실행이 이어짐\u003c/td\u003e\n\u003ctd data-label=\"실질적 통제를 위한 조건\"\u003e보류하거나 다른 결정을 선택함\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"점검 항목\"\u003e실행 중단\u003c/td\u003e\n\u003ctd data-label=\"형식적 승인에 그치는 경우\"\u003e중단 주체가 불명확함\u003c/td\u003e\n\u003ctd data-label=\"실질적 통제를 위한 조건\"\u003e담당자와 중단 절차가 정해짐\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"점검 항목\"\u003e사후 책임\u003c/td\u003e\n\u003ctd data-label=\"형식적 승인에 그치는 경우\"\u003eAI의 판단이라는 설명으로 끝남\u003c/td\u003e\n\u003ctd data-label=\"실질적 통제를 위한 조건\"\u003e운영 책임과 수정 절차가 남음\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eNIST의 AI RMF는 인간 감독 절차를 다룬다. 목적에서 벗어난 시스템의 중단 장치도 포함한다. 해당 항목은 AI RMF Core의 MAP 3.5와 MANAGE 2.4다. 이는 자발적 위험관리 체계의 내용이다. \u003ca href=\"https://airc.nist.gov/airmf-resources/airmf/5-sec-core/\"\u003eNIST AI RMF Core\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#ai-%ED%8C%90%EB%8B%A8%EC%97%90-%EC%9D%B4%EC%9D%98%EB%A5%BC-%EC%A0%9C%EA%B8%B0%ED%95%A0-%EC%88%98-%EC%9E%88%EB%8A%94%EA%B0%80\" class=\"anchor\" id=\"ai-판단에-이의를-제기할-수-있는가\"\u003e\u003c/a\u003eAI 판단에 이의를 제기할 수 있는가\u003c/h2\u003e\n\u003cp\u003e통제권은 운영자뿐 아니라 영향을 받는 사람의 관점에서도 봐야 한다. 내부 승인자가 있어도 피해자의 문제 제기는 막힐 수 있다. 그래서 재검토와 복구 경로를 별도로 점검할 필요가 있다.\u003c/p\u003e\n\u003cp\u003e다음은 인간 감독 논의를 이용자의 관점으로 확장한 점검 순서다. 법적으로 보장된 권리를 일괄 설명하는 절차는 아니다. NIST의 사후 관리 항목도 이의제기와 복구를 다룬다.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003e결정에 AI가 관여했는지 확인하세요.\u003c/li\u003e\n\u003cli\u003e재검토를 요청할 담당자나 창구를 찾으세요.\u003c/li\u003e\n\u003cli\u003e잘못된 입력 정보와 판단 근거를 확인하세요.\u003c/li\u003e\n\u003cli\u003e재검토 결과에 따른 수정·복구 절차를 확인하세요.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003e예를 들어 잘못된 정보로 불리한 판단을 받았다고 가정하자. AI의 설명을 받는 것만으로 문제가 해결되지는 않는다. 정보를 고치고 결과를 재검토할 경로가 필요하다. 이는 NIST의 사후 관리 원칙을 적용한 해석이다. \u003ca href=\"https://airc.nist.gov/airmf-resources/airmf/5-sec-core/\"\u003eNIST AI RMF의 사후 관리 항목\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%ED%95%98%EB%9D%BC%EB%A6%AC%EA%B0%80-%EC%A0%9C%EC%95%88%ED%95%98%EB%8A%94-%EA%B7%9C%EC%B9%99%EC%9D%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80\" class=\"anchor\" id=\"하라리가-제안하는-규칙은-무엇인가\"\u003e\u003c/a\u003e하라리가 제안하는 규칙은 무엇인가\u003c/h2\u003e\n\u003cp\u003e하라리의 제안은 개발의 목적과 통제 조건을 다시 정하자는 것이다. 그는 의료 등에서 AI의 가능성도 인정한다. 모든 AI 개발을 없애자는 주장으로 단순화하면 부정확하다.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e신분 공개: 대화 상대가 AI인지 알 수 있어야 한다.\u003c/li\u003e\n\u003cli\u003e책임 유지: 판단을 운영하는 주체의 책임을 추적할 수 있어야 한다.\u003c/li\u003e\n\u003cli\u003e안전 검증: 능력 향상과 함께 위험을 평가해야 한다.\u003c/li\u003e\n\u003cli\u003e사회적 참여: 시민이 개발 방향과 배포 조건을 논의해야 한다.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e법적 인격에 대해서는 별도의 유보를 제안한다. AI를 독립된 법적 주체로 인정하는 일을 경계한다. 이 제안은 현행법 전체의 설명과 구분해야 한다.\u003c/p\u003e\n\u003cp\u003e안전 투자에도 확인되지 않은 비율을 붙일 필요는 없다. 하라리가 공동 저자로 참여한 논문은 안전 연구의 부족을 지적한다. 기술 연구와 거버넌스를 함께 강화하자는 제안이다. 위험의 발생 경로에는 견해 차이가 있다는 점도 밝힌다. \u003ca href=\"https://arxiv.org/abs/2310.17688\"\u003eAI 위험관리 공동 논문\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%ED%95%98%EB%9D%BC%EB%A6%AC%EC%9D%98-ai-%EA%B2%BD%EA%B3%A0%EB%A5%BC-%EC%9D%BD%EC%9D%84-%EB%95%8C-%ED%9D%94%ED%95%9C-%EC%8B%A4%EC%88%98\" class=\"anchor\" id=\"하라리의-ai-경고를-읽을-때-흔한-실수\"\u003e\u003c/a\u003e하라리의 AI 경고를 읽을 때 흔한 실수\u003c/h2\u003e\n\u003cp\u003e가장 흔한 실수는 위험 시나리오를 현재의 확정 사실로 읽는 것이다. 반대로 미래 이야기라는 이유로 통제 문제를 미룰 수도 있다. 주장마다 근거의 성격을 구분해야 한다.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003e흔한 해석\u003c/th\u003e\n\u003cth\u003e구분해서 읽어야 할 내용\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"흔한 해석\"\u003eAI가 이미 금융 전체를 지배한다\u003c/td\u003e\n\u003ctd data-label=\"구분해서 읽어야 할 내용\"\u003e금융 장악 시나리오와 관측된 취약성은 다름\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"흔한 해석\"\u003e친절한 AI는 내 이익을 우선한다\u003c/td\u003e\n\u003ctd data-label=\"구분해서 읽어야 할 내용\"\u003e친근한 표현은 이해관계의 일치를 입증하지 않음\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"흔한 해석\"\u003eAI의 의식 부재는 영구히 증명됐다\u003c/td\u003e\n\u003ctd data-label=\"구분해서 읽어야 할 내용\"\u003e특정 시점의 연구로 미래 전체를 단정할 수 없음\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"흔한 해석\"\u003e사람이 승인하면 통제 문제가 없다\u003c/td\u003e\n\u003ctd data-label=\"구분해서 읽어야 할 내용\"\u003e검토 능력과 거부·중단 권한을 확인해야 함\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"흔한 해석\"\u003e하라리의 제안은 이미 시행 중인 규칙이다\u003c/td\u003e\n\u003ctd data-label=\"구분해서 읽어야 할 내용\"\u003e사상가의 제안과 현행 제도는 구분해야 함\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003e개인적으로 AI의 조언을 사용할 때도 같은 기준을 적용하세요. 근거가 필요한 주장이라면 원문을 확인하세요. 구매나 정치적 판단을 권하면 이해관계를 따져 보세요. 판단을 되돌릴 수 있는지도 확인하세요.\u003c/p\u003e\n","tags":["AI","노동시장","생성형 AI","개인정보보호","AI 에이전트","의사결정"],"faqs":[{"question":"유발 하라리가 말하는 AI의 핵심 위협은 무엇인가요?","answer":"인간이 판단과 실행 권한을 넘기는 과정에서 통제력을 잃는 위험입니다. 판단을 검토하고 거부할 조건이 남아 있는지가 핵심입니다."},{"question":"하라리는 AI 개발을 모두 중단하자고 주장하나요?","answer":"2026년 7월 EL PAÍS 인터뷰에서는 모든 AI 개발의 중단을 주장하지 않았습니다. 사회가 적응할 수 있도록 더 신중하게 개발해야 한다는 입장입니다."},{"question":"AI가 금융 시스템을 이미 장악했나요?","answer":"여기서 검토한 근거로 그렇게 단정할 수 없습니다. 하라리의 미래 시나리오와 금융안정위원회가 지적한 현재의 취약성은 구분해야 합니다."},{"question":"AI의 친근한 대화는 왜 주의해서 받아들여야 하나요?","answer":"친근한 대화에서 생긴 신뢰가 추천이나 설득으로 이어질 수 있기 때문입니다. 다정한 표현만으로 추천의 정확성이나 이해관계의 일치를 판단하지 마세요."},{"question":"현재 AI에 의식이 없다고 확정할 수 있나요?","answer":"모든 AI에 적용되는 확정 명제로 쓰기는 어렵습니다. 2023년 Butlin 등의 연구는 당시 평가한 시스템에 의식이 있다고 보지 않았습니다. 미래 시스템의 가능성까지 배제한 결론은 아닙니다."},{"question":"AI의 법적 인격과 의식은 같은 문제인가요?","answer":"다른 문제입니다. 법적 인격은 법이 권리·의무의 주체를 정하는 문제입니다. 의식은 주관적 경험의 존재에 관한 문제입니다."},{"question":"AI의 틀린 답변은 모두 거짓말인가요?","answer":"그렇게 볼 수는 없습니다. 사실과 다른 출력과 의도적 기만은 구분해야 합니다. 틀린 답변이 나왔다는 사실만으로 인간과 같은 의도를 추정하면 안 됩니다."},{"question":"최종 승인을 사람이 하면 안전한가요?","answer":"승인 절차만으로 안전이 보장되지는 않습니다. 근거를 검토할 시간과 결정 거부 권한이 필요합니다. 실행을 중단할 수 있는지도 확인해야 합니다."},{"question":"어떤 직업이 가장 먼저 대체된다고 볼 수 있나요?","answer":"이 글에서 확인한 근거로 직업별 대체 순위를 정할 수 없습니다. 직업 안의 개별 업무가 자동화되는 것과 직업 전체가 사라지는 것은 다른 문제입니다."},{"question":"개인이 AI에 판단을 맡길 때 무엇을 확인해야 하나요?","answer":"주장의 원문과 추천의 이해관계를 확인하세요. 실행 권한을 부여할 때는 취소나 중단 가능성을 점검하세요. 불리한 결정에는 재검토 창구가 있는지도 확인하세요."}],"sources":[{"url":"https://www.ynharari.com/faqs/","title":"Yuval Noah Harari 공식 FAQ — 기술결정론과 미래 시나리오","type":"source"},{"url":"https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html","title":"EL PAÍS — Yuval Noah Harari 인터뷰, 2026년 7월 25일","type":"source"},{"url":"https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/","title":"WIRED — How Do We Share the Planet With This New Superintelligence?","type":"source"},{"url":"https://www.ynharari.com/homo-deus-impact-digitalization-society/","title":"Yuval Noah Harari — Homo Deus and the Impact of Digitalization on Society","type":"source"},{"url":"https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/","title":"금융안정위원회 — AI의 금융안정 영향 평가 발표, 2024년 11월 14일","type":"source"},{"url":"https://arxiv.org/abs/2308.08708","title":"Butlin 등 — Consciousness in Artificial Intelligence, 2023년","type":"source"},{"url":"https://arxiv.org/abs/2310.17688","title":"Bengio 등 — Managing extreme AI risks amid rapid progress, 2024년 수정본","type":"source"},{"url":"https://airc.nist.gov/airmf-resources/airmf/5-sec-core/","title":"NIST AI RMF Core — 인간 감독, 시스템 중단과 사후 관리","type":"source"},{"url":"https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/","title":"NIST — AI Risks and Trustworthiness","type":"source"}],"images":[{"id":1343,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkyOTgsInB1ciI6ImJsb2JfaWQifX0=--1d3c9a5c3c3ea22fd3d6200207dad6fa60b4fa60/ai-ee66864f.webp","is_representative":true,"generation_method":"ai_photo","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"여성이 여러 모니터의 그래프를 보며 보호 덮개가 있는 빨간 비상 버튼으로 손을 뻗는 모습","caption":"통제실의 비상 버튼은 AI 시대 인간 통제권의 중요성을 상징한다.","description":null},"en":{"alt":"Concerned woman reaches toward a guarded red emergency button beside monitors showing charts","caption":"The emergency button evokes the importance of retaining human control over AI.","description":null},"ja":{"alt":"グラフを映す複数のモニターの前で、保護カバー付きの赤い非常ボタンに手を伸ばす女性","caption":"非常ボタンは、AIに対する人間の制御権を保つ重要性を象徴している。","description":null},"es":{"alt":"Mujer preocupada extiende la mano hacia un botón rojo protegido junto a monitores con gráficos","caption":"El botón de emergencia simboliza la importancia de mantener el control humano sobre la IA.","description":null},"id":{"alt":"Perempuan cemas meraih tombol darurat merah berpelindung di samping monitor berisi grafik","caption":"Tombol darurat itu melambangkan pentingnya mempertahankan kendali manusia atas AI.","description":null},"pt":{"alt":"Mulher preocupada alcança um botão vermelho protegido ao lado de monitores com gráficos","caption":"O botão de emergência simboliza a importância de manter o controle humano sobre a IA.","description":null},"zh-hant":{"alt":"神情擔憂的女子在顯示圖表的多台螢幕前伸手觸向有護罩的紅色緊急按鈕","caption":"緊急按鈕象徵在AI時代維持人類控制權的重要性。","description":null},"de":{"alt":"Besorgte Frau greift neben Monitoren mit Diagrammen nach einem geschützten roten Notknopf","caption":"Der Notknopf symbolisiert, wie wichtig die menschliche Kontrolle über KI ist.","description":null}}},{"id":1344,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkzMDQsInB1ciI6ImJsb2JfaWQifX0=--79cd70cb4a57e2d634de94e6a6089227bf6f920d/ai-f8e7a91b.webp","is_representative":false,"generation_method":"ai_semi","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"데이터 화면 옆 빨간 정지 버튼을 누르는 여성과 이를 지켜보는 남성","caption":"AI와 데이터 흐름을 중단하는 인간의 통제권을 상징적으로 보여준다.","description":null},"en":{"alt":"Woman pressing a red stop button beside a data monitor as a man watches","caption":"The scene symbolizes human control over AI and automated data flows.","description":null},"ja":{"alt":"データ画面の横にある赤い停止ボタンを押す女性と見守る男性","caption":"AIと自動化されたデータの流れを人間が制御する様子を象徴している。","description":null},"es":{"alt":"Mujer pulsa un botón rojo de parada junto a un monitor mientras un hombre observa","caption":"La escena simboliza el control humano sobre la IA y los flujos de datos automatizados.","description":null},"id":{"alt":"Perempuan menekan tombol berhenti merah di samping monitor data saat seorang pria mengamati","caption":"Adegan ini melambangkan kendali manusia atas AI dan aliran data otomatis.","description":null},"pt":{"alt":"Mulher pressiona um botão vermelho de parada ao lado de um monitor enquanto um homem observa","caption":"A cena simboliza o controle humano sobre a IA e os fluxos automatizados de dados.","description":null},"zh-hant":{"alt":"女子按下資料螢幕旁的紅色停止按鈕，一名男子在旁注視","caption":"此場景象徵人類對AI與自動化資料流的控制權。","description":null},"de":{"alt":"Frau drückt neben einem Datenmonitor einen roten Stoppknopf, während ein Mann zusieht","caption":"Die Szene symbolisiert die menschliche Kontrolle über KI und automatisierte Datenflüsse.","description":null}}},{"id":1345,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkzMTAsInB1ciI6ImJsb2JfaWQifX0=--acef1d471c1f44020c2091b27e882c4cdb57459b/ai-bc6ea3ba.webp","is_representative":false,"generation_method":"ai_infographic","license":"ai_generated","mime_type":"image/webp","width":1024,"height":1536,"visible_locales":["ko"],"translations":{"ko":{"alt":"AI의 편리함과 위험, 인간 통제권을 5단계로 설명한 한국어 인포그래픽","caption":"AI에 판단을 맡길 때 생기는 통제 약화와 인간의 실질적 감독 방안을 정리한다.","description":null},"en":{"alt":"Korean infographic explaining AI risks and human control in five steps","caption":"The infographic outlines how reliance on AI can weaken control and how humans can retain meaningful oversight.","description":null},"ja":{"alt":"AIのリスクと人間の統制権を5段階で説明する韓国語のインフォグラフィック","caption":"AIへの判断委任による統制の弱体化と、人間が実質的な監督を保つ方法を示している。","description":null},"es":{"alt":"Infografía en coreano sobre los riesgos de la IA y el control humano en cinco pasos","caption":"La infografía explica cómo delegar decisiones en la IA debilita el control y cómo mantener una supervisión humana efectiva.","description":null},"id":{"alt":"Infografik Korea tentang risiko AI dan kendali manusia dalam lima langkah","caption":"Infografik ini menjelaskan melemahnya kendali akibat pelimpahan keputusan kepada AI serta cara menjaga pengawasan manusia.","description":null},"pt":{"alt":"Infográfico em coreano sobre riscos da IA e controle humano em cinco etapas","caption":"O infográfico mostra como delegar decisões à IA pode enfraquecer o controle e como preservar a supervisão humana efetiva.","description":null},"zh-hant":{"alt":"以五個步驟說明AI風險與人類控制權的韓文資訊圖表","caption":"圖表整理了將判斷交給AI如何削弱控制，以及人類維持實質監督的方法。","description":null},"de":{"alt":"Koreanische Infografik zu KI-Risiken und menschlicher Kontrolle in fünf Schritten","caption":"Die Grafik zeigt, wie KI-gestützte Entscheidungen Kontrolle schwächen und Menschen wirksame Aufsicht behalten können.","description":null}}}],"published_at":"2026-09-17T05:27:56+09:00","updated_at":"2026-09-17T05:27:56+09:00","license":"cc_by","translation_status":"original","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/ko/articles/yuval-harari-ai-threats-human-control"}