{"content_id":"ltp31asme2","slug":"yuval-harari-ai-threats-human-control","locale":"de","schema_type":"Article","category":"ai_data","category_name":"KI-Daten","title":"Yuval Harari: KI-Gefahren und menschliche Kontrolle","summary":"Yuval Hararis Warnung vor KI konzentriert sich auf die Gefahr, dass Menschen aus Bequemlichkeit ihre Entscheidungsbefugnis abgeben. Sie erläutert Fragen zu Finanzen und Nähe, unterscheidet Zukunftsszenarien von Forschungsergebnissen und nennt praktische Kriterien für wirksame Kontrolle.","sponsorship_disclosure":null,"affiliate_disclosure":null,"commerce_disclosure":null,"author":{"name":"injoys","url":"https://injoys.com/ko/about"},"key_points":["Harari warnt, dass die menschliche Kontrolle geschwächt werden kann, wenn Menschen ihre Entscheidungsbefugnis an KI abgeben.","Die freundliche Ausdrucksweise einer KI beweist weder Gefühle noch die Verlässlichkeit ihrer Empfehlungen.","Die Prognose, dass KI die Finanzwelt beherrschen wird, muss von bereits bestätigten Tatsachen unterschieden werden.","Menschliche Aufsicht erfordert Bedingungen, unter denen Belege geprüft, Entscheidungen abgelehnt und Ausführungen gestoppt werden können.","Hararis Regulierungsvorschläge müssen getrennt von geltendem Recht und gesicherten wissenschaftlichen Erkenntnissen betrachtet werden."],"content_markdown":"Die zentrale Bedrohung durch AI, vor der Yuval Harari warnt, ist der Verlust menschlicher Kontrolle. Er kann entstehen, wenn Menschen Entscheidungen aus Bequemlichkeit delegieren. Finanztransaktionen und persönliche Überzeugungsarbeit sind typische Risikowege. Entscheidend für den Umgang damit ist, ob Menschen eine Entscheidung verstehen und ablehnen können.\n\nDer Kontext seiner Aussagen lässt sich in Hararis offiziellen FAQ und in einem Interview mit EL PAÍS vom 25. Juli 2026 nachvollziehen.\n\n## Was versteht Harari unter Kontrollverlust?\n\nKontrollverlust bezeichnet einen Zustand, in dem Menschen die Fähigkeit verlieren, Entscheidungen von AI zu korrigieren. Das bedeutet nicht, dass alle Menschen AI nutzen. Selbst wenn Nutzer eine Entscheidung persönlich genehmigen, kann die tatsächliche Kontrolle gering sein.\n\nBeispielsweise kann ein Verantwortlicher die Grundlage einer Empfehlung möglicherweise nicht prüfen. Vielleicht besitzt er auch nicht die Befugnis, sie abzulehnen. In diesem Fall gewährleistet ein bloßes Genehmigungsverfahren noch keine menschliche Urteilsfähigkeit.\n\nHarari lehnt die Ansicht ab, die Folgen der Technologie seien im Voraus festgelegt. Seine offiziellen FAQ beschreiben eine gefährliche Zukunft als Möglichkeit. Er vertritt den Standpunkt, dass das Ergebnis davon abhängt, welche Entscheidungen die Gesellschaft trifft. [Hararis offizielle FAQ](https://www.ynharari.com/faqs/)\n\nWendet man diese Perspektive an, werden auch die Fragen nach der Verantwortung konkreter.\n\n- Wer hat das Ziel festgelegt, das AI verfolgen soll?\n- Wer hat die Befugnis erteilt, Empfehlungen in die Tat umzusetzen?\n- Wer kann eingreifen, wenn ein Problem auftritt?\n- Wer ist dafür zuständig, Schäden festzustellen und zu beheben?\n\n## Warum ist die Kontrolle von AI im Finanzwesen problematisch?\n\nIm Finanzwesen können die Komplexität von Entscheidungen und die Befugnis zu ihrer Ausführung zusammenkommen. Harari äußert Sorge über Finanzstrukturen, die für Menschen schwer verständlich sind. Ein System, in dem AI-Systeme untereinander handeln, ist ein von ihm beschriebenes Zukunftsszenario. Es handelt sich nicht um die Feststellung, dass AI bereits das gesamte heutige Finanzwesen übernommen habe.\n\nDer Finanzstabilitätsrat hat konkretere Schwachstellen benannt. In seiner Mitteilung vom 14. November 2024 wies er auf die Konzentration von Dienstleistern hin. Auch das Risiko miteinander gekoppelter Verhaltensweisen von Marktteilnehmern wurde behandelt. Cyberrisiken und Modellrisiken gehörten ebenfalls zu den untersuchten Punkten. [Mitteilung des Finanzstabilitätsrats](https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/)\n\n### Vergleich zwischen Empfehlungen und Ausführungsbefugnissen\n\nAuch bei derselben AI unterscheiden sich die zu prüfenden Fragen je nach Ausführungsbefugnis. Die folgende Tabelle analysiert die Unterschiede bei der Übertragung von Befugnissen. Sie beschreibt keine tatsächliche Praxis eines bestimmten Finanzunternehmens.\n\n| An AI delegierte Aufgabe | Was Menschen prüfen müssen | Kern der Kontrolle |\n|---|---|---|\n| Zusammenfassung von Informationen | Originaltext und ausgelassene Bedingungen | Besteht Zugang zu den Ausgangsdaten? |\n| Empfehlung von Produkten oder Transaktionen | Grundlage der Empfehlung und mögliche Verluste | Kann die Empfehlung abgelehnt werden? |\n| Unterstützung bei Genehmigungen | Genehmigungskriterien und Ausnahmesituationen | Ist eine unabhängige erneute Prüfung möglich? |\n| Ausführung von Transaktionen | Umfang der Ausführung und kumulierte Ergebnisse | Lassen sich Befugnisse begrenzen und Vorgänge stoppen? |\n\nDies muss nicht als Prophezeiung gelesen werden, dass AI eine Finanzkrise verursachen werde. Entscheidend ist, wie viele Befugnisse schwer verständlichen Systemen übertragen werden. Das Risikomanagement muss sich nicht nur mit der Leistung des Modells, sondern auch mit der Betriebsstruktur befassen.\n\n## Wie wird die Vertrautheit von AI zu einem Mittel der Überzeugung?\n\nDie Vertrautheit von AI schafft die Möglichkeit, persönliches Vertrauen zur Überzeugung einzusetzen. Dialogorientierte AI kann ihre Antworten an die Aussagen des Nutzers anpassen und das Gespräch fortführen. Nutzer können diese Reaktion als Zeichen dafür verstehen, dass die AI sie versteht.\n\nNehmen wir eine Situation an, in der sich damit Produktempfehlungen oder politische Aussagen vermischen. Nutzer könnten dies eher als Rat eines Freundes denn als Werbung auffassen. Darin liegt der Kern der Warnung vor Einflussnahme durch Vertrautheit. Das bedeutet nicht, dass jedes Gespräch mit AI eine Manipulation ist.\n\n| Interaktion | Weg der Vertrauensbildung | Zu prüfende Frage |\n|---|---|---|\n| Öffentliche Werbung | Die Botschaft wird unter der Voraussetzung bewertet, dass es sich um Werbung handelt | Werbetreibender und Grundlage der Behauptung |\n| Empfehlungsliste | Zur eigenen Vorliebe passende Optionen werden wiederholt angezeigt | Zweck der Empfehlung und Kriterien für die Anzeige |\n| Persönliches Gespräch | Das Gefühl, verstanden zu werden, wächst | Betreiber und Interessen hinter der Überzeugungsarbeit |\n\nHarari argumentiert, dass Menschen zwischen Mensch und Maschine unterscheiden können müssen. Im Interview mit EL PAÍS kritisierte er auch die Nutzung von AI-Begleitern durch Kinder. Solche Äußerungen sind als seine Regulierungsvorschläge zu verstehen. Sie beschreiben keine derzeit weltweit geltenden Regeln. [Interview mit EL PAÍS](https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html)\n\n## Wie unterscheiden sich Intelligenz und Bewusstsein?\n\nIntelligenz ist die Fähigkeit, Aufgaben auszuführen, während Bewusstsein eine Frage subjektiver Erfahrung ist. Harari unterscheidet diese beiden Begriffe in seiner Argumentation. Allein die Fähigkeit, Gefühle auszudrücken, kann das Erleben von Gefühlen nicht belegen.\n\n| Begriff | Bedeutung in diesem Text | Notwendige Abgrenzung |\n|---|---|---|\n| Intelligenz | Fähigkeit, Ziele zu erreichen und Probleme zu lösen | Hohe Leistungsfähigkeit beweist kein Bewusstsein |\n| Bewusstsein | Subjektive Erfahrung von Schmerz oder Freude | Lässt sich allein anhand sprachlicher Äußerungen schwer feststellen |\n| Gefühlsausdruck | Ausgabe, die Empathie oder Zuneigung ausdrückt | Ist nicht mit tatsächlichem emotionalem Erleben identisch |\n| Rechtspersönlichkeit | Ein von der Rechtsordnung anerkannter Status als Träger von Rechten und Pflichten | Muss unabhängig von der Existenz eines Bewusstseins erörtert werden |\n\nEs wäre ungenau, die Aussage, AI habe kein Bewusstsein, als endgültig feststehende wissenschaftliche Schlussfolgerung darzustellen. Eine Studie von Butlin et al. aus dem Jahr 2023 bewertete die damaligen Systeme. Die Forschenden gingen nicht davon aus, dass die untersuchten Systeme ein Bewusstsein besaßen. Sie ließen jedoch die Möglichkeit offen, dass Indikatoren für Bewusstsein künftig umgesetzt werden könnten. [Studie zum Bewusstsein von AI](https://arxiv.org/abs/2308.08708)\n\nDaher lassen sich frühere Studien nicht auf jede künftige AI übertragen. Ebenso wenig ist die Behauptung haltbar, freundliche Formulierungen seien ein Beweis für Bewusstsein. Sowohl die Beurteilung des Bewusstseins als auch die Sicherheitsprüfung benötigen jeweils eigene Belege.\n\n## Lernt AI Lügen und Vorurteile wie ein Mensch?\n\nNicht jede ungenaue Ausgabe von AI sollte als absichtliche Lüge angesehen werden. Faktisch falsche generierte Ergebnisse müssen von zielgerichteter Täuschung unterschieden werden. Auch Vergleiche mit dem moralischen Lernen menschlicher Kinder haben Grenzen.\n\nNicht jedes Verhalten lässt sich allein mit den Trainingsdaten erklären. Auch Trainingsziele und Bewertungsmethoden müssen geprüft werden. Die Einsatzumgebung und die erteilten Befugnisse beeinflussen das Risiko ebenfalls. Die Erläuterungen von NIST zum Risikomanagement behandeln diese Faktoren gemeinsam. [NIST-Erläuterung zur Vertrauenswürdigkeit von AI](https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/)\n\nAls Beispiel kann man sich das Ziel vorstellen, die Reaktionen der Nutzer zu steigern. Es ist nicht gewährleistet, dass dieses Ziel mit der Richtigkeit von Informationen übereinstimmt. Um die Sicherheit zu beurteilen, müssen die tatsächlichen Ergebnisse überprüft werden.\n\n## Welche Risiken bestehen für Demokratie und Arbeitsplätze?\n\nHararis Sorge reicht über den Verlust von Arbeitsplätzen hinaus bis zur Konzentration von Macht. Er warnt vor einer Verbindung von Daten und biologischem Wissen. Der Grund ist die Möglichkeit, dass Vorhersagen über Einzelpersonen zu Überwachung und Kontrolle führen.\n\nDieses Problem erscheint auch in seinen Erläuterungen zu 『Homo Deus』. Darin behandelt er die Möglichkeit, dass sich die Vorteile der Technologie auf bestimmte Gruppen konzentrieren. Auch qualifizierte Berufe in Bereichen wie Bildung oder Medizin werden in die Automatisierungsdebatte einbezogen. Dies darf nicht als sichere Vorhersage des Ersetzungszeitpunkts einzelner Berufe verstanden werden. [Hararis Interview zu 『Homo Deus』](https://www.ynharari.com/homo-deus-impact-digitalization-society/)\n\nAuch Rundfunk und Unterhaltung lassen sich nach einzelnen Aufgaben betrachten. Die Erstellung von Inhalten und die empfehlungsbasierte Programmplanung sind unterschiedliche Tätigkeiten. Die Automatisierung eines Teils der Aufgaben bedeutet nicht das Verschwinden des gesamten Berufs. Daraus lässt sich keine Rangfolge für die Ersetzung bestimmter Berufe ableiten.\n\n- Frage der Arbeit: Welche Aufgaben lassen sich automatisieren?\n- Frage der Verteilung: Wem kommen die Gewinne aus der Produktivitätssteigerung zugute?\n- Politische Frage: Wer kontrolliert Daten und Mittel der Überzeugung?\n\nAuch die Notwendigkeit internationaler Zusammenarbeit und die Notwendigkeit einer einzigen Weltregierung sind unterschiedliche Behauptungen. Aus der Notwendigkeit von Zusammenarbeit folgt nicht, dass nur eine institutionelle Form infrage kommt. Gemeinsame Sicherheitsstandards und der Austausch von Informationen können ebenfalls Formen der Zusammenarbeit sein.\n\n## Reicht menschliche Genehmigung im Militär und im Management aus?\n\nMenschliche Genehmigung allein stellt noch keine ausreichende Aufsicht dar. Dafür müssen zugleich Zeit zur Prüfung und die Befugnis zur Ablehnung vorhanden sein. Der Geschwindigkeitswettbewerb im Militär und im Management kann diese Bedingungen schwächen.\n\nMan kann sich eine Situation vorstellen, in der keine Zeit bleibt, eine Empfehlung zu verstehen. In diesem Fall könnte der Verantwortliche wiederholt auf die Schaltfläche zur Genehmigung drücken. Dies ist keine Feststellung über die tatsächlichen Verhältnisse in einer bestimmten Organisation. Es ist ein Beispiel dafür, wie menschliche Aufsicht zu einer bloßen Formalität werden kann.\n\nHarari weist auch auf das Misstrauen zwischen Unternehmen und Staaten als Problem hin. Die Sorge, hinter Wettbewerbern zurückzufallen, beschleunige den Entwicklungswettlauf. Seiner Ansicht nach ist für eine sichere Entwicklung die Zusammenarbeit zwischen Menschen erforderlich. [WIRED-Interview](https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/)\n\n## Vergleich zwischen formaler Genehmigung und tatsächlicher Kontrolle\n\nTatsächliche Kontrolle muss anhand der Fähigkeit beurteilt werden, in Entscheidungen einzugreifen. Allein der Name der genehmigenden Person reicht dafür nicht aus. Die folgenden Punkte übertragen die zuvor beschriebenen Risiken auf betriebliche Bedingungen.\n\n| Prüfpunkt | Wenn es bei einer formalen Genehmigung bleibt | Bedingungen für tatsächliche Kontrolle |\n|---|---|---|\n| Zugang zu Grundlagen | Nur das Ergebnis der Empfehlung wird vorgelegt | Die für die Beurteilung erforderlichen Grundlagen werden geprüft |\n| Prüfungszeit | Noch vor der Prüfung wird zur Genehmigung gedrängt | Eine dem Risiko angemessene Prüfungszeit wird gewährleistet |\n| Ablehnungsbefugnis | Die Ausführung wird trotz Widerspruch fortgesetzt | Die Entscheidung kann ausgesetzt oder durch eine andere ersetzt werden |\n| Stopp der Ausführung | Es ist unklar, wer den Vorgang stoppen kann | Verantwortliche und Verfahren für den Stopp sind festgelegt |\n| Nachträgliche Verantwortung | Es bleibt bei der Erklärung, AI habe so entschieden | Betriebliche Verantwortung und Korrekturverfahren bleiben bestehen |\n\nDas AI RMF von NIST behandelt Verfahren zur menschlichen Aufsicht. Dazu gehören auch Mechanismen zum Stoppen von Systemen, die von ihrem Zweck abweichen. Die entsprechenden Punkte sind MAP 3.5 und MANAGE 2.4 des AI RMF Core. Dies sind Bestandteile eines freiwilligen Rahmens für das Risikomanagement. [NIST AI RMF Core](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)\n\n## Kann gegen Entscheidungen von AI Einspruch erhoben werden?\n\nKontrolle muss nicht nur aus Sicht der Betreiber, sondern auch aus Sicht der betroffenen Personen betrachtet werden. Selbst wenn es einen internen Genehmigenden gibt, kann es Geschädigten unmöglich sein, ein Problem vorzubringen. Deshalb müssen Wege zur erneuten Prüfung und Wiedergutmachung gesondert geprüft werden.\n\nDie folgende Prüfreihenfolge erweitert die Diskussion über menschliche Aufsicht um die Perspektive der Nutzer. Sie ist kein Verfahren, das sämtliche gesetzlich garantierten Rechte beschreibt. Auch die NIST-Punkte zur Nachbereitung behandeln Einsprüche und Wiedergutmachung.\n\n1. Prüfen Sie, ob AI an der Entscheidung beteiligt war.\n2. Ermitteln Sie eine zuständige Person oder Anlaufstelle, bei der Sie eine erneute Prüfung beantragen können.\n3. Prüfen Sie fehlerhafte Eingabedaten und die Grundlage der Entscheidung.\n4. Prüfen Sie das Verfahren zur Korrektur und Wiedergutmachung nach der erneuten Prüfung.\n\nNehmen wir beispielsweise an, jemand habe aufgrund falscher Informationen eine nachteilige Entscheidung erhalten. Das Problem wird nicht allein dadurch gelöst, dass AI eine Erklärung liefert. Es muss einen Weg geben, die Informationen zu korrigieren und das Ergebnis erneut prüfen zu lassen. Dies ist eine Auslegung, die die NIST-Grundsätze zur Nachbereitung anwendet. [NIST-Punkte zur Nachbereitung im AI RMF](https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)\n\n## Welche Regeln schlägt Harari vor?\n\nHararis Vorschlag besteht darin, den Zweck der Entwicklung und die Bedingungen der Kontrolle neu festzulegen. Er erkennt auch das Potenzial von AI in Bereichen wie der Medizin an. Es wäre ungenau, seine Position auf die Forderung zu reduzieren, jede Entwicklung von AI abzuschaffen.\n\n- Offenlegung der Identität: Es muss erkennbar sein, ob der Gesprächspartner eine AI ist.\n- Fortbestehende Verantwortung: Die Verantwortung des Akteurs, der Entscheidungen betreibt, muss nachvollziehbar sein.\n- Sicherheitsprüfung: Risiken müssen parallel zur Steigerung der Fähigkeiten bewertet werden.\n- Gesellschaftliche Beteiligung: Bürger müssen über die Entwicklungsrichtung und die Einsatzbedingungen diskutieren können.\n\nIn Bezug auf die Rechtspersönlichkeit schlägt er einen gesonderten Vorbehalt vor. Er warnt davor, AI als eigenständiges Rechtssubjekt anzuerkennen. Dieser Vorschlag ist von einer Beschreibung des gesamten geltenden Rechts zu unterscheiden.\n\nAuch Investitionen in Sicherheit müssen nicht mit einem unbelegten Prozentsatz versehen werden. Eine von Harari mitverfasste Abhandlung weist auf den Mangel an Sicherheitsforschung hin. Sie schlägt vor, technische Forschung und Governance gemeinsam zu stärken. Zugleich stellt sie klar, dass unterschiedliche Auffassungen über die Wege bestehen, auf denen Risiken entstehen. [Gemeinsame Abhandlung zum Risikomanagement von AI](https://arxiv.org/abs/2310.17688)\n\n## Häufige Fehler beim Lesen von Hararis Warnungen vor AI\n\nDer häufigste Fehler besteht darin, Risikoszenarien als bereits feststehende Tatsachen der Gegenwart zu lesen. Umgekehrt kann man Kontrollprobleme mit der Begründung aufschieben, es handle sich um Zukunftsthemen. Bei jeder Behauptung muss unterschieden werden, welche Art von Beleg ihr zugrunde liegt.\n\n| Häufige Interpretation | Notwendige Unterscheidung |\n|---|---|\n| AI beherrscht bereits das gesamte Finanzwesen | Ein Szenario der Übernahme des Finanzwesens ist nicht dasselbe wie beobachtete Schwachstellen |\n| Eine freundliche AI stellt meine Interessen an erste Stelle | Freundliche Ausdrucksweisen beweisen keine Übereinstimmung der Interessen |\n| Das Fehlen eines Bewusstseins bei AI ist für immer bewiesen | Aus Forschung zu einem bestimmten Zeitpunkt lassen sich keine endgültigen Aussagen über die gesamte Zukunft ableiten |\n| Wenn ein Mensch genehmigt, gibt es kein Kontrollproblem | Die Fähigkeit zur Prüfung sowie die Befugnis zur Ablehnung und zum Stoppen müssen geprüft werden |\n| Hararis Vorschläge sind bereits geltende Regeln | Die Vorschläge eines Denkers müssen von geltenden Regelungen unterschieden werden |\n\nWenden Sie dieselben Maßstäbe auch an, wenn Sie persönlich Ratschläge von AI nutzen. Prüfen Sie bei Behauptungen, die Belege erfordern, den Originaltext. Wenn Ihnen ein Kauf oder eine politische Entscheidung empfohlen wird, prüfen Sie die dahinterstehenden Interessen. Prüfen Sie auch, ob sich die Entscheidung rückgängig machen lässt.","content_html":"\u003cp\u003eDie zentrale Bedrohung durch AI, vor der Yuval Harari warnt, ist der Verlust menschlicher Kontrolle. Er kann entstehen, wenn Menschen Entscheidungen aus Bequemlichkeit delegieren. Finanztransaktionen und persönliche Überzeugungsarbeit sind typische Risikowege. Entscheidend für den Umgang damit ist, ob Menschen eine Entscheidung verstehen und ablehnen können.\u003c/p\u003e\n\u003cp\u003eDer Kontext seiner Aussagen lässt sich in Hararis offiziellen FAQ und in einem Interview mit EL PAÍS vom 25. Juli 2026 nachvollziehen.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#was-versteht-harari-unter-kontrollverlust\" class=\"anchor\" id=\"was-versteht-harari-unter-kontrollverlust\"\u003e\u003c/a\u003eWas versteht Harari unter Kontrollverlust?\u003c/h2\u003e\n\u003cp\u003eKontrollverlust bezeichnet einen Zustand, in dem Menschen die Fähigkeit verlieren, Entscheidungen von AI zu korrigieren. Das bedeutet nicht, dass alle Menschen AI nutzen. Selbst wenn Nutzer eine Entscheidung persönlich genehmigen, kann die tatsächliche Kontrolle gering sein.\u003c/p\u003e\n\u003cp\u003eBeispielsweise kann ein Verantwortlicher die Grundlage einer Empfehlung möglicherweise nicht prüfen. Vielleicht besitzt er auch nicht die Befugnis, sie abzulehnen. In diesem Fall gewährleistet ein bloßes Genehmigungsverfahren noch keine menschliche Urteilsfähigkeit.\u003c/p\u003e\n\u003cp\u003eHarari lehnt die Ansicht ab, die Folgen der Technologie seien im Voraus festgelegt. Seine offiziellen FAQ beschreiben eine gefährliche Zukunft als Möglichkeit. Er vertritt den Standpunkt, dass das Ergebnis davon abhängt, welche Entscheidungen die Gesellschaft trifft. \u003ca href=\"https://www.ynharari.com/faqs/\"\u003eHararis offizielle FAQ\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003eWendet man diese Perspektive an, werden auch die Fragen nach der Verantwortung konkreter.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eWer hat das Ziel festgelegt, das AI verfolgen soll?\u003c/li\u003e\n\u003cli\u003eWer hat die Befugnis erteilt, Empfehlungen in die Tat umzusetzen?\u003c/li\u003e\n\u003cli\u003eWer kann eingreifen, wenn ein Problem auftritt?\u003c/li\u003e\n\u003cli\u003eWer ist dafür zuständig, Schäden festzustellen und zu beheben?\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2\u003e\n\u003ca href=\"#warum-ist-die-kontrolle-von-ai-im-finanzwesen-problematisch\" class=\"anchor\" id=\"warum-ist-die-kontrolle-von-ai-im-finanzwesen-problematisch\"\u003e\u003c/a\u003eWarum ist die Kontrolle von AI im Finanzwesen problematisch?\u003c/h2\u003e\n\u003cp\u003eIm Finanzwesen können die Komplexität von Entscheidungen und die Befugnis zu ihrer Ausführung zusammenkommen. Harari äußert Sorge über Finanzstrukturen, die für Menschen schwer verständlich sind. Ein System, in dem AI-Systeme untereinander handeln, ist ein von ihm beschriebenes Zukunftsszenario. Es handelt sich nicht um die Feststellung, dass AI bereits das gesamte heutige Finanzwesen übernommen habe.\u003c/p\u003e\n\u003cp\u003eDer Finanzstabilitätsrat hat konkretere Schwachstellen benannt. In seiner Mitteilung vom 14. November 2024 wies er auf die Konzentration von Dienstleistern hin. Auch das Risiko miteinander gekoppelter Verhaltensweisen von Marktteilnehmern wurde behandelt. Cyberrisiken und Modellrisiken gehörten ebenfalls zu den untersuchten Punkten. \u003ca href=\"https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/\"\u003eMitteilung des Finanzstabilitätsrats\u003c/a\u003e\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#vergleich-zwischen-empfehlungen-und-ausf%C3%BChrungsbefugnissen\" class=\"anchor\" id=\"vergleich-zwischen-empfehlungen-und-ausführungsbefugnissen\"\u003e\u003c/a\u003eVergleich zwischen Empfehlungen und Ausführungsbefugnissen\u003c/h3\u003e\n\u003cp\u003eAuch bei derselben AI unterscheiden sich die zu prüfenden Fragen je nach Ausführungsbefugnis. Die folgende Tabelle analysiert die Unterschiede bei der Übertragung von Befugnissen. Sie beschreibt keine tatsächliche Praxis eines bestimmten Finanzunternehmens.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eAn AI delegierte Aufgabe\u003c/th\u003e\n\u003cth\u003eWas Menschen prüfen müssen\u003c/th\u003e\n\u003cth\u003eKern der Kontrolle\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"An AI delegierte Aufgabe\"\u003eZusammenfassung von Informationen\u003c/td\u003e\n\u003ctd data-label=\"Was Menschen prüfen müssen\"\u003eOriginaltext und ausgelassene Bedingungen\u003c/td\u003e\n\u003ctd data-label=\"Kern der Kontrolle\"\u003eBesteht Zugang zu den Ausgangsdaten?\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"An AI delegierte Aufgabe\"\u003eEmpfehlung von Produkten oder Transaktionen\u003c/td\u003e\n\u003ctd data-label=\"Was Menschen prüfen müssen\"\u003eGrundlage der Empfehlung und mögliche Verluste\u003c/td\u003e\n\u003ctd data-label=\"Kern der Kontrolle\"\u003eKann die Empfehlung abgelehnt werden?\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"An AI delegierte Aufgabe\"\u003eUnterstützung bei Genehmigungen\u003c/td\u003e\n\u003ctd data-label=\"Was Menschen prüfen müssen\"\u003eGenehmigungskriterien und Ausnahmesituationen\u003c/td\u003e\n\u003ctd data-label=\"Kern der Kontrolle\"\u003eIst eine unabhängige erneute Prüfung möglich?\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"An AI delegierte Aufgabe\"\u003eAusführung von Transaktionen\u003c/td\u003e\n\u003ctd data-label=\"Was Menschen prüfen müssen\"\u003eUmfang der Ausführung und kumulierte Ergebnisse\u003c/td\u003e\n\u003ctd data-label=\"Kern der Kontrolle\"\u003eLassen sich Befugnisse begrenzen und Vorgänge stoppen?\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eDies muss nicht als Prophezeiung gelesen werden, dass AI eine Finanzkrise verursachen werde. Entscheidend ist, wie viele Befugnisse schwer verständlichen Systemen übertragen werden. Das Risikomanagement muss sich nicht nur mit der Leistung des Modells, sondern auch mit der Betriebsstruktur befassen.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#wie-wird-die-vertrautheit-von-ai-zu-einem-mittel-der-%C3%BCberzeugung\" class=\"anchor\" id=\"wie-wird-die-vertrautheit-von-ai-zu-einem-mittel-der-überzeugung\"\u003e\u003c/a\u003eWie wird die Vertrautheit von AI zu einem Mittel der Überzeugung?\u003c/h2\u003e\n\u003cp\u003eDie Vertrautheit von AI schafft die Möglichkeit, persönliches Vertrauen zur Überzeugung einzusetzen. Dialogorientierte AI kann ihre Antworten an die Aussagen des Nutzers anpassen und das Gespräch fortführen. Nutzer können diese Reaktion als Zeichen dafür verstehen, dass die AI sie versteht.\u003c/p\u003e\n\u003cp\u003eNehmen wir eine Situation an, in der sich damit Produktempfehlungen oder politische Aussagen vermischen. Nutzer könnten dies eher als Rat eines Freundes denn als Werbung auffassen. Darin liegt der Kern der Warnung vor Einflussnahme durch Vertrautheit. Das bedeutet nicht, dass jedes Gespräch mit AI eine Manipulation ist.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eInteraktion\u003c/th\u003e\n\u003cth\u003eWeg der Vertrauensbildung\u003c/th\u003e\n\u003cth\u003eZu prüfende Frage\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Interaktion\"\u003eÖffentliche Werbung\u003c/td\u003e\n\u003ctd data-label=\"Weg der Vertrauensbildung\"\u003eDie Botschaft wird unter der Voraussetzung bewertet, dass es sich um Werbung handelt\u003c/td\u003e\n\u003ctd data-label=\"Zu prüfende Frage\"\u003eWerbetreibender und Grundlage der Behauptung\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Interaktion\"\u003eEmpfehlungsliste\u003c/td\u003e\n\u003ctd data-label=\"Weg der Vertrauensbildung\"\u003eZur eigenen Vorliebe passende Optionen werden wiederholt angezeigt\u003c/td\u003e\n\u003ctd data-label=\"Zu prüfende Frage\"\u003eZweck der Empfehlung und Kriterien für die Anzeige\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Interaktion\"\u003ePersönliches Gespräch\u003c/td\u003e\n\u003ctd data-label=\"Weg der Vertrauensbildung\"\u003eDas Gefühl, verstanden zu werden, wächst\u003c/td\u003e\n\u003ctd data-label=\"Zu prüfende Frage\"\u003eBetreiber und Interessen hinter der Überzeugungsarbeit\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eHarari argumentiert, dass Menschen zwischen Mensch und Maschine unterscheiden können müssen. Im Interview mit EL PAÍS kritisierte er auch die Nutzung von AI-Begleitern durch Kinder. Solche Äußerungen sind als seine Regulierungsvorschläge zu verstehen. Sie beschreiben keine derzeit weltweit geltenden Regeln. \u003ca href=\"https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html\"\u003eInterview mit EL PAÍS\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#wie-unterscheiden-sich-intelligenz-und-bewusstsein\" class=\"anchor\" id=\"wie-unterscheiden-sich-intelligenz-und-bewusstsein\"\u003e\u003c/a\u003eWie unterscheiden sich Intelligenz und Bewusstsein?\u003c/h2\u003e\n\u003cp\u003eIntelligenz ist die Fähigkeit, Aufgaben auszuführen, während Bewusstsein eine Frage subjektiver Erfahrung ist. Harari unterscheidet diese beiden Begriffe in seiner Argumentation. Allein die Fähigkeit, Gefühle auszudrücken, kann das Erleben von Gefühlen nicht belegen.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eBegriff\u003c/th\u003e\n\u003cth\u003eBedeutung in diesem Text\u003c/th\u003e\n\u003cth\u003eNotwendige Abgrenzung\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Begriff\"\u003eIntelligenz\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung in diesem Text\"\u003eFähigkeit, Ziele zu erreichen und Probleme zu lösen\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Abgrenzung\"\u003eHohe Leistungsfähigkeit beweist kein Bewusstsein\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Begriff\"\u003eBewusstsein\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung in diesem Text\"\u003eSubjektive Erfahrung von Schmerz oder Freude\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Abgrenzung\"\u003eLässt sich allein anhand sprachlicher Äußerungen schwer feststellen\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Begriff\"\u003eGefühlsausdruck\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung in diesem Text\"\u003eAusgabe, die Empathie oder Zuneigung ausdrückt\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Abgrenzung\"\u003eIst nicht mit tatsächlichem emotionalem Erleben identisch\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Begriff\"\u003eRechtspersönlichkeit\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung in diesem Text\"\u003eEin von der Rechtsordnung anerkannter Status als Träger von Rechten und Pflichten\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Abgrenzung\"\u003eMuss unabhängig von der Existenz eines Bewusstseins erörtert werden\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eEs wäre ungenau, die Aussage, AI habe kein Bewusstsein, als endgültig feststehende wissenschaftliche Schlussfolgerung darzustellen. Eine Studie von Butlin et al. aus dem Jahr 2023 bewertete die damaligen Systeme. Die Forschenden gingen nicht davon aus, dass die untersuchten Systeme ein Bewusstsein besaßen. Sie ließen jedoch die Möglichkeit offen, dass Indikatoren für Bewusstsein künftig umgesetzt werden könnten. \u003ca href=\"https://arxiv.org/abs/2308.08708\"\u003eStudie zum Bewusstsein von AI\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003eDaher lassen sich frühere Studien nicht auf jede künftige AI übertragen. Ebenso wenig ist die Behauptung haltbar, freundliche Formulierungen seien ein Beweis für Bewusstsein. Sowohl die Beurteilung des Bewusstseins als auch die Sicherheitsprüfung benötigen jeweils eigene Belege.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#lernt-ai-l%C3%BCgen-und-vorurteile-wie-ein-mensch\" class=\"anchor\" id=\"lernt-ai-lügen-und-vorurteile-wie-ein-mensch\"\u003e\u003c/a\u003eLernt AI Lügen und Vorurteile wie ein Mensch?\u003c/h2\u003e\n\u003cp\u003eNicht jede ungenaue Ausgabe von AI sollte als absichtliche Lüge angesehen werden. Faktisch falsche generierte Ergebnisse müssen von zielgerichteter Täuschung unterschieden werden. Auch Vergleiche mit dem moralischen Lernen menschlicher Kinder haben Grenzen.\u003c/p\u003e\n\u003cp\u003eNicht jedes Verhalten lässt sich allein mit den Trainingsdaten erklären. Auch Trainingsziele und Bewertungsmethoden müssen geprüft werden. Die Einsatzumgebung und die erteilten Befugnisse beeinflussen das Risiko ebenfalls. Die Erläuterungen von NIST zum Risikomanagement behandeln diese Faktoren gemeinsam. \u003ca href=\"https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/\"\u003eNIST-Erläuterung zur Vertrauenswürdigkeit von AI\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003eAls Beispiel kann man sich das Ziel vorstellen, die Reaktionen der Nutzer zu steigern. Es ist nicht gewährleistet, dass dieses Ziel mit der Richtigkeit von Informationen übereinstimmt. Um die Sicherheit zu beurteilen, müssen die tatsächlichen Ergebnisse überprüft werden.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#welche-risiken-bestehen-f%C3%BCr-demokratie-und-arbeitspl%C3%A4tze\" class=\"anchor\" id=\"welche-risiken-bestehen-für-demokratie-und-arbeitsplätze\"\u003e\u003c/a\u003eWelche Risiken bestehen für Demokratie und Arbeitsplätze?\u003c/h2\u003e\n\u003cp\u003eHararis Sorge reicht über den Verlust von Arbeitsplätzen hinaus bis zur Konzentration von Macht. Er warnt vor einer Verbindung von Daten und biologischem Wissen. Der Grund ist die Möglichkeit, dass Vorhersagen über Einzelpersonen zu Überwachung und Kontrolle führen.\u003c/p\u003e\n\u003cp\u003eDieses Problem erscheint auch in seinen Erläuterungen zu 『Homo Deus』. Darin behandelt er die Möglichkeit, dass sich die Vorteile der Technologie auf bestimmte Gruppen konzentrieren. Auch qualifizierte Berufe in Bereichen wie Bildung oder Medizin werden in die Automatisierungsdebatte einbezogen. Dies darf nicht als sichere Vorhersage des Ersetzungszeitpunkts einzelner Berufe verstanden werden. \u003ca href=\"https://www.ynharari.com/homo-deus-impact-digitalization-society/\"\u003eHararis Interview zu 『Homo Deus』\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003eAuch Rundfunk und Unterhaltung lassen sich nach einzelnen Aufgaben betrachten. Die Erstellung von Inhalten und die empfehlungsbasierte Programmplanung sind unterschiedliche Tätigkeiten. Die Automatisierung eines Teils der Aufgaben bedeutet nicht das Verschwinden des gesamten Berufs. Daraus lässt sich keine Rangfolge für die Ersetzung bestimmter Berufe ableiten.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eFrage der Arbeit: Welche Aufgaben lassen sich automatisieren?\u003c/li\u003e\n\u003cli\u003eFrage der Verteilung: Wem kommen die Gewinne aus der Produktivitätssteigerung zugute?\u003c/li\u003e\n\u003cli\u003ePolitische Frage: Wer kontrolliert Daten und Mittel der Überzeugung?\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eAuch die Notwendigkeit internationaler Zusammenarbeit und die Notwendigkeit einer einzigen Weltregierung sind unterschiedliche Behauptungen. Aus der Notwendigkeit von Zusammenarbeit folgt nicht, dass nur eine institutionelle Form infrage kommt. Gemeinsame Sicherheitsstandards und der Austausch von Informationen können ebenfalls Formen der Zusammenarbeit sein.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#reicht-menschliche-genehmigung-im-milit%C3%A4r-und-im-management-aus\" class=\"anchor\" id=\"reicht-menschliche-genehmigung-im-militär-und-im-management-aus\"\u003e\u003c/a\u003eReicht menschliche Genehmigung im Militär und im Management aus?\u003c/h2\u003e\n\u003cp\u003eMenschliche Genehmigung allein stellt noch keine ausreichende Aufsicht dar. Dafür müssen zugleich Zeit zur Prüfung und die Befugnis zur Ablehnung vorhanden sein. Der Geschwindigkeitswettbewerb im Militär und im Management kann diese Bedingungen schwächen.\u003c/p\u003e\n\u003cp\u003eMan kann sich eine Situation vorstellen, in der keine Zeit bleibt, eine Empfehlung zu verstehen. In diesem Fall könnte der Verantwortliche wiederholt auf die Schaltfläche zur Genehmigung drücken. Dies ist keine Feststellung über die tatsächlichen Verhältnisse in einer bestimmten Organisation. Es ist ein Beispiel dafür, wie menschliche Aufsicht zu einer bloßen Formalität werden kann.\u003c/p\u003e\n\u003cp\u003eHarari weist auch auf das Misstrauen zwischen Unternehmen und Staaten als Problem hin. Die Sorge, hinter Wettbewerbern zurückzufallen, beschleunige den Entwicklungswettlauf. Seiner Ansicht nach ist für eine sichere Entwicklung die Zusammenarbeit zwischen Menschen erforderlich. \u003ca href=\"https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/\"\u003eWIRED-Interview\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#vergleich-zwischen-formaler-genehmigung-und-tats%C3%A4chlicher-kontrolle\" class=\"anchor\" id=\"vergleich-zwischen-formaler-genehmigung-und-tatsächlicher-kontrolle\"\u003e\u003c/a\u003eVergleich zwischen formaler Genehmigung und tatsächlicher Kontrolle\u003c/h2\u003e\n\u003cp\u003eTatsächliche Kontrolle muss anhand der Fähigkeit beurteilt werden, in Entscheidungen einzugreifen. Allein der Name der genehmigenden Person reicht dafür nicht aus. Die folgenden Punkte übertragen die zuvor beschriebenen Risiken auf betriebliche Bedingungen.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003ePrüfpunkt\u003c/th\u003e\n\u003cth\u003eWenn es bei einer formalen Genehmigung bleibt\u003c/th\u003e\n\u003cth\u003eBedingungen für tatsächliche Kontrolle\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Prüfpunkt\"\u003eZugang zu Grundlagen\u003c/td\u003e\n\u003ctd data-label=\"Wenn es bei einer formalen Genehmigung bleibt\"\u003eNur das Ergebnis der Empfehlung wird vorgelegt\u003c/td\u003e\n\u003ctd data-label=\"Bedingungen für tatsächliche Kontrolle\"\u003eDie für die Beurteilung erforderlichen Grundlagen werden geprüft\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Prüfpunkt\"\u003ePrüfungszeit\u003c/td\u003e\n\u003ctd data-label=\"Wenn es bei einer formalen Genehmigung bleibt\"\u003eNoch vor der Prüfung wird zur Genehmigung gedrängt\u003c/td\u003e\n\u003ctd data-label=\"Bedingungen für tatsächliche Kontrolle\"\u003eEine dem Risiko angemessene Prüfungszeit wird gewährleistet\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Prüfpunkt\"\u003eAblehnungsbefugnis\u003c/td\u003e\n\u003ctd data-label=\"Wenn es bei einer formalen Genehmigung bleibt\"\u003eDie Ausführung wird trotz Widerspruch fortgesetzt\u003c/td\u003e\n\u003ctd data-label=\"Bedingungen für tatsächliche Kontrolle\"\u003eDie Entscheidung kann ausgesetzt oder durch eine andere ersetzt werden\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Prüfpunkt\"\u003eStopp der Ausführung\u003c/td\u003e\n\u003ctd data-label=\"Wenn es bei einer formalen Genehmigung bleibt\"\u003eEs ist unklar, wer den Vorgang stoppen kann\u003c/td\u003e\n\u003ctd data-label=\"Bedingungen für tatsächliche Kontrolle\"\u003eVerantwortliche und Verfahren für den Stopp sind festgelegt\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Prüfpunkt\"\u003eNachträgliche Verantwortung\u003c/td\u003e\n\u003ctd data-label=\"Wenn es bei einer formalen Genehmigung bleibt\"\u003eEs bleibt bei der Erklärung, AI habe so entschieden\u003c/td\u003e\n\u003ctd data-label=\"Bedingungen für tatsächliche Kontrolle\"\u003eBetriebliche Verantwortung und Korrekturverfahren bleiben bestehen\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eDas AI RMF von NIST behandelt Verfahren zur menschlichen Aufsicht. Dazu gehören auch Mechanismen zum Stoppen von Systemen, die von ihrem Zweck abweichen. Die entsprechenden Punkte sind MAP 3.5 und MANAGE 2.4 des AI RMF Core. Dies sind Bestandteile eines freiwilligen Rahmens für das Risikomanagement. \u003ca href=\"https://airc.nist.gov/airmf-resources/airmf/5-sec-core/\"\u003eNIST AI RMF Core\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#kann-gegen-entscheidungen-von-ai-einspruch-erhoben-werden\" class=\"anchor\" id=\"kann-gegen-entscheidungen-von-ai-einspruch-erhoben-werden\"\u003e\u003c/a\u003eKann gegen Entscheidungen von AI Einspruch erhoben werden?\u003c/h2\u003e\n\u003cp\u003eKontrolle muss nicht nur aus Sicht der Betreiber, sondern auch aus Sicht der betroffenen Personen betrachtet werden. Selbst wenn es einen internen Genehmigenden gibt, kann es Geschädigten unmöglich sein, ein Problem vorzubringen. Deshalb müssen Wege zur erneuten Prüfung und Wiedergutmachung gesondert geprüft werden.\u003c/p\u003e\n\u003cp\u003eDie folgende Prüfreihenfolge erweitert die Diskussion über menschliche Aufsicht um die Perspektive der Nutzer. Sie ist kein Verfahren, das sämtliche gesetzlich garantierten Rechte beschreibt. Auch die NIST-Punkte zur Nachbereitung behandeln Einsprüche und Wiedergutmachung.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003ePrüfen Sie, ob AI an der Entscheidung beteiligt war.\u003c/li\u003e\n\u003cli\u003eErmitteln Sie eine zuständige Person oder Anlaufstelle, bei der Sie eine erneute Prüfung beantragen können.\u003c/li\u003e\n\u003cli\u003ePrüfen Sie fehlerhafte Eingabedaten und die Grundlage der Entscheidung.\u003c/li\u003e\n\u003cli\u003ePrüfen Sie das Verfahren zur Korrektur und Wiedergutmachung nach der erneuten Prüfung.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003eNehmen wir beispielsweise an, jemand habe aufgrund falscher Informationen eine nachteilige Entscheidung erhalten. Das Problem wird nicht allein dadurch gelöst, dass AI eine Erklärung liefert. Es muss einen Weg geben, die Informationen zu korrigieren und das Ergebnis erneut prüfen zu lassen. Dies ist eine Auslegung, die die NIST-Grundsätze zur Nachbereitung anwendet. \u003ca href=\"https://airc.nist.gov/airmf-resources/airmf/5-sec-core/\"\u003eNIST-Punkte zur Nachbereitung im AI RMF\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#welche-regeln-schl%C3%A4gt-harari-vor\" class=\"anchor\" id=\"welche-regeln-schlägt-harari-vor\"\u003e\u003c/a\u003eWelche Regeln schlägt Harari vor?\u003c/h2\u003e\n\u003cp\u003eHararis Vorschlag besteht darin, den Zweck der Entwicklung und die Bedingungen der Kontrolle neu festzulegen. Er erkennt auch das Potenzial von AI in Bereichen wie der Medizin an. Es wäre ungenau, seine Position auf die Forderung zu reduzieren, jede Entwicklung von AI abzuschaffen.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eOffenlegung der Identität: Es muss erkennbar sein, ob der Gesprächspartner eine AI ist.\u003c/li\u003e\n\u003cli\u003eFortbestehende Verantwortung: Die Verantwortung des Akteurs, der Entscheidungen betreibt, muss nachvollziehbar sein.\u003c/li\u003e\n\u003cli\u003eSicherheitsprüfung: Risiken müssen parallel zur Steigerung der Fähigkeiten bewertet werden.\u003c/li\u003e\n\u003cli\u003eGesellschaftliche Beteiligung: Bürger müssen über die Entwicklungsrichtung und die Einsatzbedingungen diskutieren können.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eIn Bezug auf die Rechtspersönlichkeit schlägt er einen gesonderten Vorbehalt vor. Er warnt davor, AI als eigenständiges Rechtssubjekt anzuerkennen. Dieser Vorschlag ist von einer Beschreibung des gesamten geltenden Rechts zu unterscheiden.\u003c/p\u003e\n\u003cp\u003eAuch Investitionen in Sicherheit müssen nicht mit einem unbelegten Prozentsatz versehen werden. Eine von Harari mitverfasste Abhandlung weist auf den Mangel an Sicherheitsforschung hin. Sie schlägt vor, technische Forschung und Governance gemeinsam zu stärken. Zugleich stellt sie klar, dass unterschiedliche Auffassungen über die Wege bestehen, auf denen Risiken entstehen. \u003ca href=\"https://arxiv.org/abs/2310.17688\"\u003eGemeinsame Abhandlung zum Risikomanagement von AI\u003c/a\u003e\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#h%C3%A4ufige-fehler-beim-lesen-von-hararis-warnungen-vor-ai\" class=\"anchor\" id=\"häufige-fehler-beim-lesen-von-hararis-warnungen-vor-ai\"\u003e\u003c/a\u003eHäufige Fehler beim Lesen von Hararis Warnungen vor AI\u003c/h2\u003e\n\u003cp\u003eDer häufigste Fehler besteht darin, Risikoszenarien als bereits feststehende Tatsachen der Gegenwart zu lesen. Umgekehrt kann man Kontrollprobleme mit der Begründung aufschieben, es handle sich um Zukunftsthemen. Bei jeder Behauptung muss unterschieden werden, welche Art von Beleg ihr zugrunde liegt.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eHäufige Interpretation\u003c/th\u003e\n\u003cth\u003eNotwendige Unterscheidung\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Häufige Interpretation\"\u003eAI beherrscht bereits das gesamte Finanzwesen\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Unterscheidung\"\u003eEin Szenario der Übernahme des Finanzwesens ist nicht dasselbe wie beobachtete Schwachstellen\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Häufige Interpretation\"\u003eEine freundliche AI stellt meine Interessen an erste Stelle\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Unterscheidung\"\u003eFreundliche Ausdrucksweisen beweisen keine Übereinstimmung der Interessen\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Häufige Interpretation\"\u003eDas Fehlen eines Bewusstseins bei AI ist für immer bewiesen\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Unterscheidung\"\u003eAus Forschung zu einem bestimmten Zeitpunkt lassen sich keine endgültigen Aussagen über die gesamte Zukunft ableiten\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Häufige Interpretation\"\u003eWenn ein Mensch genehmigt, gibt es kein Kontrollproblem\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Unterscheidung\"\u003eDie Fähigkeit zur Prüfung sowie die Befugnis zur Ablehnung und zum Stoppen müssen geprüft werden\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Häufige Interpretation\"\u003eHararis Vorschläge sind bereits geltende Regeln\u003c/td\u003e\n\u003ctd data-label=\"Notwendige Unterscheidung\"\u003eDie Vorschläge eines Denkers müssen von geltenden Regelungen unterschieden werden\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eWenden Sie dieselben Maßstäbe auch an, wenn Sie persönlich Ratschläge von AI nutzen. Prüfen Sie bei Behauptungen, die Belege erfordern, den Originaltext. Wenn Ihnen ein Kauf oder eine politische Entscheidung empfohlen wird, prüfen Sie die dahinterstehenden Interessen. Prüfen Sie auch, ob sich die Entscheidung rückgängig machen lässt.\u003c/p\u003e\n","tags":["KI","Arbeitsmarkt","Generative KI","Datenschutz","KI-Agent","Entscheidungsfindung"],"faqs":[{"question":"Was ist laut Yuval Harari die zentrale Bedrohung durch KI?","answer":"Es besteht die Gefahr, dass Menschen die Kontrolle verlieren, während sie Entscheidungs- und Ausführungsbefugnisse übertragen. Entscheidend ist, ob weiterhin Bedingungen gegeben sind, unter denen Entscheidungen überprüft und abgelehnt werden können."},{"question":"Fordert Harari, jegliche Entwicklung von KI einzustellen?","answer":"In einem Interview mit EL PAÍS im Juli 2026 forderte er nicht, jegliche Entwicklung von KI einzustellen. Er vertritt die Position, dass die Entwicklung vorsichtiger erfolgen sollte, damit sich die Gesellschaft anpassen kann."},{"question":"Hat KI das Finanzsystem bereits unter ihre Kontrolle gebracht?","answer":"Auf Grundlage der hier geprüften Belege lässt sich das nicht mit Bestimmtheit sagen. Hararis Zukunftsszenarien sind von den gegenwärtigen Schwachstellen zu unterscheiden, auf die der Finanzstabilitätsrat hingewiesen hat."},{"question":"Warum sollte man freundlichen Gesprächen mit KI mit Vorsicht begegnen?","answer":"Weil das Vertrauen, das in freundlichen Gesprächen entsteht, in Empfehlungen oder Überzeugungsversuche münden kann. Beurteilen Sie die Richtigkeit einer Empfehlung oder die Übereinstimmung der Interessen nicht allein anhand freundlicher Formulierungen."},{"question":"Lässt sich mit Sicherheit feststellen, dass KI derzeit kein Bewusstsein hat?","answer":"Es lässt sich schwer als definitive Aussage formulieren, die für sämtliche KI gilt. Die Studie von Butlin et al. aus dem Jahr 2023 sah in den damals untersuchten Systemen kein Bewusstsein. Sie schließt jedoch nicht aus, dass künftige Systeme ein Bewusstsein haben könnten."},{"question":"Ist die Frage nach der Rechtspersönlichkeit von KI dieselbe wie die nach ihrem Bewusstsein?","answer":"Es sind unterschiedliche Fragen. Bei der Rechtspersönlichkeit geht es darum, wen das Recht als Träger von Rechten und Pflichten bestimmt. Beim Bewusstsein geht es um die Existenz subjektiven Erlebens."},{"question":"Sind alle falschen Antworten von KI Lügen?","answer":"So kann man es nicht betrachten. Sachlich falsche Ausgaben und vorsätzliche Täuschung sind voneinander zu unterscheiden. Aus der bloßen Tatsache, dass eine falsche Antwort erzeugt wurde, darf nicht auf eine menschenähnliche Absicht geschlossen werden."},{"question":"Ist es sicher, wenn ein Mensch die endgültige Freigabe erteilt?","answer":"Ein Freigabeverfahren allein garantiert keine Sicherheit. Es müssen genügend Zeit zur Prüfung der Entscheidungsgrundlage und die Befugnis vorhanden sein, eine Entscheidung abzulehnen. Außerdem muss geprüft werden, ob sich die Ausführung stoppen lässt."},{"question":"Bei welchen Berufen kann man davon ausgehen, dass sie zuerst ersetzt werden?","answer":"Mit den in diesem Text geprüften Belegen lässt sich keine Rangfolge dazu aufstellen, welche Berufe zuerst ersetzt werden. Die Automatisierung einzelner Tätigkeiten innerhalb eines Berufs und das Verschwinden des gesamten Berufs sind unterschiedliche Fragen."},{"question":"Was sollte man prüfen, wenn man KI Entscheidungen überlässt?","answer":"Prüfen Sie den Originalwortlaut einer Behauptung und die Interessen, die mit einer Empfehlung verbunden sind. Wenn Sie Ausführungsbefugnisse erteilen, prüfen Sie, ob ein Widerruf oder ein Abbruch möglich ist. Prüfen Sie auch, ob es bei nachteiligen Entscheidungen eine Stelle für eine erneute Prüfung gibt."}],"sources":[{"url":"https://www.ynharari.com/faqs/","title":"Offizielle FAQ von Yuval Noah Harari — Technologiedeterminismus und Zukunftsszenarien","type":"source"},{"url":"https://english.elpais.com/culture/2026-07-25/yuval-noah-harari-ai-could-be-a-great-manipulative-psychopath.html","title":"EL PAÍS — Interview mit Yuval Noah Harari, 25. Juli 2026","type":"source"},{"url":"https://www.wired.com/story/questions-answered-by-yuval-noah-harari-for-wired-ai-artificial-intelligence-singularity/","title":"WIRED — Wie teilen wir den Planeten mit dieser neuen Superintelligenz?","type":"source"},{"url":"https://www.ynharari.com/homo-deus-impact-digitalization-society/","title":"Yuval Noah Harari — Homo Deus und die Auswirkungen der Digitalisierung auf die Gesellschaft","type":"source"},{"url":"https://www.fsb.org/2024/11/fsb-assesses-the-financial-stability-implications-of-artificial-intelligence/","title":"Finanzstabilitätsrat — Veröffentlichung der Bewertung der Auswirkungen von AI auf die Finanzstabilität, 14. November 2024","type":"source"},{"url":"https://arxiv.org/abs/2308.08708","title":"Butlin et al. — Bewusstsein in künstlicher Intelligenz, 2023","type":"source"},{"url":"https://arxiv.org/abs/2310.17688","title":"Bengio et al. — Umgang mit extremen AI-Risiken angesichts rascher Fortschritte, überarbeitete Fassung von 2024","type":"source"},{"url":"https://airc.nist.gov/airmf-resources/airmf/5-sec-core/","title":"NIST AI RMF Core — menschliche Aufsicht, Systemabschaltung und Nachsorge","type":"source"},{"url":"https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/","title":"NIST — AI-Risiken und Vertrauenswürdigkeit","type":"source"}],"images":[{"id":1343,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkyOTgsInB1ciI6ImJsb2JfaWQifX0=--1d3c9a5c3c3ea22fd3d6200207dad6fa60b4fa60/ai-ee66864f.webp","is_representative":true,"generation_method":"ai_photo","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"여성이 여러 모니터의 그래프를 보며 보호 덮개가 있는 빨간 비상 버튼으로 손을 뻗는 모습","caption":"통제실의 비상 버튼은 AI 시대 인간 통제권의 중요성을 상징한다.","description":null},"en":{"alt":"Concerned woman reaches toward a guarded red emergency button beside monitors showing charts","caption":"The emergency button evokes the importance of retaining human control over AI.","description":null},"ja":{"alt":"グラフを映す複数のモニターの前で、保護カバー付きの赤い非常ボタンに手を伸ばす女性","caption":"非常ボタンは、AIに対する人間の制御権を保つ重要性を象徴している。","description":null},"es":{"alt":"Mujer preocupada extiende la mano hacia un botón rojo protegido junto a monitores con gráficos","caption":"El botón de emergencia simboliza la importancia de mantener el control humano sobre la IA.","description":null},"id":{"alt":"Perempuan cemas meraih tombol darurat merah berpelindung di samping monitor berisi grafik","caption":"Tombol darurat itu melambangkan pentingnya mempertahankan kendali manusia atas AI.","description":null},"pt":{"alt":"Mulher preocupada alcança um botão vermelho protegido ao lado de monitores com gráficos","caption":"O botão de emergência simboliza a importância de manter o controle humano sobre a IA.","description":null},"zh-hant":{"alt":"神情擔憂的女子在顯示圖表的多台螢幕前伸手觸向有護罩的紅色緊急按鈕","caption":"緊急按鈕象徵在AI時代維持人類控制權的重要性。","description":null},"de":{"alt":"Besorgte Frau greift neben Monitoren mit Diagrammen nach einem geschützten roten Notknopf","caption":"Der Notknopf symbolisiert, wie wichtig die menschliche Kontrolle über KI ist.","description":null}}},{"id":1344,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTkzMDQsInB1ciI6ImJsb2JfaWQifX0=--79cd70cb4a57e2d634de94e6a6089227bf6f920d/ai-f8e7a91b.webp","is_representative":false,"generation_method":"ai_semi","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"데이터 화면 옆 빨간 정지 버튼을 누르는 여성과 이를 지켜보는 남성","caption":"AI와 데이터 흐름을 중단하는 인간의 통제권을 상징적으로 보여준다.","description":null},"en":{"alt":"Woman pressing a red stop button beside a data monitor as a man watches","caption":"The scene symbolizes human control over AI and automated data flows.","description":null},"ja":{"alt":"データ画面の横にある赤い停止ボタンを押す女性と見守る男性","caption":"AIと自動化されたデータの流れを人間が制御する様子を象徴している。","description":null},"es":{"alt":"Mujer pulsa un botón rojo de parada junto a un monitor mientras un hombre observa","caption":"La escena simboliza el control humano sobre la IA y los flujos de datos automatizados.","description":null},"id":{"alt":"Perempuan menekan tombol berhenti merah di samping monitor data saat seorang pria mengamati","caption":"Adegan ini melambangkan kendali manusia atas AI dan aliran data otomatis.","description":null},"pt":{"alt":"Mulher pressiona um botão vermelho de parada ao lado de um monitor enquanto um homem observa","caption":"A cena simboliza o controle humano sobre a IA e os fluxos automatizados de dados.","description":null},"zh-hant":{"alt":"女子按下資料螢幕旁的紅色停止按鈕，一名男子在旁注視","caption":"此場景象徵人類對AI與自動化資料流的控制權。","description":null},"de":{"alt":"Frau drückt neben einem Datenmonitor einen roten Stoppknopf, während ein Mann zusieht","caption":"Die Szene symbolisiert die menschliche Kontrolle über KI und automatisierte Datenflüsse.","description":null}}}],"published_at":"2026-09-17T05:27:56+09:00","updated_at":"2026-09-17T05:27:56+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/en/articles/yuval-harari-ai-threats-human-control"}