Yuval Harari: amenazas de la IA y control humano

La principal amenaza de la IA sobre la que advierte Yuval Harari es la pérdida del control humano. Puede producirse al delegar el juicio por comodidad. Las transacciones financieras y la persuasión personal son vías de riesgo representativas. El criterio para responder es si las personas pueden comprender y rechazar las decisiones.

El contexto de sus declaraciones puede consultarse en las FAQ oficiales de Harari y en la entrevista de EL PAÍS del 25 de julio de 2026.

¿Qué es la pérdida de control de la que habla Harari?

La pérdida de control es el estado en el que los seres humanos pierden la capacidad de modificar las decisiones de la IA. No significa que todo el mundo utilice IA. Aunque el usuario dé su aprobación directamente, el control real puede ser débil.

Por ejemplo, puede que el responsable no pueda revisar los fundamentos de una recomendación. También podría carecer de autoridad para rechazarla. En ese caso, el mero procedimiento de aprobación no garantiza el juicio humano.

Harari rechaza la idea de que las consecuencias de la tecnología estén predeterminadas. Sus FAQ oficiales describen un futuro peligroso como una posibilidad. Su postura es que el resultado cambia según las decisiones que tome la sociedad. FAQ oficiales de Harari

Al aplicar esta perspectiva, las preguntas sobre la responsabilidad también se vuelven más concretas.

• ¿Quién definió los objetivos que debe cumplir la IA?
• ¿Quién otorgó la autoridad para llevar las recomendaciones a la práctica?
• ¿Quién puede intervenir cuando surge un problema?
• ¿Quién debe identificar y reparar los daños?

Por qué el control de la IA plantea problemas en las finanzas

En las finanzas pueden combinarse la complejidad del juicio y la autoridad para ejecutar decisiones. Harari expresa preocupación por las estructuras financieras difíciles de comprender para los seres humanos. Un sistema en el que las IA realizan transacciones entre sí es uno de los escenarios futuros que plantea. No es un diagnóstico de que todo el sistema financiero actual haya pasado a manos de la IA.

El Consejo de Estabilidad Financiera señaló vulnerabilidades más concretas. En su publicación del 14 de noviembre de 2024, destacó la concentración de los proveedores de servicios. También abordó el riesgo de que los comportamientos de los participantes del mercado estén interconectados. Los riesgos cibernéticos y de los modelos también fueron objeto de análisis. Publicación del Consejo de Estabilidad Financiera

Comparación entre la recomendación y la autoridad de ejecución

Incluso con la misma IA, los problemas que deben revisarse cambian según su autoridad de ejecución. La siguiente tabla analiza las diferencias en la delegación de autoridad. No representa un caso operativo real de una empresa financiera concreta.

No es necesario interpretarlo como una profecía de que la IA provocará una crisis financiera. La cuestión clave es cuánta autoridad se delega en sistemas difíciles de comprender. La gestión de riesgos debe abordar no solo el rendimiento del modelo, sino también la estructura operativa.

¿Cómo puede la cercanía de la IA convertirse en un medio de persuasión?

La cercanía de la IA crea la posibilidad de utilizar la confianza personal con fines persuasivos. La IA conversacional puede continuar respondiendo de acuerdo con lo que dice el usuario. Este puede interpretar esas respuestas como una señal de que la IA lo comprende.

Imaginemos una situación en la que se mezclan recomendaciones de productos o afirmaciones políticas. El usuario puede percibirlas como el consejo de un amigo y no como publicidad. Este es el núcleo de la advertencia sobre la influencia ejercida mediante la cercanía. No significa que todas las conversaciones con una IA sean manipuladoras.

Harari sostiene que las personas deben poder distinguir entre un ser humano y una máquina. En la entrevista de EL PAÍS también criticó el uso de acompañantes de IA por parte de los niños. Estas declaraciones deben interpretarse como propuestas regulatorias. No describen normas vigentes aplicables en todo el mundo. Entrevista de EL PAÍS

¿En qué se diferencian la inteligencia y la conciencia?

La inteligencia es la capacidad de realizar tareas, mientras que la conciencia es una cuestión de experiencia subjetiva. Harari desarrolla su argumentación distinguiendo ambos conceptos. La capacidad de expresar emociones no basta para demostrar que se experimentan.

Es inexacto afirmar que la IA carece de conciencia como si fuera una conclusión científica definitiva. La investigación de Butlin y otros de 2023 evaluó los sistemas de aquella época. El equipo investigador no consideró que los sistemas evaluados tuvieran conciencia. Sin embargo, dejó abierta la posibilidad de que en el futuro se implementen indicadores relacionados con la conciencia. Investigación sobre la conciencia de la IA

Por tanto, las investigaciones anteriores no pueden aplicarse a todas las IA futuras. Tampoco es válida la afirmación de que una frase amable constituye una prueba de conciencia. Tanto el juicio sobre la conciencia como la verificación de la seguridad requieren sus propias pruebas.

¿Aprende la IA a mentir y a adquirir sesgos como los humanos?

No todos los resultados inexactos de la IA deben considerarse mentiras deliberadas. Hay que distinguir entre los resultados generados que no se corresponden con los hechos y el engaño orientado a un objetivo. Las explicaciones que lo comparan con el aprendizaje moral de los niños también tienen limitaciones.

Los datos de entrenamiento no bastan para explicar todos los comportamientos. También deben revisarse los objetivos de aprendizaje y los métodos de evaluación. El entorno de despliegue y la autoridad concedida también influyen en los riesgos. La explicación de NIST sobre la gestión de riesgos aborda estos elementos conjuntamente. Explicación de NIST sobre la fiabilidad de la IA

Por ejemplo, puede plantearse el objetivo de aumentar las reacciones de los usuarios. No puede garantizarse que ese objetivo coincida con la exactitud de la información. Para evaluar la seguridad, es necesario verificar los resultados reales.

¿Qué riesgos existen para la democracia y el empleo?

La preocupación de Harari va más allá de la reducción del empleo y alcanza la concentración del poder. Advierte sobre la combinación de los datos y los conocimientos biológicos. Esto se debe a la posibilidad de que las predicciones sobre las personas conduzcan a la vigilancia y el control.

Este problema también aparece en sus explicaciones relacionadas con «Homo Deus». Aborda la posibilidad de que los beneficios de la tecnología se concentren en determinados grupos. Profesiones especializadas como la educación o la atención médica también se incluyen en el debate sobre la automatización. Esto no debe interpretarse como una predicción definitiva del momento en que será sustituida cada profesión. Entrevista de Harari relacionada con «Homo Deus»

La radiodifusión y el entretenimiento también pueden analizarse por tareas. La producción de contenidos y la programación de recomendaciones son tareas diferentes. La automatización de parte de un trabajo no implica la desaparición de toda una profesión. No hay fundamentos para deducir aquí una clasificación de las profesiones según su sustitución.

• El problema del trabajo: ¿qué tareas pueden automatizarse?
• El problema de la distribución: ¿quién recibe los beneficios del aumento de la productividad?
• El problema político: ¿quién controla los datos y los medios de persuasión?

La necesidad de cooperación internacional y la necesidad de un único gobierno mundial también son afirmaciones distintas. La necesidad de cooperar no determina una única forma institucional. Las normas comunes de seguridad y el intercambio de información también pueden ser formas de cooperación.

¿Basta la aprobación humana en los ámbitos militar y empresarial?

La mera aprobación humana no constituye una supervisión suficiente. También debe haber tiempo para revisar y autoridad para rechazar. La competencia por la velocidad en los ámbitos militar y empresarial puede debilitar estas condiciones.

Puede imaginarse una situación en la que no haya tiempo para comprender una recomendación. En ese caso, el responsable podría pulsar repetidamente el botón de aprobación. Esta no es una descripción que pretenda afirmar la realidad de una organización concreta. Es un ejemplo de cómo la supervisión humana puede convertirse en una formalidad.

Harari también señala como problema la desconfianza entre empresas y Estados. El temor a quedarse atrás respecto a los competidores acelera la carrera por el desarrollo. Considera necesaria la cooperación entre los seres humanos para lograr un desarrollo seguro. Entrevista de WIRED

Comparación entre la aprobación formal y el control real

El control real debe evaluarse según la capacidad de intervenir en una decisión. No puede comprobarse únicamente por el nombre de quien la aprueba. Los siguientes puntos convierten los riesgos anteriores en una comparación de las condiciones operativas.

El AI RMF de NIST aborda los procedimientos de supervisión humana. También incluye mecanismos para detener los sistemas que se desvían de su propósito. Los apartados correspondientes son MAP 3.5 y MANAGE 2.4 del AI RMF Core. Forman parte de un marco voluntario de gestión de riesgos. AI RMF Core de NIST

¿Se puede impugnar una decisión de la IA?

El control debe contemplarse no solo desde la perspectiva del operador, sino también desde la de la persona afectada. Aunque exista un responsable interno de aprobación, la persona perjudicada puede verse impedida de plantear el problema. Por eso es necesario revisar por separado las vías de reconsideración y reparación.

La siguiente secuencia amplía el debate sobre la supervisión humana desde la perspectiva del usuario. No es un procedimiento que describa de forma integral los derechos garantizados por la ley. Los apartados de gestión posterior de NIST también abordan la impugnación y la reparación.

1. Compruebe si la IA intervino en la decisión.
2. Busque al responsable o el canal al que solicitar una revisión.
3. Compruebe la información de entrada incorrecta y los fundamentos de la decisión.
4. Compruebe los procedimientos de corrección y reparación derivados de la revisión.

Por ejemplo, supongamos que una persona recibe una decisión desfavorable debido a información incorrecta. Recibir una explicación de la IA no basta para resolver el problema. Es necesaria una vía para corregir la información y revisar el resultado. Esta es una interpretación que aplica los principios de gestión posterior de NIST. Apartado de gestión posterior del AI RMF de NIST

¿Qué reglas propone Harari?

La propuesta de Harari consiste en redefinir el propósito del desarrollo y las condiciones de control. También reconoce el potencial de la IA en ámbitos como la medicina. Sería inexacto simplificar su postura como una exigencia de eliminar todo desarrollo de IA.

• Divulgación de identidad: debe poder saberse si el interlocutor es una IA.
• Mantenimiento de la responsabilidad: debe poder rastrearse la responsabilidad de la entidad que gestiona las decisiones.
• Verificación de la seguridad: los riesgos deben evaluarse junto con el aumento de las capacidades.
• Participación social: la ciudadanía debe debatir la orientación del desarrollo y las condiciones de despliegue.

Respecto a la personalidad jurídica, propone una cautela aparte. Advierte contra el reconocimiento de la IA como sujeto jurídico independiente. Esta propuesta debe distinguirse de una descripción del conjunto de la legislación vigente.

Tampoco es necesario asignar un porcentaje no verificado a la inversión en seguridad. El artículo del que Harari es coautor señala la insuficiencia de la investigación sobre seguridad. Propone reforzar conjuntamente la investigación técnica y la gobernanza. También indica que existen diferencias de opinión sobre las vías por las que pueden surgir los riesgos. Artículo conjunto sobre la gestión de riesgos de la IA

Errores comunes al interpretar las advertencias de Harari sobre la IA

El error más común es interpretar los escenarios de riesgo como hechos actuales confirmados. Por el contrario, también puede aplazarse el problema del control por considerarlo una cuestión del futuro. Debe distinguirse la naturaleza de las pruebas que sustentan cada afirmación.

Aplique los mismos criterios cuando utilice personalmente los consejos de una IA. Si una afirmación requiere pruebas, consulte el texto original. Si recomienda una compra o una decisión política, examine los intereses implicados. Compruebe también si la decisión puede revertirse.