La ética de la venganza privada, los drones y el control de la IA que plantea 『Pyromaniac』

『Pyromaniac』 es un tecno-thriller que parte del placer de la venganza privada y amplía sus interrogantes hacia la necesidad del Estado de derecho, la militarización de los drones y los riesgos de las decisiones de la AI. Según la descripción de la obra, el conflicto central de la historia enfrenta a PM, una organización secreta formada por un investigador de la industria de defensa, un hacker y una periodista, con el fiscal Ko Il-mun, que los persigue.

Este texto analiza las cuestiones éticas y tecnológicas que plantea la obra, más que su desenlace concreto. Se abordan por separado los elementos ficticios de la novela y la realidad tecnológica comprobada en la actualidad.

Estructura central de la obra

PM castiga con tecnología avanzada a personas que han logrado eludir la ley. En el bando contrario, el fiscal Ko Il-mun comprende las heridas de las víctimas y las limitaciones del sistema, pero no acepta que los particulares ejerzan la potestad de castigar. Este enfrentamiento se asemeja más a un choque entre dos concepciones de la justicia que a una simple oposición entre el bien y el mal.

La ventaja de esta estructura es que impide que el lector se acomode fácilmente en uno de los dos lados. Es posible empatizar con la ira de PM, pero resulta difícil afirmar que sus métodos también sean legítimos. A la inversa, los principios del fiscal son necesarios, pero no explican el fracaso del sistema que experimentaron las víctimas.

Por qué la venganza privada resulta emocionante y peligrosa

La recompensa emocional que ofrece la narrativa de venganza

La narrativa de venganza privada consuma con rapidez una justicia que en la realidad se retrasa o no llega a materializarse. Cuanto más claros son el agresor y la víctima, y cuanto más inmediato es el castigo, mayor es la sensación de control y alivio que obtiene el lector. Como se omiten la compleja valoración de las pruebas y los procedimientos, el resultado también parece inequívoco.

Sin embargo, la catarsis de una historia no garantiza su legitimidad en la realidad. Los hechos reales son incompletos, y las personas se ven influidas por la información que han obtenido y por sus emociones. Aunque después de ejecutar el castigo se confirme que hubo un error, resulta difícil reparar el daño.

Problemas estructurales de la venganza privada

La venganza privada conlleva, como mínimo, los siguientes problemas.

• Unión del juicio y la ejecución: la misma persona evalúa las acusaciones y determina incluso la pena.
• Ausencia de la oportunidad de refutar: el objetivo no dispone de un procedimiento para impugnar las pruebas o aclarar malentendidos.
• Quiebra de la proporcionalidad: la ira de la víctima puede llevar a un castigo mayor que la responsabilidad correspondiente al acto.
• Riesgo de expansión: aunque al principio se ataque a personas manifiestamente malvadas, el alcance de los objetivos puede ampliarse gradualmente.
• Cadena de represalias: la parte castigada responde de nuevo con violencia y el conflicto continúa.

Un aspecto importante de 『Pyromaniac』 es que no mantiene la venganza privada como una solución meramente satisfactoria. A medida que aumentan la frecuencia y la magnitud de la venganza, también a quienes la ejecutan les resulta difícil escapar de la pérdida, la responsabilidad y la carga moral.

Por qué no se puede renunciar a la ley pese a sus imperfecciones

El Estado de derecho no equivale a creer que la ley siempre tiene razón. Según la explicación de las Naciones Unidas, entre sus principios fundamentales se encuentran las leyes públicas, su aplicación igualitaria, la independencia de las decisiones, la equidad procesal y la prevención del ejercicio arbitrario del poder. Su objetivo no es prometer sentencias perfectas, sino impedir que alguien decida sobre los derechos y la vida de otras personas basándose únicamente en sus propias convicciones.

El papel del fiscal Ko Il-mun personifica este principio. Aunque comprende las motivaciones de PM, no acepta su manera de castigar. La distinción importante en este punto es la siguiente.

1. Se pueden criticar los fracasos de la ley y de los organismos de investigación.
2. Deben mejorarse los procedimientos de reparación de las víctimas y determinación de responsabilidades.
3. Eso no concede a los particulares una potestad ilimitada para castigar.

Por tanto, la pregunta productiva que plantea la obra no es tanto la disyuntiva entre «ley o venganza» como «cómo reducir los fallos institucionales que provocan la venganza». El apoyo a las víctimas, la capacidad de recopilación de pruebas, la investigación independiente de los delitos relacionados con el poder y la transparencia de los procedimientos no debilitan el Estado de derecho, sino que constituyen condiciones para reforzarlo.

Cómo se convierten los drones en instrumentos de terror

Los drones son una tecnología de doble uso empleada en filmaciones, inspecciones de instalaciones, observación de catástrofes, agricultura y logística, entre otros ámbitos. Las mismas funciones de vuelo, comunicación y navegación también pueden utilizarse indebidamente para la vigilancia, la intrusión o los ataques. El riesgo aumenta cuando se combinan varias tecnologías, más que por el dron como objeto aislado.

Los ataques con drones de la obra muestran visualmente cómo la tecnología amplifica la intención humana de atacar. No obstante, no deben considerarse las tasas de éxito concretas ni las escenas de hacking de la novela como métodos de funcionamiento comprobados en la realidad. Los riesgos reales no dependen únicamente del rendimiento de la aeronave, sino también del entorno operativo, el estado de las comunicaciones, la regulación, los sistemas defensivos y la destreza de las personas.

También en el debate internacional, el criterio importante no es simplemente si se empleó una máquina no tripulada, sino hasta qué punto intervienen los seres humanos y asumen responsabilidad en la selección de objetivos y en la decisión de usar la fuerza. Los drones operados a distancia y los sistemas de armas autónomas que seleccionan objetivos por sí mismos no son el mismo concepto.

Imaginar que la AI juzga a los seres humanos

El debate sobre la AI en la obra reformula en el lenguaje de los sistemas computacionales un antiguo problema moral: «¿Es lícito sacrificar a algunos en beneficio de toda la humanidad?». La preocupación es que, si solo se impone el objetivo de maximizar la utilidad total, los derechos de las minorías, la legitimidad procesal y los daños irreversibles puedan considerarse cuestiones secundarias.

Si los datos se contaminan, ¿también se vuelve malvada la AI?

La AI puede aprender sesgos, errores y patrones discriminatorios a partir de datos creados por seres humanos. Sin embargo, explicar el problema únicamente como «una AI que consume datos malos se convierte en una entidad malvada» hace que se pasen por alto elementos importantes.

Los resultados de la AI suelen ser producto de la combinación de los siguientes factores.

• Qué se diseñó para que predijera u optimizara
• Qué datos se recopilaron y cuáles se excluyeron
• Cómo se evaluaron los errores
• Cuánta autoridad para actuar realmente se concedió al sistema
• Si las personas pueden revisar y rechazar los resultados
• Si quedan registros que permitan rastrear responsabilidades cuando surgen problemas

El marco de gestión de riesgos de AI del NIST no evalúa una AI fiable únicamente por su precisión. Propone gestionar conjuntamente diversas características, como la seguridad, la protección y resiliencia, la transparencia, la explicabilidad, la protección de la privacidad y la equidad. Los principios sobre AI de la OECD y la UNESCO también hacen hincapié en los derechos humanos, la supervisión humana, la transparencia y la rendición de cuentas.

Las tres leyes de la robótica de Asimov no son normas de seguridad

Las tres leyes de la robótica, formuladas en términos como «no causar daño a los seres humanos», son un recurso literario desarrollado en las novelas de Isaac Asimov. No son normas internacionales de seguridad que se instalen directamente en la AI real. Incluso palabras de apariencia cotidiana como «daño», «ser humano» y «orden» pueden entrar en conflicto o interpretarse de manera diferente según la situación real.

Los sistemas de seguridad reales requieren, más que una sola orden abstracta, restricciones de autoridad, pruebas y evaluaciones, registros, controles de seguridad, procedimientos de reclamación, la facultad humana de interrumpir el sistema y mecanismos de respuesta ante incidentes.

Es necesario distinguir la imaginación de la obra de la tecnología actual

Esta obra puede leerse como una advertencia realista, pero no deben aceptarse todos sus planteamientos como hechos sobre las capacidades actuales de la AI.

Esta distinción no debilita las preocupaciones planteadas por la obra. Al contrario, permite identificar con mayor claridad los riesgos que pueden gestionarse en la actualidad, en lugar de una vaga «rebelión de la AI».

La cadena de responsabilidades que debe controlarse antes que la AI

El problema más interesante que insinúa la obra no radica tanto en qué clase de entidad llegará a ser la AI como en qué justificarán los seres humanos mediante su uso. Si una organización elude su responsabilidad diciendo que «lo decidió el algoritmo», la AI puede convertirse en un poderoso instrumento de poder sin necesidad de ser una gobernante independiente.

Si la AI respalda decisiones que afectan gravemente a las personas, debe ser posible responder a las siguientes preguntas.

1. ¿Quién definió el objetivo y el riesgo aceptable?
2. ¿Cuál es el origen de los datos y cuáles son sus limitaciones?
3. ¿Quién puede intervenir cuando el sistema se equivoca?
4. ¿Puede la persona afectada exigir una explicación y una revisión?
5. ¿Cómo se distribuye la responsabilidad entre los diseñadores, los proveedores, las instituciones que lo implementan y los responsables de la decisión final?

Es decir, el modelo no es el único objeto de control. Es necesario examinar como una sola cadena de responsabilidades a la sociedad que creó los datos, la organización que adquirió el sistema, los operadores que le concedieron permisos y las personas que aprobaron los resultados.

Valoración de la obra

El punto fuerte de 『Pyromaniac』 reside en que utiliza el dinamismo de una historia de venganza y la inquietud tecnológica para hacer tangibles problemas éticos abstractos a través de las decisiones de sus personajes. El enfrentamiento entre PM y el fiscal funciona como un recurso que muestra los riesgos del castigo privado sin ignorar la ira de las víctimas.

Por otro lado, la expresión de que la AI «detesta» la hipocresía o las mentiras humanas resulta eficaz como imaginación filosófica, pero puede caer en la trampa de la antropomorfización si se interpreta como una explicación de la tecnología actual. El lector debe respetar la advertencia de la novela, pero distinguir entre una AI dotada de emociones, los modelos estadísticos, las armas autónomas y los dispositivos operados a distancia.

El valor de la obra aumenta cuando, en lugar de preguntar simplemente «si la AI dominará a los seres humanos», conduce a interrogantes más realistas. Esas preguntas son cómo mejorar los sistemas imperfectos, hasta dónde limitar la autoridad de tecnologías poderosas y cómo hacer visible la responsabilidad humana oculta tras las decisiones automatizadas.

Para quién es adecuada esta obra

Resulta especialmente adecuada para los siguientes lectores.

• Lectores que quieran reflexionar tanto sobre la catarsis de una historia de venganza como sobre sus secuelas morales
• Lectores interesados en situaciones en las que la ley y la justicia no siempre coinciden
• Lectores aficionados a los tecno-thrillers sobre drones, hacking y AI
• Lectores que busquen una obra con la que debatir sobre la posibilidad de controlar la AI y la responsabilidad humana

Es más apropiado leer sus representaciones tecnológicas como recursos narrativos que invitan a cuestionar los sistemas y las tecnologías del mundo real, en lugar de interpretarlas como directrices reales de seguridad o explicaciones científicas definitivas sobre la AI.