La ética de la venganza privada, los drones y el control de la IA que plantea 『Pyromaniac』 ========================================================================================== 『Pyromaniac』 es un tecnothriller que combina una trama de venganza privada para castigar los daños que la ley no pudo reparar con los riesgos de los drones y la IA. Analiza las cuestiones centrales de la obra vinculándolas con problemas reales como el Estado de derecho, la tecnología de doble uso, la toma de decisiones de la IA y la responsabilidad humana. - La venganza privada en 『Pyromaniac』 ofrece una intensa catarsis, pero también revela sus costes: los errores de juicio y el círculo vicioso de la violencia. - Criticar una ley imperfecta y que un individuo monopolice la investigación, el juicio y la ejecución de la pena son cuestiones distintas. - Los drones y la IA no son agentes del bien o del mal con un propósito fijo, sino tecnologías de doble uso cuyos riesgos varían según el diseño, los datos, las facultades concedidas y el entorno de uso. - No hay motivos para afirmar que la IA actual odie las mentiras humanas o elija la justicia por sí misma; esas expresiones se acercan más a la personificación literaria que a la realidad técnica. - Para reducir los riesgos de la IA, no basta con limitar el modelo: debe ser posible rastrear la responsabilidad de quien fija los objetivos, del operador, del proveedor de datos y de quien toma la decisión final. 『Pyromaniac』 es un tecno-thriller que parte del placer de la venganza privada y amplía sus interrogantes hacia la necesidad del Estado de derecho, la militarización de los drones y los riesgos de las decisiones de la AI. Según la descripción de la obra, el conflicto central de la historia enfrenta a PM, una organización secreta formada por un investigador de la industria de defensa, un hacker y una periodista, con el fiscal Ko Il-mun, que los persigue. Este texto analiza las cuestiones éticas y tecnológicas que plantea la obra, más que su desenlace concreto. Se abordan por separado los elementos ficticios de la novela y la realidad tecnológica comprobada en la actualidad. Estructura central de la obra PM castiga con tecnología avanzada a personas que han logrado eludir la ley. En el bando contrario, el fiscal Ko Il-mun comprende las heridas de las víctimas y las limitaciones del sistema, pero no acepta que los particulares ejerzan la potestad de castigar. Este enfrentamiento se asemeja más a un choque entre dos concepciones de la justicia que a una simple oposición entre el bien y el mal. Perspectiva Organización PM Fiscal Ko Il-mun Punto de partida El sufrimiento y la ira de las víctimas a quienes el sistema no pudo reparar La preocupación de que nadie esté a salvo si se derrumban los procedimientos Criterio de juicio Si alguien merece ser castigado Si se le puede exigir responsabilidad conforme a las pruebas y los procedimientos Poder empleado Capacidad extraoficial de obtención de información y ataque tecnológico Facultades institucionales como la investigación y la acusación Riesgo principal Error de juicio, castigo excesivo y expansión de la violencia Justicia tardía y victimización secundaria causada por el sistema Pregunta que plantea al lector Si se está convencido de que alguien es malvado, ¿es lícito castigarlo directamente? ¿Por qué hay que seguir respetando procedimientos imperfectos? La ventaja de esta estructura es que impide que el lector se acomode fácilmente en uno de los dos lados. Es posible empatizar con la ira de PM, pero resulta difícil afirmar que sus métodos también sean legítimos. A la inversa, los principios del fiscal son necesarios, pero no explican el fracaso del sistema que experimentaron las víctimas. Por qué la venganza privada resulta emocionante y peligrosa La recompensa emocional que ofrece la narrativa de venganza La narrativa de venganza privada consuma con rapidez una justicia que en la realidad se retrasa o no llega a materializarse. Cuanto más claros son el agresor y la víctima, y cuanto más inmediato es el castigo, mayor es la sensación de control y alivio que obtiene el lector. Como se omiten la compleja valoración de las pruebas y los procedimientos, el resultado también parece inequívoco. Sin embargo, la catarsis de una historia no garantiza su legitimidad en la realidad. Los hechos reales son incompletos, y las personas se ven influidas por la información que han obtenido y por sus emociones. Aunque después de ejecutar el castigo se confirme que hubo un error, resulta difícil reparar el daño. Problemas estructurales de la venganza privada La venganza privada conlleva, como mínimo, los siguientes problemas. Unión del juicio y la ejecución: la misma persona evalúa las acusaciones y determina incluso la pena. Ausencia de la oportunidad de refutar: el objetivo no dispone de un procedimiento para impugnar las pruebas o aclarar malentendidos. Quiebra de la proporcionalidad: la ira de la víctima puede llevar a un castigo mayor que la responsabilidad correspondiente al acto. Riesgo de expansión: aunque al principio se ataque a personas manifiestamente malvadas, el alcance de los objetivos puede ampliarse gradualmente. Cadena de represalias: la parte castigada responde de nuevo con violencia y el conflicto continúa. Un aspecto importante de 『Pyromaniac』 es que no mantiene la venganza privada como una solución meramente satisfactoria. A medida que aumentan la frecuencia y la magnitud de la venganza, también a quienes la ejecutan les resulta difícil escapar de la pérdida, la responsabilidad y la carga moral. Por qué no se puede renunciar a la ley pese a sus imperfecciones El Estado de derecho no equivale a creer que la ley siempre tiene razón. Según la explicación de las Naciones Unidas, entre sus principios fundamentales se encuentran las leyes públicas, su aplicación igualitaria, la independencia de las decisiones, la equidad procesal y la prevención del ejercicio arbitrario del poder. Su objetivo no es prometer sentencias perfectas, sino impedir que alguien decida sobre los derechos y la vida de otras personas basándose únicamente en sus propias convicciones. El papel del fiscal Ko Il-mun personifica este principio. Aunque comprende las motivaciones de PM, no acepta su manera de castigar. La distinción importante en este punto es la siguiente. Se pueden criticar los fracasos de la ley y de los organismos de investigación. Deben mejorarse los procedimientos de reparación de las víctimas y determinación de responsabilidades. Eso no concede a los particulares una potestad ilimitada para castigar. Por tanto, la pregunta productiva que plantea la obra no es tanto la disyuntiva entre «ley o venganza» como «cómo reducir los fallos institucionales que provocan la venganza». El apoyo a las víctimas, la capacidad de recopilación de pruebas, la investigación independiente de los delitos relacionados con el poder y la transparencia de los procedimientos no debilitan el Estado de derecho, sino que constituyen condiciones para reforzarlo. Cómo se convierten los drones en instrumentos de terror Los drones son una tecnología de doble uso empleada en filmaciones, inspecciones de instalaciones, observación de catástrofes, agricultura y logística, entre otros ámbitos. Las mismas funciones de vuelo, comunicación y navegación también pueden utilizarse indebidamente para la vigilancia, la intrusión o los ataques. El riesgo aumenta cuando se combinan varias tecnologías, más que por el dron como objeto aislado. Elemento tecnológico Uso normal Riesgo en caso de uso indebido Vuelo remoto Inspección de zonas peligrosas Permite que el atacante actúe lejos del lugar Cámaras y sensores Observación y búsqueda Violación de la privacidad y seguimiento de objetivos Navegación automática Desplazamiento estable por una ruta Realización de misiones en las que resulta difícil la intervención humana inmediata Conexión a redes Control y transmisión de datos Posibilidad de secuestro, manipulación o filtración de información Miniaturización Mayor accesibilidad y facilidad de uso Mayor dificultad de detección y respuesta Los ataques con drones de la obra muestran visualmente cómo la tecnología amplifica la intención humana de atacar. No obstante, no deben considerarse las tasas de éxito concretas ni las escenas de hacking de la novela como métodos de funcionamiento comprobados en la realidad. Los riesgos reales no dependen únicamente del rendimiento de la aeronave, sino también del entorno operativo, el estado de las comunicaciones, la regulación, los sistemas defensivos y la destreza de las personas. También en el debate internacional, el criterio importante no es simplemente si se empleó una máquina no tripulada, sino hasta qué punto intervienen los seres humanos y asumen responsabilidad en la selección de objetivos y en la decisión de usar la fuerza. Los drones operados a distancia y los sistemas de armas autónomas que seleccionan objetivos por sí mismos no son el mismo concepto. Imaginar que la AI juzga a los seres humanos El debate sobre la AI en la obra reformula en el lenguaje de los sistemas computacionales un antiguo problema moral: «¿Es lícito sacrificar a algunos en beneficio de toda la humanidad?». La preocupación es que, si solo se impone el objetivo de maximizar la utilidad total, los derechos de las minorías, la legitimidad procesal y los daños irreversibles puedan considerarse cuestiones secundarias. Si los datos se contaminan, ¿también se vuelve malvada la AI? La AI puede aprender sesgos, errores y patrones discriminatorios a partir de datos creados por seres humanos. Sin embargo, explicar el problema únicamente como «una AI que consume datos malos se convierte en una entidad malvada» hace que se pasen por alto elementos importantes. Los resultados de la AI suelen ser producto de la combinación de los siguientes factores. Qué se diseñó para que predijera u optimizara Qué datos se recopilaron y cuáles se excluyeron Cómo se evaluaron los errores Cuánta autoridad para actuar realmente se concedió al sistema Si las personas pueden revisar y rechazar los resultados Si quedan registros que permitan rastrear responsabilidades cuando surgen problemas El marco de gestión de riesgos de AI del NIST no evalúa una AI fiable únicamente por su precisión. Propone gestionar conjuntamente diversas características, como la seguridad, la protección y resiliencia, la transparencia, la explicabilidad, la protección de la privacidad y la equidad. Los principios sobre AI de la OECD y la UNESCO también hacen hincapié en los derechos humanos, la supervisión humana, la transparencia y la rendición de cuentas. Las tres leyes de la robótica de Asimov no son normas de seguridad Las tres leyes de la robótica, formuladas en términos como «no causar daño a los seres humanos», son un recurso literario desarrollado en las novelas de Isaac Asimov. No son normas internacionales de seguridad que se instalen directamente en la AI real. Incluso palabras de apariencia cotidiana como «daño», «ser humano» y «orden» pueden entrar en conflicto o interpretarse de manera diferente según la situación real. Los sistemas de seguridad reales requieren, más que una sola orden abstracta, restricciones de autoridad, pruebas y evaluaciones, registros, controles de seguridad, procedimientos de reclamación, la facultad humana de interrumpir el sistema y mecanismos de respuesta ante incidentes. Es necesario distinguir la imaginación de la obra de la tecnología actual Esta obra puede leerse como una advertencia realista, pero no deben aceptarse todos sus planteamientos como hechos sobre las capacidades actuales de la AI. Expresión novelesca Interpretación más precisa en la realidad La AI detesta las mentiras humanas No existen pruebas verificadas de que la AI actual posea aversión subjetiva o emociones morales La AI decide por sí misma el bien de la humanidad Los seres humanos y las organizaciones diseñan los objetivos, la autoridad y las condiciones de implementación del sistema Los datos determinan la ética de la AI Además de los datos, la función objetivo, el diseño del modelo, la evaluación y las normas operativas influyen en los resultados Un alto grado de autonomía significa que el dominio comienza de inmediato Además de la autonomía, el riesgo varía en función de los permisos de acceso, las herramientas conectadas, los sistemas de supervisión y la dependencia humana Si es más precisa que los seres humanos, se le puede ceder el poder de decisión La precisión no sustituye a la legitimidad, la protección de los derechos ni la atribución de responsabilidades Esta distinción no debilita las preocupaciones planteadas por la obra. Al contrario, permite identificar con mayor claridad los riesgos que pueden gestionarse en la actualidad, en lugar de una vaga «rebelión de la AI». La cadena de responsabilidades que debe controlarse antes que la AI El problema más interesante que insinúa la obra no radica tanto en qué clase de entidad llegará a ser la AI como en qué justificarán los seres humanos mediante su uso. Si una organización elude su responsabilidad diciendo que «lo decidió el algoritmo», la AI puede convertirse en un poderoso instrumento de poder sin necesidad de ser una gobernante independiente. Si la AI respalda decisiones que afectan gravemente a las personas, debe ser posible responder a las siguientes preguntas. ¿Quién definió el objetivo y el riesgo aceptable? ¿Cuál es el origen de los datos y cuáles son sus limitaciones? ¿Quién puede intervenir cuando el sistema se equivoca? ¿Puede la persona afectada exigir una explicación y una revisión? ¿Cómo se distribuye la responsabilidad entre los diseñadores, los proveedores, las instituciones que lo implementan y los responsables de la decisión final? Es decir, el modelo no es el único objeto de control. Es necesario examinar como una sola cadena de responsabilidades a la sociedad que creó los datos, la organización que adquirió el sistema, los operadores que le concedieron permisos y las personas que aprobaron los resultados. Valoración de la obra El punto fuerte de 『Pyromaniac』 reside en que utiliza el dinamismo de una historia de venganza y la inquietud tecnológica para hacer tangibles problemas éticos abstractos a través de las decisiones de sus personajes. El enfrentamiento entre PM y el fiscal funciona como un recurso que muestra los riesgos del castigo privado sin ignorar la ira de las víctimas. Por otro lado, la expresión de que la AI «detesta» la hipocresía o las mentiras humanas resulta eficaz como imaginación filosófica, pero puede caer en la trampa de la antropomorfización si se interpreta como una explicación de la tecnología actual. El lector debe respetar la advertencia de la novela, pero distinguir entre una AI dotada de emociones, los modelos estadísticos, las armas autónomas y los dispositivos operados a distancia. El valor de la obra aumenta cuando, en lugar de preguntar simplemente «si la AI dominará a los seres humanos», conduce a interrogantes más realistas. Esas preguntas son cómo mejorar los sistemas imperfectos, hasta dónde limitar la autoridad de tecnologías poderosas y cómo hacer visible la responsabilidad humana oculta tras las decisiones automatizadas. Para quién es adecuada esta obra Resulta especialmente adecuada para los siguientes lectores. Lectores que quieran reflexionar tanto sobre la catarsis de una historia de venganza como sobre sus secuelas morales Lectores interesados en situaciones en las que la ley y la justicia no siempre coinciden Lectores aficionados a los tecno-thrillers sobre drones, hacking y AI Lectores que busquen una obra con la que debatir sobre la posibilidad de controlar la AI y la responsabilidad humana Es más apropiado leer sus representaciones tecnológicas como recursos narrativos que invitan a cuestionar los sistemas y las tecnologías del mundo real, en lugar de interpretarlas como directrices reales de seguridad o explicaciones científicas definitivas sobre la AI. FAQ Q. ¿Cuál es el tema central de 『Piromaníaco』? A. A juzgar por la descripción de la obra, los temas centrales son la venganza privada por los daños que la ley no pudo reparar, los principios del agente de la ley que intenta impedirla y los peligros de convertir drones en armas y de dejar decisiones en manos de la AI. Más que la legitimidad de la venganza, la pregunta clave parece ser quién tiene la autoridad para juzgar a los demás. Q. ¿La obra justifica la venganza privada? A. Aunque ofrece una intensa catarsis mediante el castigo que inflige PM, a medida que la venganza se amplía también pone de relieve los errores de juicio, las pérdidas y la responsabilidad moral. Por tanto, puede interpretarse como una obra que muestra a la vez la tentación y el coste de la venganza privada, más que como una defensa sistemática de ella. Q. Si la ley no castiga debidamente a los malhechores, ¿puede permitirse la venganza privada? A. El fracaso del sistema constituye un motivo para la crítica y la reforma, pero no otorga automáticamente a un individuo el derecho a investigar, juzgar y castigar al mismo tiempo. El castigo privado presenta el problema estructural de carecer de procedimientos de defensa, proporcionalidad y mecanismos para corregir errores de juicio y determinar responsabilidades. Q. ¿Es realista la amenaza de los drones que aparece en la novela? A. Los drones combinan vuelo remoto, sensores y navegación automática, por lo que son una tecnología de doble uso susceptible de ser utilizada con fines maliciosos. Sin embargo, las capacidades concretas mostradas en las escenas de ataques o hackeo de la novela no deben considerarse hechos comprobados en la realidad, y los resultados reales dependen, entre otros factores, del entorno operativo y de los sistemas de defensa. Q. ¿Puede la AI actual sentir aversión hacia las mentiras o la hipocresía humanas? A. No existen pruebas verificadas de que la AI actual posea una aversión subjetiva o emociones morales como las humanas. Es más exacto considerar esas expresiones como un recurso literario que personifica el riesgo de que la AI produzca resultados perjudiciales debido a datos sesgados y objetivos mal definidos. Q. ¿Las tres leyes de la robótica de Asimov son reglas reales de seguridad de la AI? A. No. Las tres leyes de la robótica son un recurso literario utilizado en las novelas de Isaac Asimov y no un estándar tecnológico internacional real. La seguridad de la AI en el mundo real requiere controles concretos como la evaluación de riesgos, la limitación de permisos, la supervisión humana, la seguridad, el mantenimiento de registros, los procedimientos de impugnación y la respuesta ante incidentes. Q. ¿Cuál es el control más importante cuando la AI toma decisiones de gran trascendencia? A. Deben limitarse los objetivos y las facultades otorgados a la AI, y una persona debe poder revisar y detener los resultados. Además, debe ser posible rastrear las fuentes de los datos, las limitaciones del modelo, los registros de las decisiones y las personas responsables, y también se necesitan procedimientos para que las personas afectadas puedan solicitar explicaciones y una nueva revisión. Q. ¿Qué hay que tener en cuenta al leer esta obra? A. La descripción de la tecnología en la novela es un recurso para reflexionar sobre los riesgos del mundo real, no un manual de seguridad ni una explicación definitiva de la ciencia de la AI. Si al leer se distingue entre los drones controlados a distancia y las armas autónomas, así como entre los modelos estadísticos de AI y los seres dotados de emociones, se podrán comprender con mayor precisión las cuestiones éticas que plantea la obra. Sources - Naciones Unidas — ¿Qué es el Estado de derecho?: https://www.un.org/ruleoflaw/what-is-the-rule-of-law/ - Marco de Gestión de Riesgos de la IA del NIST: https://www.nist.gov/itl/ai-risk-management-framework - Principios de la OCDE sobre la IA: https://oecd.ai/en/ai-principles - Recomendación de la UNESCO sobre la Ética de la Inteligencia Artificial: https://www.unesco.org/en/artificial-intelligence/recommendation-ethics - Comité Internacional de la Cruz Roja — Armas autónomas: https://www.icrc.org/en/law-and-policy/autonomous-weapons Images - Balanza con un tribunal y una máscara en llamas bajo una red de IA y varios drones: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODk1MiwicHVyIjoiYmxvYl9pZCJ9fQ==--9ae06258da11f70cedaaea21811e6926065e6689/ai-95cb51ef.webp - Diagrama ético que conecta IA, drones, vigilancia, servidores, tribunales, prisión y un remolino rojo de personas: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODk1OCwicHVyIjoiYmxvYl9pZCJ9fQ==--43e58fac891b52b2abe6597c6e904347a7555415/ai-f3c9b820.webp --- Category: Reseña Source: https://injoys.com/es/articles/pyromaniac-revenge-drone-ai-ethics License: cc_by Translation-Status: reviewed