Hacia un marco ético para las guerras algorítmicas
El lado oscuro de la autonomía: cuando la inteligencia artificial decide sobre la vida humana
El lado oscuro de la autonomía: cuando la inteligencia artificial decide sobre la vida humana
18 de noviembre de 2025
por
Beatriz Escriña
Ilustrador
Van Saiyan
En las guerras de hoy, ya no son únicamente los soldados, los drones o los misiles quienes deciden. Cada vez más, algoritmos entrenados con datos (im)perfectos tienen la capacidad de señalar objetivos, evaluar riesgos y abrir fuego. Lo inquietante no es solo la velocidad con la que estas máquinas actúan, sino el silencio con el que desplazan al ser humano del momento más crucial: la decisión de quitar una vida.
La comunidad internacional empieza a reaccionar. Iniciativas como Red Lines o los debates en la ONU alertan sobre un futuro en el que los sistemas de armas autónomas letales (LAWS)“1” podrían operar sin límites claros. Sin embargo, los marcos jurídicos siguen rezagados y la competencia estratégica entre Estados Unidos y China frena cualquier consenso. Europa, con su tradición de diplomacia en derechos digitales, podría ofrecer una brújula ética y legal, aunque su influencia dependerá de la voluntad política para actuar a tiempo.
¿Estamos preparados para regular la autonomía en la guerra antes de que ella nos regule a nosotros?
“Pero no quiero comodidad. Quiero a Dios, quiero poesía, quiero peligro real, quiero libertad”, escribió Aldous Huxley en Un mundo feliz (1932). Noventa años después delegamos decisiones letales en sistemas que no conocen el miedo, la duda ni la rebelión. La inteligencia artificial (IA) militar abre un escenario inédito, con máquinas capaces de identificar, seleccionar y atacar objetivos —incluso humanos— sin que un operador intervenga de forma directa.
La preocupación ha escalado hasta la ONU. En la 80.ª Asamblea General, la campaña Red Lines reunió a más de 200 personalidades —entre ellas, diez premios nobeles y decenas de exjefes de Estado— para exigir salvaguardas vinculantes antes de 2026. Algunas de sus propuestas son la prohibición de armas sin control humano significativo y el establecimiento de un “principio de terminación” que permita desactivar sistemas fuera de control.
En este escenario, el derecho internacional humanitario y la Carta de Naciones Unidas no contemplan armas que decidan autónomamente, aunque ya estén presentes en los conflictos. Desde 2014, la Convención sobre Ciertas Armas Convencionales (CCAC) debate este asunto sin avances sustantivos. Decenas de Estados —como España, Austria, México e Irlanda— reclaman una prohibición preventiva para las LAWS, advirtiendo que delegar decisiones letales en algoritmos socava los principios humanitarios básicos.
En contraste, países como Estados Unidos, Rusia, China, India, Israel o Corea del Sur sostienen que la normativa actual es suficiente y que nuevas prohibiciones obstaculizarían la innovación y debilitarían las ventajas estratégicas.
Este bloqueo perpetúa un vacío legal que favorece la normalización de la guerra algorítmica sin supervisión ética ni rendición de cuentas. ¿Podemos permitírselo, cuando se trata de decidir sobre la vida y la muerte?
A lo largo de la historia, los avances tecnológicos ampliaron la distancia entre combatientes y objetivos. Los misiles guiados, los drones o la ciberguerra aumentaron la precisión y redujeron riesgos para las tropas propias, pero siempre hubo un responsable humano en la cadena de mando.
Con las LAWS, el salto es cualitativo. Estos sistemas no se limitan a ejecutar instrucciones preprogramadas, sino que aprenden, evalúan escenarios y toman decisiones en tiempo real. Durante el conflicto en Libia, informes de Naciones Unidas documentaron que drones Kargu-2 “persiguieron y atacaron” a fuerzas en retirada en marzo de 2020, operando con un grado potencial de autonomía. Aunque no se verificó completamente la ausencia de supervisión humana, el episodio abrió una pregunta inquietante: ¿atacó por primera vez una máquina sin orden directa de un operador?
Los defensores de estas tecnologías argumentan que reducen errores humanos y minimizan bajas propias. Pero la autonomía agrava otros riesgos: decisiones difíciles de auditar, trazabilidad diluida y una cadena de mando fragmentada.
Aquí surge el dilema fundamental: ¿puede existir culpa sin intención? Si un algoritmo decide, ¿quién responde? Algunos juristas proponen aplicar categorías clásicas como la culpa in eligendo (por elegir un sistema inadecuado ) o la culpa in vigilando (por no supervisar su uso). Según este enfoque, el comandante que despliega un arma autónoma letal sería responsable de sus efectos, incluso si no impulsa directamente la acción letal.
Pero ¿qué ocurre si la velocidad y la complejidad superan la capacidad humana de intervenir? ¿Cómo preservar la noción de rendición de cuentas en un campo de batalla donde el juicio humano ya no está presente?
Más allá del debate ético y legal, las LAWS se han convertido en un eje de la competencia estratégica global. Estados Unidos las considera clave para mantener su superioridad militar. China, en cambio, adopta una ambigüedad calculada: participa en foros de regulación, mientras impulsa una ambiciosa agenda nacional de IA militar. Según estimaciones de distintos medios de comunicación, más de 2.800 de sus proyectos civiles estarían vinculados a la defensa, reflejando una inversión masiva en modernización del armamento. Aunque carecen de confirmación oficial, estas cifras reflejan la magnitud de la apuesta china.
Europa, por su parte, puede ofrecer una alternativa ética. Su liderazgo en la protección de los derechos digitales le permite proponer principios de transparencia, control humano y rendición de cuentas, ya recogidos en la Carta de Derechos Digitales española, la Declaración Europea sobre Derechos y Principios Digitales y el Acta de IA europea. Aunque estos marcos excluyen expresamente la defensa, pueden servir de brújula para un futuro acuerdo internacional que limite la delegación algorítmica de decisiones letales.
¿Logrará Europa articular un liderazgo normativo global o se quedará atrapada en la lógica de la competición entre Washington y Pekín? ¿Puede la ética abrirse paso en un terreno donde predominan los cálculos estratégicos?
Ante el bloqueo de la CCAC, conviene mirar hacia el ámbito civil, donde ya existen marcos sólidos de gobernanza de la IA: supervisión humana significativa, trazabilidad y evaluaciones de impacto sobre derechos fundamentales. La Carta de Derechos Digitales española prohíbe la manipulación algorítmica y obliga a la transparencia en estos sistemas. La Declaración Europea refuerza la responsabilidad y el control humano. El Acta de IA europea, vigente desde 2024, aplica estas garantías a la IA civil, aunque excluye los fines de defensa y seguridad nacional.
La campaña Red Lines propone trasladar estos principios al ámbito militar. Reclama la prohibición de las LAWS sin supervisión humana y el veto a la IA en el mando nuclear. Aplicar estas reglas en el terreno bélico no resolvería todos los desafíos, pero sí establecería un suelo ético mínimo, al reconocer que ciertas decisiones —por su peso moral— nunca deben delegarse en algoritmos.
¿Queremos un marco donde la autonomía tecnológica avance sin límites, o uno en el que la dignidad humana marque las líneas rojas?
El Secretario General de la ONU y la presidenta del Comité Internacional de la Cruz Roja (CICR) han advertido que “el tiempo se agota” y que “las máquinas con potestad de quitar vidas sin participación humana deberían estar prohibidas”. Legisladores europeos, premios nobeles y líderes tecnológicos han reclamado líneas rojas claras antes de 2026.
El debate crucial no es qué puede hacer la IA, sino qué no debe hacer jamás. La autonomía no puede convertirse en impunidad.
Las guerras del futuro deberán regirse por reglas y valores compartidos, o la velocidad de las máquinas superará nuestra capacidad de controlarlas.
Este número de TELOS ha sido realizado en colaboración con:
1Lethal autonomous weapons systems.(LAWS, por sus siglas en inglés).
CICR. Autonomous weapon systems under international humanitarian law. Ginebra, Comité Internacional de la Cruz Roja, 2020. Disponible en: https://www.icrc.org/en/document/autonomous-weapon-systems-under-international-humanitarian-law
CICR/ONU. Joint call by the United Nations Secretary-General and the ICRC to establish prohibitions and restrictions on autonomous weapon systems. Ginebra, Comité Internacional de la Cruz Roja, 2025. Disponible en: https://www.icrc.org/en/document/joint-call-un-and-icrc-establish-prohibitions-and-restrictions-autonomous-weapons-systems
Comisión Europea. “El Reglamento de Inteligencia Artificial entra en vigor” en Comisión Europea (2024). Disponible en: https://commission.europa.eu/news-and-media/news/ai-act-enters-force-2024-08-01_es
Davison, N. “The legal perspective on requirements for human control”. En: Boulanin, V., Peldán Carlsson, M., Goussac, N. & Davison, N. Limits on Autonomy in Weapon Systems: Identifying Practical Elements of Human Control. SPIRI/ICRC, 2020. Disponible en: https://www.sipri.org/sites/default/files/2020-06/2006_limits_of_autonomy.pdf
Eklund, A. M. Meaningful human control of autonomous weapon systems: definitions and key elements in the light of international humanitarian law and international human rights law. FOI‑R–4928–SE. Suecia, FOI, 2020. Disponible en: https://www.fcas-forum.eu/publications/Meaningful-Human-Control-of-Autonomous-Weapon-Systems-Eklund.pdf
Human Rights Watch. A Hazard to Human Rights: Autonomous Weapons Systems and Digital Decision Making. Edición digital. Nueva York, Human Rights Watch, 2025. Disponible en: https://www.hrw.org/report/2025/04/28/hazard-human-rights/autonomous-weapons-systems-and-digital-decision-making
Naciones Unidas. Resolution A/RES/79/62 on Lethal Autonomous Weapons Systems. Edición digital. Nueva York, Asamblea General de Naciones Unidas, 2024. Disponible en: https://docs.un.org/es/A/RES/79/62
Doctora en Ciencias Políticas por la Universidad de Barcelona y subdirectora general de la Fundación Hermes. Fue funcionaria de la Organización de las Naciones Unidas (ONU), con experiencia en el Consejo de Seguridad, en Nueva York, y en la Misión Híbrida de la ONU y la Unión Africana en Darfur (UNAMID), entre otros cargos. Actualmente impulsa el Observatorio de Derechos Digitales y proyectos que sitúan los derechos de la ciudadanía en el centro de la transformación digital. Es fellow de Aspen Institute España.
Doctora en Ciencias Políticas por la Universidad de Barcelona y subdirectora general de la Fundación Hermes. Fue funcionaria de la Organización de las Naciones Unidas (ONU), con experiencia en el Consejo de Seguridad, en Nueva York, y en la Misión Híbrida de la ONU y la Unión Africana en Darfur (UNAMID), entre otros cargos. Actualmente impulsa el Observatorio de Derechos Digitales y proyectos que sitúan los derechos de la ciudadanía en el centro de la transformación digital. Es fellow de Aspen Institute España.
Ver todos los artículos
