Principales conclusiones de los Diálogos sobre Inteligencia Artificial Militar, Paz y Seguridad 2025
Descargue aquí la versión PDF
Los Diálogos 2025 sobre IA Militar, Paz y Seguridad (MAPS), convocados por la Oficina de Asuntos de Desarme de las Naciones Unidas (UNODA) y financiados por la República de Corea, tienen como objetivo proporcionar una plataforma para que los Estados compartan conocimientos y aumenten la concienciación sobre las implicaciones de la IA en el ámbito militar para la paz y la seguridad internacionales. La iniciativa sirve a los debates multilaterales en curso al proporcionar un marco neutral en el que los Estados pueden comprometerse con las organizaciones internacionales, la sociedad civil, los investigadores y la industria, intercambiar puntos de vista e identificar áreas prácticas de cooperación.
Esta nota destila aportaciones y conclusiones de dos seminarios web públicos, Military AI: Opportunities, Risks, and International Peace & Security y Capacity-Building and International Cooperation on AI in the Military Domain, celebrados respectivamente el 12 y el 25 de marzo de 2025, y de una posterior reunión en persona celebrada el 2 de julio de 2025 bajo la regla de Chatham House. En ella se registran los temas que pueden informar el diálogo posterior entre los Estados miembros, incluidas las áreas en las que los intercambios a corto plazo podrían ser útiles.
Los dos seminarios web públicos contaron con la participación de nueve expertos y con 205 y 187 asistentes respectivamente, procedentes de Estados miembros (50%), organizaciones de la sociedad civil (30%) y organizaciones internacionales y regionales (20%). A la reunión presencial asistieron 33 delegados. Los tres eventos contaron con una alta participación del Sur Global.
En todos los eventos, los participantes reconocieron que las tecnologías de la IA pueden integrarse en una serie de funciones y tareas, y que los riesgos y oportunidades asociados dependen del contexto de uso.
Posibles contribuciones a la paz y la seguridad
Los participantes identificaron varias áreas en las que el uso responsable de la IA podría contribuir a la paz y la seguridad. Hicieron hincapié en la importancia de mantener una distinción entre las oportunidades estratégicas y las humanitarias (como la protección de los civiles en los conflictos), al tiempo que reconocieron que la práctica responsable puede apoyar ambos tipos de casos de uso cuando se persiguen deliberadamente.
En primer lugar, la IA puede mejorar el tratamiento de la información y el apoyo a la toma de decisiones, permitiendo a los operadores y mandos procesar grandes volúmenes de datos, identificar patrones y asignar la atención de forma más eficaz. Esto se relacionó con posibles ganancias en el conocimiento de la situación y la toma de decisiones informadas en entornos cinéticos y virtuales.
En segundo lugar, la IA puede reducir los riesgos para el personal al permitir o mejorar las tareas en entornos peligrosos, como la búsqueda de artefactos explosivos, la limpieza de rutas o las operaciones en las que las comunicaciones están degradadas. Se consideró que estas funciones ofrecen ventajas de seguridad y eficacia cuando se comprenden y respetan los límites de rendimiento.
En tercer lugar, varios participantes señalaron posibles contribuciones a la protección de los civiles. Los ejemplos incluyeron herramientas que ayudan a caracterizar el entorno civil, apoyan la planificación que minimiza los daños incidentales o mejoran la puntualidad y precisión de las alertas. Se subrayó que tales beneficios no son automáticos. Dependen de la calidad de los datos, de su solidez y de las medidas de control que garanticen que los juicios legales y éticos sean realizados por humanos.
Por último, ámbitos como la logística, el mantenimiento y la formación se destacaron con frecuencia como aplicables y comparativamente menos controvertidos. Incluso en estos ámbitos, los participantes hicieron hincapié en la importancia de una práctica disciplinada, incluidas las pruebas y la formación de los operadores, para evitar un exceso de confianza y efectos no deseados.
Dinámica de riesgos y preocupaciones operativas
Junto a las oportunidades, los participantes consideraron los riesgos que surgen o se amplifican en entornos militares. En primer lugar, la fiabilidad técnica y la robustez fueron preocupaciones centrales. Los sistemas probabilísticos pueden comportarse de forma impredecible cuando los datos son escasos, ruidosos o poco representativos del entorno operativo. Se discutieron las vulnerabilidades a la manipulación adversaria y al envenenamiento de datos, así como los límites prácticos de la explicabilidad en contextos de tiempo crítico. La confidencialidad de los datos y los riesgos de ciberseguridad más amplios afectan tanto al desarrollo como a la integración de la IA en el ámbito militar. También se señalaron factores ascendentes: el entrenamiento con datos sintéticos o no construidos a propósito puede afianzar los sesgos o degradar el rendimiento. Las demandas energéticas del entrenamiento y el funcionamiento de grandes modelos de IA también introducen impactos medioambientales, por ejemplo, las emisiones de carbono o el consumo de energía; por lo tanto, es importante que los Estados lleven a cabo una planificación de la sostenibilidad y la resiliencia.
En segundo lugar, los participantes también examinaron los riesgos asociados a la interacción hombre-máquina. El exceso de confianza, el sesgo de automatización y la vigilancia degradada pueden llevar a los usuarios a diferir excesivamente de los resultados del sistema, sobre todo cuando las interfaces transmiten una certidumbre injustificada. A la inversa, una confianza insuficiente puede anular los beneficios potenciales, como desestimar las percepciones precisas generadas por la IA porque contradicen las creencias o expectativas del operador humano. Por lo tanto, varios participantes se centraron en las opciones de diseño y la formación que calibran la confianza adecuadamente, incluyendo indicaciones claras de cuándo desconectar o escalar a la revisión humana. También se observó que la gran eficacia de los sistemas dotados de IA en la realización de tareas (como el procesamiento de datos o el apoyo operativo) puede fomentar inadvertidamente un exceso de confianza y crear una sensación de "distancia" respecto al impacto humano de las decisiones.
En tercer lugar, se plantearon riesgos de uso indebido a lo largo del ciclo de vida de los sistemas de IA. Entre ellos figuraban el uso malintencionado en el momento del despliegue por parte de amenazas internas u otros "malos actores", la perspectiva de operaciones cibernéticas ofensivas potenciadas por la IA y el uso por parte de actores no estatales, incluidas las empresas militares privadas que operan fuera de los marcos estándar de rendición de cuentas. Algunos participantes, en particular, advirtieron sobre contextos de alto riesgo como las estructuras de mando, control y comunicaciones nucleares (NC3), donde una mala interpretación o un error de cálculo podrían tener consecuencias especialmente graves.
Otro tema recurrente fue la compresión del tiempo de decisión. Aunque algunas herramientas de IA pretenden acelerar el proceso de interpretación de información compleja, unos ciclos de decisión más rápidos pueden reducir el tiempo disponible para la deliberación humana y mermar la capacidad de los mandos para comprender la lógica que subyace a los resultados y las acciones emprendidas por los sistemas dotados de IA. Esto aumenta la posibilidad de error, escalada o error de cálculo, especialmente bajo tensión y en tiempos de crisis. En relación con esto, se citó la dinámica de la carrera armamentística como un factor adicional de riesgo. Las percepciones de competencia estratégica y las creencias psicológicas sobre la obtención de ventaja sobre un adversario pueden crear presiones para desplegar capacidades rápidamente, superando potencialmente los procesos de garantía, prueba y gobernanza.
Anclajes legales, éticos y políticos
Los participantes afirmaron que las obligaciones legales relevantes existentes, incluyendo la Carta de la ONU, el derecho internacional humanitario y el derecho internacional de los derechos humanos, se aplican al desarrollo y uso de las capacidades militares habilitadas por la IA. Se hizo hincapié en conservar el juicio y el control humanos sobre las decisiones relativas al uso de la fuerza, y en garantizar que la responsabilidad y la rendición de cuentas sigan recayendo en los actores humanos durante todo el ciclo de vida. Los Estados describieron o hicieron referencia a las revisiones jurídicas de conformidad con el artículo 36 del Protocolo Adicional 1 de los Convenios de Ginebra, indicando que estas prácticas también se aplican a la IA, incluidas las revisiones de seguimiento cuando los sistemas se actualizan o se reutilizan, así como al papel de los asesores jurídicos militares.
Se hizo hincapié en la importancia de la responsabilidad y la rendición de cuentas. Se advirtió que las determinaciones jurídicas, como las relativas a los principios de necesidad, proporcionalidad y distinción, no deben codificarse en sistemas opacos, y que las herramientas de apoyo a la toma de decisiones deben permitir, no sustituir, la legalidad y el razonamiento ético. A medida que los sistemas se actualizan o se componen a partir de otros modelos ("IA que entrena IA"), la atribución y la trazabilidad pueden volverse más complejas, lo que subraya la necesidad de documentación, auditabilidad y funciones claras entre operadores, desarrolladores y mandos. Se registraron preocupaciones éticas en relación con cualquier delegación de decisiones de vida o muerte a la IA. Algunos participantes también señalaron la complejidad cognitiva de la toma de decisiones en el mundo real, que a menudo se basa en el juicio tácito y la intuición, y cuestionaron hasta qué punto los sistemas actuales pueden replicar de forma significativa esas facultades humanas. Se señaló que el derecho internacional humanitario exige que los individuos rindan cuentas por los crímenes de guerra.
Prácticas de garantía y evaluación
Las medidas de garantía se enmarcaron a menudo en la idea de permitir la confianza en los sistemas de IA, incluso mediante pruebas, evaluación, verificación y validación (TEVV) basadas en pruebas a lo largo del ciclo de vida de la IA. Los participantes hicieron hincapié en el valor de los datos de prueba representativos, el redteaming y los ensayos basados en escenarios para comprender los límites de rendimiento, los modos de fallo y la solidez bajo cambios de distribución. Las prácticas de documentación, como la articulación clara del uso previsto, los límites operativos y las limitaciones conocidas, se consideraron facilitadoras de la supervisión y el aprendizaje.
Los participantes indicaron que la garantía no es una etiqueta sino un proceso continuo. Las actualizaciones de los modelos, los datos o las vías de integración pueden alterar significativamente el comportamiento. Por ello, se destacaron la gestión del cambio y la reevaluación periódica. Las interfaces que transmiten la incertidumbre, los intervalos de confianza y las señales de precaución adecuadas se consideraron parte de la garantía de uso. La formación de los operadores formó parte de este debate. La formación puede ayudar a mitigar los escollos cognitivos, como el sesgo de la automatización y el exceso de confianza, y debería incluir ejercicios sobre los criterios de desconexión y los procedimientos para pasar a una revisión humana. Varios participantes sugirieron que el aseguramiento y la formación se refuerzan mutuamente, y que los resultados de las evaluaciones alimentan los planes de estudio y los procedimientos operativos estándar.
Necesidades de capacitación y cooperación
Los participantes identificaron necesidades prioritarias en materia de personas, procesos y tecnología.
En cuanto a las personas, se consideró esencial una mano de obra multidisciplinar. Esto incluye a operadores, comandantes y planificadores, ingenieros y especialistas en datos, abogados y responsables políticos. La formación para identificar los sesgos cognitivos y los límites de los sistemas de IA se consideró importante para todos estos grupos, no sólo para los especialistas técnicos.
En cuanto a los procesos, los participantes debatieron sobre los elementos compartibles de la práctica de la revisión legal de los sistemas con IA, los protocolos básicos de TEVV y los enfoques de adquisición que ponen en primer plano la garantía. Varias contribuciones destacaron el valor del intercambio de conocimientos y tecnología, así como del aprendizaje regional entre iguales, para reducir las diferencias de capacidad y promover prácticas compatibles. Estos enfoques también podrían permitir una participación significativa de todos los Estados en los debates multilaterales relacionados con la IA. La cooperación se enmarcó como proporcionada y respetuosa con los contextos de seguridad y los niveles de desarrollo y difusión de la IA, centrándose en los métodos prácticos y las lecciones aprendidas.
En cuanto a la tecnología, varios participantes destacaron la necesidad de herramientas de evaluación accesibles y transparentes, así como de acuerdos de acceso seguro a los datos que respeten la soberanía y la privacidad. La capacidad de realizar pruebas en condiciones representativas mediante conjuntos de datos, escenarios o metodologías compartidas se consideró un facilitador práctico para muchos Estados.
Convergencia y vías prácticas para un mayor intercambio
Vías a nivel de objeto
En los debates, varios temas se consideraron medios prácticos para traducir los principios de alto nivel en prácticas viables. Las áreas de convergencia incluyen la aplicabilidad del derecho internacional, la necesidad de conservar la responsabilidad humana en las decisiones sobre el uso de la fuerza, la importancia de la garantía y la gestión del ciclo de vida, y el valor de la creación de capacidades inclusivas. Hubo un amplio reconocimiento de que la práctica responsable requiere una inversión deliberada en lugar de ser un subproducto automático de la modernización tecnológica.
La intersección de la IA y las armas nucleares se identificó como un área de altas consecuencias en la que las medidas de fomento de la confianza y la transparencia se consideraban esenciales aunque poco desarrolladas. Las sugerencias se centraron en medidas prácticas y proporcionadas para reducir las percepciones erróneas sin perder de vista las sensibilidades. Algunas contribuciones destacaron posibles líneas rojas en relación con la integración de la IA en la toma de decisiones nucleares.
Vías a nivel de proceso
Varios participantes sugirieron que el trabajo preliminar para aclarar el alcance y la terminología podría conducir a debates productivos para hacer operativos los principios para una IA responsable en el ámbito militar. Dado que la IA es de doble uso y que los riesgos dependen del contexto, se señaló que el ámbito de aplicación no debería definirse únicamente por la tecnología o por el tipo de operador, sino también por el contexto de uso. En futuros intercambios se podrían explorar criterios prácticos de alcance para fundamentar los debates y ayudar a identificar dónde pueden existir lagunas de gobernanza.
Los participantes también observaron que el marco y la modalidad del diálogo determinan los resultados. Los formatos con múltiples partes interesadas pueden fomentar la transparencia y la confianza a varios niveles, mientras que los debates centrados tienden a producir resultados más beneficiosos desde el punto de vista operativo. Se sugirió que los Estados consideren la posibilidad de pasar de principios amplios a marcos adaptados -ya sean centrados en la aplicación, que respondan a los riesgos u otros enfoques pragmáticos- para examinar cómo las características específicas de ciertas tecnologías, utilizadas en contextos operativos concretos, interactúan con las obligaciones legales y la práctica operativa existentes.
Por último, se alentó la coordinación con procesos paralelos para evitar la duplicación o el desarrollo de normas divergentes, así como para aprovechar las sinergias. Los intercambios podrían tender puentes entre el trabajo sobre la gobernanza de la IA civil y los debates sobre los sistemas de armas autónomas letales, identificando las áreas en las que los enfoques, las prácticas y las lecciones compatibles son transferibles, y en las que se justifica un tratamiento distinto. También se sugirieron seguimientos regionales o temáticos para consolidar el aprendizaje, reflejar los diversos contextos operativos y profundizar en la colaboración entre las comunidades técnicas, jurídicas y políticas.
Conclusión
Las reuniones pusieron de relieve tanto las promesas como los riesgos de la IA en el ámbito militar. Las oportunidades -en el manejo de la información, la seguridad y la eficacia- son reales pero están supeditadas a salvaguardas deliberadas. Los riesgos -de error, escalada, fragilidad y uso indebido- sólo son manejables con una inversión sostenida en garantía, juicio y control humanos, y cooperación.
La UNODA identificó varias áreas futuras de trabajo en el marco de los Diálogos MAPS, incluyendo discusiones en profundidad para construir un entendimiento común de oportunidades y riesgos, líneas rojas potenciales (como en relación con el desarme, el control de armas y los regímenes de no proliferación), y herramientas diplomáticas para apoyar el diálogo entre los Estados. Con este fin, la UNODA busca actualmente financiación para el Diálogo MAPS de 2026.
Para más información sobre los Diálogos MAPS, póngase en contacto con el Sr. Ulysse Richard en ulysse.richard1@un.org
