IA militar | Recientemente un coronel de la Fuerza Aérea de Estados Unidos reveló que un dron manejado por inteligencia artificial (IA) “mató” al operador que lo controlaba, en una prueba simulada. Sin embargo, luego sorprendió al dar una nueva versión del hecho: confesó haberse “equivocado” cuando lo expuso en la Royal Aeronautical Society en Londres. La Fuerza Aérea desmintió sus dichos y el oficial habló de un “experimento mental hipotético”. Más allá de que la simulación no existió, nos preguntamos, ¿cuáles son los límites de los sistemas de armas autónomas letales y los problemas éticos, legales y operativos que discute la comunidad internacional ante sus avances desenfrenados? En este post exploramos las controversias en torno al uso de la IA en conflictos militares.
El desarrollo de la inteligencia artificial para fines bélicos está creciendo a pasos agigantados y se debaten fuertemente los posibles alcances de su implementación, así como la necesidad de prohibir o restringir su uso.
Una noticia reciente reveló que un vehículo aéreo no tripulado, manejado por IA, optó por quitarle la vida al usuario que lo controlaba, en un prueba simulada; según precisó en una conferencia Tucker “Cinco” Hamilton (coronel de la Fuerza Aérea de Estados Unidos). Más tarde, se desmintió la información: la prueba nunca se había realizado y sólo se trató de un “experimento mental hipotético”, ya que el oficial se retractó de sus dichos, de acuerdo a una nota publicada en The Guardian. Todo pareció ser parte de una gran confusión, que surge en un contexto en el que gobierno estadounidense y otros actores buscan maneras de lidiar con las consecuencias que podrían devenir del sobredesarrollo de la IA.
Por si esto fuera poco, la guerra en Ucrania mostró cómo los drones autónomos pueden utilizarse como un arma, con el ataque de Rusia mediante la llamada «munición merodeadora», una mezcla entre un dron y un cohete que, en teoría, puede bombardear una zona concreta, buscando y determinando el objetivo de forma independiente. Y el Pentágono, así como otras potencias militares, han acelerado el desarrollo de estas capacidades, especialmente desde la invasión a Ucrania (de hecho el presupuesto de Estados Unidos en IA proyectado a 2024 contempla un total de 842.000 millones de dólares para el Departamento de Defensa, un 5% más que en 2023 y la mayor financiación hasta la fecha).
Aún así, la historia de las armas “inteligentes” se remonta al siglo pasado. Ya en los años 90 existían sistemas de guiado para misiles y proyectiles que permitían seleccionar y priorizar «independientemente» un objetivo entre varios sin intervención humana. También había sistemas de defensa antiaérea y antimisiles de los buques, que, en caso de falta de tiempo para una decisión por parte de una persona, podían disparar ellos mismos contra lo que consideraban un misil que amenazaba al buque. O bien la conocida «mano muerta», un sistema que puede dar la orden de un ataque nuclear de represalia si considera que las personas que lo controlan ya han muerto.
Pero desde principios de este siglo, el perfeccionamiento de la IA avanza rápidamente y sin freno, como todas las demás aplicaciones de la tecnología. Y las grandes potencias militares (EE.UU., China, Rusia, Reino Unido, Israel, India, Turquía, Corea del Sur, etc.) ya han iniciado una nueva carrera armamentística en el campo de las armas dotadas de IA.
Se entiende como sistemas de armas autónomas letales (Lethal Autonomous Weapons Systems o LAWS por su sigla en inglés) a aquellas diseñadas para realizar ataques a humanos o territorios ocupados por humanos. Pueden ser drones, tanques, aviones u otros dispositivos que, potenciados por inteligencia artificial, sean capaces de matar sin que haya intervención humana en este proceso.
Según un informe de las Naciones Unidas, en 2020 por primera vez un dron militar pudo haber atacado de forma autónoma a humanos en Libia. No han trascendido detalles de la operación ni si hubo víctimas, pero se confirma que estos sistemas ya se están utilizando en el campo de batalla pese a los intentos de organismos internacionales por prohibirlas.
Tal es así que el dron STM Kargu-2 de fabricación turca habría sido utilizado para «perseguir y comprometer remotamente» a los soldados en retirada, según describe el informe. El uso de estos drones en el conflicto de Libia puede abrir un nuevo capítulo sobre armas autónomas, entendidas como herramientas programadas para que la IA decida por sí sola eliminar a sus objetivos, incluidos los humanos.
Ahora bien, ¿cuán inteligentes y autónomos son realmente estos sistemas de armamento para cumplir sus objetivos sin un control humano? ¿Pueden librar una batalla por sí solos? Resulta importante aclarar que todos los programas que pueden clasificarse como IA para aplicaciones militares realizan una gama muy limitada de tareas. Algunos analizan la situación, otros controlan drones autónomos, otros pueden efectivamente dar previsiones y recomendaciones a los comandantes a cargo de una misión. En algunas condiciones, cuando el tiempo es críticamente corto, la IA puede «tomar una decisión» por sí misma.
No obstante, unir todo ello en un único plan de batalla seguiría siendo una tarea sumamente compleja y completamente humana. Ni los militares ni los civiles confían lo suficiente en la IA como para permitirle librar «independientemente» una guerra o incluso una sola batalla. Por el momento, detrás del tablero de operaciones siempre hay una persona que evalúa la situación.
Otra limitación evidente de estos sistemas, es que resultan propensos a ser vulnerados. Tal como se comenta en un interesante artículo de MIT Technology Review, investigadores de seguridad de una empresa china demostraron varias formas de engañar a los algoritmos de IA de los vehículos autónomos de Tesla, al alterar los datos que llegan a los sensores que controlan el vehículo y confundir al sistema de conducción autónoma para que tenga un accidente. Esta paradoja nos muestra que se podrían utilizar técnicas de hacking similares para engañar a los sistemas autónomos de ataque y –tal como se comprueba con el ejemplo de Tesla- cualquier enemigo que sepa cómo funciona un algoritmo de IA podría inhabilitarlo o, incluso, volverlo contra sus propietarios (de hecho puede que el secreto para “ganar las guerras con IA” no esté en la creación de las armas más impresionantes sino en controlar realmente el software).
Esfuerzos internacionales contra la IA militar
La cuestión de las tecnologías emergentes en el campo de los Sistemas de Armas Autónomas Letales, ha estado en el centro de las discusiones en el ámbito multilateral, en el campo del desarme y control de armas desde hace una década. Diversos expertos, investigadores, funcionarios y activistas, han producido informes técnicos, publicaciones y reuniones, para generar conocimiento y despertar conciencia en torno a las problemáticas y riesgos latentes del uso de estos LAWS.
La “Campaña para Detener a los Robots Asesinos” (Campaign to Stop Killer Robots) se formó en 2012 y es una alianza de organizaciones no gubernamentales (ONG) que trabaja para prohibir las armas completamente autónomas y mantener un control humano sobre el uso de la fuerza. Actualmente está conformada por 140 organizaciones no gubernamentales, entre ellas Human Rights Watch y Amnistía Internacional, en 60 países. Su propósito es lograr que se prohíba preventivamente el uso de armas autónomas. La campaña también plantea la necesidad de una nueva ley internacional que regule estas tecnologías.
A partir de 2014, expertos, organizaciones no gubernamentales y funcionarios diplomáticos se reunieron ocho veces en Ginebra en el marco de la “Convención sobre ciertas armas convencionales” para analizar las cuestiones legales, éticas, operativas y tecnológicas relativas a los armamentos autónomos, sin obtener resultados satisfactorios. En la actualidad la mayoría de los países promueven vigorosamente la adopción de un tratado de prohibición preventivo a LAWS, así como la necesidad de mantener algún tipo de control humano, tan significativo como esencial, para estigmatizar la eliminación del control humano de los sistemas de armas.
En este contexto, un grupo de expertos científicos e investigadores -entre ellos Stuart Russell, Elon Musk, Stephen Hawking, Noam Chomsky, Peter Norving y Mustafa Suleyman- publicaron una carta abierta en el Future of Life Institute solicitando a la Organización de Naciones Unidas que prohíba el desarrollo y uso de armas mortíferas controladas por software autónomo argumentando que “estos sistemas podrían convertirse en armas terroríficas de déspotas en contra de poblaciones inocentes”.
Progresivamente al avance de estos propósitos, en 2019 la Campaña Stop Killer Robots elaboró un documento sobre los elementos clave para un tratado sobre armas totalmente autónomas. En primer lugar, enfatiza la prohibición de este tipo de armas por parte del nuevo derecho internacional y el control humano significativo. Este último debe estar presente tanto en la toma de decisiones, como en los componentes tecnológicos y operacionales. En la toma de decisiones, porque proporcionan a los seres humanos la información y la capacidad de tomar decisiones sobre si el uso de la fuerza cumple con las normas jurídicas y los principios éticos. Además, propone tres tipos de obligaciones para los Estados: a) general de mantener el control humano significativo sobre la utilización de la fuerza; b) negativas o la prohibición de los sistemas de armamentos que seleccionan y atacan objetivos sin un control humano significativo -abarcaría también aquellas que son problemáticas por su naturaleza, por ejemplo, los objetivos que se basan en ciertos tipos de datos para representar a personas o categorías de personas sobre indicadores discriminatorios relacionados con la edad, el género u otras identidades sociales-, y c) positivas específicas para asegurar un control humano significativo.
A su vez, el Parlamento Europeo instó al desarrollo urgente de una postura en común y legalmente obligatoria para tratar las cuestiones jurídicas y éticas con relación a la rendición de cuentas, el significativo contralor humano, la supervisión y la aplicación del derecho humanitario internacional, las tácticas militares y los derechos humanos reconocidos internacionalmente.
Una cuestión que inquieta, tanto en el ámbito gubernamental como científico-tecnológico consiste en las fallas de las que pueden ser objeto estas máquinas, debido a algún código escrito incorrectamente o por un ciberataque. En este aspecto, tanto el control como la intervención y la vigilancia humana serían fundamentales en el momento y oportunidad de tomar decisiones mortales, porque los responsables de definir la vida y la muerte de las personas seguirán siendo los seres humanos.
A nivel regional, dos investigadores argentinos (Ricardo Rodríguez y Vanina Martinez) publicaron en 2020 el interesante trabajo “Aportes al debate del uso de IA para aplicaciones armamentistas: una mirada desde el sur”, en el que se incluyen cuatro principios de la IA aplicada a los sistemas de armas autónomas: 1. Previsibilidad (anticipar los resultados o efecto del sistema); 2. Comprensión (interpretabilidad intrínseca del sistema y grado en que una persona puede comprender el comportamiento del sistema o por qué el sistema hace lo que hace); 3. Justificación (los sistemas deben ser auditables en cuanto a código como a datos y las decisiones de diseño deben ser explícitas) y 4. Explicación (capacidad del sistema de IA de poder ofrecer/comunicar a su usuario explicaciones para su razonamiento o accionar en términos adecuados, de manera que el usuario pueda entenderlas).
A modo de cierre
Por lo visto, el debate global está comenzando y no presenta una única solución sino que deberá ir acompañado de un proceso participativo de los Estados, la industria, los programadores y desarrolladores de IA, las organizaciones sin fines de lucro y las instituciones académicas y científicas. Todos ellos deberán adoptar un marco ético y regulatorio para el desarrollo de la IA y la robótica para el bien, centrada en el ser humano, que se beneficie de las ventajas de estas tecnologías. No hay dudas de que si las estrategias de los futuros conflictos se basarán en sistemas de armas y robots inteligentes, se debe consensuar en un marco jurídico y ético otorgando la última decisión en el uso de la fuerza letal al ser humano.
Al mismo tiempo, el aprendizaje automático antagónico consistente en el desarrollo de algoritmos capaces de engañar de manera fiable a un modelo de aprendizaje automático (donde por ejemplo los tanques y aviones podrían esconderse de los satélites o drones equipados con IA o bien los misiles podrían ser cegados por datos antagónicos) presenta enormes desafíos a considerar. Ejemplo de ello es que las principales potencias militares están cada vez más interesadas en trabajar sus desarrollos con especialistas de empresas de software, laboratorios y universidades, antes que con las tradicionales empresas contratistas de defensa. El panorama es sumamente complejo y pone en el centro de la escena a los datos, programas y algoritmos, antes que a los dispositivos inteligentes y al hardware. Como señala Will Knight, editor sénior de IA en MIT Technology Review, “la reacción contra el uso militar de la IA es comprensible, pero puede estar obviando el panorama general. Aunque a la gente le preocupan los robots asesinos inteligentes, tal vez un mayor riesgo a corto plazo sea una niebla algorítmica que ni siquiera deje ver a las máquinas más inteligentes”.