¿Se arriesga la humanidad a una catástrofe? La necesidad de una gobernanza autónoma de los sistemas de armamento

Wendell Wallach, codirector de la Iniciativa Inteligencia Artificial e Igualdad de Carnegie Council, fue uno de los ponentes principales de la Cumbre REAIM, celebrada en los Países Bajos los días 15 y 16 de febrero de 2023. Durante su intervención, explicó por qué la lógica que apoya el desarrollo y despliegue de sistemas de armas autónomas (AWS) es una continuación de la estrategia de disuasión escalatoria que caracterizó la Guerra Fría, y no comprende cómo estos sistemas cambiarán la conducción de la guerra. "Aquellos análisis de seguridad que han estudiado seriamente los retos inherentes a la introducción de AWS en la guerra han llegado a apreciar que es profundamente problemático. Un control humano significativo de los AWS parece imposible". Wallach amplió sus reflexiones en el siguiente ensayo.

¿En qué película de Walt Disney hubo un suicidio colectivo? Incluso los más veteranos tienen dificultades con esta pregunta. La respuesta es el documental de naturaleza de Disney The White Wilderness (1958), que captó grandes manadas de lemmings saltando desde acantilados al mar hacia lo que se proclamó como una muerte segura. Aunque una parte de la grabación era un montaje, lo cierto es que la superpoblación puede empujar a los lemmings, que saben nadar, a lanzarse al mar en busca de un nuevo hogar. En el proceso, algunos lemmings se ahogan, pero su comportamiento no es un suicidio.

Los días 15 y 16 de febrero de 2023, los Países Bajos acogieron en La Haya a delegados de más de 60 países, entre ellos líderes empresariales y militares y académicos, para la Cumbre REAIM, centrada en la IA responsable en el ámbito militar. Tras ocho años de debates multilaterales, no se ha logrado acordar normas jurídicamente vinculantes para limitar el desarrollo y despliegue de sistemas de armas autónomas capaces de seleccionar y destruir objetivos humanos. En respuesta, se organizó la REAIM para proseguir las conversaciones e iniciar un nuevo proceso que permita llegar a un acuerdo sobre las directrices, restricciones y gobernanza mundial adecuadas para el uso de la IA en asuntos militares.

En la Cumbre se trataron muchos temas, desde el uso de la IA para el apoyo a la toma de decisiones hasta la planificación logística, pero la mayoría de los asistentes estaban especialmente preocupados por la autonomía de los sistemas de armas. Los ponentes de los fabricantes de armamento aseguraron a los asistentes que el AWS se sometería a pruebas exhaustivas. Los generales proclamaron que habría un control humano significativo porque los AWS sólo serían desplegados por mandos responsables de su uso. Argumentaron que los AWS eran esenciales porque la velocidad del combate superaba la capacidad de respuesta, incluso del personal entrenado. A primera vista, estos argumentos parecen razonables, pero si se entienden teniendo en cuenta las características que la IA introduce en la guerra, son ingenuos y colocan a la humanidad en una trayectoria suicida.

En 2015, en la sede de la ONU en Ginebra, el grupo de defensa sin ánimo de lucro Artículo 36 introdujo la frase "control humano significativo" durante las reuniones informales sobre si restringir o no el desarrollo de AWS. En 2016, todas las partes utilizaron la expresión, pero pronto quedó claro que se referían a preocupaciones y enfoques muy diferentes.

Durante los años transcurridos, los analistas militares y de seguridad internacional que han estudiado seriamente los retos inherentes a la introducción de la IA y la AWS en la guerra han llegado a apreciar que es profundamente problemático. Garantizar un control humano significativo durante todo el ciclo de vida de una munición requeriría una vasta infraestructura a un gran coste y parece difícil, si no imposible, de implantar. Por ejemplo, los sistemas de IA con alguna capacidad de aprendizaje (Machine Learning) requerirían pruebas casi constantes. Nuevas entradas pueden provocar cambios en el comportamiento y la probabilidad de actuar de forma imprevista. Mientras tanto, utilizando software y componentes disponibles en el mercado desarrollados por empresas tecnológicas para aplicaciones no militares, las AWS proliferarán rápidamente en países más pequeños y actores no estatales con recursos limitados.

Como están aprendiendo los usuarios de ChatGPT y otras aplicaciones de IA generativa como la nueva versión de Bing de Microsoft, la IA puede producir resultados asombrosos, pero en ocasiones es simplemente estúpida. Los sistemas de IA son máquinas probabilísticas que a veces actúan de forma imprevista, sobre todo cuando se despliegan en entornos complejos como la guerra. Los resultados o acciones de baja probabilidad suelen ser insignificantes, pero en ocasiones un acontecimiento de baja probabilidad tendrá un gran impacto. La probabilidad multiplicada por el impacto equivale al riesgo. Un AWS con una gran carga útil es intrínsecamente arriesgado. Como ha señalado incansablemente Nassim Taleb, los sucesos de baja probabilidad y alto impacto son mucho más comunes de lo que naturalmente reconocemos.

Imaginemos que un comandante, enfrentado a un grave dilema para salvar vidas en medio de la presión del tiempo, despliega un dron autónomo portador de una munición de gran potencia. Dada la niebla de la guerra, los comandantes rara vez conocen la probabilidad real de éxito, pero en aras de la argumentación supongamos que el comandante sabe que existe una alta probabilidad del 87% de lograr el objetivo y salvar vidas, mientras que sólo existe una probabilidad del 13% de fracaso. Pero, sin que él lo sepa, existe un 1% de probabilidades de que el AWS intensifique las hostilidades de forma involuntaria. ¿Serán responsables los mandos que tomen la decisión final en caso de que se produzca la escalada? Probablemente no, dado que pueden escudarse en consideraciones de seguridad nacional y en las elevadas expectativas de éxito.

Durante la Guerra Fría, la lógica de la disuasión alimentó la adopción de tecnología avanzada, desde aviones supersónicos a submarinos nucleares, y un crecimiento sin fin de las cabezas nucleares. La lógica de la disuasión empezó a quebrarse cuando, por ejemplo, los submarinos Trident capaces de navegar bajo la plataforma ártica acortaron el tiempo entre el lanzamiento de misiles nucleares y las bombas que destruían Moscú. El tiempo acortado introducido por esta nueva tecnología sería inadecuado para que los líderes soviéticos evaluaran adecuadamente si realmente estaban siendo atacados. Como resultado, la perspectiva de automatizar una respuesta nuclear de represalia o incluso de lanzar un ataque preventivo se hizo cada vez más probable.

En la actualidad, China y Estados Unidos, dos países que lideran la investigación y el desarrollo de aplicaciones militares de IA, están aumentando lentamente las tensiones. La lógica de la disuasión parece haber vuelto. La tecnología digital se está adoptando rápidamente y se está incorporando a las aplicaciones militares. Con el tiempo, sin embargo, la creciente dependencia de la IA evolucionará necesariamente hacia la dilución del control humano significativo y la total abrogación de la responsabilidad humana. La IA no sabe cuándo ha cometido un error. Pero nosotros, los humanos, sí tenemos la capacidad de reconocer cuándo estamos en una trayectoria suicida.

Al igual que los lemmings, los estrategas de defensa y seguridad no actúan por un deseo inconsciente de muerte. Han asumido la responsabilidad de desalentar la guerra y encontrar la manera de que su nación pueda sobrevivir en caso de que se produzca una guerra. Saben que la lógica de la disuasión es errónea y que acelerar el ritmo de los combates e introducir la toma de decisiones por IA para compensar no puede controlarse de forma significativa. Sin embargo, no saben qué más hacer. Hay poca confianza en que la prohibición de las AWS funcione debido a las dificultades para establecer un cumplimiento y una verificación eficaces.

Sin embargo, ha llegado el momento de reconocer la trampa que hemos creado y dejar de confiar en estrategias de defensa cada vez más arriesgadas. Estados Unidos se ha sumado al proceso REAIM y, a pesar de omitir referencias concretas a las AWS, ha publicado una declaración política en la que reconoce claramente los muchos aspectos problemáticos de las características autónomas en la guerra. No obstaculicemos la que puede ser la última oportunidad de establecer las normas menos arriesgadas y la gobernanza mundial necesarias para limitar el uso de las AWS en el ámbito militar.

Carnegie Council para la Ética en los Asuntos Internacionales es una organización independiente y no partidista sin ánimo de lucro. Las opiniones expresadas en este artículo son las del autor y no reflejan necesariamente la posición de Carnegie Council.