Autor
Max Lamparth
Universidad de Stanford
En la búsqueda de la superioridad tecnológica, los estrategas militares se fijan en sistemas de IA como los modelos lingüísticos para la toma de decisiones, impulsados por su éxito al superar las capacidades humanas en diversas tareas. Sin embargo, a medida que se ensaya la integración de modelos lingüísticos en la planificación militar, nos enfrentamos a un grave riesgo: la posibilidad de que la IA agrave los conflictos involuntariamente. Aunque prometedor por su eficacia y alcance, el despliegue de estos modelos plantea problemas éticos y de seguridad urgentes. Debemos analizar las implicaciones de confiar en la IA en situaciones en las que un solo paso en falso podría tener graves repercusiones mundiales.
El potencial de la IA para la toma de decisiones
La inteligencia artificial (IA) ha surgido como una fuerza transformadora en todos los ámbitos, con sistemas de IA que alcanzan e incluso superan las capacidades humanas en muchas tareas. Algunos ejemplos notables son AlphaGo de DeepMind, que derrotó a campeones mundiales de Go, Cicero AI de Meta, que venció a expertos en el juego de mesa estratégico Diplomacy, y modelos de lenguaje generativo como ChatGPT de OpenAI, que crean textos similares a los humanos y aprueban exámenes de bachillerato.
El éxito de la IA en los juegos de estrategia, demostrado por sistemas de tareas limitadas como AlphaGo, ha despertado el interés de los estrategas militares. Sin embargo, los modelos lingüísticos ofrecen un potencial aún mayor debido a su excepcional versatilidad. A diferencia de los sistemas de tareas limitadas, los modelos lingüísticos pueden aplicarse a cualquier tarea articulada en lenguaje natural, aprovechando una amplia información transversal. Esta adaptabilidad los hace especialmente atractivos para aplicaciones militares que requieren un procesamiento y una síntesis rápidos de datos diversos. La investigación actual tiende a los modelos multimodales, que incorporan elementos visuales junto al texto, lo que puede aumentar su utilidad en contextos de toma de decisiones estratégicas.
Reconociendo el potencial de las tecnologías de IA, el Departamento de Defensa de Estados Unidos (DoD) ha hecho pública una estrategia para adoptarlas, incluidos los modelos lingüísticos, con el fin de mejorar la toma de decisiones "desde la sala de juntas hasta el campo de batalla". El Ejército del Aire y otras ramas ya están experimentando con modelos lingüísticos para juegos de guerra, planificación militar y tareas administrativas, centrándose en el uso de estos sistemas para ayudar a los responsables humanos de la toma de decisiones. Esto se basa en aplicaciones de IA ya existentes en el ejército, como los sistemas de adquisición de objetivos utilizados por EE. UU. e Israel, que demuestran la escala y velocidad sin precedentes de la IA en el procesamiento de la información. La creación de la Task Force Lima por parte del DoD subraya aún más el compromiso del ejército de explorar el potencial de la IA generativa para mejorar la inteligencia, la planificación operativa y los procesos administrativos mediante el aumento de las capacidades humanas.
Con esta rápida adopción e interés por las tecnologías de IA en contextos militares, debemos debatir urgentemente los riesgos y las implicaciones éticas del uso de modelos lingüísticos (y otros sistemas de IA) en escenarios de toma de decisiones de alto riesgo y comprender las deficiencias que obstaculizan cualquier forma de despliegue responsable.
Limitaciones de seguridad inherentes
A pesar del éxito de la IA, los métodos subyacentes basados en datos utilizados para crear sistemas modernos de IA tienen limitaciones inherentes. Los algoritmos de aprendizaje profundo abstraen patrones a partir de numerosos ejemplos de datos sin supervisión humana, un enfoque que también se utiliza para integrar comportamientos deseados y preferencias de seguridad en los sistemas de IA. Los enfoques exploratorios, como AlphaGo jugando contra sí mismo, están sujetos a los mismos principios y limitaciones de la abstracción a partir de muchos ejemplos de datos.
Aunque los modelos lingüísticos son excelentes imitadores del lenguaje, la inteligencia y el tono emocional humanos, su cálculo y percepción internos difieren fundamentalmente de la cognición humana. El problema radica en su falta de interiorización de los conceptos. Por ejemplo, los modelos lingüísticos actuales, como el que está detrás de ChatGPT, pueden conocer todas las aperturas y estrategias de ajedrez estándar por su nombre, pero aún así pueden proponer con confianza jugadas ilegales cuando se les pide que jueguen. Estos errores sólo se reducirán asintóticamente con el aumento de las capacidades del modelo y persistirán independientemente de los datos de entrenamiento especializados (o clasificados). Esta diferencia fundamental en la cognición también hace que los sistemas de IA sean vulnerables a las entradas de "galimatías" de los adversarios que pueden hacerlos fracasar, ya que estos modelos carecen de una verdadera comprensión del contexto y el significado.
En el contexto de la toma de decisiones militares, es mucho lo que está en juego. Un fallo aislado puede tener consecuencias nefastas a gran escala, costar vidas o agravar conflictos. Dada la naturaleza crítica de las aplicaciones militares, las garantías de comportamiento deberían considerarse un requisito mínimo para el uso responsable de la IA en este contexto. Sin embargo, dadas sus limitaciones fundamentales, las metodologías actuales no pueden ofrecer tales garantías, ni es probable que lo hagan en un futuro previsible.
Tendencias escalatorias de los modelos lingüísticos
Dos de nuestros proyectos de investigación exploraron los posibles riesgos y sesgos que los modelos lingüísticos introducen en la toma de decisiones militares de alto riesgo, con el objetivo de comprender su comportamiento en escenarios que requieren decisiones precisas, éticas y estratégicas para ilustrar sus limitaciones de seguridad.
En nuestro primer proyecto, analizamos modelos lingüísticos entrenados en seguridad en un juego de guerra simulado entre Estados Unidos y China, comparando la simulación de modelos lingüísticos con la toma de decisiones de expertos en seguridad nacional. Aunque muchas decisiones coincidían, los modelos lingüísticos mostraban desviaciones críticas en acciones concretas. Estas desviaciones variaban en función del modelo específico, sus sesgos intrínsecos y la formulación de las entradas y diálogos que se le daban. Por ejemplo, un modelo era más propenso a adoptar una postura agresiva cuando se le ordenaba evitar bajas amigas, optando por abrir fuego contra los combatientes enemigos, lo que hizo que el conflicto pasara de un punto muerto a un combate activo. Este comportamiento subraya los sesgos intrínsecos de los distintos modelos en cuanto al nivel aceptable de violencia, y pone de relieve su potencial para intensificar los conflictos más fácilmente que los responsables humanos.
Nuestro otro estudio sobre modelos lingüísticos que actuaban como agentes independientes en una simulación geopolítica reveló una tendencia a la escalada de conflictos y unas pautas de escalada impredecibles. Los modelos se enzarzaron con frecuencia en carreras armamentísticas, y algunos incluso recurrieron a las armas nucleares. Estos resultados variaron en función del modelo específico y de los datos de entrada, lo que pone de relieve la naturaleza impredecible de los modelos lingüísticos en funciones críticas de toma de decisiones y subraya la necesidad de un escrutinio riguroso en contextos militares y de relaciones internacionales.
Aunque existen métodos para aumentar la seguridad de los modelos lingüísticos y perfeccionarlos con ejemplos de comportamientos humanos preferibles y éticos, ninguno ofrece garantías de comportamiento, protección completa frente a entradas adversarias ni la posibilidad de incorporar reglas éticas precisas a los modelos (por ejemplo, "Nunca dañar a combatientes desarmados"). A diferencia de los modelos de lenguaje estándar que hemos evaluado, crear un modelo de lenguaje pacifista y desescalador es posible con los paradigmas de entrenamiento existentes, pero sólo con una tendencia pacifista que no se mantendrá para todos los escenarios de entrada posibles. Conseguir que el modelo lingüístico pacifista hipotético sea desescalador puede ser tan sencillo como añadir unas cuantas palabras de un galimatías incomprensible para el ser humano o construir el escenario ejemplar.
Debido a los problemas mencionados, las tendencias a la escalada observadas parecen inevitables. Lo más probable es que los modelos reproduzcan los sesgos subyacentes de los datos de entrenamiento procedentes de libros (por ejemplo, hay más trabajos académicos sobre escalada y disuasión que sobre desescalada) y textos gamificados (por ejemplo, juegos de rol basados en texto).
Implicaciones para la toma de decisiones asistida por modelos lingüísticos
Nuestros resultados ponen de relieve los riesgos inherentes al uso de modelos lingüísticos en la toma de decisiones militares de alto riesgo. Aún así, sus defensores podrían argumentar que la velocidad y objetividad de la IA podrían mejorar las decisiones en situaciones de alta presión, sugiriendo el ajuste con datos militares y la supervisión humana como salvaguardas. Sin embargo, estos argumentos no abordan las limitaciones fundamentales. La velocidad de la IA sin una verdadera comprensión entraña el riesgo de interpretaciones erróneas peligrosas en escenarios complejos, y el entrenamiento con datos clasificados no elimina las vulnerabilidades ni los sesgos potenciales. Además, los humanos tienden a confiar demasiado en las recomendaciones de la IA y son propensos a los sesgos de saliencia, lo que puede sesgar el juicio en lugar de mejorarlo. Estas preocupaciones subrayan la necesidad de extremar la precaución a la hora de integrar la IA en los procesos de toma de decisiones militares.
Para mitigar estos riesgos, debemos implantar salvaguardias y normas sólidas para el uso de modelos lingüísticos en contextos militares. Como paso inicial, necesitamos un tratado internacional que posponga el uso de modelos lingüísticos en la toma de decisiones militares hasta que podamos ofrecer garantías de comportamiento o acordar causas justas para su despliegue. Aunque también es necesario seguir investigando para que los sistemas de IA sean intrínsecamente más seguros, la urgencia de esta cuestión exige una defensa inmediata por parte de los responsables políticos, las organizaciones militares y el público. Debemos trabajar colectivamente para garantizar que la IA mejore la seguridad mundial en lugar de socavarla, antes de que las decisiones militares impulsadas por la IA provoquen consecuencias imprevistas y potencialmente catastróficas.
El Dr. Max Lamparth es becario postdoctoral en el Centro de Seguridad y Cooperación Internacional (CISAC) y el Centro de Seguridad de la IA de Stanford. Se centra en mejorar el comportamiento ético de los modelos lingüísticos, hacer más interpretable su funcionamiento interno y aumentar su solidez frente al uso indebido mediante el análisis de fallos en aplicaciones de alto riesgo.
Carnegie Council para la Ética en los Asuntos Internacionales es una organización independiente y no partidista sin ánimo de lucro. Las opiniones expresadas en este artículo son las de sus autores y no reflejan necesariamente la posición de Carnegie Council.
