Durante el Acelerador Ético Carnegiedel 8 de noviembre de 2023 sobre la IA en la diplomacia, los participantes crearon conjuntamente escenarios potenciales (en los próximos cinco años) a partir del uso de la IA para tareas de traducción, investigación e ideación. Los escenarios que se presentan a continuación están inspirados en esa sesión de trabajo. Estos escenarios se desarrollaron conjuntamente con un comunicado: Las ventajas y desventajas de la IA en la diplomacia.
Los impulsores son factores tecnológicos, económicos, sociales, culturales (etc.) clave que aumentan la probabilidad de que el escenario se haga realidad. Las puntuaciones de confianza reflejan la probabilidad estimada de un escenario. Una puntuación de 0 indica que el escenario es imposible, una puntuación de 0,5 sugiere que es tan probable que ocurra como que no ocurra, una puntuación de 1 indica que es seguro que ocurra.
Escenarios de traducción e interpretación
Comentario de Mucktarr Darboe MY
Escenario 1
A Tess Baker, diplomática de los Países Bajos, se le encarga dirigir una negociación multilateral destinada a ultimar un acuerdo comercial entre su país y Grecia. Durante la negociación, se utiliza un gran modelo lingüístico (LLM) para traducir el debate en tiempo real. Debido a varios errores de traducción y categorizaciones erróneas provocados por el sistema, la confusión sobre las estipulaciones del acuerdo se extiende por la sala. Esto da lugar a nuevos debates y hace tambalear la confianza de las partes interesadas en el proceso.
Conductores:
- Lenguaje y terminología complejos
- Sensibilidad contextual y sociocultural
- Limitaciones tecnológicas (restricciones del sistema en tiempo real)
- Ambigüedad del texto de negociación
- Falta de retroalimentación
Observaciones:
La situación planteada por Tess Baker pone de relieve los problemas que pueden surgir cuando se utilizan LLM para la traducción en tiempo real en negociaciones multilaterales. La complejidad del lenguaje y la terminología, el contexto y los matices culturales, la presión del tiempo real y las limitaciones del sistema son obstáculos que contribuyen a posibles errores y malentendidos. Además, la ambigüedad del texto de negociación y la falta de circuitos de retroalimentación para mejorar la traducción han complicado aún más el proceso, provocando confusión entre las partes interesadas. A pesar de ello, si se tienen en cuenta estas barreras y se toman medidas proactivas, como utilizar traductores formados y proporcionar información contextual al sistema de traducción, se pueden mitigar los riesgos asociados a la traducción en tiempo real mediante LLM.
Nivel de confianza: 0,75
Escenario 2
Selam Hailu es un joven traductor que trabaja en la misión diplomática de Canadá en Etiopía. Con formación en ingeniería de software, supervisa la puesta en marcha de un proyecto que utiliza LLM para la traducción diaria de miles de documentos de medios de comunicación, noticias e inteligencia etíopes para los informes diarios de los diplomáticos canadienses. En las pruebas, el sistema alcanza una precisión de traducción del 99,5%. Los miembros del equipo de Hailu, que dominan el amárico, oromo, francés e inglés, revisan manualmente los resultados y corrigen los errores que encuentran. Según un estudio de tres meses realizado por una empresa de auditoría externa, el nuevo flujo de trabajo libera un 30% más de tiempo y recursos para el equipo de Hailu y aumenta el rendimiento general de la misión.
Conductores:
- Experiencia en ingeniería de software
- Revisión manual por miembros competentes del equipo
- Estudio sobre empresas de auditoría externa
- Uso de LLM para la traducción diaria
- Mayor eficacia y asignación de recursos
Observaciones:
La formación y experiencia de Hailu en ingeniería de software le permiten supervisar eficazmente el proyecto LLM, garantizando su perfecta integración en el flujo de trabajo de la misión. La revisión manual por parte de los miembros de su competente equipo añade una capa crítica de control de calidad, aumentando la precisión de las traducciones. La práctica del estudio por parte de una empresa de auditoría externa proporciona pruebas objetivas del éxito del proyecto, aumentando la confianza de las partes interesadas. La decisión de utilizar LLM para la traducción diaria mejora significativamente la eficiencia y la precisión, como demuestra el alto índice de exactitud de las traducciones alcanzado. Esto, unido al proceso de revisión manual, se traduce en un aumento del 30 por ciento del tiempo y los recursos del equipo de Hailu, lo que se traduce en una mejora general del rendimiento de la misión.
Índice de confianza: 0,85
Escenarios de investigación
Comentario de Eduardo Albrecht
Escenario 1
Dos países acuerdan entablar negociaciones nucleares con el objetivo de reducir sistemáticamente sus arsenales. Uno de los países utiliza un LLM para resumir negociaciones y acuerdos internacionales anteriores y predecir los posibles resultados de las distintas tácticas de negociación propuestas. El modelo alucina, generando información ficticia sobre las tácticas y las relaciones causales de esas tácticas con los éxitos de las Conversaciones sobre Limitación de Armas Estratégicas (SALT I y II) y las negociaciones del Plan Integral de Acción Conjunta (JCPOA). Esas tácticas recomendadas se emplean, provocando el fracaso de las negociaciones.
Conductores:
- Sesgo de automatización: tendencia a confiar más en los resultados de los ordenadores que en la opinión humana.
- Uso descuidado, inconexo y desorganizado de los LLM entre el personal diplomático.
- Mala comprensión de por qué un modelo necesita alucinar para ser eficaz
Observaciones:
En cuanto al tercer conductor, es importante entender que los LLM se construyen a propósito con la intención expresa de alucinar. La idea es que imiten el comportamiento y la creatividad humanos, por lo que deben tener propensión a la imprecisión. Cuanto más nos acerquemos a la inteligencia general artificial (AGI), más evidente será esto. Por ejemplo, queremos que la IA sea capaz de escribir poesía. Tendremos que aceptarlo. No veo probable este escenario, ya que hay muchas salvaguardas antes de que esto pueda hacer fracasar las negociaciones.
Nivel de confianza: 0,25
Escenario 2
Múltiples Estados de Oceanía entablan negociaciones medioambientales con el objetivo de evitar la pérdida de biodiversidad. Charlotte Wilson dirige un equipo de investigación encargado de analizar ingentes cantidades de datos y documentación política sobre poblaciones de especies, pérdida de hábitats, patrones climáticos, cambios en los ecosistemas a lo largo del tiempo y legislación medioambiental. Utiliza un LLM para examinar un conjunto de datos recopilados e inspeccionados por miembros de su equipo, que identifica una correlación hasta ahora pasada por alto entre la subvención de la educación ambiental y el aumento de la biodiversidad regional. Este hallazgo sienta las bases de un nuevo acuerdo centrado en la reforma educativa.
Conductores:
- La aparición de herramientas LLM especializadas en determinados tipos de áreas de conocimiento, que podrían proceder de la comunidad académica o del sector privado.
- La fusión de los LLM con otros tipos de computación estadística y enfoques de ML que puedan analizar datos no textuales (por ejemplo, estadísticas sobre biodiversidad) junto con datos textuales.
- Nuevas interfaces de IA agéntica que permiten la interacción de personas no expertas en ciencias de la información con sistemas estadísticos complejos.
Observaciones:
Para que esto funcione, hay varias piezas móviles que deben confluir. En primer lugar, para identificar correlaciones significativas, los LLM deben perfeccionarse en tipos específicos de conocimiento del dominio, es decir, comprensión de los conceptos y teorías de un campo concreto, como la climatología en este caso. En segundo lugar, para extraer correlaciones, los LLM tendrán que integrarse con otras herramientas que sean mejores en esa tarea y que se basen en datos numéricos estructurados para la extracción de patrones. En tercer lugar, para ser eficaces, los LLM no serán soluciones autónomas, sino que, para extraer correlaciones como la anterior, necesitarán una interfaz fluida con los humanos, como la que proporcionaría un agente de IA adaptado.
Índice de confianza: 0,95
Para más información sobre la ética de las nuevas tecnologías, suscríbase al Boletín de Ética de Carnegie.
Escenarios de ideación y predicción
Comentario de Pavlina Ittelson y Sorina Teleanu
Escenario 1
Un gobierno federal licencia un sistema de IA para simular los efectos económicos de las acciones políticas. El modelo se entrena con datos procedentes de documentos de política fiscal, políticas comerciales y arancelarias, directivas sobre el mercado laboral, informes sobre I+D y patentes de propiedad intelectual. Tras realizar su análisis, el sistema devuelve un escenario según el cual unas restricciones fronterizas más estrictas conducen a una disminución del desempleo y del crecimiento del empleo. Un ala patriotera del cuerpo legislativo utiliza la simulación como base para promulgar una nueva política de inmigración restrictiva pocas semanas antes de que uno de sus países vecinos sufra una crisis de refugiados. Esto provoca el caos en la frontera y refuerza las crecientes tensiones entre los Estados de la región.
Conductores:
- El gobierno federal concede licencias para el sistema de IA. El gobierno federal establece los límites para el diseño, uso e implementación del sistema de IA en la simulación de los efectos económicos de las acciones políticas. El escenario no indica qué efectos económicos de las medidas políticas deben simularse, ni en qué medida las medidas políticas deben basarse en las simulaciones de IA.
- Sistema de IA. El escenario actual no incluye la formación en IA de todos los conjuntos de datos sobre empleo, migración, cualificaciones disponibles, etc. El sistema de IA sólo tiene en cuenta los indicadores y las políticas a nivel nacional. Falta información sobre la relación entre automatización y predicción, la correlación entre restricciones fronterizas y empleo, y las repercusiones políticas transfronterizas.
- El ala patriotera del legislativo y su capacidad para aplicar una política de inmigración restrictiva basada en simulaciones de inteligencia artificial.
Nivel de confianza: 0,5
Escenario 2
Una multinacional sudamericana sin ánimo de lucro ha estado utilizando un sistema de IA para prever y predecir posibles tormentas y catástrofes relacionadas con el clima. El sistema -apoyado en LLM reprogramados para la previsión de series temporales- hace referencia a satélites, sensores meteorológicos y datos de otros dispositivos de vigilancia para hacer un seguimiento de las condiciones meteorológicas, las precipitaciones, las temperaturas de la superficie del mar, las formaciones nubosas, etc. Mediante un análisis predictivo, el modelo emite una predicción de alta confianza sobre inundaciones en regiones densamente pobladas y genera una lista de recomendaciones políticas para mitigar el impacto de la inundación. La organización sin ánimo de lucro elabora un informe para los gobiernos locales e informa a los funcionarios que llegan a un acuerdo sobre los preparativos que deben emprenderse. A continuación, se asignan recursos colectivos para hacer frente al aumento de los desplazamientos transfronterizos de refugiados climáticos. Como resultado de este acuerdo, la pérdida de vidas y bienes durante el fenómeno meteorológico se minimiza significativamente.
Conductores:
- Multinacional sin ánimo de lucro con sede en Sudamérica. Existe una incógnita en cuanto a cómo opera esta organización sin ánimo de lucro a nivel multinacional y cómo se conecta con el gobierno local. Las incógnitas incluyen aspectos legales, culturales e intergubernamentales del funcionamiento de la organización sin ánimo de lucro que podrían influir en el resultado de este escenario.
- Relación entre el gobierno y otras partes interesadas. El escenario asume un alto nivel de confianza entre el gobierno local y las organizaciones multinacionales sin ánimo de lucro. Además, supone que existe un canal para introducir las conclusiones de las organizaciones sin ánimo de lucro en los procedimientos de formulación de políticas, hasta el punto de que el gobierno aplicaría cambios políticos basados en las recomendaciones de las organizaciones sin ánimo de lucro.
- Asignación y disponibilidad de recursos financieros y humanos. El escenario parte de la base de que los recursos financieros y de otro tipo que deben asignarse a la lucha contra las inundaciones y las migraciones conexas están disponibles y de que existe un acuerdo internacional general sobre cómo deben asignarse dichos recursos.
Observaciones:
Suponiendo que se den todos los elementos propicios (confianza, recursos, etc.), nuestra puntuación de confianza estaría más cerca de 1. La IA seguramente puede hacer esa predicción. La IA puede hacer esa predicción y, si se dan todos los demás elementos, la hipótesis es muy probable.
Nivel de confianza: 0,5