¿Deus ex machina o Diabolus ex machina?

En tantas películas de ciencia ficción, la resolución de la trama es la de un deus ex machina -literalmente, un "dios en la máquina". En estos finales de película, un desarrollo altamente improbable resuelve un problema aparentemente insoluble, conduciendo a un final feliz, sin reflexión, ni siquiera razón. Todo el mundo sale de la película reconfortado porque la tecnología ha ganado la partida.

En los años 80, el científico de datos Josef Weizenbaum advirtió sobre el"pensamiento mágico" en torno a la tecnología, diciendo que las únicas personas asombradas eran las que malinterpretaban la tecnología. No poca parte de la exorbitante inversión en IA se debe al pensamiento mágico. El año pasado, por ejemplo, un documento del Parlamento Europeo afirmaba hiperbólicamente que"la IA puede considerarse el quinto elemento después del aire, la tierra, el agua y el fuego".

Este tipo de pensamiento mágico tiene un coste. Como resultado de exagerar las posibilidades de la tecnología, los riesgos potenciales y las limitaciones de la tecnología a menudo se comunican poco y se entienden mal. A menudo falta un discurso honesto y científico sobre la IA.

En realidad, muchas de las supuestas "soluciones de IA" no son más que aceite de serpiente corporativo y polvo de hadas. Lejos de la vanguardia de la investigación en IA, se limitan a aportar mayores conjuntos de datos y más potencia de cálculo a problemas que a menudo podrían resolverse de forma más barata y eficaz con humanos debidamente formados e inversiones en cultura organizativa. En tiempos peligrosos, cuando la estabilidad mundial se debilita y los puntos de tensión se multiplican, existe el riesgo de que la promesa de lo que podemos lograr con el aprendizaje automático y la IA sustituya a las consideraciones éticas en torno a las limitaciones conocidas.

Estas soluciones centradas en los datos pueden ser totalmente peligrosas si se incorporan prematuramente a funciones críticas junto a seres humanos mal preparados para comprender y sortear las limitaciones de los algoritmos y los problemas asociados a los grandes conjuntos de datos.

Las empresas ricas están invirtiendo enormes cantidades de recursos en soluciones tecnológicas, al igual que los monarcas alemanes hicieron durante la vida de Mozart con los compositores. Como resultado, los compositores de esta época fueron algunos de los más prolíficos en cuanto a producción musical creativa; las inversiones de los monarcas ayudaron a añadir valor a generaciones de amantes de la música. Pero la actual afluencia de inversiones no está pensada para crear algo bello para el mundo, ni siquiera para resolver necesariamente los problemas de la forma más adecuada; puede que sea para mantener infladas las valoraciones y los precios de las acciones de las empresas tecnológicas, a pesar de las deficiencias, los riesgos y los fracasos de los líderes a la hora de ofrecer tecnologías tras décadas de promesas. Puede ser para apoyar sistemas de valores como el "largoplacismo" y el "riesgo existencial ", que son en sí mismos marcos particulares que dan prioridad a determinados valores y son, de nuevo, polémicos y controvertidos, conrazón.

Tanto las empresas como las instituciones privadas desempeñan un papel cada vez más importante a la hora de definir los riesgos que se consideran válidos para la IA y la cronología de los enigmas éticos, un fenómeno que ya se ha observado en otros campos, como la investigación nuclear y sobre armas biológicas. Según la teórica política Emma Saunders-Hastings, estos intentos pueden dar lugar a una "desigualdad relacional": los más afectados son los que menos pueden opinar. "El altruismo de algunas personas somete a otras a su poder", escribe.

Podría decirse que las filantropías estratégicas, a menudo dirigidas por particulares con sus propias visiones y objetivos particulares, generan "relaciones sociales y políticas potencialmente jerárquicas". Las grandes sumas de dinero pueden definir cuestiones y narrativas. Los paradigmas de riesgo resultantes no son necesariamente inclusivos o integrales, y carecen de la capacidad de dar voz a quienes tienen menos financiación o poder. La socióloga de la Universidad de Nueva York Mona Sloane, miembro de la Junta de Asesores de la AIEI, y el director de Twitter Rumman Chowdhury, se refieren a esto como"trampas narrativas", advirtiendo a los responsables de la toma de decisiones que sean "conscientes del tipo de trampas de las historias que nos contamos unos a otros cuando hacemos nuestro trabajo y nos dedicamos profesionalmente a estos temas". Son señales de alarma que deberían sonar de vez en cuando".

De hecho, los particulares y las instituciones filantrópicas improvisadas definen cada vez más la narrativa de lo que equivale a riesgos sin mucho escrutinio público. Esto se traduce en una falta de comprensión y supervisión del impacto de las fuerzas filantrópicas en el pensamiento colectivo, el alcance de la investigación, la respuesta corporativa o política para lidiar con los puntos de tensión inherentes y las compensaciones derivadas del afianzamiento de la IA en nuestra vida cotidiana.

Una reorientación estratégica, una nueva visión de la éticay un nuevo marco de financiación son necesarios para la interrogación de sistemas complejos y potentes que permitan el debate libre y realista de los riesgos y limitaciones, y para discusiones francas y sin miedo basadas en la ciencia sobre qué problemas pueden y no pueden resolver los datos y la IA, y cuáles nuevos plantea el uso de tales tecnologías.

Cada vez que vemos u oímos algo que se parece a un deus ex machina, o un uso inexplicable de la tecnología que se resuelve de forma demasiado simple o fácil, tenemos que revisar nuestro propio "pensamiento mágico". Tenemos que volver a lo básico y preguntarnos qué problema es el que estamos tratando de resolver, y cómo y si la tecnología, o la IA, es la mejor solución, en consulta con aquellos que se van a ver afectados por cualquier solución propuesta. Tenemos que ser conscientes de qué valores se están representando -y a quién se está sirviendo- y de que se están resolviendo los problemas más acuciantes a los que nos enfrentamos como sociedad global.

Un arquitecto publicó recientemente en Twitter que desearía que la gente dejara de construir escaleras transparentes porque "la gente lleva faldas". Si los afectados por la tecnología no pueden opinar sobre cómo se construyen, surgen los mismos problemas con los datos y la IA. La diversidad en los equipos mientras se construyen las herramientas y la revisión de los impactos potenciales antes de su uso y durante todo el ciclo de vida son fundamentales. Se pasan por alto riesgos importantes. Se sobrevenden los productos. Los expertos hablan más de la cuenta.

Tenemos que hablar de poder, y cuestionar en todo momento de quién son los intereses o valores que impulsan los "comportamientos" de la "máquina". Los planteamientos deus ex machina no bastan para gestionar el riesgo y garantizar la igualdad ahora y en el futuro.

Anja Kaspersen es investigadora principal en Carnegie Council for Ethics in International Affairs, donde codirige la Iniciativa sobre Inteligencia Artificial e Igualdad ( AIEI).

La Dra. Kobi Leins es investigadora visitante en el King's College de Londres, experta de Standards Australia en asesoramiento técnico a la Organización Internacional de Normalización sobre las próximas normas de IA y miembro del consejo asesor de la AIEI. Es autora de New War Technologies and International Law (Cambridge University Press, 2022).