¿Estamos automatizando la banalidad y radicalidad del mal?

Cuando George Orwell acuñó el término "totalitarismo", no había vivido en un régimen totalitario, sino que se limitaba a imaginar cómo podría ser. Se refirió a dos rasgos principales de las sociedades totalitarias: uno es la mentira (o desinformación), y el otro es lo que llamó "esquizofrenia". Orwell escribió:

"La mentira organizada que practican los Estados totalitarios no es, como a veces se afirma, un recurso temporal de la misma naturaleza que el engaño militar. Es algo integral al totalitarismo, algo que continuaría aunque los campos de concentración y las fuerzas policiales secretas hubieran dejado de ser necesarios."

Orwell enmarcó la mentira y la mentira organizada como aspectos fundamentales del totalitarismo. Los modelos generativos de IA, sin controles ni guardarraíles, constituyen una herramienta ideal para facilitar ambas cosas.

Del mismo modo, en 1963, Hannah Arendt acuñó la frase "la banalidad del mal" en respuesta al juicio de Adolf Eichmann por crímenes de guerra nazis. Le llamó la atención que el propio Eichmann no pareciera una persona malvada y que, sin embargo, hubiera hecho cosas malvadas siguiendo instrucciones sin rechistar. Según ella, las personas aburridamente normales podían cometer actos malvados por mero servilismo, es decir, haciendo lo que se les ordenaba sin cuestionar la autoridad.

Proponemos que las iteraciones actuales de la IA son cada vez más capaces de fomentar la sumisión a un amo no humano e inhumano, diciendo falsedades potencialmente sistemáticas con enfática confianza, un posible precursor de los regímenes totalitarios y, sin duda, una amenaza para cualquier noción de democracia. La "banalidad del mal" es posible gracias a mentes incuestionables susceptibles al "pensamiento mágico" que rodea a estas tecnologías, incluidos los datos recopilados y utilizados de forma perjudicial y no comprendida por aquellos a los que afectan, así como los algoritmos diseñados para modificar y manipular el comportamiento.

Reconocemos que plantear la cuestión del "mal" en el contexto de la inteligencia artificial es un paso dramático. Sin embargo, el cálculo utilitarista predominante, que sugiere que los beneficios de la IA compensarán sus consecuencias sociales, políticas, económicas y espirituales no deseadas, disminuye la gravedad de los daños que la IA está perpetuando y perpetuará.

Además, la fijación excesiva en los riesgos tecnológicos aislados de la IA desvía la atención de un debate significativo sobre la verdadera naturaleza de la infraestructura de la IA y la cuestión crucial de determinar quién tiene el poder de dar forma a su desarrollo y uso. Por supuesto, los propietarios y desarrolladores de modelos generativos de IA no están cometiendo maldades análogas a las de Eichmann, que organizó el cumplimiento de órdenes inhumanas. Los sistemas de IA no son análogos a las cámaras de gas. No queremos trivializar los daños a la humanidad que causó el nazismo.

Sin embargo, la IA está aprisionando mentes y cerrando (no abriendo) muchas vías de trabajo, significado, expresión y conectividad humana. "Nuestra epidemia de soledad y aislamiento", identificada por el Cirujano General de Estados Unidos Vivek H. Murthy como precipitada por las redes sociales y la desinformación, es probable que se vea exacerbada por las aplicaciones de IA generativa hiperpersonalizada.

Como a otros que nos han precedido, nos preocupa la reducción de los seres humanos a unos y ceros dinámicamente incrustados en chips de silicio, y a dónde conduce este tipo de pensamiento. Karel Čapek, el autor que acuñó el término "robot" en su obra R.U.R, cuestionó repetidamente la reducción de los seres humanos a números y vio un vínculo directo entre la automatización y el fascismo y el comunismo, destacando la necesidad de individualismo y creatividad como antídoto contra un mundo excesivamente automatizado. Yevgeny Ivanovich Zamyatin, autor de Nosotros, satirizó las innovaciones capitalistas que convertían a las personas en "máquinas". Explicó en una entrevista de 1932 que su novela Nosotros es una "advertencia contra el doble peligro que amenaza a la humanidad: el poder hipertrófico de las máquinas y el poder hipertrófico del Estado". Los conflictos librados con tanques, "aviones" y gas venenoso, escribió Zamyatin, reducían al hombre a "un número, una cifra".

La IA lleva la automatización un paso más allá de la producción y, con la IA generativa, a la automatización de la comunicación. Las advertencias sobre la automatización de Čapek, Zamyatin y Arendt del siglo pasado siguen siendo acertadas. Como señaló Marshall McLuhan: "Damos forma a nuestras herramientas y, a partir de entonces, nuestras herramientas nos dan forma a nosotros". El lenguaje automatizado capaz de engañar basándose en falsedades nos dará forma y tendrá efectos a largo plazo sobre la democracia y la seguridad que aún no hemos comprendido del todo.

El rápido despliegue de herramientas basadas en la IA guarda un gran paralelismo con el de la gasolina con plomo. El plomo en la gasolina resolvió un verdadero problema: el golpeteo de los motores. Thomas Midgley, el inventor de la gasolina con plomo, conocía la intoxicación por plomo porque padecía la enfermedad. Había otras formas menos nocivas de resolver el problema, que sólo se desarrollaron cuando los legisladores acabaron interviniendo para crear los incentivos adecuados que contrarrestaran los enormes beneficios obtenidos con la venta de gasolina con plomo. Otras catástrofes similares para la salud pública impulsadas por la codicia y los fallos de la ciencia son: la comercialización de opiáceos de prescripción altamente adictivos, el armamentismo de los herbicidas en la guerra y el aceite de semilla de algodón cristalizado que contribuyó a millones de muertes por enfermedades cardiacas.

En cada uno de estos casos, los beneficios de la tecnología se elevaron hasta el punto de que la adopción ganó impulso en el mercado, mientras que las críticas y los contraargumentos eran difíciles de plantear o no tenían tracción.Los daños que causaron son ampliamente reconocidos. Sin embargo, es más probable que los daños potenciales y las consecuencias sociales no deseadas de la IA estén al mismo nivel que el uso de bombas atómicas y la prohibición de los productos químicos DDT. Se sigue debatiendo si acelerar el final de una guerra espantosa justificó el bombardeo de civiles, o si los beneficios para el medio ambiente de la eliminación del principal insecticida sintético provocaron un aumento espectacular de las muertes por malaria.

Un aspecto secundario de la IA que permite la banalidad del mal es la externalización de la gestión de la información y los datos a un sistema poco fiable. Esto proporciona una negación plausible, al igual que las empresas consultoras son utilizadas por las empresas para justificar un comportamiento que de otro modo sería poco ético. En el caso de los modelos generativos de IA, los requisitos previos para el totalitarismo pueden cumplirse más fácilmente si se despliegan sin establecer las salvaguardas adecuadas desde el principio.

Arendt también discutió con menos fama el concepto de "malradical". Basándose en la filosofía de Immanuel Kant, argumentó que el mal radical era la idea de que los seres humanos, o ciertos tipos de seres humanos, eran superfluos. La banalidad de Eichmann consistía en cometer maldades sin sentido en el desempeño diario de lo que él consideraba su responsabilidad burocrática, mientras que la maldad radical del régimen nazi consistía en tratar a judíos, polacos y gitanos como carentes de todo valor.

Hacer superfluo el esfuerzo humano es el objetivo de gran parte de la IA que se está desarrollando. La IA no necesita que le paguen un sueldo, ni que le den la baja por enfermedad, ni que le tengan en cuenta sus derechos. Es esta idealización de la eliminación de las necesidades humanas, de hacer a los humanos superfluos, lo que tenemos que cuestionar y desafiar fundamentalmente.

El argumento de que la automatización del trabajo aburrido liberaría a las personas para que pudieran dedicarse a actividades que merecieran más la pena puede haber sido válido para sustituir el trabajo manual repetitivo, pero la IA generativa está sustituyendo el trabajo significativo, la creatividad y la apropiación de los esfuerzos creativos de artistas y académicos. Además, esto contribuye a menudo a exacerbar la desigualdad económica que beneficia a los más ricos de entre nosotros, sin proporcionar medios alternativos para satisfacer las necesidades de la mayoría de la humanidad. Podría decirse que la IA que permite la eliminación de puestos de trabajo es perversa si no va acompañada de una solución a la crisis de distribución en la que, en lugar de salarios, las personas reciban los recursos necesarios para mantener una vida significativa y un nivel de vida de calidad.

Naomi Klein plasmó esta preocupación en su último artículo de The Guardian sobre las "alucinaciones deformadas" (no, no las de las modelos, sino las de sus inventores):

"Existe un mundo en el que la IA generativa, como poderosa herramienta de investigación predictiva y ejecutora de tareas tediosas, podría utilizarse en beneficio de la humanidad, de otras especies y de nuestro hogar común. Pero para que eso ocurra, estas tecnologías tendrían que desplegarse dentro de un orden económico y social muy diferente al nuestro, un orden que tuviera como finalidad la satisfacción de las necesidades humanas y la protección de los sistemas planetarios que sustentan toda la vida."

Al facilitar la concentración de riqueza en manos de unos pocos, la IA no es, desde luego, una tecnología neutral. En los últimos meses ha quedado muy claro -a pesar de los heroicos esfuerzos por negociar y adoptar leyes, tratados y directrices- que nuestro orden económico y social no está preparado ni dispuesto a adoptar la seriedad de intenciones necesaria para poner en marcha las medidas críticas que se necesitan.

En la carrera por desplegar modelos y tecnologías de IA generativa, sin suficientes barreras o regulaciones, los individuos ya no son vistos como seres humanos sino como puntos de datos, alimentando una máquina más amplia de eficiencia para reducir costes y cualquier necesidad de contribuciones humanas. De este modo, la IA amenaza con permitir tanto la banalidad como la radicalidad del mal, y alimenta potencialmente el totalitarismo. Cualquier herramienta creada para reemplazar la capacidad humana y el pensamiento humano, la base sobre la que se fundamenta toda civilización, debe ser recibida con escepticismo -aquellas que permitan el totalitarismo, prohibidas, independientemente de los beneficios potenciales, al igual que lo han sido otros avances científicos que causan daño.

Todo ello perseguido por buenas personas, con buenas intenciones, que se limitan a cumplir las tareas y objetivos que han asumido. Ahí radica la banalidad que poco a poco se está transformando en maldad radical.

Los líderes de la industria hablan de riesgos que podrían amenazar nuestra propia existencia, pero no parecen hacer ningún esfuerzo por contemplar que tal vez hayamos llegado al punto de ruptura. ¿Es suficiente? ¿Hemos llegado a ese punto de ruptura que tan acertadamente observó Arendt, en el que el bien se convierte en parte de lo que más tarde se manifiesta como mal radical?

En numerosos artículos hemos lamentado que hablar de riesgos existenciales futuristas nos distraiga de los retos a corto plazo. Pero quizá el miedo a la inteligencia artificial general sea una metáfora de los malvados fines para los que se despliega y desplegará la IA.

Como también hemos señalado en el último año, es esencial prestar atención a aquello de lo que no se habla a través de narrativas comisariadas, silencios sociales y ofuscaciones. Una forma de ofuscación es la "externalización moral". Aunque también se refiere a la banalidad del mal de Arendt en una charla TEDx de 2018, Rumman Chowdhury definió la "externalización moral" como "La antropomorfización de la IA para trasladar la culpa de las consecuencias negativas de los humanos al algoritmo." Señala: "Nunca diríamos 'mi tostadora racista' o 'mi portátil sexista' y, sin embargo, utilizamos estos modificadores en nuestro lenguaje sobre la inteligencia artificial. Al hacerlo, no estamos asumiendo la responsabilidad de las acciones de los productos que construimos".

Meredith Whittaker, presidenta de Signal, opinó recientemente en una entrevista con Meet the Press Reports que los actuales sistemas de IA están siendo "moldeados para servir" a los intereses económicos y al poder de un "puñado de empresas en el mundo que tienen esa combinación de datos y capacidades de poder infraestructural para crear lo que estamos llamando IA de la nariz a la punta". Y creer que "esto se va a convertir mágicamente en una fuente de bien social... es una fantasía utilizada para comercializar estos programas".

Las declaraciones de Whittaker contrastan fuertemente con las de Eric Schmidt, ex consejero delegado de Google y presidente de Alphabet y ex presidente de la Comisión de Seguridad Nacional de EE.UU. sobre IA. Schmidt afirma que, a medida que estas tecnologías se generalizan, las empresas que desarrollan la IA deben ser las que establezcan los límites de la industria "para evitar una carrera a la baja", y no los responsables políticos, "porque no hay forma de que una persona ajena a la industria pueda entender lo que es posible. No hay nadie en el gobierno que pueda hacerlo bien. Pero la industria puede hacerlo bien a grandes rasgos y luego el gobierno puede poner una estructura reguladora en torno a ello". La falta de humildad de Schmidt debería hacer estremecerse a cualquiera que se preocupe por el peligro de un poder concentrado y sin control.

La perspectiva de que quienes más pueden beneficiarse de la IA desempeñen un papel destacado en el establecimiento de políticas para su gobernanza equivale a dejar que el zorro vigile el gallinero. No cabe duda de que el oligopolio de la IA debe desempeñar un papel en el desarrollo de salvaguardias, pero no debe dictar qué salvaguardias son necesarias.

La humildad de los dirigentes gubernamentales e industriales es la clave para afrontar los numerosos puntos de tensión ética y mitigar los daños. La verdad es que nadie comprende plenamente lo que es posible o lo que puede y no puede controlarse. Actualmente carecemos de las herramientas necesarias para poner a prueba las capacidades de los modelos generativos de IA, y no sabemos con qué rapidez esas herramientas podrían volverse sustancialmente más sofisticadas, ni si el despliegue continuo de una IA cada vez más avanzada superará rápidamente cualquier perspectiva de comprensión y control de esos sistemas.

La industria tecnológica ha fracasado rotundamente a la hora de autorregularse de un modo que sea demostrablemente seguro y beneficioso, y los responsables de la toma de decisiones han tardado en dar un paso al frente con medidas de aplicación viables y oportunas. Últimamente se ha debatido mucho sobre los mecanismos y el nivel de transparencia necesarios para evitar daños a gran escala. ¿Qué organismos pueden proporcionar la supervisión científica necesaria e independiente? ¿Serán suficientes los marcos de gobernanza existentes y, si no lo son, es importante entender por qué? ¿Cómo podemos acelerar la creación de nuevos mecanismos de gobernanza que se consideren necesarios, sorteando al mismo tiempo las inevitables escaramuzas geopolíticas y los imperativos de seguridad nacional que podrían desbaratar la puesta en marcha de una aplicación efectiva? ¿En qué deberían consistir exactamente esos mecanismos de gobernanza? ¿Podrían las organizaciones técnicas desempeñar un papel con zonas de seguridad y medidas de fomento de la confianza?

Seguramente, ni a las empresas, ni a los inversores, ni a los desarrolladores de IA les gustaría convertirse en los facilitadores del "mal radical". Sin embargo, eso es exactamente lo que está ocurriendo, mediante la ofuscación, los modelos de negocio clandestinos, los llamamientos poco sinceros a la regulación cuando saben que ya la tienen controlada y las tácticas publicitarias encubiertas a la antigua usanza. Las aplicaciones lanzadas al mercado con una madurez y unos controles insuficientes no son dignas de confianza. Las aplicaciones de IA generativa no deben ser autorizadas hasta que no incluyan salvaguardas sustanciales que puedan ser revisadas de forma independiente y que impidan tanto a la industria como a los gobiernos llevar a cabo el mal radical.

No está claro si se podrán forjar o se forjarán a tiempo sólidas barandillas tecnológicas y salvaguardas políticas que protejan contra usos indeseables o incluso nefastos. Lo que está claro, sin embargo, es que la dignidad de la humanidad y el futuro de nuestro planeta no deben estar al servicio de los poderes fácticos ni de las herramientas que adoptemos. Las ambiciones tecnológicas descontroladas colocan a la humanidad en una trayectoria peligrosa.

Carnegie Council para la Ética en los Asuntos Internacionales es una organización independiente y no partidista sin ánimo de lucro. Las opiniones expresadas en este artículo son las de sus autores y no reflejan necesariamente la posición de Carnegie Council.