Siete mitos sobre el uso del término "humano en bucle": "¿Qué crees que estás haciendo, Dave?"

A medida que se potencian y amplían los sistemas de IA, con frecuencia se reclama un "control humano significativo" o una "interacción humana significativa en el bucle". Originalmente un término de ingeniería, que requería un humano "en el bucle" que pudiera detener los sistemas, el término "en el bucle" o "cerca del bucle" ha sido cooptado por los responsables políticos con el fin de distanciar aún más a los humanos de los sistemas. Creemos que poner en práctica la noción de que cualquier humano dentro, sobre o cerca del bucle sería capaz de supervisar sistemas complejos, en particular los que incluyen IA, podría tener consecuencias potencialmente desastrosas.

En 1983, Stanislav Petrov era uno de esos "humanos en el bucle" de las Fuerzas de Defensa Aérea soviéticas. El trabajo de Petrov consistía en utilizar tanto sus conocimientos técnicos como su inteligencia humana para alertar a los dirigentes soviéticos en caso de que los datos respaldaran el lanzamiento de un arma nuclear. Cuando las falsas alarmas alertaron a Petrov de un ataque nuclear inminente, su comprensión de los límites del análisis inducido por máquinas le hizo evaluar una avería, deteniendo lo que podría haber sido un desastre nuclear.

Petrov tenía 30 minutos para tomar una decisión. Los sistemas automatizados actuales toman decisiones en milisegundos. La forma en que hablamos hoy de "interacción humana significativa en el bucle" en relación con los sistemas de IA es problemática, si no fundamentalmente errónea, por las siguientes razones:

1. 1. No se puede teneruna "interacción significativa" con los datos o los sensores, o los actuadores en el momento de la recogida de datos y el funcionamiento. ¿Qué es el bucle? Es todo el sistema: los sensores, los actuadores, los datos (en su mayoría históricos, a menudo de mala calidad, casi siempre difíciles de interrogar), el aprendizaje automático o la IA, las piezas por separado y el conjunto interoperable. Ningún ser humano tiene la capacidad de comprender y supervisar todas estas partes, y mucho menos de intervenir de forma significativa.

   2. No se puede "interactuar significativamente " con el código activo. La codificación es una habilidad muy especializada que requiere conocimientos especializados. En el caso del código integrado en otros sistemas, hay pocas personas, si es que hay alguna, que estén en condiciones de revisar estos elementos en tiempo real (sobre todo las que tienen la habilitación de seguridad pertinente). Los conocimientos necesarios para interrogar a los sistemas se requieren tanto en el momento de la construcción como periódicamente a lo largo del ciclo de vida de estos sistemas, ya que inevitablemente fallarán o tendrán resultados imprevistos.

   3. La gente se aburre cuando trabaja con sistemas autónomos. Las situaciones en las que las máquinas pueden ser autónomas, pero requieren supervisión humana, suelen ser las más peligrosas. Los humanos se desconectan y se aburren o distraen, con efectos desastrosos. Los datos de la investigación muestran que los humanos no pueden supervisar activamente las máquinas durante largos periodos de tiempo sin que aumente el riesgo, sobre todo cuando los sistemas son en gran medida autónomos. Parte de este riesgo también está relacionado con el pensamiento mágico de Weizenbaum: los humanos suelen suponer que los sistemas no pueden fallar y, sin embargo, fallan.
   4. La complejidad, velocidad y escala de muchos sistemas autónomos, e incluso automáticos, no dan tiempo a cuestionarlos. La velocidad a la que se suministra la información, y las decisiones que deben tomarse en función del tiempo, imposibilitarán a menudo una posible intervención humana adecuada.
   5. Si la "interacción humana significativa en el bucle " es remota, los riesgos son aún mayores. Los retrasos en la red (debidos a problemas de ancho de banda, desfase, retrasos cognitivos humanos y pobreza de información, es decir, no disponer de toda la información necesaria, parte de la cual no puede ser captada por proyectos automatizados o autónomos) amplifican los riesgos existentes. Las cajas negras y la falta de transparencia impiden la previsibilidad. Incluso cuando existen riesgos bajos, la velocidad y la escala de la autonomía pueden acelerar o ampliar el potencial de daños graves.
   6. El término "humano" suele referirse a un tipo bastante limitado de ser humano, que no es representativo de la humanidad en general o del género humano. El ser humano es a menudo el término más olvidado en esta frase y, sin embargo, hace gran parte del trabajo pesado. Los humanos que tienen acceso a estos sistemas y los entienden son un grupo especialmente reducido con una visión del mundo y unos valores particulares. No necesariamente comprenden o representan a los afectados por los sistemas automatizados y no siempre se les escucha frente a los imperativos comerciales. Petrov tenía el poder de anular el sistema, ¿podría alguien hoy hacer lo mismo?
   7. Las competencias necesarias para comprender los sistemas adaptativos complejos se perderán con el aumento de la automatización. Quienes tienen la capacidad de comprender y cuestionar el flujo de todo el sistema, incluido si funciona de forma ética y de acuerdo con códigos de conducta responsables, se quedan cada vez más al margen o pierden sus habilidades. Las competencias interdisciplinares no serán fáciles de reproducir o sustituir a largo plazo. Los sistemas adaptativos complejos pueden funcionar a veces de forma imprevisible, incluso para quienes poseen las competencias adecuadas. La probabilidad de que se produzcan sucesos de alto riesgo y baja probabilidad (cisnes negros) aumentará a medida que se conecten y amplíen los sistemas automatizados y autónomos.

Cada vez que oiga hablar de "interacción (o control) humana significativa en el bucle", cuestione lo que esto significa en el contexto de un sistema concreto. Más útil sería preguntarse si la automatización o la autonomía son, de hecho, la opción adecuada para el problema de que se trate. ¿Es la automatización adecuada, conforme a la ley y ética? Contar con expertos con competencias diversas e interdisciplinares que participen en todo el desarrollo y el ciclo de vida de una solución y un sistema dirigidos a resolver un reto tendrá un impacto mucho mayor que cualquier "humano en el bucle". Después de que el sistema esté activo, es casi seguro que el mero hecho de estar "en el bucle" no proporcionará a ningún humano la capacidad de hacer una pausa, reflexionar, cuestionar y detener la trayectoria de la máquina, como pudo hacer Petrov.

Kobi Leins es investigador visitante en el King's College de Londres; experto de Standards Australia en asesoramiento técnico a la Organización Internacional de Normalización sobre las próximas normas de IA; cofundador de Responsible Innovation of AI and the Life Sciences del IEEE; miembro no residente del Instituto de las Naciones Unidas de Investigación sobre el Desarme; y miembro del consejo asesor de la Carnegie Artificial Intelligence and Equality Initiative (AIEI). Leins es también autor de New War Technologies and International Law (Cambridge University Press, 2021).

Anja Kaspersen es investigadora principal en Carnegie Council for Ethics in International Affairs. Junto con Wendell Wallach, codirige la Iniciativa Carnegie sobre Inteligencia Artificial e Igualdad (AIEI), que trata de entender las innumerables formas en que la IA afecta a la igualdad y, en respuesta, proponer posibles mecanismos para garantizar los beneficios de la IA para todas las personas.