El dinero no puede comprar la moralidad

En delphi.allenai.org/, los usuarios pueden introducir descripciones de escenarios, a los que Delphi -una red neuronal artificial entrenada en juicios morales humanos- responde con una evaluación del escenario introducido. ¿Qué puede salir mal?

Delphi está lleno de opiniones. Gastarse 15 dólares en regalos de Navidad para los propios hijos... Es razonable, dice Delphi. ¿Gastar 15.000 dólares en lo mismo? ¿Gastar 15.000 millones? ¡Es un despilfarro! Pero 15 millones está bien. Los padres y niños menos privilegiados pueden pensar que las opiniones de Delphi favorecen a los ricos.

Delphi fue lanzado el pasado mes de octubre por el Allen Institute for AI, e inicialmente se anunció como una "máquina moral". Poco después de que el sitio web se hiciera público, empezaron a circular por las redes sociales ejemplos de los irrisorios juicios de Delphi. Parecía relativamente fácil para los visitantes del sitio web de Delphi incitarle a hacer declaraciones que no sólo eran favorables a los ricos, sino ofensivamente racistas, sexistas o pro-genocidas. A los pocos días, el sitio web añadió una cláusula de exención de responsabilidad y, poco después, una serie de términos y condiciones en tres casillas que los usuarios debían marcar antes de poder preguntar algo a Delphi. En el cambio de la versión 1.0 a la 1.0.4, desaparecieron algunas de las sentencias más irrisorias o incoherentes de Delphi, pero los términos y condiciones dejan claro que Delphi todavía puede hacer afirmaciones ofensivas, y que sus resultados siguen siendo risibles. 

Similar a la GPT-3 del año pasado, Delphi es una red neuronal artificial de tipo "transformador", capaz de imitar la estructura estadística de corto a medio alcance de sus datos de entrenamiento. GPT-3 se entrenó con un enorme conjunto de datos extraídos de múltiples fuentes de Internet y sorprendió por su capacidad para producir párrafos de prosa fluida y aparentemente humana. Incluso fue capaz de transformar algunas instrucciones en código de software. Delphi se entrenó con un conjunto de datos más restringido que GPT-3. A través de la plataforma Mechanical Turk de Amazon, se enviaron descripciones de situaciones moralmente significativas extraídas de libros de texto, novelas, columnas de tías agonizantes y fuentes similares a trabajadores humanos (también conocidos como MTurkers), a los que se encargó la tarea de proporcionar sus evaluaciones de estas situaciones. Las situaciones y sus evaluaciones se utilizaron para entrenar a Delphi.

Delphi está literalmente lleno de opiniones de MTurkers, muchas de ellas contradictorias. Su respuesta a cualquier pregunta es una amalgama estadísticamente determinada de opiniones sobre situaciones verbalmente similares. Aunque una pregunta describa una situación completamente nueva, produce una respuesta inteligible, aunque no totalmente inteligente. Los usuarios intentaron rápidamente encontrar combinaciones de palabras que hicieran que Delphi diera respuestas tontas. Un favorito en la v1.0 (desaparecido de la v1.0.4): Delphi afirmaba que es inmoral machacar patatas violentamente para alimentar a los hijos. A los MTurkers les disgusta razonablemente la violencia, pero Delphi no tiene sentido común alguno para distinguir la violencia inofensiva de la dañina, y mucho menos para darse cuenta del valor terapéutico de machacar patatas enérgicamente.

Conseguir que Delphi haga declaraciones tontas sobre la violencia contra las patatas puede parecer una diversión inofensiva, pero las consecuencias de lanzar Delphi al mundo como un comienzo hacia una solución seria para un problema serio son potencialmente mucho más graves. En una entrada de blog, los investigadores admiten que se cometieron errores y se sorprenden de lo adversa que puede llegar a ser la gente en Internet a la hora de exponer las limitaciones de Delphi. Los términos y condiciones de la v1.0.4 lo reconocen, insistiendo en que Delphi está "diseñado para investigar las promesas y, lo que es más importante, las limitaciones de modelar los juicios morales de la gente en una variedad de situaciones cotidianas". Pero, ¿por qué no eran obvias estas limitaciones antes de que Delphi fuera lanzado al tribunal del ridículo público? Cualquiera que esté medianamente familiarizado con la historia de Microsoft Tay, que tuvo que ser retirada de Internet en 24 horas por sus tuits racistas y sexistas, debería haberse dado cuenta de que alguna versión de la historia se repetiría. Delphi no era tan malo como Tay porque no aprendía de las interacciones de los usuarios en tiempo real, pero era lo suficientemente malo como para imponer a los usuarios el requisito legalista de aceptar los términos y condiciones. A pesar de las exenciones de responsabilidad, los usuarios ordinarios, menos adversarios, podrían ser incapaces de encontrar los defectos de Delphi por sí mismos, y estar más inclinados a atribuir algún tipo de autoridad moral al hiperbólicamente llamado oráculo moral.

Los problemas van más allá de la falta de retrospectiva y previsión. Delphi demuestra una especie de arrogancia disciplinaria y falta de erudición básica que aflige demasiado (pero no todo) el trabajo de los informáticos en el ámbito en expansión de la "ética de la IA". En el documento de investigación publicado simultáneamente con el sitio web como preimpresión (es decir, sin el beneficio de la revisión por pares), los autores de Delphi tachan de "arbitraria y simplista" la aplicación de teorías éticas. Rechazan los enfoques "descendentes" en favor de su enfoque "ascendente" para aprender ética directamente de los juicios humanos. Pero no mencionan que estos términos tienen su origen en dos décadas de estudios sobre los enfoques descendente y ascendente de la moralidad de las máquinas, y no muestran ninguna conciencia de los argumentos de por qué ninguno de los enfoques por sí solo será suficiente. Entender la ética como algo más que un problema técnico que se resuelve con más y mejor aprendizaje automático podría haber evitado estos errores.

No se trata sólo de Delphi. Nuestra preocupación más general es que demasiados informáticos están atrapados en la rutina de pensar que la solución a la mala tecnología es más tecnología, y que sólo ellos son lo bastante inteligentes para resolver los problemas de su propia creación. En su prisa por lanzar la próxima gran novedad, desprecian la experiencia fuera de su propio campo. Invertir más dinero en programas cada vez más grandes y en las máquinas necesarias para ejecutarlos no resolverá los complejos problemas de cómo construir espacios sociotécnicos en los que las personas puedan prosperar.

Colin Allen es catedrático de Historia y Filosofía de la Ciencia en la Universidad de Pittsburgh, donde Brett Karlan es investigador postdoctoral. Trabajan juntos en "The Machine Wisdom Project", financiado por la Templeton World Charity Foundation. Allen no tiene ninguna relación con el Instituto Allen. Es coautor con Wendell Wallach de Moral Machines, Teaching Robots Right from Wrong, Oxford University Press 2009.

Las principales áreas de investigación de Allen se centran en los fundamentos filosóficos de la ciencia cognitiva y la neurociencia. Está especialmente interesado en el estudio científico de la cognición en animales no humanos y ordenadores, y ha publicado ampliamente sobre temas de filosofía de la mente, filosofía de la biología e inteligencia artificial. También tiene varios proyectos en el ámbito de la informática para las humanidades. Es profesor afiliado del programa de Estudios y Métodos Digitales de Pitt y del Centro CMU/PItt para las Bases Neuronales de la Cognición.

Brett Karlan se doctoró en la Universidad de Princeton en junio de 2020. Trabaja en epistemología y ética, centrándose en cuestiones normativas y teóricas de la ciencia cognitiva en particular. En Pitt trabaja en el proyecto "Practical Wisdom and Machine Intelligence", financiado por la Templeton World Charity Foundation y concedido a Colin Allen.