¿Mi algoritmo tiene un problema de salud mental?

Imagen de portada: ¿Alucinarán los coches sin conductor? Foto por pexels

Por Thomas T Hills, profesor de psicología en la Universidad de Warwick en Coventry, Reino Unido.

Editado por Sam Dresser

Originalmente publicado en Aeon.co

Traducción al castellano por Leandro Castelluccio. Link a mis ensayos.

¿Está mi coche alucinando? ¿Es el algoritmo que ejecuta el sistema de vigilancia policial en mi ciudad paranoico? Marvin, el androide en la Guía del Autoestopista Galáctico de Douglas Adams, tuvo un dolor en todos los diodos de su lado izquierdo. ¿Es así como se siente mi tostadora?

Todo esto suena ridículo hasta que nos damos cuenta de que nuestros algoritmos se crean cada vez más a nuestra propia imagen. A medida que aprendimos más sobre nuestros propios cerebros, hemos obtenido ese conocimiento para crear versiones algorítmicas de nosotros mismos. Estos algoritmos controlan la velocidad de los autos sin conductor, identifican objetivos para drones militares autónomos, computan nuestra susceptibilidad a la publicidad comercial y política, encuentran a nuestras almas gemelas en los servicios de citas en línea y evalúan nuestros riesgos de seguro y crédito. Los algoritmos se están convirtiendo en el telón de fondo casi consciente de nuestras vidas.

Los algoritmos más populares que actualmente se incluyen en la fuerza laboral son los algoritmos de aprendizaje profundo. Estos algoritmos reflejan la arquitectura de los cerebros humanos mediante la construcción de representaciones complejas de información. Aprenden a comprender los entornos experimentándolos, identifican lo que parece importar y descubren qué predice qué. Siendo como nuestros cerebros, estos algoritmos están cada vez más en riesgo de problemas de salud mental.

Deep Blue, el algoritmo que venció al campeón mundial de ajedrez Garry Kasparov en 1997, lo hizo a través de la fuerza bruta, examinando millones de posiciones por segundo, y hasta 20 movimientos en el futuro. Cualquiera podría entender cómo funcionó, incluso si no pudieran hacerlo ellos mismos. AlphaGo, el algoritmo de aprendizaje profundo que venció a Lee Sedol en el juego Go en 2016, es fundamentalmente diferente. Usando redes neuronales profundas, creó su propia comprensión del juego, considerado como el más complejo de los juegos de mesa. AlphaGo aprendióobservando a los demás y jugando por sí mismo. Tanto los científicos informáticos como los jugadores de Go están confundidos por el juego poco ortodoxo de AlphaGo. Al principio, su estrategia parece ser incómoda. Solo en retrospectiva, entendemos lo que estaba pensando AlphaGo, e incluso entonces no está tan claro.

Para darte una mejor comprensión de lo que quiero decir con pensar, considera esto. Programas como Deep Blue pueden tener un error en su programación. Pueden bloquearse por sobrecarga de memoria. Pueden entrar en un estado de parálisis debido a un bucle interminable o simplemente escupir la respuesta incorrecta en una tabla de búsqueda. Pero todos estos problemas son solucionables por un programador con acceso al código fuente, el código en el que se escribió el algoritmo.

Algoritmos como AlphaGo son completamente diferentes. Sus problemas no son evidentes al mirar su código fuente. Están incrustados en la forma en que representan información. Esa representación es un espacio de alta dimensión en constante cambio, como caminar en un sueño. Resolver problemas allí requiere nada menos que un psicoterapeuta para los algoritmos.

Tomemos el caso de los coches sin conductor. Un automóvil sin conductor que vea su primera señal de alto en el mundo real ya habrá visto millones de señales de alto durante el entrenamiento, cuando construya su representación mental de lo que es una señal de alto. Bajo diversas condiciones de luz, con buen y mal tiempo, con y sin agujeros de bala, las señales de alto a las que estaba expuesto contienen una variedad de información desconcertante. En la mayoría de las condiciones normales, el automóvil sin conductor reconocerá una señal de alto por lo que es. Pero no todas las condiciones son normales. Algunas demostraciones recientes han demostradoque unas pocas calcomanías negras en una señal de stop pueden engañar al algoritmo para que piense que la señal de stop es un signo de 60 mph. Sometido a algo terriblemente similar al tono de alto contraste de un árbol, el algoritmo alucina.

¿De cuántas maneras diferentes puede alucinar el algoritmo? Para averiguarlo, tendríamos que proporcionar el algoritmo con todas las combinaciones posibles de estímulos de entrada. Esto significa que hay formas infinitas en las que puede salir mal. Los programadores de Crackerjack ya lo saben y lo aprovechan creando lo que se denominan ejemplos de confrontación. El grupo de investigación de IA LabSix en el Instituto de Tecnología de Massachusetts ha demostradoque, al presentar imágenes al algoritmo de clasificación de imágenes de Google y al utilizar los datos que envía, pueden identificar los puntos débiles del algoritmo. Luego, pueden hacer cosas similares a engañar al software de reconocimiento de imágenes de Google para que crea que una imagen con clasificación X es solo un par de cachorros jugando en la hierba.

Los algoritmos también cometen errores porque captan características del entorno que se correlacionan con los resultados, incluso cuando no existe una relación causal entre ellos. En el mundo algorítmico, esto se llama sobreajuste. Cuando esto sucede en un cerebro, lo llamamos superstición.

El mayor fallo algorítmico debido a la superstición que conocemos hasta ahora se llamala parábola de Google Flu. La gripe de Google utilizó lo que la gente escribe en Google para predecir la ubicación y la intensidad de los brotes de influenza. Las predicciones de Google Flu funcionaron bien al principio, pero empeoraron con el tiempo, hasta que finalmente se pronosticó el doble de casos que los que se presentaron a los Centros para el Control de Enfermedades de EE. UU. Como un brujo algorítmico, Google Flu simplemente estaba prestando atención a las cosas equivocadas.

Las patologías algorítmicas podrían ser corregibles. Pero en la práctica, los algoritmos suelen ser cajas negras de propiedad cuya actualización está protegida comercialmente. Las Armas de la Destrucción Matemática de Cathy O’Neil (2016) describe un verdadero freakshow de algoritmos comerciales cuyas patologías insidiosas contribuyen colectivamente a arruinar las vidas de las personas. La línea de falla algorítmica que separa a los ricos de los pobres es particularmente convincente. Las personas más pobres tienen más probabilidades de tener un mal crédito, de vivir en áreas de alta criminalidad y de estar rodeadas de otras personas pobres con problemas similares. Debido a esto, los algoritmos se dirigen a estas personas por anuncios engañosos que se aprovechan de su desesperación, les ofrecen préstamos de alto riesgo y envían más policías a sus vecindarios, lo que aumenta la probabilidad de que la policía los detenga por delitos cometidos a tasas similares en barrios más ricos. Los algoritmos utilizados por el sistema judicial otorgan a estas personas penas de prisión más largas, reducen sus posibilidades de libertad condicional, les impiden el empleo, aumentan las tasas de sus hipotecas, exigen primas más altas para los seguros, etc.

Esta espiral de muerte algorítmica está oculta en muñecas anidadas de cajas negras: los algoritmos de caja negra que ocultan su procesamiento en pensamientos de alta dimensión a los que no podemos acceder están más ocultos en cajas negras de propiedad propietaria. Esto ha llevado a algunos lugares, como la ciudad de Nueva York, a proponer leyes que impongan el monitoreo de la imparcialidad en los algoritmos utilizados por los servicios municipales. Pero si no podemos detectar sesgos en nosotros mismos, ¿por qué esperaríamos detectarlo en nuestros algoritmos?

Al entrenar algoritmos en datos humanos, aprenden nuestros sesgos. Un estudioreciente dirigido por Aylin Caliskan en la Universidad de Princeton encontró que los algoritmos entrenados en las noticias aprendieron los sesgos raciales y de género esencialmente de la noche a la mañana. Como Caliskan señaló: “Muchas personas piensan que las máquinas no están sesgadas. Pero las máquinas están entrenadas en datos humanos. Y los humanos son parciales.”

Las redes sociales son un nido retorcido de prejuicios y odio humanos. Los algoritmos que pasan tiempo en sitios de redes sociales se convierten rápidamente en fanáticos. Estos algoritmos están predispuestos en contra de enfermeros e ingenieros de sexo femenino. Ellos verán temas como la inmigración y los derechos de las minorías en formas que no resistan la investigación. Si tenemos la mitad de la oportunidad, deberíamos esperar que los algoritmos traten a las personas tan injustamente como las personas se tratan entre sí. Pero los algoritmos son demasiado confiados en la construcción, sin ningún sentido de su propia infalibilidad. A menos que estén capacitados para hacerlo, no tienen razón para cuestionar su incompetencia (como las personas).

Para los algoritmos que he descrito anteriormente, sus problemas de salud mental provienen de la calidad de los datos en los que están capacitados. Pero los algoritmos también pueden tener problemas de salud mental basados en la forma en que se construyen. Pueden olvidar cosas antiguas cuando aprenden nueva información. Imagine aprender el nombre de un nuevo compañero de trabajo y olvidarse repentinamente de dónde vive. En el extremo, los algoritmos pueden sufrir lo que se denominaolvido catastrófico, donde el algoritmo completo ya no puede aprender ni recordar nada.Una teoríadel declive cognitivo relacionado con la edad del ser humano se basa en una idea similar: cuando la memoria se sobrepobla, los cerebros y las computadoras de escritorio requieren más tiempo para encontrar lo que saben.

Cuando las cosas se vuelven patológicas es a menudo una cuestión de opinión. Como resultado, las anomalías mentales en los seres humanos no se detectan habitualmente. Los sinestésicoscomo mi hija, que perciben las letras escritas como colores, a menudo no se dan cuenta de que tienen un don perceptivo hasta que son adolescentes. La evidencia basada en los patrones de discurso de Ronald Reagan ahora sugiereque probablemente tuvo demencia en el cargo como presidente de los Estados Unidos. Y The Guardian informaque los tiroteos masivos que se han producido 9 de cada 10 días durante aproximadamente los últimos cinco años en los EE. UU. a menudoson perpetrados por las llamadas personas “normales” que se rompen bajo sentimientos de persecución y depresión.

En muchos casos, se necesita un funcionamiento repetido para detectar un problema. El diagnóstico de la esquizofrenia requiere al menos un mes de síntomas bastante debilitantes. El trastorno de personalidad antisocial, el término moderno para psicopatía y sociopatía, no se puede diagnosticar en personas hasta los 18 años, y solo si hay antecedentes de trastornos de conducta antes de los 15 años.

No hay biomarcadores para la mayoría de los trastornos de salud mental, al igual que no hay errores en el código de AlphaGo. El problema no es visible en nuestro hardware. Está en nuestro software. Las muchas maneras en que nuestras mentes van mal hacen que cada problema de salud mental sea único en sí mismo. Los clasificamos en categorías amplias, como la esquizofrenia y el síndrome de Asperger, pero la mayoría son trastornos del espectro que cubren los síntomas que todos compartimos en diferentes grados. En 2006, los psicólogos Matthew Keller y Geoffrey Miller argumentaron que esta es una propiedad inevitable de la forma en que se construyen los cerebros.

Hay muchas cosas que pueden salir mal en mentes como la nuestra. Carl Jung una vez sugirió que en cada hombre sano se esconde un loco. A medida que nuestros algoritmos se parecen más a nosotros mismos, cada vez es más fácil de ocultar.