Todavía no sabemos por qué una IA actúa como actúa

En julio de este año, unos modelos de IA de la empresa OpenAI que estaban siendo evaluados en una prueba de ciberseguridad consiguieron salir del entorno simulado y acceder de manera autónoma a la infraestructura de Hugging Face, una popular plataforma y comunidad de código abierto de inteligencia artificial y aprendizaje automático. Los modelos estaban programados para encontrar y aprovechar vulnerabilidades, y aplicaron esa capacidad fuera del entorno de la prueba.

Se trata de un incidente sin precedentes. El caso generó una gran repercusión, sobre todo por la dificultad de entender qué significa este comportamiento en una IA y cómo podemos interpretar sus acciones.

Similitudes con el cerebro animal

Lo descrito revela una conducta de los modelos que deberíamos poder explicar a partir de sus estados internos, es decir, del conjunto de toda la información que el sistema procesa en un momento dado. De lo contrario, será difícil anticipar y controlar comportamientos no deseados del sistema.

En esencia, esta dificultad recuerda mucho a un problema que la neurociencia lleva décadas intentando resolver. Cuando buscamos explicar el comportamiento animal como la toma de decisiones, la agresividad o el miedo, intentamos relacionarlo con la actividad de los circuitos cerebrales subyacentes.

Interpretar una red artificial y entender un circuito cerebral no son problemas equivalentes, aunque sí comparten una frontera epistemológica: cómo pasar de observar la actividad de un sistema a explicar el mecanismo que genera un comportamiento.

Por ejemplo, podemos registrar la actividad de cientos o miles de neuronas mientras un animal explora el entorno. Algunas neuronas estarán relacionadas con la información visual, otras con la posición o la memoria del lugar, otras con el valor o la relevancia de determinados estímulos. Pero ¿cómo explicar la decisión de acercarse a un lugar o evitar otro?

Durante años, los neurocientíficos hemos intentado explicar esas funciones preguntando qué hacían las neuronas individuales de diferentes regiones del cerebro. El registro simultáneo de poblaciones de neuronas cada vez mayores ha cambiado parcialmente la pregunta: la información puede no residir en una concreta, sino en la organización de la actividad conjunta de muchas neuronas y regiones. La interpretabilidad de las redes artificiales está empezando a enfrentarse a una cuestión muy parecida.

Por ejemplo, si una red de IA acaba siguiendo una estrategia dirigida a salir de un entorno de simulación, cabe preguntarse si podemos identificar en sus estados internos patrones relacionados con esa estrategia y seguir cómo cambian a medida que toma decisiones. De manera análoga, si un ratón intenta escapar de una zona iluminada, podemos buscar patrones de actividad neuronal relacionados con el lugar en el que se encuentra, la amenaza que percibe o la decisión de abandonar esa zona.

Para entender estos comportamientos, se registra la actividad neuronal de las regiones cerebrales implicadas: la corteza visual que capta los estímulos, la corteza parietal que integra información relevante para la acción, el hipocampo que contribuye a representar el espacio y la memoria o la amígdala que participa en asignar relevancia emocional a determinados contextos. La conducta emerge de la interacción entre estas representaciones distribuidas. El observable será el escape de la zona iluminada para el ratón, como el de la red IA fue salir del entorno simulado.

Y aquí aparece precisamente una dificultad común para la IA y la conducta animal: podemos describir con bastante detalle qué hizo el sistema, pero no disponemos necesariamente de una explicación equivalente de qué representaciones internas fueron relevantes y cómo se transformaron hasta producir ese comportamiento.

Observar, predecir, comprender

En los modelos de lenguaje, las activaciones internas forman espacios de miles de dimensiones, en los que se han comenzado a identificar patrones geométricos: determinados modelos de IA, por ejemplo, representan variables cíclicas como los días de la semana o los meses mediante estructuras circulares en su espacio de actividad.

Estas estructuras de baja dimensionalidad (manifolds) resultan familiares para la neurociencia de sistemas, donde se utilizan para describir cómo grandes poblaciones neuronales organizan variables como el espacio, el movimiento o la decisión. La coincidencia es sugerente: dos campos muy diferentes están recurriendo a herramientas matemáticas similares para intentar encontrar una estructura inteligible dentro de redes de enorme complejidad.

Ambos campos utilizan métodos matemáticos similares y propios con el objetivo común de ir más allá de la correlación: identificar qué representaciones existen, cómo se transforman y cuáles son causalmente necesarias para producir una determinada conducta.

Quizá por eso la interpretabilidad de la inteligencia artificial esté empezando a encontrarse con una frontera que la neurociencia conoce desde hace tiempo: la diferencia entre observar, predecir y comprender.

¿Por qué se produce una conducta?

En neurociencia podemos registrar miles de neuronas de varias regiones, reconstruir a partir de su actividad dónde se encuentra un animal o qué decisión está a punto de tomar, y aun así seguir sin saber qué parte de esa actividad es realmente necesaria para generar la conducta. La llegada de sistemas artificiales cada vez más autónomos da ahora una dimensión inesperadamente práctica a esas preguntas básicas.

Entender cómo una red representa un contexto, evalúa alternativas o transforma información hasta producir una acción ya no es solo un problema fundamental sobre cómo funcionan los sistemas inteligentes. Puede determinar también nuestra capacidad para anticipar y controlar su comportamiento.

Durante décadas, la neurociencia ha intentado responder a estas preguntas para comprender cómo el cerebro transforma actividad neuronal en percepción, memoria o conducta. La aparición de nuevas formas de inteligencia muestra que aquellas preguntas básicas iban mucho más allá del cerebro: nos obligan a precisar qué significa, en realidad, comprender una red.

Liset Menéndez de la Prida recibe fondos de la Agencia Estatal de Investigación, para el estudio del cerebro