Una de las frases más repetidas sobre la inteligencia artificial moderna es también una de las más inquietantes: ni siquiera sus creadores saben exactamente cómo funciona. Geoffrey Hinton, uno de los padres del aprendizaje profundo, lo resumió en 2019 sin rodeos: «No, realmente no sabemos cómo funcionan». Yoshua Bengio llegó a decir que no cree que alguna vez logremos interpretar del todo lo que ocurre dentro de una red neuronal.
Esa opacidad es una de las raíces del miedo a la IA. Si no podemos ver qué pasa dentro, es difícil asegurar que un sistema hará lo que queremos y no otra cosa. Por eso un ensayo publicado a mediados de octubre causó tanto revuelo: su autor sostiene que las redes neuronales son mucho más comprensibles de lo que se creía.
El investigador detrás de la caja negra
El autor es Nick Cammarata, exinvestigador de OpenAI y hoy en Goodfire, una empresa dedicada a la interpretabilidad mecanicista, la disciplina que intenta entender qué hace cada pieza de una red neuronal. Su ensayo, titulado «Las redes neuronales ya son limpias», tiene unas 26.000 palabras y se publicó el 15 de octubre.
Lo llamativo es que Cammarata fue uno de los investigadores que ayudaron a construir la idea contraria. En 2020 participó junto a Chris Olah en «Zoom In», un trabajo influyente que mostró neuronas de un modelo de visión de Google que parecían responder a cosas sin relación entre sí, como caras de gato y frentes de autos.
Neuronas que parecen hacer muchas cosas
Ese fenómeno se llama polisemanticidad: una misma neurona se activa ante conceptos aparentemente distintos. La explicación más aceptada es la superposición, la idea de que una red almacena más conceptos que neuronas tiene, mezclándolos de forma compleja para ahorrar espacio. Si eso es cierto, entender un modelo neurona por neurona sería casi imposible, y harían falta herramientas indirectas para desenredarlo.
Cammarata ahora sostiene que esa explicación es errónea en la mayoría de los casos. Según él, la famosa neurona de «gatos y autos» en realidad detecta un patrón visual en forma de V que aparece tanto en la cara de un gato como en el frente de un coche. Las mezclas no serían arbitrarias, sino conceptos relacionados.
Propone además un mecanismo al que llama generalización recursiva: una neurona aprende un concepto y, con el entrenamiento, lo extiende a variantes cercanas. Por ejemplo, una neurona que detecta una secuencia de letras puede terminar reconociendo palabras que la contienen.
De 1,7% a 90%
Los números que presenta son llamativos. En un proyecto de OpenAI de 2023, en el que participó el propio Cammarata, solo alrededor del 1,7% de las neuronas pudieron explicarse de forma satisfactoria. Ahora, en una auditoría preliminar del modelo de código abierto Qwen3-32B, asegura que cerca del 90% de las neuronas tienen una función principal comprensible, otro 7% tiene dos funciones relacionadas y solo un 2 a 4% sigue sin explicación.
Según su argumento, buena parte del problema estaba en cómo se describían las neuronas. Como ejemplo, afirma que en GPT-2 XL la proporción de neuronas interpretables pasó de menos del 2% a cerca del 70% solo con reescribir las explicaciones de lo que hace cada una. También dice haber visto resultados similares en modelos de billones de parámetros, aunque sin auditorías completas.
Entusiasmo y escepticismo
La reacción fue dispar. Sam Altman, director ejecutivo de OpenAI, celebró la publicación en redes sociales. Pero varios especialistas pidieron cautela. Neel Nanda, que lidera el equipo de interpretabilidad mecanicista de Google DeepMind, lo consideró interesante pero no un cambio significativo, y sostuvo que la superposición sigue siendo real y que los hallazgos en modelos de imágenes pequeños pueden no trasladarse a los modelos de lenguaje.
Christopher Potts, de la Universidad de Stanford, lo describió como algo más cercano a una intuición. Jacob Hilton, del Alignment Research Center, estima que todavía se entiende menos del 0,01% de lo que ocurre dentro de los modelos más avanzados.
El propio Cammarata reconoce límites: el ensayo no es un artículo revisado por pares, la auditoría de Qwen3-32B es preliminar y el artículo técnico que debería respaldarla todavía no se publicó. Él mismo califica como «muy especulativa» su conclusión final.
Por qué importa
Si Cammarata tiene razón, aunque sea en parte, entender los modelos de IA podría ser mucho más accesible de lo que se pensaba, con consecuencias directas para la seguridad: sería posible detectar comportamientos peligrosos mirando directamente dentro del sistema. Si se equivoca, la caja negra seguirá cerrada un tiempo más. En cualquier caso, el debate muestra que una de las preguntas más importantes sobre la IA todavía está abierta.
