Las compañías de inteligencia artificial saben cómo construir y entrenar sus modelos. Eligen su arquitectura, preparan enormes conjuntos de datos y ajustan miles de millones de parámetros mediante algoritmos de aprendizaje. Sin embargo, una vez terminado ese proceso, no siempre pueden explicar con precisión cómo el sistema organiza internamente lo aprendido.
Dario Amodei, director ejecutivo de Anthropic, lo reconoció en abril de 2025 en su ensayo The Urgency of Interpretability. Comparó el entrenamiento de una IA con el crecimiento de una planta: sus creadores establecen las condiciones iniciales, pero la estructura exacta que aparece resulta difícil de predecir y entender. Al observar el interior del modelo, los investigadores encuentran inmensas matrices de números que realizan tareas cognitivas sin revelar fácilmente su funcionamiento.
Esto no significa que las inteligencias artificiales sean mágicas o incomprensibles en todos los sentidos. Los especialistas conocen las operaciones matemáticas que ejecutan y pueden inspeccionar cada activación. El problema es traducir esos cálculos en una explicación humana completa de por qué el modelo produjo una respuesta concreta o aprendió determinada habilidad.
— Diario฿itcoin (@DiarioBitcoin) March 20, 2026
Capacidades que nadie programó directamente
Una parte de esta incertidumbre aparece en las llamadas capacidades emergentes. El término se utiliza para describir habilidades que apenas se observan en modelos pequeños, pero que aparecen cuando aumentan el tamaño, los datos o la potencia de entrenamiento.
Un influyente estudio de investigadores de Google y otras instituciones documentó tareas en las que el rendimiento permanecía cerca del azar hasta superar cierta escala. Entre ellas aparecían capacidades relacionadas con el razonamiento, la comprensión del lenguaje y el aprendizaje a partir de ejemplos incluidos en una conversación.
Sin embargo, existe un debate científico importante. Otra investigación demostró que algunos de esos aparentes saltos pueden deberse a la forma de medir el rendimiento. Una habilidad puede parecer que surge repentinamente cuando se utiliza una métrica que solo considera respuestas totalmente correctas, aunque el modelo haya estado mejorando gradualmente desde antes.
Por tanto, no todas las capacidades emergentes aparecen necesariamente “de golpe”. Lo que sí permanece abierto es cómo las redes combinan sus representaciones internas para resolver tareas que no fueron programadas mediante reglas explícitas.
Los investigadores intentan abrir la caja negra
Chris Olah, cofundador de Anthropic y uno de los principales investigadores de interpretabilidad mecánica, lleva años intentando identificar los circuitos internos de las redes neuronales. Su equipo ha estudiado mecanismos como las cabezas de inducción, relacionadas con la capacidad de detectar patrones y utilizar ejemplos anteriores dentro de un texto.
En 2024, Anthropic anunció que había extraído millones de características interpretables de una capa de Claude 3 Sonnet. Algunas respondían a ciudades, personas, elementos químicos o errores de programación; otras representaban ideas más abstractas, como guardar un secreto o detectar sesgos profesionales.
El experimento permitió observar una pequeña parte de lo que ocurre dentro del modelo, pero también mostró la dimensión del problema. Encontrar conceptos internos no explica automáticamente cómo se conectan para producir una respuesta. Anthropic reconoce que elaborar un mapa completo con sus técnicas actuales podría requerir más capacidad computacional que la empleada para entrenar el propio modelo.
https://t.co/W5eGz0XhOp
🚨🤖⚠️ ANTHROPIC PRESENTA CLAUDE FABLE 5: LA IA MÁS POTENTE DE SU HISTORIA… Y LA MÁS RESTRINGIDAAnthropic presentó oficialmente Claude Fable 5, su modelo público de Inteligencia Artificial más avanzado hasta la fecha, diseñado para competir… pic.twitter.com/qB5fuyQlZ3
— HGowx (@HGowx) June 11, 2026
Una advertencia científica que también beneficia a Anthropic
El discurso de Amodei merece cierta cautela. Anthropic ha construido su identidad comercial alrededor de la seguridad, el control y la interpretabilidad. Presentar los modelos como sistemas poderosos y difíciles de comprender también refuerza la importancia de una empresa que promete hacerlos más seguros.
El propio Amodei admite que Anthropic espera convertir la interpretabilidad en una ventaja comercial, especialmente en sectores donde las decisiones deben poder explicarse.
Pero eso no invalida el problema técnico. La opacidad de las redes neuronales está documentada en investigaciones públicas, y los avances actuales apenas permiten reconstruir fragmentos de su funcionamiento.
La gran inquietud no es que los ingenieros hayan perdido completamente el control de una criatura misteriosa. Es algo más preciso: están desplegando sistemas cada vez más capaces sin disponer todavía de herramientas equivalentes para comprender todos sus mecanismos internos.
La industria puede medir lo que una IA hace mediante pruebas y evaluaciones. Lo que aún no puede hacer de forma fiable es mirar dentro del modelo y explicar cada paso que lo llevó hasta allí. Mientras las capacidades avanzan rápidamente, la ciencia encargada de interpretarlas continúa intentando alcanzarlas.
