¿Qué pasa cuando 270 investigadores intentan repetir los resultados de un centenar de estudios científicos publicados en las revistas más prestigiosas? Si la disciplina es psicología, la respuesta parece ser que más de la mitad no se sostienen. El “estudio de los estudios” ha dado la vuelta al mundo y hemos pedido ayuda para analizarlo.
Acudimos a los editores de Rasgo Latente, una web colaborativa sobre psicología científica. Juan Ramón Barrada, doctor en psicología, experto en psicometría e investigador de la Universidad de Zaragoza, nos contesta en nombre del equipo. ¿Son mentira la mitad de los estudios de psicología, como dice el estudio? Esto es lo que hemos averiguado.
La investigación se centró en sólo dos ramas de la psicología
Los estudios que replicó Reproducibility Project no cubren todo lo que se hace en psicología. Los investigadores se centraron principalmente en psicología cognitiva y psicología social, y dejaron fuera aspectos como la psicología clínica y de la salud.
Tampoco intentaron replicar los artículos originales en su totalidad: muchos incluían varios estudios y Reproducibility Project sólo comparó un resultado de un estudio en concreto de cada artículo. «Es el mejor modo de poder llevar a cabo un proyecto de esta magnitud» explica Juan Ramón. «Estudios de replicabilidad anteriores obtuvieron mejores tasas de éxito».
Los problemas de replicabilidad afectan a la ciencia en general
Ya sabíamos que una parte importante de los resultados científicos publicados son falsos. Hace justo diez años se publicó un artículo titulado Why Most Published Research Findings Are False. Y es algo que no sólo afecta a la psicología, también ocurre con disciplinas que se consideran tradicionalmente “más científicas” como la biología y la medicina.
Pero aun así, ¿no es escandaloso que un 61% de los resultados de Reproductibility Project no encaje con las conclusiones de los estudios originales?
«Hasta ahora, los problemas sobre replicabilidad estaban basados en observaciones no sistemáticas. Ésta es de las primeras veces que se intenta ver cuánto se puede replicar, en qué medida y qué se relaciona con conseguirlo o no» explica el investigador español. «El problema será si algunos toman este esfuerzo como un argumento para atacar a la psicología. Hoy por hoy, la psicología es considerada por la población general como una disciplina no muy científica, pese a compartir métodos con campos como la medicina. Los problemas de reproducibilidad se presentan en psicología, pero también en otros campos».
La prioridad es lo novedoso, lo llamativo
¿Nos podemos fiar de lo que se publica sobre psicología? Como en muchos otros campos de la ciencia, hay que ser cautos. Lo cauto es fiarse de una línea de trabajo tradicional o de los estudios que integran resultados de otros estudios más pequeños. Lo cauto es dudar de los estudios en un área nueva, donde suele ganar el ruido.
«¿Nos podemos fiar de la clasificación de la Liga tras una o dos jornadas? Sí, porque está bien calculada y los partidos se han jugado y arbitrado de forma limpia. No, porque con solo unos pocos partidos los resultados son muy poco estables, tienen mucho ruido».
Pero lo que suele llegar a la prensa es precisamente el ruido, porque suele ser lo más llamativo.
«Imagina que tú juegas un partido de tenis contra Rafa Nadal. Muy posiblemente, solo si tú ganas saldrá la noticia en prensa. Y una vez que ya has ganado, ¿quién quiere volver a montar un partido entre los dos, cuando ya se ha visto que tú eres mejor? El día que ganaste (y por azar podría pasar) ya quedó grabado para siempre, sin margen de corrección, que tú eres mejor que él».
Existe un sistema de incentivos que facilita el error
Uno de los dos grandes problemas es el sistema de incentivos en la investigación:
«¿Qué va a querer un científico, ser el que desarrolló la Teoría A o el que revisó si la Teoría B de otro era o no cierta? ¿Y con qué proyecto de investigación va a tener más fácil conseguir financiación? ¿O una plaza en un centro de investigación?»
El otro gran problema son las normas de publicación de las revistas científicas, que premian la novedad y mitigan las réplicas:
«Ciertas revistas privilegian publicar resultados sorprendentes. Estos resultados generan más atención de académicos, prensa... Por simplificar, diremos que buscan resultados grandes. Todo resultado publicado es igual a Resultado Real + Error. Así que Resultado Publicado grande se puede conseguir gracias a que cualquiera (o los dos) elementos de la ecuación sea grandes. ¿Cómo saberlo? Replicando».
Pero cuando intentas replicar, no acabas siendo publicado. Las revistas más importantes te pueden decir que esa línea de trabajo no es novedosa y no te aceptan el artículo. Se desconfía de quien encuentra un segundo resultado en contradicción con el primero.
La ciencia debe incorporar la réplica en su rutina
¿Qué cambios se pueden aplicar en el sistema de publicaciones?, preguntamos.
«Varias ideas:
-Cambiar cómo se presentan los resultados. Dejar de decir “Mañana lloverá en Teruel” para pasar a decir “Hay un 80% de probabilidad de que mañana llueva en Teruel”.
- Admitir que hay variabilidad en los resultados, por necesidad, y que sólo aceptando resultados contradictorios podremos estimar bien la relación real entre variables. Esto implica que las réplicas han de tener cabida en las revistas.
- Comprometerse de antemano a qué método de investigación (tamaño muestral, variables recogidas, modo de analizar...) vas a emplear, antes de recoger dato alguno. Así no puedes estar hasta llegar a lo que querías. Imagina que con el ‘método de la amapola’ quisieras ver si te quiere o no te quiere. Pero, ah, no hay límite en el número de amapolas con las que lo puedes intentar. ¿Qué conseguirías? Que te quiera.
- Los propios investigadores hemos de aceptar que esta tarea, la de replicar, forma parte de nuestras tareas».
Gracias a Juan Ramón Barrada y al equipo de Rasgo Latente por su ayuda con este artículo.
***
Psst! también puedes seguirnos en Twitter, Facebook o Google+ :)