¬ŅQu√© pasa cuando 270 investigadores intentan repetir los resultados de un centenar de estudios cient√≠ficos publicados en las revistas m√°s prestigiosas? Si la disciplina es psicolog√≠a, la respuesta parece ser que m√°s de la mitad no se sostienen. El ‚Äúestudio de los estudios‚ÄĚ ha dado la vuelta al mundo y hemos pedido ayuda para analizarlo.

Advertisement

Acudimos a los editores de Rasgo Latente, una web colaborativa sobre psicolog√≠a cient√≠fica. Juan Ram√≥n Barrada, doctor en psicolog√≠a, experto en psicometr√≠a e investigador de la Universidad de Zaragoza, nos contesta en nombre del equipo. ¬ŅSon mentira la mitad de los estudios de psicolog√≠a, como dice el estudio? Esto es lo que hemos averiguado.

La investigación se centró en sólo dos ramas de la psicología

Los estudios que replicó Reproducibility Project no cubren todo lo que se hace en psicología. Los investigadores se centraron principalmente en psicología cognitiva y psicología social, y dejaron fuera aspectos como la psicología clínica y de la salud.

Tampoco intentaron replicar los art√≠culos originales en su totalidad: muchos inclu√≠an varios estudios y Reproducibility Project s√≥lo compar√≥ un resultado de un estudio en concreto de cada art√≠culo. ¬ęEs el mejor modo de poder llevar a cabo un proyecto de esta magnitud¬Ľ explica Juan Ram√≥n. ¬ęEstudios de replicabilidad anteriores obtuvieron mejores tasas de √©xito¬Ľ.

Advertisement

Los problemas de replicabilidad afectan a la ciencia en general

Ya sab√≠amos que una parte importante de los resultados cient√≠ficos publicados son falsos. Hace justo diez a√Īos se public√≥ un art√≠culo titulado Why Most Published Research Findings Are False. Y es algo que no s√≥lo afecta a la psicolog√≠a, tambi√©n ocurre con disciplinas que se consideran tradicionalmente ‚Äúm√°s cient√≠ficas‚ÄĚ como la biolog√≠a y la medicina.

Pero aun as√≠, ¬Ņno es escandaloso que un 61% de los resultados de Reproductibility Project no encaje con las conclusiones de los estudios originales?

¬ęHasta ahora, los problemas sobre replicabilidad estaban basados en observaciones no sistem√°ticas. √Čsta es de las primeras veces que se intenta ver cu√°nto se puede replicar, en qu√© medida y qu√© se relaciona con conseguirlo o no¬Ľ explica el investigador espa√Īol. ¬ęEl problema ser√° si algunos toman este esfuerzo como un argumento para atacar a la psicolog√≠a. Hoy por hoy, la psicolog√≠a es considerada por la poblaci√≥n general como una disciplina no muy cient√≠fica, pese a compartir m√©todos con campos como la medicina. Los problemas de reproducibilidad se presentan en psicolog√≠a, pero tambi√©n en otros campos¬Ľ.

Advertisement

La prioridad es lo novedoso, lo llamativo

¬ŅNos podemos fiar de lo que se publica sobre psicolog√≠a? Como en muchos otros campos de la ciencia, hay que ser cautos. Lo cauto es fiarse de una l√≠nea de trabajo tradicional o de los estudios que integran resultados de otros estudios m√°s peque√Īos. Lo cauto es dudar de los estudios en un √°rea nueva, donde suele ganar el ruido.

¬ę¬ŅNos podemos fiar de la clasificaci√≥n de la Liga tras una o dos jornadas? S√≠, porque est√° bien calculada y los partidos se han jugado y arbitrado de forma limpia. No, porque con solo unos pocos partidos los resultados son muy poco estables, tienen mucho ruido¬Ľ.

Advertisement

Pero lo que suele llegar a la prensa es precisamente el ruido, porque suele ser lo m√°s llamativo.

¬ęImagina que t√ļ juegas un partido de tenis contra Rafa Nadal. Muy posiblemente, solo si t√ļ ganas saldr√° la noticia en prensa. Y una vez que ya has ganado, ¬Ņqui√©n quiere volver a montar un partido entre los dos, cuando ya se ha visto que t√ļ eres mejor? El d√≠a que ganaste (y por azar podr√≠a pasar) ya qued√≥ grabado para siempre, sin margen de correcci√≥n, que t√ļ eres mejor que √©l¬Ľ.

Existe un sistema de incentivos que facilita el error

Uno de los dos grandes problemas es el sistema de incentivos en la investigación:

¬ę¬ŅQu√© va a querer un cient√≠fico, ser el que desarroll√≥ la Teor√≠a A o el que revis√≥ si la Teor√≠a B de otro era o no cierta? ¬ŅY con qu√© proyecto de investigaci√≥n va a tener m√°s f√°cil conseguir financiaci√≥n? ¬ŅO una plaza en un centro de investigaci√≥n?¬Ľ

Advertisement

El otro gran problema son las normas de publicación de las revistas científicas, que premian la novedad y mitigan las réplicas:

¬ęCiertas revistas privilegian publicar resultados sorprendentes. Estos resultados generan m√°s atenci√≥n de acad√©micos, prensa... Por simplificar, diremos que buscan resultados grandes. Todo resultado publicado es igual a Resultado Real + Error. As√≠ que Resultado Publicado grande se puede conseguir gracias a que cualquiera (o los dos) elementos de la ecuaci√≥n sea grandes. ¬ŅC√≥mo saberlo? Replicando¬Ľ.

Pero cuando intentas replicar, no acabas siendo publicado. Las revistas más importantes te pueden decir que esa línea de trabajo no es novedosa y no te aceptan el artículo. Se desconfía de quien encuentra un segundo resultado en contradicción con el primero.

Advertisement

La ciencia debe incorporar la réplica en su rutina

¬ŅQu√© cambios se pueden aplicar en el sistema de publicaciones?, preguntamos.

¬ęVarias ideas:

-Cambiar c√≥mo se presentan los resultados. Dejar de decir ‚ÄúMa√Īana llover√° en Teruel‚ÄĚ para pasar a decir ‚ÄúHay un 80% de probabilidad de que ma√Īana llueva en Teruel‚ÄĚ.

- Admitir que hay variabilidad en los resultados, por necesidad, y que sólo aceptando resultados contradictorios podremos estimar bien la relación real entre variables. Esto implica que las réplicas han de tener cabida en las revistas.

- Comprometerse de antemano a qu√© m√©todo de investigaci√≥n (tama√Īo muestral, variables recogidas, modo de analizar...) vas a emplear, antes de recoger dato alguno. As√≠ no puedes estar hasta llegar a lo que quer√≠as. Imagina que con el ‚Äėm√©todo de la amapola‚Äô quisieras ver si te quiere o no te quiere. Pero, ah, no hay l√≠mite en el n√ļmero de amapolas con las que lo puedes intentar. ¬ŅQu√© conseguir√≠as? Que te quiera.

- Los propios investigadores hemos de aceptar que esta tarea, la de replicar, forma parte de nuestras tareas¬Ľ.

Advertisement

Gracias a Juan Ramón Barrada y al equipo de Rasgo Latente por su ayuda con este artículo.

***

Psst! también puedes seguirnos en Twitter, Facebook o Google+ :)