Un equipo de 270 cient√≠ficos de todas partes del mundo ha intentado reproducir los resultados de cien art√≠culos de psicolog√≠a experimental. Hab√≠an sido publicados en las mejores revistas cient√≠ficas. S√≥lo consiguieron validar un 39% del total. ¬ŅSignifica que m√°s de la mitad de los estudios son fraudes? Las conclusiones van m√°s all√°.

El motivo por el que los art√≠culos cient√≠ficos son un tocho imposible de leer para el com√ļn de los mortales es que, bueno, son cient√≠ficos: tienes que ofrecer todos los detalles de las muestras y de los ensayos, y hacer un an√°lisis minucioso y objetivo de manera que otros cient√≠ficos puedan reproducirlos. El problema es que probablemente nadie intentar√° repetir tu investigaci√≥n, as√≠ que la mayor√≠a de los resultados que vemos publicados est√°n sin comprobar. El 95% de ellos en el caso de la psicolog√≠a experimental.

Advertisement

Brian Nosek, profesor de psicolog√≠a de la Universidad de Virginia, ha puesto en marcha un proyecto colectivo para afrontar el problema: Reproducibility Project. 270 autores de psicolog√≠a internacionales: 140 estadounidenses, 45 neerlandeses, 27 alemanes, 17 ingleses, 8 canadienses, 5 suecos, 5 belgas, 4 italianos, 4 hongkoneses, 3 escoceses, 3 austr√≠acos, 2 espa√Īoles, 2 serbios, 2 australianos, un uruguayo, un paraguayo y un israel√≠... Todos comprobando la reproducibilidad de cien estudios relevantes. Y fallando sesenta y un veces.

A pesar de que contaban con la colaboración de los autores originales y de que respetaron todos los procedimientos descritos en los artículos de referencia, en algunos casos llegaron incluso a la conclusión contraria a la original. Sólo hallaron una correlación significativa en un 39% de las réplicas; en otras palabras: sólo fueron capaces de reproducir 39 estudios. Es más: de entre esos 39 casos, en 32 ocasiones no consiguieron llegar a unos resultados tan concluyentes como los estudios originales.

Advertisement

Desde Reproducibility Project no acusan a los autores originales, sino al sistema:

¬ęLos cient√≠ficos reciben m√°s incentivos por la novedad que por la reproducibilidad. La innovaci√≥n es el motor del descubrimiento y es vital para una empresa cient√≠fica productiva y eficaz. Sin embargo, las ideas innovadoras r√°pidamente se convierten en noticias obsoletas. Los editores y revisores de las revistas cient√≠ficas suelen desechar nuevas pruebas de una idea ya publicada por ser poco original. La afirmaci√≥n ‚Äúya lo sab√≠amos‚ÄĚ contradice a la incertidumbre de la evidencia cient√≠fica. La innovaci√≥n descubre caminos que son posibles; la r√©plica descubre caminos que son probables; el progreso depende de ambas. Este proyecto proporciona nuevas evidencias a muchos hallazgos en la investigaci√≥n psicol√≥gica y sugiere que hay mucho trabajo por hacer a√ļn para verificar que sabemos lo que creemos que sabemos¬Ľ

Volviendo a la pregunta que nos hac√≠amos al principio: ¬Ņson un fraude la mitad de los estudios cient√≠ficos sobre psicolog√≠a? No necesariamente, pero tampoco era el objetivo descubrirlo. Lo que Reproducibility Project pone en evidencia es que el sistema no est√° funcionando si los art√≠culos se escriben para que puedan replicarse y luego nadie se acuerda de hacerlo.

Advertisement

[Science vía El País]

Actualización (28/08/2015): con ayuda, hemos analizado el estudio en otro post.

Advertisement

***

Psst! también puedes seguirnos en Twitter, Facebook o Google+ :)