open peer review y la cultura de la competición
Hace unos días Nature publicaba un editorial (Peerreview and fraud) sobre la espinosa relación entre peer review y fraude científico. La revista, en una iniciativa conjuntacon Science, recomendaba que los papers previsiblemente polémicos por el alcance desus conclusiones en áreas de mucho impacto mediático (salud pública o cambioclimático), fueran sometidos a un escrutinio adicional, ya que “hubo casos de fraude que superaron elproceso de arbitraje (refereeing) y quetiene mucha importancia la confianza pública en la ciencia”.
Las nuevas medidas que se aplicarán a los mencionados artículosobligarán a revisar más cuidadosamente su fundamento empírico (datos brutos) yla participación efectiva en la redacción de cada uno de los autores firmantes.Así, no sólo se sostiene la inquietud por la credibilidad del sistema decontrol de calidad de las publicaciones, sino que también deja de ser genérica.En esta ocasión se identifican dos problemas históricos dela práctica científica (la verificabilidad de los datos y la autoría de lasideas) que, con independencia de las cuestiones éticas y jurídicas que siemprehan suscitado, ya pueden solucionarse conla ayuda de las nuevas tecnologías (características de la ciencia2.0) si se abren las API que danacceso a las bases de datos y se extiende el uso de herramientas que conserven elregistro histórico de todas las modificaciones.
Y es que, en efecto, la eficacia de los protocolos decontrol de calidad, es una de las piezas que aseguran la fiabilidad (de losvalores y de los intercambios) en los que se basa la nueva sociedad (y no sólo economía) delconocimiento.Ya hemos tratado este asunto en varias ocasiones. El mundoque habitamos es demasiado complejo y sus habitantes estamos asistiendo a unaproliferación de experimentos globales, realizados en tiempo real, que puedenincidir/alterar significativamente las condiciones de vida en el planeta.Todos somos ya conejillos de Indias y todos tenemos el derecho a tenerinformación de calidad para poder formarnos un criterio informado. Y, desde luego, a participar.
Lafiabilidad de las publicaciones científicas es un asunto que desborda (al igualque muchos de los experimentos que se están haciendo) las paredes dellaboratorio y que, además de ser un problema académico, es también un asunto demucha enjundia política. Tanta, que las polémicas sobre cómo salir de la crisisdel peer review, nos afectan a todos.Por eso suscitó tanto interés el experimentode open peer review desarrollado porNature en los últimos meses. Para llevarlo a cabo se ofreció a los autoresla posibilidad de que sus textos (una vez admitidos para revisión) fueransubidos a la red y, como se hace en la wikipedia, expuestos al comentario crítico de los lectores.
Nature quería averiguar cuál de los dos métodos(el tradicional y el open) era más eficaz. Los resultados, losconocimos vía Golem, han sido frustrantes para quienes tanto esperábamos deestas nuevas formas de crear autoridad en ciencia. Naturerecibe para publicar unos 10.000 textos al año. Los editores hacen el primerfiltrado y rechazan (sin mayor revisión) alrededor del 60%. El 40% restante esrevisado por dos o tres árbitros (pares) que ayudan a los editores a decidir tras emitirsus informes expertos. Al final sólo sepublica el 7% de lo que les llega.
Durante el período que duró la prueba(1/06/06-30/09/06) Nature recibió 1369 papers, pero sólo el 5% (71) aceptaronque se les aplicara el proceso de revisión abierta (open peer review). De los71 artículos (venidos de 15 áreas distintas del saber), 33 no recibieroncomentario alguno. Los 38 restantes tuvieron 92 comentarios, pero distribuidosmuy desigualmente, pues hubo 8 artículos que se quedaron con 49. Lo peor, no obstante, es que sólo 4comentarios merecieron la calificación de técnicamente relevantes.
La decisión de Nature ha sido suspender elexperimento y anunciar otros ensayos en la dirección de permitir que los artículosreciban comentarios una vez ya publicados.Quienesadvertían que sólo bajo el anonimato se puede hacer una verdadera crítica nocreo que puedan estar contentos, aunque sólo sea por las cuestiones que quedanabiertas. La primera tiene que ver con laparadoja de que se trataba de una idea muy popular entre los científicos que,sin embargo, no ha producido el resultado esperado. La segunda tiene que vercon esa raquítica cifra (4) de comentarios significativos.
Está claro que hacerde revisor es un trabajo ingrato que además requiere tiempo, pero no es fácil entender las razones por las que los científicos han decididodesertar masivamente de una iniciativa pensada para hacer más público sucompromiso con el rigor y más igualitaria la distribución de responsabilidadesen la llamada República de los sabios. Muchos, ver plannedobsolescente, piensan que Nature no hizo lo suficiente.
Haymotivos para la perplejidad y también para la desazón. La propia Nature, comose resalta en arstechnica, insinúa que no hay que descartar la influencia de dos factoresnegativos.El primero tiene que ver conlas tensiones introducidas, especialmente en biomedicina, por las leyes de propiedadintelectual. Y el segundo alude al hecho de que cualquier comentador alintroducir una observación podría estar dando pistas a otros sobre su investigación.Ambos problemas están enfatizando el régimende abierta competencia que se da en ciencia. Y, subliminalmente, invitando areflexionar sobre un hecho clave: el fracaso del experimento tiene que ver conla hegemonía de las estrategias competitivas sobre las colaborativas.
Si te gustó esta entrada anímate a escribir un comentario o suscribirte al feed y obtener los artículos futuros en tu lector de feeds.
Comentarios
Yo insistiría en el problema del tiempo y en la valoración del coste/beneficio. Creo que en general el cientifico es moderadamente altruista y se presta a hacer de "referee" si le toca, pero otra cosa es que esté dispuesto a detraer tiempo propio para ponerse a comentar en un blog, por muy de Nature que sea. Que cada uno eche cuentas a nivel personal. Las mías son que he enviado una revisión de un artículo el 31 de diciembre, después de invertir cinco días a tiempo completo en leer, analizar, revisar técnicas, bibliografía… Y eso que era bueno, porque si hay que echarlo para atrás hay que argumentar con más solidez (= más tiempo).
Suponiendo que no estuviera por encima de mi umbral de incompetencia, participar en el blog de Nature sería una inversión de tiempo que no me puedo permitir. Y sospecho que casi todo el mundo que trabaje estaría en la misma situación.
Luego, en el otro lado, estaría el asunto de porqué el 95% de los autores rechazó el nuevo procedimiento. La razón más evidente es la suposición de que el proceso de exposición pública no iba a aportar nada interesante. Escasa fe, por tanto, en el método. ¿A quién preguntó Nature para suponer que había entusiasmo ante la nueva iniciativa? Parece que a los autores no.
Antonio,
A mi particularmente no me extraña nada en absoluto. Yo no he detectado ni en España ni el extranjero (salvo en algunas especialidades, como la Astronomía o la física de partículas) ningun interés por la actividad en internet de las redes sociales o las nuevas tecnologías. En el mundo hay estimados unos 50.000-70.000 científicos en mi campo. ¿Como es posible que mi weblog sea la única que he detectado sobre el tema en inglés o en castellano?. Bueno mi amigo Régulo León acaba de abrir una.
Tampoco he detectado interés (más bien desprecio) por las revistas en Open Access en España, por parte de la comunidad científica.
Muchos investigadores envian los papers a las revistas donde en el comité editorial hay personas que les conocen y les "van a tratar bien". Mil ojos ven mejor que 4 así que (….)
La Comunidad científica en sus prácticas es muy conservadora. Eso si sabe desde hace mucho. Del mismo modo la labor editorial es agotadora y ya casi nadie quiere hacerla. Insisto de que es muy frecuente que los jefes se las pasen a los estudiantes y cada vez hay que escuchar más disparates de los referees.
A mi esto me da pena, lo que pasa es que la autocrítica es muy difícil y la comunidad científica no desea que se la critique desde fuera. Lamentable, efectivamente. Pero las autoridades tendrán, tarde o temprano, que tomar cartas en el asunto.
Saludos
Juanjo Ibáñez
No parece que esté claro q se ganaba participando en la evaluacíón de Nature. Nadie, ni los más buenos buenísmos, se mueven por nada.
Pongamos estímulos adecuados, no sólo económicos, y veremos que pasa. Quien ha fracasado es Nature, no el open peer review.
Yo apoyo las opiniones "realistas" de comentarios anteriores. El factor tiempo (la propia Nature lo reconoce), el conservadurismo… Con perdón, porque no lo soy, pero los científicos no son ángeles. Quieren propagar sus ideas y obtener por ello su recompensa, no combaten por la democracia y la libertad, hablando en general. Hágase sociología de la ciencia para ver lo que pasa.
Realistas? Entiendo lo que se intenta decir; Luis y Ruiz, parecen estar afirmando algo parecido a lo que también se insinúa en el comentario de "curioso", aquello de que la realidad es frustrante. Pero a mi me gustaría explorar otra perspectiva, pues estos pesimismos (antes que realismos) están muy contagiados por una visión demasiado corporativa de la ciencia. Me explico.
En general, hay demasiados científicos que hablan como si la ciencia les perteneciera, como si tuvieran la exclusiva. En este caso, vienen a decir algo parecido a que si se nos pide publicar/patentar para qué perder el tiempo en comentar/colaborar. O, en otros términos, si no cambia la ciencia no hay nada que hacer.
El argumento que aquí se presenta no quiere ignorar a los científicos, pero tampoco convertirlos en sus únicos destinatarios. En la ciencia, los científicos son actores decisivos pero no agentes exclusivos. Hay al menos tres buenos motivos para que los ciudadanos quieran que las cosas se hagan mejor y, sobre todo, más transparentes:
a) porque hay muchas decisiones en políticas alimentarias, sanitarias, medioambientales o energéticas que nos afectan a todos y sobre las que no es raro que algunos quieran formarse una opinión autorizada y participar en la discusión sobre los hechos que son relevantes y sobre lo que prueban.
b) porque no favorece la creatividad y la innovación la existencia de rígidas estructuras de decisión/evaluación que favorecen mandarinatos.
c) poque conseguir mayores cuotas de transparencia en ciencia abre el camino de la apertura en otras instituciones públicas, como lel sistema judicial o el sistema de patentes.
Me da un montón de ideas tu reflexión, Antonio. He escrito un post con algunas de ellas, pero quizá debamos revisar más a fondo cómo generar "participación" en un proceso de revisión por pares. Me parece que hay mucho que trabajar para cambiar el modelo imperante.
Un saludo,
Julen