la crisis del peer review
El sistema de control de calidad de los artÃculos cientÃficos (peer review, revisión por pares) es una práctica relativamente reciente que se inicia tras la II Guerra Mundial y se generaliza hacia los 70 del siglo pasado. Hay mucha confusión en quienes opinan sobre el rigor en ciencia sin conocer este hecho. Por otra parte, algunos escándalos recientes abren camino a la tesis de que el sistema peer review, pese a sus bondades, más que la solución, es una parte del problema.
Todo indica que parece llegada la hora de un balance que, como se hace en The New Atlantis, tome en cuenta los retos que plantean las nuevas tecnologÃas. Y es que, en efecto, los problemas se han acumulado en los últimos años. Muchas revistas, por ejemplo, exigen que los autores declaren que no hay conflicto de intereses (es decir, connivencia) entre lo que defienden/venden las empresas que financian su investigación y los resultados que obtienen y publican.
También se discute si la identidad de los revisores (referees, árbitros) debe mantenerse en secreto, pues abundan las conductas desviadas de todos los tipos, desde lecturas demasiado superficiales a revisiones que protegen teorÃas/modelos canónicas (o simplemente las del revisor mismo), pasando por el robo de ideas, el retraso injustificado u otros intereses mezquinos de quienes fueron seleccionados para controlar la calidad. Y es que en la ciencia, como en cualquier otra empresa humana, no sólo hay muchos intereses nada obvios, sino que cada dÃa son más los negocios que se basan en un dato publicado (aunque sea falso).
Los hechos son tercos. Hay muchos autores que consiguen colar basura como si fuera ciencia. El caso Hwang adquirió enorme relevancia mediática, pero hay más. El peer review sigue siendo el canon, pero es preciso reconocer que, de ninguna manera, debe hacerse sinónimo de calidad. El peer review no es una religión obligatoria. No sólo no fue capaz de filtrar muchos casos de fraude, sino que también contamos con demasiados ejemplos de artÃculos de mucho impacto que aparecieron sin pasar control alguno como, por ejemplo, el de publicaron Watson y Crick sobre la estructura helicoidal de la molécula de ADN. También se da el caso contrario, artÃculos decisivos que fueron rechazados, como explicó David Shatz en su Peer Review: A Critical Inquiry (2004).
Los más crÃticos niegan la capacidad de este sistema para cumplir su principal función: garantizar la calidad. También hay casos que lo prueban como, por ejemplo, introducir deliberadamente errores que leuego no fueron detectados por los revisores. La situación ha llegado a ser tan critica que los editores de Nature Immunology se quejaban de la dificultad de hacer su trabajo si la prensa insistÃa en convertir los artÃculos sometidos a peer review en sinónimos de verdaderos. En la práctica, muchos reconocen que poco se puede hacer contra los fraudes deliberados, pues los consejos editoriales y los árbitros no están preparados para afrontar con eficacia el vandalismo, la corrupción o el fraude intencionados.
The Cochrane Collaboration y la Royal Society, cada una por su cuenta, han elaborado estudios que, explica Robin Peek, convergen en la dirección de que el sistema necesita un profunda reforma. La preocupación va en aumento, como se explica en, por ejemplo, The Guardian y en BBC. El asunto tiene entidad suficiente como para que The Parliamentary Office of Science and Technology (Londres) elaborara un informe en 2002.
No falta quien afirma que se trata de un sistema que penaliza la innovación y refuerza la autoridad constituida. Y la verdad es que, aunque sea difÃcil generalizar, contamos con pruebas, pues hay textos que fueron publicados por estar avalados por un nombre o institución de prestigio, y que fueron rechazados cuando volvieron a ser remitidos para publicación con la única novedad de haber cambiado el autor por otro desconocido. Algunas revistas han decidido acabar con otro dogma inopinado: mantener secreta la identidad de los revisores y, asÃ, el British Medical Journal decidió hacerlos públicos desde 1999 y promover la práctica del open peer review.
Y es precisamente en este punto en donde se están produciendo las principales novedades. Las nuevas tecnologÃas, especialmente las vinculadas a la llamada Web 2.0, parecen tener la respuesta al problema de la transparencia. Si la veracidad, además de ser expresión de una voluntad de rigor y de una disciplina individual, es también fruto de una práctica social (seminarios de trabajo, evaluación externa, discusiones de grupo,…), entonces cabe esperar profundas mejorar de todas las tecnologÃas que favorecen el trabajo colaborativo, horizontal, descentralizado y público.
Ya hay una revista (Philica) que está experimentando con un modelo de peer review que es transparente (a la vista de todos), dinámico (admite que las opiniones puedan modificarse con el tiempo) y deseditorializado (se publica antes de la revisión). La publicación sin control previo (o, quizás deberÃamos decir, estricto) de calidad podrÃa convertirse en una práctica estándar si se generaliza, como parece probable, el modelo inaugurado para las ciencias fÃsicas por Archiv o, en otros términos, la apertura de repositorios de acceso abierto.
PlosONE, perteneciente al proyecto Public Library of Science (PLOS), aparecerá en noviembre de este año incorporando algunas novedades de interés. Entre ellas que la revisión de los papers continuará después de publicados, pues los lectores podrán insertar comentarios y los autores las réplicas o rectificaciones que consideren oportunas. Asà las novedades que aporta PlosONE al peer review lo van a convertir en un proceso continuo, descorporativizado e interactivo.
En fin que estamos ante la crisis del modelo del peer review para el control de calidad de la literatura cientÃfica. Las primeras sociedades cientÃficas se dotaron en el último tercio del siglo XVII con un secretario, entre cuyas atribuciones estuvo la de seleccionar los textos para los proceedings. La figura del secretario de actas fue reemplazada siglo y medio más tarde por un consejo editorial (editorial board) cuando lo impuso el creciente proceso de especialización. Y asà llegamos hasta mediados del siglo XX cuando se generalizó la práctica del peer review. Pero hoy podrÃamos estar asistiendo al fin de una época que sustituirÃa el régimen del anonimato meritocrático por el de la transparencia interactiva.
Si te gustó esta entrada anÃmate a escribir un comentario o suscribirte al feed y obtener los artÃculos futuros en tu lector de feeds.
Comentarios
A mí me parece que es el propio sistema de revistas el que va a trasformarse. En mi visión, la gente publicará en algo semejante a los actuales "Arxiv", en los que se podrán adosar libremente comentarios y sugirán una especie de nuevas "revistas" de carácter bibliométrico (tipo ISI) que, basándose en datos objetivos de citas e incluso de lectura "online" seleccionarán una serie de vínculos a las aportaciones más relevantes. Quizás eso suponga el fin de los amiguetes influyentes y los grandes popes. Endeble ciencia española, ponte a temblar!
A mí no me gustan las revoluciones. Ahora bien, me parece buena idea que revisores y revisiones sean públicos ("open peer review"). Eso impediría revisiones arbitrarias por conflictos de intereses y, además, reconocería las contribuciones que a menudo aportan los propios revisores.
En definitiva, la información sobre el proceso debe ser pública pero el proceso en sí, no.
Y, ya que estamos, debería hacerse igual con procesos de adjudicación de plazas, proyectos, etc. Parece que lo del currículum único va por ahí.
Quisiera puntualizar que, al menos en el caso de Astrofísica en arxiv, denominado astro-ph (http://es.arxiv.org/archive/astro-ph), en general se suele depositar el artículo cuando ha sido aceptado por una revista bajo sistema peer review. En muy pocas ocasiones se envia antes y en general no suelen ser trabajos que se referencien en la literatura. Se espera hasta que es aceptado. De hecho, las contribuciones o congresos, que no suelen tener control de peer review, se depositan también en astro-ph, pero no suelen citarse.
EDUARDO, LOS NOMBRE Y LAS ACTAS DE LOS TRIBUNALES SON DE ACCESO PÚBLICO.
NO ES ESE EL PROBLEMA, SINO, LA FALTA DE CULTURA CÍVICA PARA ORGANIZAR LA PRESIÓN SOCIAL EN FAVOR DEL RIGOR Y DE LA EXCELENCIA.
NO OLVIDES EL PAPELÓN DE LOS SINDICATOS DE LAS UNIVERSIDADES, EN EL REPARTO DE LOS EMPLEOS PÚBLICOS Y SU DENODADA LUCHA POR LA MEDIOCRIDAD Y POR LA PAZ DE LOS RECTORES.
Lo que propones, parece el camino inevitable a seguir por la ciencia si aspira a mantener el papel que hasta ahora ha tenido en la sociedad occidental y, renuncia y denuncia la dirección en la que vamos, que conduce a la ciencia a ser una simple externalidad de las mutlinacines.
Lo que pedimos es un suicidio, como el de las cortes franquistas, de los mandarines del sistema de ciencia, pues sólo desde dentro puede hacerse una transición pacífica.
Veremos si su sentido aristocrático prefiere la vía de la democracia, en defensa de una meritocracia en pos del bien común o, de la tiranía, de la apropiación del saber y su progresiva paralización.
Cambiar para mantener el proyecto ilustrado de la ciencia o, la permanencia de sus privilegios a cambio de la destrucción del proyecto de un progreso reflexivo.
Me parece une excelente debate el que mantenéis. Como recién aterrizado me gustaría incluir un nuevo elemento en la discusión: el tiempo. Quizá el problema de la publicación cientifica tenga que ver también con que los períodos habituales son excesivos. Necesitamos revisión por pares, transparencia y… rapidez. De nada sirve asegurar una buena revisión si el mundo allá fuera se mueve más deprisa.
Un saludo,
Julen
Me parece una excelente idea la publicaciòn previa sin peer review y que los comentarios abiertos y transparentes sean los que apoyen o destruyan a la validez objetiva de la publicaciòn. De esta manera se evitan todos los vicios descritos y fundamentalmente el robo de ideas que solo puede hacerse con un sistema que trabaja en las sombras.Una vez publicada una buena idea no se puede mentir el origen.Un evaluador inmoral puede facilmente robar una nueva idea.Se debe aplicar la falsacion popperiana a la calidad de lo descrito, sin trabas ni elites que supuestamente tienen màs derecho a opinar que otros. Si es bueno sobrevevirà a la critica "aun de aquellos que no son expertos cientificos".No se debe temer a la critica si la idea es buena.Se debe evitar mediante este sistema el vicio de muchos poderosos que toman la idea al vuelo y como les gusta dicen que el trabajo no es publicable pero lo "reescriben" a su nombre. Como cuentan con el poder del sistema entonces tienen exito en el logro de subsidios becarios etc. Sin citar el origen obtienen una renovacion en programas viejos o esclerosados (Lakatos).Esto desanima mucho a los jòvenes.Un joven a veces solo tiene como patrimonio una buena idea y si se la roban le roban parte de su vida.El sistema puede ser muy cruel al respecto.
Con todos sus defectos me parece que la labor del peer-review es fundamental. Yo he sufrido muy a menudo a referees que se negaban a publicar mis articulos por la simple razon de que decia algunas cosas que iban en contra de lo que ellos habian dicho con anterioridad. Esto es un inconveniente grande, y la verdad es que uno se coge unos mosqueos importantes, pero tiene solucion: hablar con el editor y explicarle la situacion, se pide una segunda opinion, se manda a otra revista, etc. Todos estos problemas es el precio que hay que pagar para filtrar la porqueria. Os imaginais la gente publicando articulos que niegen la evolucion ? Pues si no hay peer-review habria muchos ! Solo mirad la encuestas en los EEUU y el Reino Unido sobre gente que la niega ! Al final la verdad quedaria ensombrecida por aquello que se repite mucho a pesar de ser erroneo. Otro ejemplo ? Mirad los videos de youtube sobre el tipo que sostiene que la tierra se esta expandiendo y que la tectonica de placas es erronea. La gente se cree esas cosas ! La unica forma de defendernos de ellos es el proceso peer-review. Es molesto a menudo, pero si lo que dices es verdad o razonable al final se termina publicando.
Interesante entrada. Ayer he recibido una carta de rechazo de una revista nacional respecto de un artículo que, aunque no es lo mejor que he escrito en mi vida, no es tan malo como lo pinta uno de los revisores.
Lo desalentador es que sospecho que ese revisor es un viejo conocido de los congresos al que no le caigo muy bien precisamente. Lo triste es que probablemente le mueve la envidia de ver como otros hemos publicado en revistas más potentes con pocos medios mientras él, que trabaja en un laboratorio más dotado, no pasa de publicar en las revistas nacionales afines.
Se preguntarán: ¿Y cómo sabes que es él? Muy fácil. Trabaja al lado de la editora que gestionó el proceso y es de los pocos miembros de esa revista que pueden revisar ese tipo de material. Lo bueno de las revistas internacionales es que el conflicto de intereses no se contamina por nuestro gran pecado patrio.
Saludos
Redalyc, pone a disposición de los usuarios más de 119805 artículos a texto completo, los cuales podrá leer, criticar y analizar. http://redalyc.uaemex.mx/
Bien Antonio, aunque me lo has pisado, enhora buena por el artículo. Espero sacar tiempo para decirte quien fue el Héroe al que se le ocurró PlosOne. Ya tenía la nota medio preparada. Para mí lo es (un héreoe). EE.UU. Nos pega una paliza en estas cosas a los Europeos, que somos bastante timoratos. Inluso hay al menos una Medalla Fileds (Nobel de Matemáticas), que lo fue antes de que le aceptaran el articulo en trocecientas revistas que le acusaron de "demenciao". Te recomiendo que leas la Anatomía del Fraude Científico, de la que tanto he hablado en algunos post últimamente. Justamente en el capítulo final dice quien se empeñó en el modelo que ahora utiliza PlosONe. Lo cita explícitamente. Cuando saló el libro aun no lo había logrado. Nos peso o no es casi todo el establisment gubernamental de USA quien se ha puesto manos a la obra de derribar el sistema. Y que conste que nunca he sido pro yanki. Y para los que piensen mal tengo todos los sexenios y casi 4o papers. Pero lo que he visto y tenido que soportar no tiene nombre. Sino que s elo pregunten a Pataroyo, Lyn Margulis, etc. Y hablar del caso Sokal no vendría mal.
Felicidades de nuevo. Yo no tengo duda: una gran noticia.