La excelencia Científica y la Publicación de Artículos de Investigación: Entre la meritocracia, el rigor, el politiqueo y la serendipia.
Meritocracia Científica
En 2010 envié un artículo a una revista denominada Applied Soil Ecology, siendo rechazado 18 meses después tras múltiples modificaciones y un sinfín de críticas. Los coautores me comentaron remitirlo a una revista de menor impacto. Sin embargo como ya entiendo de que va todo este asunto, le di una parada hacia arriba, que no hacia abajo, por lo que pase a considerar una revista de mucho mayor impacto, es decir Applied Ecology. En 10 días fue aceptado con todo tipo de parabienes. ¿era tan malo o era buenísimo”? ¡A saber!
El día Siete de Julio de 2017 Simine Vazire, profesora de psicología en la Universidad de Davis (California), envió una atrevida y valiente carta a la famosa revista Nature, poniendo en tela de juicio, todos los vicios y chanchulleos existentes en el mundillo científico acerca de la diseminación de resultados, premios, concesión de subvenciones etc. Breve, concisa y rotunda. Abajo os la traduzco, eliminando el texto original en inglés que, de cualquier modo, se encuentra en acceso abierto, por lo que podéis y leerlo pinchando sobre el título: Our obsession with eminence warps research (Nuestra obsesión por la eminencia/excelencia deforma la investigación científica).
Hoy no voy a repetirme, ya que en nuestra categoría Fraude y mala praxis científica), hemos hablado del asunto hasta la saciedad. Simplemente os ruego que comparéis mis argumentaciones, con las de Simine, incluidas nuestras múltiples referencias a la ley o “Efecto San Mateo”. ¿Qué hubiera ocurrido de enviar yo la carta a Nature?. Con toda seguridad rechazo rápido y sin comentarios. Ni soy un resentido, ni un científico frustrado, he publicado muchos papers. No es ese el problema. Lo que me hastía son esos colegas que defienden que la ciencia es objetividad pura y van paseando sus flácidos cuerpos cubiertos de una Sotana Blanca. Hablamos de los hipócritas que piensan que son ¡Sacerdotes de la Ciencia!. ¡Amen!. Digamos a los ciudadanos lo que ocurre. ¡Basta ya de tanta arrogancia y autocomplacencia. Vivimos en una comunidad tan turbia como cualquier otra.
Os dejo sin más dilaciones con la traducción de la carta de 2017 Simine Vazire.
Juan José Ibáñez
Continua……..
Our obsession with eminence warps research
Many decisions about whose work is recognized are at least partially arbitrary, and we should acknowledge that, Nature | Column: World View
04 July 2017
Nuestra obsesión por la eminencia/excelencia deforma la investigación científica. Muchas decisiones sobre el reconocimiento de la calidad de un trabajo son e reconoce son al menos parcialmente arbitrarias, y debemos reconocerlo, admite Simine Vazire1.
Podemos cuantificar exactamente cuánto más rápido es Usain Bolt que el siguiente velocista más veloz. Es mucho más difícil decir quién es el mejor científico, y mucho menos cuánto mejor es que el que le sigue. Decidir quién merece reconocimiento es, al menos en parte, cuestión de juicio, de criterios personales.
En mis días optimistas, puedo llegarme a creer que, a pesar de todo este ruido, todavía detectamos señales fiables es decir: que en gran parte logramos publicar, financiar y contratar a las personas que hacen mejor investigación. Como editor, revisor de pares y revisor de subvenciones, he pasado horas haciendo elecciones consecuentes sobre el trabajo de los demás. Desmoraliza pensar que hubiera dado igual que tirar una moneda al aire.
En mis días más pesimistas, me preocupa que los científicos tengan demasiada fe en nuestras habilidades para distinguir a los verdaderamente excelentes de los que no lo son. Con harta frecuencia, asumimos que los investigadores que captan más financiación, premios, publicaciones, citaciones recibidas, etc., deben ser mejores que el resto. La eminencia, a la que me refiero, como prestigio alcanzado por un logro en su investigación, posición o premio específico, recibe mucho más peso/relevancia de la que merece. (is given much more weight than it should be)
Yo no niego que la mayoría de los científicos considerados eminentes son muy buenos en lo que hacen. Pero creo que es igualmente cierto para decenas de miles de científicos que trabajan en la oscuridad también pueden serlo aunque no se les reconozca. La ciencia es difícil e importante, y debemos apreciar a las personas que lo hacen bien. Pero concentrarse en el reconocimiento entre unos pocos no está justificado, pudiendo dañar la ciencia.
Para que la eminencia sea válida, los juicios de excelencia deben ser precisos, meditados, empero resulta que la excelencia es muy difícil de juzgar (véase go.nature.com/2qalo2l). Se producen a menudo demasiados y agrios desacuerdos acerca de qué manuscritos deben ser aceptados para publicar, a quienes se debe financiar, o a qué candidatos a contratar. Como editora de una revista, una vez manejé un artículo al que todos los revisores juzgaron indigno de publicación ya que carecía de novedad alguna. Pensé que era científicamente sólido y lo publiqué de todos modos. Para mi sorpresa, ese artículo (paper) recibió más atención que casi todos los demás de esa revista. Fue cubierto/referenciado en decenas de artículos, y notas de prensa, descargándose miles de veces en seis meses.
Scientists are human, and thus susceptible to biases. One of the most powerful is status bias. Here, recognition is awarded partly on the basis of past recognition (so a scientist is more likely to get a publication accepted if he or she has a track record of good publications). This is essentially the ‘rich get richer’ phenomenon, or ‘Matthew effect’, described nearly half a century ago by the sociologist of science Robert Merton (R. Merton Science 159, 56–63; 1968).
El hecho es que discernir un trabajo de mala calidad de otro sólido es mucho más sencillo que distinguir sí un estudio resulta ser un 5% más excelente que otro, lo que a menudo marca la diferencia entre decisiones favorables y desfavorables con vistas a la publicación o rechazo. Dadas estas dificultades, las decisiones sobre quién es recompensado no pueden llegar a medirse tan solo en base a su supuesta calidad. Entonces, ¿qué más los impulsa?
Los científicos son humanos y, por lo tanto, susceptibles de padecer diversos tipos de sesgos. Uno de los más poderosos es el sesgo del status. Aquí, el reconocimiento se otorga en parte sobre la base del reconocimiento o prestigio del científico en el pasado (por lo que a un científico es más probable que le acepten un artículo si previamente atesora un historial de buenas publicaciones). Esto es esencialmente el fenómeno de los «los ricos serán más ricos más ricos y los pobres más podres», conocido como el «efecto e San Mateo», descrito hace casi medio siglo por el sociólogo de la ciencia Robert Merton (R. Merton Science 159, 56-63, 1968).
Cuando la pasada eminencia engendra que todo lo que haga un investigador sea excelente, el ruido en el sistema se amplifica. Hay un elemento de suerte/fortuna en la mayoría de aquellos que terminan alcanzando un mayor éxito, y esa suerte se construirá sobre sí misma.
Incluso si el sesgo del status no existiera, otros sesgos personales entran en juego a la hora de tomar decisiones. Cuando no hay una base objetiva para elegir a un candidato más calificado sobre los demás, las personas naturalmente recurren a sus preferencias subjetivas. Un comité de selección podría, consciente o inconscientemente, favorecer ciertos temas de investigación, grupos de personas e incluso individuos. A partir de ahí, los éxitos pasados aumentan la posibilidad de premios futuros. Y así se fomentan las desigualdades.
Favorecer a los científicos de élite cuando se evalúan trabajos y propuestas es como dar a Usain Bolt una ventaja de 10 metros en su próxima carrera porque ganó sus últimas cinco. Tal modo de proceder incentiva a los científicos a presentarse a sí mismos y sus resultados grandilocuentemente, evitar la transparencia y a desviar la crítica. Estas tendencias contribuyen a los problemas de reproducibilidad de los resultados científicos.
«Favorecer a los científicos de élite es como darle a Usain Bolt una ventaja de 10 metros en su próxima carrera».
¿Cuál es la solución? No podemos eliminar el prestigio. Una cura parcial estribaría en admitir humilde y anticipadamente que los juicios acerca de la eminencia o valor son a menudo subjetivos. A partir de ahí, podemos pasar a una tarea más difícil: en lugar de depender de heurísticas como el prestigio de una universidad, o el reconocimiento previo de un investigador, leamos el trabajo de la gente y evaluemos cada estudio o propuesta sobre sus propios méritos.
Un truco que uso para intentar evitar el sesgo de estatus es mantenerme ciego a las identidades de los autores mientras pueda – una estrategia que muchas revistas en psicología social y de la personalidad también han adoptado. Una vez intentado, me di cuenta de cuantas veces había estado utilizando las identidades de los autores como un atajo. La evaluación de la investigación sin esta información -sabiendo que podría estar criticando duramente el trabajo de una persona famosa- es estresante. Pero estoy convencida de que es la mejor manera de evaluar la ciencia.
Siempre que sea posible, la comunidad científica debe buscar maneras de recompensar los trabajos que lo merecen en base a distinciones sólidas y amplias, evitando conjeturas meticulosas a cerca de quien podría ser el mejor de los mejores. De hecho, un par de investigadores biomédicos han propuesto que los revisores de subvenciones (financiaciones de proyectos, etc.) deben esforzarse por identificar sólo el 20% de las mejores propuestas, aceptándose finalmente entre ellas las seleccionadas por sorteo o por la lotería (F. C. Fang and A. Casadevall Science 352, 158; 2016).
Eliminating status bias completely might be impossible, but I recommend that everyone tries. Let’s focus less on eminence and more on its less glamorous cousin, rigour.
Erradicar por completo el sesgo del status podría ser imposible, pero recomiendo que todo el mundo lo intente. Concentrémonos menos en la eminencia y en lo glamoroso, más en el rigor.
Publicado en el:
Journal name: Nature Volume: 547, Pages: 7. Date published: (06 July 2017); DOI:doi:10.1038/547007a
Article tools
Related stories