La perversión de la cantidad y la bondad de la calidad

En estos últimos años se están produciendo importantes cambios en la evaluación de la investigación acompañados de otros no menos relevantes en la industria de las publicaciones científicas. Esta entrada es una primera reflexión sobre estos cambios.

Hasta no hace tanto (e incluso ahora) la calidad de la investigación (y me voy a referir fundamentalmente a la de mi disciplina, las matemáticas) descansaba en el valor de los resultados obtenidos avalados por la publicación en alguna sde las revistas que la comunidad consideraba como las mejores del campo. La calidad de la revista dependía de sus editores y los evaluadores que estos utlizaban, pero en una realimentación natural, la publicación de grandes resultados redundaba en el prestigio de la revista en cuestión.

Pero llegó la bibliometría, y todo lo que era fundamentalmente cualitativo pasó a ser también cuantitativo, y este último aspecto es el que comenzó a primar. El FI (Factor de Impacto) de la revista indica indirectamente el impacto esperado del artículo, aunque una revista con un FI alto no garantiza que eso sea así ni un FI bajo implica que ese artículo no será citado. La perversión se acentuó cuando se comenzaron a usar los cuartiles (Q1 a Q4), y más todavía, los deciles, con el Q1 y el primer decil como decisivos símbolos de la excelencia. Hemos visto en España una y otra vez el abuso en las convocatorias, muy especialmente por el propio Ministerio de Ciencia (en sus diferentes avatares).

Y en 2005, Jorge Hirsch creó el índice h, es decir, el número de artículos cuyas citas son h o mayores que h, como un indicador de calidad (sólo los investigadores más brillantes llegan a conseguir un número h elevado). La pregunta es obvia: pero, ¿dónde quedan los resultados contenidos en el artículo en cuestión?

La comunidad científica reacciona rápido, y si lo que queréis son citas para que podamos conseguir los recursos que se necesitan para desarrollar la investigación, nos dedicamos a publicar más y a ser más agresivos en las citas que podíamos conseguir.

¿Y qué ha ocurrido con las grandes compañías editoriales? La publicación científica es un negocio muy rentable, así que de lo que strataba era de conseguir publicar revistas con el mayor FI posible para hacerlas más atractivas  a los investigadores. Si pongo un artículo en abiertro este sin duda será más leído y eventualmente citado. Pero también podemos aumentar el número de editores de manaera exponencial, publicar números temáticos de la revista en cuestión, publicar artículos de revisión, acelerar el proceso de referato enviando el artículo a varios revisores a la vez y dánoles solo unos días para responder. Y este modelo ha funcionado, y esas revistas han conseguido unos FI cada vez más altos. Pero no demonicemos a estas revistas, el mercado ha reaccionado como era previsible.

Ahora estamos todos hablando del Open Access, de revistas transformativas, de acuerdos comerciales de las grandes instituciones con las grandes compañías  editoriales para pagar directamente el coste del OA (en España, CSIC y la CRUE).  Y a la vez, de evaluar siguiendo las directrices del Manifiesto de Leiden y la Declaración sobre Evaluación de la Investigación (DORA) de San Francisco, y dejar de tener en cuenta el FI. Pero no debemos olvidar como se ha llegado a esta situación.

Probablemente las instituciones financiadoras tenían un objetivo loable, el de la objetividad en sus decisiones (y los mismo ocurre con universidades y centros de investigación en la contratción de nuevos miembros o en su promoción)., pero ya sabemos que el infierno está empedrado de buenas intenciones. Por su parte, las editoriales son un negocio, y su objetivo final es obtener beneficios, porque en caso contrario, cerrarán. Así que nos esperan años interesantes, en los que la comunidad científica debe estar muy atenta, porque el objetivo de la ciencia no es hacer dinero y si contribuir al conocimiento y al bienestar social.

_______

Manuel de León (CSIC, Fundador del ICMAT, Real Academia de Ciencias, Real Academia Canaria de Ciencias, Real Academia Galega de Ciencias).