Evaluación: nuevas reglas, viejos hábitos

En esta entrada comentaremos las nuevas reglas para la evaluación de la investigación en España a la vista de los acuerdos internacionales que se han firmado recientemente tanto por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y la Agencia Estatal de Investigación (AEI).

Las nuevas reglas de evaluación a la luz de la Declaración DORA implican un importante cambio de paradigma. Por ejemplo, el punto 15 del acuerdo sobre el trabajo de un evaluador dice textualmente:

“Cuando participe en comités que toman decisiones sobre financiación, contratación, permanencia o promoción, realice evaluaciones basadas en el contenido científico en lugar de en métricas de publicación.”

Por lo tanto, el evaluador debe examinar el contenido de los artículos publicados por el evaluado, y valorar las aportaciones concretas al desarrollo de la temática en cuestión.

Sin embargo, todavía encontramos en las evaluaciones frases como eta: “Es autor de un número bastante alto de trabajos de investigación en revistas de nivel medio o medio-alto [aquí la disciplina] como por ejemplo [aquí una lista de revistas]”. Es evidente que el evaluador está juzgando ese trabajo usando únicamente el factor de impacto (IF) de las revistas y no por el contenido de los artículos.

De hecho, el punto 2 de DORA insiste en este aspecto:

“Sea explícito sobre los criterios utilizados para evaluar la productividad científica de los solicitantes de fondos de investigación, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.”

El otro acuerdo que nos debería guiar y también reconocido por ANECA (todavía no por la AEI) es la Coalition for Advancing Research Assessment (CoARA), que insiste en las mismas directrices que deben guiar la evaluación:

“La evaluación de la investigación debe basarse principalmente en la evaluación cualitativa, para la que es fundamental la revisión por pares, con el apoyo de indicadores cuantitativos utilizados de forma responsable cuando proceda. La revisión inter pares es el método más sólido que se conoce para evaluar la calidad y tiene la ventaja de que está en manos de la comunidad investigadora. Es importante que los procesos de revisión inter pares estén diseñados para cumplir los principios fundamentales de rigor y transparencia: evaluación por expertos, transparencia, imparcialidad, idoneidad, confidencialidad, integridad y consideraciones éticas, género, igualdad y diversidad.”

Nos consta que hay un movimiento en estas agencias (y también en universidades, agencias evaluadoras regionales y CSIC) para realizar los cambios necesarios, pero los resultados serán los que indiquen que el cambio de paradigma está calando o no en la comunidad científica. Se precisa formar e informar a los potenciales evaluadores de estos cambios, para abandonar los viejos hábitos. Y, sin duda alguna, se necesitará más financiación en las tareas de evaluación, ya que la evaluación por pares requerirá mucho más tiempo de los evaluadores. Esperemos ir viendo los avances en los próximos años.

______________

Manuel de León (CSIC, Fundador del ICMAT, Real Academia de Ciencias, Real Academia Canaria de Ciencias, Real Academia Galega de Ciencias).