Evaluación: nuevas reglas, viejos hábitos
En esta entrada comentaremos las nuevas reglas para la evaluación de la investigación en España a la vista de los acuerdos internacionales que se han firmado recientemente tanto por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y la Agencia Estatal de Investigación (AEI).
Las nuevas reglas de evaluación a la luz de la Declaración DORA implican un importante cambio de paradigma. Por ejemplo, el punto 15 del acuerdo sobre el trabajo de un evaluador dice textualmente:
“Cuando participe en comités que toman decisiones sobre financiación, contratación, permanencia o promoción, realice evaluaciones basadas en el contenido científico en lugar de en métricas de publicación.”
Por lo tanto, el evaluador debe examinar el contenido de los artículos publicados por el evaluado, y valorar las aportaciones concretas al desarrollo de la temática en cuestión.
Sin embargo, todavía encontramos en las evaluaciones frases como eta: “Es autor de un número bastante alto de trabajos de investigación en revistas de nivel medio o medio-alto [aquí la disciplina] como por ejemplo [aquí una lista de revistas]”. Es evidente que el evaluador está juzgando ese trabajo usando únicamente el factor de impacto (IF) de las revistas y no por el contenido de los artículos.
De hecho, el punto 2 de DORA insiste en este aspecto:
“Sea explícito sobre los criterios utilizados para evaluar la productividad científica de los solicitantes de fondos de investigación, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.”
El otro acuerdo que nos debería guiar y también reconocido por ANECA (todavía no por la AEI) es la Coalition for Advancing Research Assessment (CoARA), que insiste en las mismas directrices que deben guiar la evaluación:
“La evaluación de la investigación debe basarse principalmente en la evaluación cualitativa, para la que es fundamental la revisión por pares, con el apoyo de indicadores cuantitativos utilizados de forma responsable cuando proceda. La revisión inter pares es el método más sólido que se conoce para evaluar la calidad y tiene la ventaja de que está en manos de la comunidad investigadora. Es importante que los procesos de revisión inter pares estén diseñados para cumplir los principios fundamentales de rigor y transparencia: evaluación por expertos, transparencia, imparcialidad, idoneidad, confidencialidad, integridad y consideraciones éticas, género, igualdad y diversidad.”
Nos consta que hay un movimiento en estas agencias (y también en universidades, agencias evaluadoras regionales y CSIC) para realizar los cambios necesarios, pero los resultados serán los que indiquen que el cambio de paradigma está calando o no en la comunidad científica. Se precisa formar e informar a los potenciales evaluadores de estos cambios, para abandonar los viejos hábitos. Y, sin duda alguna, se necesitará más financiación en las tareas de evaluación, ya que la evaluación por pares requerirá mucho más tiempo de los evaluadores. Esperemos ir viendo los avances en los próximos años.
______________
Manuel de León (CSIC, Fundador del ICMAT, Real Academia de Ciencias, Real Academia Canaria de Ciencias, Real Academia Galega de Ciencias).
La revisión inter pares, tiene el límite de su valor en los nuevos descubrimientos, porque la característica del nuevo descubrimiento es el desconocimiento por todos los demás. La inexistencia de pares. De esta forma ANULAN la posibilidad de la ampliación del conocimiento fuera de los límites de lo ya conocido. ¿Una velocidad mayor que la de la luz? ¿El uso de la energía gravitatoria como «combustible» de un motor, y resultado de movimiento continuo? ¿Dónde hay un «par» que pueda ni siquiera decir que lo ha visto sin que le echen de su trabajo? ¡Pues en la ciencia experimental existe!
Thank you for shedding light to drywall company on the recent changes in research evaluation rules in Spain, aligning with international agreements such as the DORA Declaration.
Dónde hay un «par» que pueda ni siquiera decir que lo ha visto sin que le echen de su trabajo
The need for explicit criteria, as emphasized by DORA, underscores the importance of evolving perspectives in research assessment.
¡Gracias por compartir este interesante artículo sobre las nuevas reglas para la evaluación de la investigación en España! Parece que se están produciendo cambios significativos en el paradigma de evaluación, especialmente en relación con la Declaración DORA y la Coalition for Advancing Research Assessment (CoARA). what we treat
Se espera que la evaluación basada en la calidad e impacto incentive a los investigadores a realizar investigaciones más relevantes y con mayor impacto social. Security fencing