Por:
Antonio Pulido antonio.pulido@uam.es Director del Instituto Lawrence R. Klein Instituto – Centro Stone UAM

La evaluación de la calidad de las actividades de los profesores de Universidad es importante por sus implicaciones en diversos aspectos tales como:

1. contribuir a una selección y promoción más objetiva
2. estimular el proceso de perfeccionamiento
3. por agregación, permitir la ordenación de departamentos, centros o universidades, con implicaciones en la asignación de fondos

Naturalmente, para que la evaluación tenga los efectos beneficiosos buscados es importante garantizar:

1. la objetividad del propio proceso de evaluación
2. la equidad de tratamiento en situaciones dispares de entorno
3. la capacidad de instituciones e individuos para mejorar su calidad futura a partir de las evaluaciones precedentes

La experiencia a escala mundial parece señalar la enorme dificultad de cumplir con los anteriores requisitos.

La objetividad se cuestiona no sólo cuando los evaluadores tienen intereses propios de escuela, ubicación geográfica o área de conocimiento, sino también cuando los criterios y ponderaciones utilizadas, por muy objetiva que sea su aplicación, ya suponen ciertas ventajas relativas, no justificables, para determinado tipo de profesores.

La equidad sufre cuando criterios objetivos de aceptación mayoritaria discriminan a minorías diversas de profesores que se ven en desventaja por razones diversas tales como su antigüedad, los medios del centro en que prestan sus servicios, el área específica de conocimiento, su lengua natal, el tamaño de sus grupos de investigación o docencia, etc.

Por último, una evaluación puede provocar efectos de rechazo al sentirse como algo externo a los interesados o inhibir esfuerzos de superación ante descalificaciones radicales que se consideran prácticamente imposibles (o excesivamente costosas) de superar.

Evaluar la labor de los profesores universitarios y, por agregación, de las instituciones y grupos en que se integran parece una tarea prioritaria. Pero hay que evitar simplificaciones insostenibles como utilizar como medida sólo el resultado de una encuesta a alumnos o identificar actividad sólo como investigación o valorar la investigación sólo por artículos publicados en ciertas revistas.

Posiblemente un buen profesor saldrá favorablemente evaluado en las encuestas de estudiantes, realizará en paralelo un gran esfuerzo investigador e incluso este esfuerzo se evidenciará en ciertas revistas internacionales de alto prestigio.

Pero descalificar en forma absoluta a quien no supere determinado nivel en una encuesta a alumnos, no haya acumulado suficiente producción investigadora o no haya publicado en ciertas revistas, parece que puede tener consecuencias perniciosas para el proceso de perfeccionamiento del profesorado, que es el fin último de la evaluación.

Es habitual en la literatura sobre evaluación de la investigación utilizar el concepto de "productividad investigadora" como relación entre inputs (principalmente número de investigadores) y outputs (patentes, artículos u otros resultados medibles de la investigación).

Para un profesor universitario aislado, su productividad coincide con el valor de lo que produce si no se tienen en cuenta posibles ponderaciones por recursos como dedicación, nivel o medios disponibles.

Por tanto, lo primero es identificar lo que produce un profesor universitario. Después habrá que valorar o al menos ponderar relativamente los distintos componentes de su actividad, intentando además recoger las diferencias en calidad de cada tipo de servicio entre los diferentes individuos. Como habitualmente no disponemos de medidas integrales de cada tipo de componente, se buscarán aproximaciones a partir de indicadores seleccionados.

Aunque el mix de producción varía mucho entre individuos, podemos admitir como punto de partida que todo profesor universitario realiza, en mayor o menor grado, las siguientes actividades:

1. Docencia
2. Investigación
3. Servicios internos a la comunidad universitaria
4. Servicios externos

Es importante subrayar que estas actividades no son compartimentos estancos, si no que se interaccionan entre sí. El caso más evidente, es el binomio docencia-investigación, ya que se admite generalmente que una docencia de calidad sólo puede realizarse si hay una actividad investigadora por parte del profesor que le mantenga al día de los avances de conocimiento en su campo.

También es importante reconocer la entidad de esos servicios que complementan los objetivos más recordados (incluso los únicos mencionados en ocasiones) de enseñar e investigar. Es bastante aceptado que la universidad (y, por tanto, sus profesores) deben atender a otros tres objetivos básicos: transmisión de la cultura, socialización de sus estudiantes (valores, hábitos y capacidades) y compromiso con la sociedad.

Por ejemplo, las normas de evaluación de la University of Tennessee (UTK Manual for Faculty Evaluation) incluye, entre los servicios cuya calidad deben valorarse, los siguientes:

1. Respecto a la propia Universidad
   • Participación en la revisión de las actividades de enseñanza e investigación de sus colegas (peer review).
   • Asesoramiento a responsables de la gestión universitaria.
   • Servicio activo en los órganos de gobierno o comités.
   • Participación en el desarrollo de programas y cursos interdisciplinares.
2. Respecto a la profesión
   • Servicio activo en la estructura directiva o en comités de organizaciones profesionales.
   • Pertenencia al comité editorial de revistas.
   • Mantenimiento de "web site".
   • Servicio como colaborador de periódicos o prensa universitaria.
3. Respecto a la sociedad en general
   • Consultoría, compensada económicamente o no, en materias en las que se sea experto.
   • Organizar sesiones de trabajo o intervenir en charlas sobre su especialidad.
   • Intervenir en actividades creativas o en proyectos de investigación en que no exista ningún tipo de valoración por colegas.
   • Evaluar programas o actividades de patrocinio social .

Centrándonos ya en la actividad de investigación, la primera dificultad es determinar cuáles son sus componentes. Existe un acuerdo bastante generalizado en que esa actividad investigadora incluye tanto la investigación básica (pura u orientada), como la investigación aplicada y el desarrollo experimental, es decir llegando hasta "la utilización del conocimiento científico adquirido para producir primeras materias, dispositivos, productos, procesos, sistemas o servicios nuevos o sustancialmente mejorados" (Manual de Frascati).

Pero además, cada vez es más habitual integrar el sistema de ciencia y tecnología en el marco más general de I+D+i (Investigación, Desarrollo e innovación). Ese tercer componente de la innovación añade múltiples matices y, entre ellos:

• La I+D es un elemento clave para la innovación (aunque no sea el único), que se constituye así en el objetivo último del proceso.
• La innovación exige no sólo realizar investigación y llegar hasta la fase de desarrollo de productos o procesos, sino también difundir los resultados entre los utilizadores potenciales.
• La innovación tecnológica se complementa con la innovación social que implica nuevas formas de gestión y nuevas redes relacionales.

En sentido estricto, la Universidad puede limitarse a hacer solo investigación básica o aplicada sin llegar a las etapas de desarrollo e innovación. Pero parece que el acuerdo es bastante generalizado en que lo recomendable es que atienda a la totalidad del proceso.

La moda de las oficinas de transferencia de conocimientos, los parques científicos, los viveros de empresas generadas desde la universidad o la investigación bajo contrato, que los gobiernos y universidades parecen aceptar, exige tener un concepto más amplio de lo que se entiende por actividad investigadora de los profesores universitarios.

Sirva como ejemplo el siguiente párrafo tomado del reciente libro Excelencia, calidad de las universidades españolas¹:

"El paso cualitativo más importante va a ser el desarrollo de la investigación dentro de la universidad financiada por empresas privadas. En inglés se conoce como sponsored research. Es investigación realizada por profesorado de la universidad, y financiada por una empresa privada, cuyos recursos están dedicados exclusivamente a esa investigación concreta que requiere el sector privado. Dado que los recursos públicos de investigación universitaria son limitados, y cada vez relativamente menores, la fórmula de financiación privada "esponsorizada" se convierte en una solución ventajosa. Además, la universidad recibe un porcentaje (overhead) de esas investigaciones, que supone un dinero diferencial importante para la gestión de la universidad. Se ponen en marcha así parques científicos, laboratorios financiados por empresas privadas, profesorado dedicado a investigación privada".

Aunque suene a novedoso, la defensa de una investigación innovadora para la Universidad, ya tiene una amplia tradición. En concreto y para el caso de la universidad española, se recogía hace más de 20 años, en los libros El reto de la investigación: (Pulido, 1979)² e Investigación innovadora (Pulido, editor 1981)³ por encargo de la entonces joven Fundación Universidad-Empresa.

La decisión sobre lo que debe entenderse o no como investigación es un elemento clave no sólo para evaluar la labor de nuestros profesores universitarios, sino para diseñar la universidad del futuro, el ideal hacia el que queremos acercarnos.

A título de ejemplo de una visión restringida de la investigación, podemos referirnos a las evaluaciones de economistas (Revealed Performances) realizadas por Tom Coupé (1999)⁴ utilizando sólo artículos publicados en una selección de revistas y ponderados según diversos criterios. El "ranking" de economistas y departamentos universitarios se realiza así utilizando el criterio del número (ponderado) de artículos publicados en 10, 24, 36 ó 650 revistas especializadas, mayoritariamente de habla inglesa.

Una visión más amplia de investigación, como la incluida en Castrodeza y Peña (2002)⁵ incluiría un total de 12 actividades que irían de publicaciones a proyectos, seminarios, tesis o cursos de doctorado. En su aplicación, realizada para el Área de Ciencias Sociales y Jurídicas de la Universidad de Valladolid, todo tipo de artículos, junto con los capítulos en libros, tienen un peso de un 30% de uno de los cuatro componentes considerados.

En el libro ya citado sobre excelencia universitaria de De Miguel, Caïs y Vaquera (2001) págs. 368-369, se propone utilizar una lista de unos cuarenta indicadores para medir la investigación (incluido doctorado) y la productividad de los profesores. Incluye aspectos tales como proyectos de investigación de diferentes tipos, convenios, contratos con AAPP o agentes privados, patentes, congresos y diversos tipos de publicaciones.

En el seminario que dirigí en octubre de 1989, "Hacia una clasificación de las Universidades según criterios de calidad" (Fundación Universidad Empresa y Ministerio de Educación y Ciencia), recogía doce conclusiones entre las cuales creo merece la pena hoy día destacar:

• La multiplicidad de criterios y enfoques supone tanto la posibilidad de clasificaciones
• La experiencia internacional muestra el interés y la complementariedad de evaluaciones alternativas.
• Conveniencia de armonizar criterios cuantitativos y cualitativos; reputaciones de imagen y relación medios/resultados.
• Cualquier sistema de evaluación es inevitable que provoque ciertos rechazos iniciales, justificación de situaciones particulares y, en general, un conveniente proceso de afinamiento del sistema.

En línea con aquellos criterios, hoy día sigue pareciendo una buena norma el utilizar criterios e indicadores múltiples que den una información diversa y rica en matices de profesores, centros y universidades, incluso aunque se calculen algunos índices sintéticos que ayuden a agregar y ponderar los distintos componentes.

La flexibilidad en la selección de criterios y en la ponderación de indicadores parece fundamental para utilizar esta información para finalidades muy diferentes.

Pensamos que sólo ayuda a la confusión y al rechazo, el mezclar objetivos muy diferentes para la evaluación de la actividad investigadora. Establecer complementos retributivos, apoyar con fondos públicos, promover carreras universitarias, conceder "status" de calidad investigadora, calificar de excelencia a centros o investigadores, integrar la investigación en redes más amplias, son objetivos muy diferentes que pueden exigir criterios y ponderaciones distintas.

Incluso podrá comprobarse que existen diferentes tipologías de profesores, centros o universidades cada uno con sus puntos fuertes y débiles. Lo importante será, entonces, ver cuales son los que resultan más convenientes promover para los objetivos y peculiaridades de cada universidad, dentro del sistema general de I+D+i.

De esta forma, será posible hacer evaluaciones diferentes para profesores que busquen preferentemente pertenecer a los circuitos internacionales de investigación puntera, incluso con escasa dedicación a la docencia; para profesores que deseen incidir en el sistema de I+D+i, creando equipos de trabajo permanentes, etc.

El problema es encontrar los criterios, indicadores y ponderaciones adecuados para esos diferentes tipos de profesores investigadores. Porque, dentro de cada tipo, habrá diferentes niveles de calidad hasta alcanzar el óptimo de la excelencia.

Notas:

[1] J. M. de Miguel, J. Caïs, E. Vaquera, Excelencia, calidad de las universidades españolas, Centro de Investigaciones Sociológicas, 2001.

[2] Pulido, A (1979) El reto de la investigación. Forum Universidad Empresa.

[3] Pulido, A (1981), dirección y coordinación, Investigación innovadora, Forum Universidad Empresa.

[4] Coupé, T. (1999), "Revealed performances. Worldwide rankings of economist and economic department" Ecares, Université Libre de Bruxelles.

[5] Castradeza, C. y Peña, T. (2002), "Evaluación de la actividad investigadora universitaria: una aplicación a la Universidad de Valladolid", Estudios de Economía Aplicada. Vol. 20-I.

Volver arriba