Notas sobre la evaluación, en los inicios del plan nacional de I+D

La presentes líneas no pretenden ser una historia de la Evaluación en el Sistema C-T español, ni siquiera en sus primeras andaduras en el Primer Plan Nacional de I+D. Sólo pretenden ser el recuerdo de unos primeros años, en los que se gestaron las coordenadas de una estructura que intentaba adecuar la situación científica y tecnológica de España a la del resto de los países avanzados. Es posible que algunos aspectos que se comenten no concuerden con lo que otros puedan recordar, pero lo que sí serán es parte de lo que queda en mi memoria de hace más de veinte años.

     
José Antonio Martín Pereda
Universidad Politécnica de Madrid
 

Algo sobre la historia

El arranque de cualquier actividad lleva siempre consigo unas ciertas dosis de incertidumbre. En todo lo que se ha desarrollado como trabajo de gabinete, al llevarlo a la práctica, siempre aparecen desajustes no previstos e ideas que no arrancan como se habían soñado. El Plan Nacional de I+D, tal y como vio la luz de acuerdo con la Ley planteada en 1986, llevaba consigo una fuerte carga de incógnitas que hacían que no todos estuvieran seguros de cuál iba a ser su posterior caminar. Sólo había una parte de la que todos estaban convencidos de su casi seguro buen funcionamiento y de que, si algo fallaba, con toda certeza no iba a ser ella. Esa parte del engranaje de la maquinaria que constituía el Sistema Ciencia-Tecnología planteado era la de la Evaluación.

Las tareas de evaluación habían sido iniciadas unos años antes, en el Gabinete de Estudios de la CAICYT, como parte del proceso que servía para conceder unas ayudas, generalmente escasas y generalmente esporádicas, a los investigadores de las Universidades y los Organismos Públicos de Investigación. Tras una primera etapa de decisión a través de comisiones, se había llegado a la conclusión de que era preciso un sistema en el que la voluntad, más o menos acertada, de unos cuantos no fuera el único instrumento para alcanzar la decisión correcta. El sistema no podía ser otro que el de la evaluación por pares, que ya estaba ampliamente asentada en todos los países científicamente desarrollados y de la que existían amplia información a través de órganos tan conocidos y acreditados como la National Science Foundation, NSF, de Estados Unidos. El Gabinete de Estudios se planteó como el instrumento a través del cuál la CAICYT debería realizar dicha tarea.

No sé el año en el que se empezaría a hacer esa evaluación por pares, pero lo que sí sé es que a principios de los años ochenta ya estaban operativas en el Gabinete una serie de áreas en las que se habían dividido las distintas parcelas del conocimiento. Estas áreas no distaban mucho de las que existían en otros organismos extranjeros, y más concretamente en la NSF mencionada anteriormente. Estas áreas, en sus inicios, se correspondían esencialmente con entornos científicos, dado que el énfasis que se había dado en aquel momento a la posible embrionaria investigación era, sobre todo, a la científica. Estas áreas se numeraron correlativamente y, con el tiempo fue más usual hablar, por ejemplo, del Área 1, que de la de “Física y Matemáticas”. Los escasos proyectos tecnológicos que hubiera que evaluar, eran asignados fácilmente a aquella área científica con la que tuvieran más contacto. Esta situación duró unos años, pero ante el crecimiento de temas más técnicos fue preciso aumentar esas áreas a otras más específicas que atendieran a dichos temas. Los responsables de todas las áreas recibieron el nombre de coordinadores y ellos eran los encargados de asignar los correspondientes evaluadores a cada proyecto. Dada la escasa entidad de la mayor parte de los entornos, no era difícil determinar quiénes podían ser los más idóneos para cada caso. Era responsabilidad absoluta de los coordinadores esa determinación y, salvo casos excepcionales, solo ellos conocían la identidad de los pares asignados. Por otra parte, los que iban a actuar como evaluadores, que en su mayor parte eran los científicos con más prestigio del país, también conocían el sistema de evaluación por pares, porque también es el método empleado por la mayor parte de las revistas de prestigio y, en más de una ocasión, o habrían sido juzgados así o habrían hecho de jueces. El resultado de todo es la situación que comentaba al inicio de mis líneas: que en los primeros momentos del Plan Nacional ya había una cierta tradición de evaluar y se sabía cómo hacerlo.

La puesta en movimiento del Plan Nacional implicó dos cosas para la Evaluación. Por una parte, las tareas de evaluación se separaban por completo de la etapa de decisión, pasando a depender, a través de un nuevo organismo que se creaba con la Ley, de la Comisión Permanente de la CICYT. Gracias a ello, esta evaluación no estaba involucrada para nada en las acciones de la Secretaría General del Plan y más en concreto de la antedicha de decisión. Éste había sido unos de los postulados fundacionales de la ley de la Ciencia: separar la evaluación de la decisión. Los evaluadores podrían así ejercer sus funciones de una manera por completo aséptica, dando sólo noticia de la calidad de un proyecto, mientras que la decisión, que debería también atender a razones de oportunidad para la concesión, sería adoptada por otros. Para hacer esta situación más evidente, así como antes el Gabinete de Estudios, y sus tareas de evaluación, estaba físicamente localizado en el mismo entorno espacial que la Dirección General de Política Científica, que era la responsable técnica de la CAICYT, ahora pasaba a una ubicación alejada de la Secretaría General y sin contacto con ella. Para todo ello, la Ley creaba un nuevo organismo que no era otro que la ANEP, que todos ahora conocemos. El otro hecho que determinó la Ley era que a estas tareas de evaluación, la ANEP debería agregar otras, las de prospectiva que ayudaran a la planificación de los posibles deslizamientos del Plan actual o de los futuros planes nacionales. Era la P que aparecía al final del organismo recién creado. En cierta manera, aquello implicaba la continuación también de otras funciones realizadas por el anterior Gabinete de Estudios y que, así mismo, habían sido iniciadas, con mayor o menor timidez, hacía unos años. Con todo ello se completaba una estructura que debería servir de apoyo tanto para las tareas de evaluación como para las de planificación. Por otra parte, el arranque fue favorecido por otro hecho fundamental. Tanto el responsable de la nueva estructura como el personal de apoyo necesario, eran en gran medida, los mismos que habían efectuado tareas similares en el anterior sistema. La transición quedaba así garantizada.

Los inicios del Plan Nacional implicaron una reestructuración parcial de las comisiones de la ANEP. Las comisiones científicas mantuvieron sus ámbitos de actuación, casi con la exclusiva dedicación hacia uno de los programas nacionales, el de Promoción General del Conocimiento, pero las tecnológicas hubieron de adaptarse a los nuevos programas nacionales que se habían creado. Aquello no implicó ningún tipo de desajuste sino, simplemente, un incremento de la actividad evaluadora. Incremento originado, igualmente, por el incremento de fondos y el consiguiente incremento del número de solicitudes.

Algo sobre la estructura

Desde el primer momento, las evaluaciones de la ANEP tuvieron el reconocimiento general de su calidad. Salvo mínimas discrepancias, las opiniones fueron aceptadas de la misma manera que un investigador reconoce, con mayor o menor grado de aceptación, los resultados que le remiten de un artículo que envía para publicar. La transición entre coordinadores, cuyo tiempo en el puesto estaba limitado, se fue haciendo de manera regular y, en ningún caso, un cambio de responsable parecía implicar un cambio en los resultados. Si el engranaje administrativo funcionaba, también lo fue haciendo el de los coordinadores y los pares planteados.

Y aquí surge uno de los puntos que merece un pequeño comentario. Desde el principio se plantearon una serie de postulados que deberían seguir todos los coordinadores. La mayor parte eran obvios y se habrían seguido de manera lógica casi aunque no se hubieran planteado. Uno era, por ejemplo, que no debería actuar como par un investigador que perteneciera al mismo departamento que el solicitante. Que tampoco lo fuera si había publicado o trabajado con él recientemente. Estas recomendaciones fueron pasando, como por tradición oral, de un coordinador al siguiente, conjuntamente en algunos casos, con una relación de nombres de posibles evaluadores en algunos temas concretos. Y al lado de esta relación, y nunca por escrito, otras recomendaciones como que Fulanito contesta rápidamente, o que Menganito no contesta nunca, o que Zutanito no se moja, o que Perenganito siempre se carga a quien se le mande. Todo esto fue creando, con los años, una especie de fondo de conocimientos útiles para ejercer, de la mejor manera posible, las funciones de coordinador de área. Fondo que jamás se llegó a poner por escrito, al menos oficialmente.

El gran número de proyectos presentados en las primeras convocatorias del Plan Nacional, y su rápida y acertada evaluación, dio lugar a una serie de consecuencias, cuya importancia se ha ido mostrando con el paso de los años. Una de estas consecuencias es, por ejemplo, la de que se desatendieron otras tareas que podían haber sido de interés. Así, podría haber sido interesante tener alguna información más detallada, aunque reducida a grandes números o a grandes cifras de, por ejemplo, algunas de las características de la evaluación por parte de los expertos, como tiempo medio que tardan en contestar, o cuáles son las calificaciones más usuales,… Y, quizás, mucho más interesante hubiera sido el haber llevado a cabo una tarea de seguimiento de cada proyecto y cada programa, y cuáles habían sido sus resultados o su evolución en el tiempo. Es la conocida evaluación ex-post y que constituye una de las etapas más importantes de seguimiento de una determinada política científica o tecnológica.

Al mismo tiempo, el éxito del Plan repercutió, por ejemplo, en que muchas Comunidades Autónomas quisieran tener también su propio Plan de I+D. Sin entrar ahora en las características de estos planes, lo que si resultó evidente es que, en principio, parecía más o menos fácil diseñar un plan con unos determinados programas y unas determinadas líneas (los precedentes del Nacional y de la UE daban una pauta directa de actuación), parecía más o menos factible destinar unos ciertos fondos a ese plan y parecía más o menos fácil encarga a algún entorno para que lo gestionara. Pero lo que no parecía fácil era crear un organismo que fuera capaz de evaluar los proyectos presentados, con la rapidez y la garantía que lo hacía la ANEP. Y hacia ella se dirigieron sus miradas. Con ello, los coordinadores se encontraron con que no solo debían evaluar los proyectos del Plan Nacional, sino que también debían hacerlo para muchos de los de las Comunidades Autónomas. Y a éstas se unieron pronto muchas otras fundaciones y organizaciones privadas que destinaban fondos a I+D y que deseaban que sus resoluciones tuvieran una garantía objetiva de calidad. Muchos de los programas de otros ministerios, tanto fueran los Sectoriales dentro del PN o exclusivos del propio ministerio, siguieron igual camino. El resultado fue que los coordinadores de la ANEP, que eran lo depositarios de una información crucial para realizar otro tipo de evaluación, hubieron de dedicar su tiempo, exclusivamente, a la convencional. Y esa situación se ha mantenido, casi sin variación, hasta nuestros días. Aunque quizás lo de “sin variación” tampoco sea correcto, porque el número de investigadores, y consecuentemente el de proyectos potenciales a presentar, se incrementó significativamente con el paso de los años, y con ello el trabajo de coordinadores y personal de apoyo, que siguió siendo casi el mismo con el se contaba al principio.

Así, de acuerdo con todo lo anterior, la tarea que se ha comentado antes, de los coordinadores de área centrados únicamente en la evaluación individual de proyectos, no se complementó con otra evaluación que suele ser común en otros entornos: la evaluación global de programas o de acciones. Acceder a la visión panorámica de qué ha sucedido puede ser tan importante o más que poner en movimiento a algo. El conocer qué se ha conseguido de una acción emprendida es vital para determinar si se ha de emprender otra o para saber qué características debería tener la nueva. Hasta ahora, se ha dado como hecho asentado el que lo planteado es correcto y lo nuevo sólo deberá ser una mejora de lo anterior. Es una posibilidad. Pero es muy posible que esa mejora fuera más efectiva si se hiciera sobre la base de saber realmente cómo ha evolucionado lo anterior. Cuando, por ejemplo, los coordinadores de área cumplen con su tiempo establecido, vuelven a incorporarse totalmente a sus puestos en la Universidad o en el Centro de I+D al que pertenezcan. En muchos casos, su experiencia queda ya en una vía muerta de la que solo sale para alguna comisión o alguna otra tarea de evaluación. Esta experiencia, conjuntamente con la de los gestores de los programas nacionales, podría ser válida, por ejemplo, para realizar esa tarea de evaluación de programas que se comentaba antes. Porque, ¿quién conoce mejor que ellos las posiciones de partida de cada proyecto, sus fortalezas y debilidades, sus postulados de principio, y, también, qué ha conseguido?, ¿quién mejor que ellos conocen cuál era la situación inicial de los grupos y pueden ver a dónde han llegado?, ¿quién mejor que ellos conocen cuáles son los grupos más activos o más teatrales del país en cada entorno científico o tecnológico? Ellos podrían ser parte de la evaluación ex-post que antes se mencionaba.

A modo de conclusiones incompletas

La evaluación, dentro de las múltiples facetas que presentaba el Primer Plan Nacional, ha sido una de las que se ha establecido como más firmemente asentadas y, lo que es más importante, la que ha recibido una mayor aceptación positiva por todos. Este hecho es el que ha sido responsable de que, salvo en contadas ocasiones, casi nunca se haya hecho nada para intentar dar un paso adelante. Dado que la estructura ha funcionado correctamente, ha parecido lo indicado no tocarla para que siga así en el futuro. Pero las necesidades y los requisitos de la sociedad actual no son los mismos de la de hace veinte años. Si es posible que sea conveniente analizar un cambio en la filosofía de algunos de los aspectos o de los enfoques del Plan Nacional, no es menos posible que la evaluación, tal y como fue planteada en 1986, deba también complementarse con otras nuevas evaluaciones y que para plantear este nuevo paso, la experiencia recogida a lo largo de los pasados años, no debe ser desaprovechada. Por esto, entre otras cosas, parece adecuado en este momento de aniversario detenerse un poco y analizar qué procede hacer a partir de ahora. Ese es el mejor homenaje que puede hacérsele al Plan Nacional de I+D, al final de sus primeros veinte años.