Número 37, julio - agosto 2006
COOPERACIÓN, INNOVACIÓN Y CONOCIMIENTO II>> Aula Abierta
 
  Por qué he dejado de creer en la evaluación basada en las citas científicas

En los últimos tiempos los índices de citación científica se han aceptado de forma generalizada como parámetros de evaluación de la actividad investigadora. Este artículo pretende poner de manifiesto como las limitaciones y efectos indeseables del sistema de citas pueden desvirtuar la valoración de la calidad de las contribuciones científicas.

     
Óscar Rodríguez Ruiz
IADE-CIC

oscar.rodriguez@uam.es
 
"La presencia o ausencia de referencias, citas y notas a pie de página se considera tan indicativa de la seriedad de un documento que se puede transformar un hecho en ficción, o una ficción en hecho, simplemente añadiendo o eliminando referencias"
Latour (1992)






1. Introducción

Desde mediados del pasado S. XX el sistema de citas se ha consolidado como la forma principal de evaluar la calidad de la investigación científica. Las citas son notas o llamadas a las descripciones bibliográficas incluidas en la parte final de los artículos (Campanario, 2003). Las publicaciones especializadas se caracterizan por tener un buen número de estas notas que remiten a otros autores, artículos y monografías.

En principio, los científicos citan a aquellos colegas cuyas referencias bibliográficas han usado. De esta manera, aquellos trabajos que reciben un mayor número de citas, presentan aparentemente mayor utilidad para la ciencia que aquellos que apenas son citados (Wouters, 1999). Como consecuencia de ello, se considera que las revistas científicas que acumulan mayor número de citas son las de mejor calidad. Lógicamente, todo científico que se precie tratará de "situar" sus investigaciones en este tipo de publicaciones.

En estas circunstancias, el sistema de citas se concibe como un escrutinio del proceso científico y como un medio de mejorar la calidad de la investigación. Cuanto más citado sea un artículo mayor será su influencia y mayor su significado para la ciencia. Sin embargo, la evolución del sistema de producción de conocimiento parece mostrar una y otra vez que el número de veces que un artículo es citado no siempre es una medida adecuada de su impacto, calidad o influencia.

La cultura de las citas ha modificado sustancialmente conceptos esenciales de la ciencia moderna como la idea de calidad científica y su influencia. Estos cambios no siempre han beneficiado a científicos e investigadores. Por ello, este artículo quiere poner de manifiesto cómo las limitaciones y efectos indeseables del sistema de citas pueden ensombrecer sus indudables utilidades. Con este propósito, se estructura en cinco apartados básicos. Después de este primer apartado introductorio, el segundo epígrafe realiza unas consideraciones generales sobre el sistema de citas científicas. Los apartados tercero y cuarto se dedican, respectivamente, a las limitaciones del sistema y a sus efectos indeseables. Finalmente, el apartado quinto presenta unas reflexiones generales sobre la citación y la medición de la ciencia.

2. Aspectos generales

Aunque el artículo científico como tal surge en el S. XVII, la tendencia moderna de citas explícitas no comienza hasta mediados del XIX, institucionalizándose definitivamente en las primeras décadas del XX [1](Mac Roberts y Mac Roberts, 1989).

De acuerdo con esta tendencia, las normas de la ciencia requieren que se cite aquellos trabajos que se consideran útiles para la investigación propia. De este modo si un trabajo es muy citado, el número de citas se convierte en un indicador de que es significativo desde el punto de vista científico.

El sistema de citas se basa en el principio de la validez del precedente que rige en el Derecho norteamericano (Hopkins, 2005). Los autores emplean la cita como una forma de señalizar que han recurrido a otros trabajos previos. Por lo tanto, la cita no sólo es una medida de influencia[2] en virtud de la cual cuanto más citado es un autor mayor notoriedad alcanza. Es también una forma de comunicación científica.

La importancia de las citas llega hasta tal punto que un documento deviene científico "cuando sus afirmaciones dejan de estar aisladas y el número de personas comprometidas en su publicación es grande y están explícitamente indicadas en el texto" (Latour, 1992).

Un enunciado contenido en un artículo sobrevive y se convierte en un hecho cuando es citado por una segunda generación de artículos. Los artículos no citados, por el contrario, se consideran de baja calidad y pueden eliminarse del cuerpo de la ciencia.

Cada especialidad científica se institucionaliza, por lo tanto, como una "asamblea de autores", cada uno de los cuales contribuye, con una colección de artículos, a conformar una distribución de citas (Seglen, 1992). La comunidad científica actúa también como un tribunal evaluador que reconoce el valor de una contribución determinada.

Aunque se sabe muy poco de las formas de utilización de las citas por los autores, es posible definir distintas funciones de las mismas (Ver Tabla 1):

Tabla 1:
Funciones de las citas

Funciones Descripción
RECONOCIMIENTO Un documento cita a otro otorgando credibilidad a las conclusiones alcanzadas en el mismo.
PERSUASIÓN La cita se realiza para fortalecer los argumentos expuestos en un trabajo.
HÁBITO MECÁNICO Las citas se incluyen en una investigación para cumplir las formalidades de la comunicación científica.
VINCULACIÓN CON TRABAJOS PREVIOS Cuando un documento cita a otro se establece una relación conceptual entre los mismos.
FUNCIONES SOCIALES En ocasiones se cita a autores prestigiosos para aumentar la visibilidad de los trabajos.
Fuente: Elaboración propia

Como se ha señalado con anterioridad, el análisis de las citas parte de la idea de que las referencias de un autor son un indicador válido aproximado de la influencia de su trabajo. Esta presunción parece avalada por la correlación existente entre "los datos de citación, la concesión de premios y los juicios independientes concernientes al mérito científico"[3] (Campanario, 1996).

Los datos de citación de artículos y revistas son computados por el Institute for Scientific Information (ISI) de Filadelfia mediante tres bases de datos: el Science Citation Index (SCI), el Social Science Citation Index (SSCI) y el Arts and Humanities Citation Index (A & HCI).

Estos índices registran el número de veces en que un autor es citado. Se presume que este tipo de análisis dice "algo sobre el texto de referencia, y que ninguna aportación significativa se pierde en el mismo" (Wouters, 1999).

Los índices del ISI representa la literatura científica por sus propiedades formales (referencias, nombres de autores, lenguas, tipos de publicación, etc). El tratamiento estadístico de los datos obtenidos permite construir mapas de la ciencia en los que se perciben redes de autores, citas y revistas.

La citación de revistas es compilada en el Journal of Citation Reports (JCR). Para la elaboración de esta clasificación se seleccionan todas las publicaciones en un periodo de tiempo dado y se les atribuye un factor de impacto en función del número de citas que reciben.

El sistema de citas considera por lo tanto a los autores, las revistas y los artículos de investigación como unidades funcionales de análisis de la ciencia.

3. Las limitaciones del sistema de citas

El análisis de citas es un método ampliamente usado, pero no está exento de problemas (Mac Roberts y Mac Roberts, 1989). Parece claro que, pese a su impacto en la política científica, "los cienciómetras no pueden presumir de muchos éxitos" (Wouters, 1999).

Los principales problemas suscitados por el análisis de citas han sido estudiados por distintos autores. Así por ejemplo, Latour (1992) recoge distintos comportamientos que pueden distorsionar el análisis (Ver Tabla 2):

Tabla 2:
Comportamiento que distorsionan el análsis de citas

- Los artículos se citan sin ser leídos.
- La cita se utiliza para realizar una afirmación opuesta a lo que el autor original quiso decir.
- La cita puede referirse a detalles técnicos sutiles.
- Citas que expresan ideas no contenidas en el texto de referencia.
- Citas que malinterpretan el texto de referencia.
- Error en la cita (nombre, publicación, etc.).
Fuente: Latour (1992)

Mac Roberts y Mac Roberts (1989) realizan también una clasificación de los problemas que pueden presentarse en el análisis de citas (Ver Tabla 3):

Tabla 3:
Problemas del análisis de citas

Problemas Descripción
INFLUENCIAS FORMALES NO CITADAS En ocasiones las referencias intelectuales esenciales no son citadas.
INFLUENCIAS INFORMALES NO CITADAS Las publicaciones no reflejan el conocimiento tácito de los científicos.
TIPOS DISTINTOS DE CITAS Hay citas positivas y negativas. Estas últimas tienen un efecto de descrédito.
CITAS SESGADAS Hay trabajos desproporcionadamente citados y otros infravalorados.
AUTOCITAS Hay autores propensos a citar sus propios trabajos de forma persistente.
VARIABILIDAD EN EL USO DE LAS CITAS La forma de citar varía en función del área científica, la publicación, el país, el transcurso del tiempo, etc.
LIMITACIONES TÉCNICAS de los ÍNDICES de CITACIÓN La multiautoría, el uso de sinónimos y homónimos en los autores, los errores bibliográficos etc., son problemáticos para el análisis de citas.
Fuente: Mac Roberts y Mac Roberts (1989).

Además de los problemas detectados por Latour (1992) y Mac Roberts y Mac Roberts (1989), es posible mencionar una serie de limitaciones relacionadas con los mismos que ponen en tela de juicio la virtualidad de la evaluación basada en el sistema de citas científicas. Estas limitaciones se exponen en los subepigrafes que siguen a continuación (Ver Tabla 4).

Tabla 4:
Limitaciones del sistema de citas científicas

Limitaciones derivadas de los factores psicosociales que afectan a la citación - Ausencia de lectura.
- Incremento de la literatura y del número de citas.
- Distribución sesgada de las citas.
- Comportamiento de cita.
- Tipologías de cita.
Limitaciones derivadas de las características del área científica - Variabilidad em la frecuencia y uso de las citas.
Limitaciones temporales - "Ventana de citación" , Factor de inmediatez.
 Limitaciones técnicas - Cobertura limitada de los índices ISI.
- Tipos de documentos citados.
- Distribución sesgada de las citas.
- Duplicación de citas.
Los grandes artículos apenas citados - "Amnesia bibliográfica".
Los artículos fraudulentos altamente citados - El "Affaire Darsee".
Fuente: Elaboración propia.

3.1. Limitaciones derivadas de los factores psicosociales que afectan a la citación

- Ausencia de lectura

De acuerdo con Latour (1992), "la mayoría de los artículos científicos nunca se leen". Como consecuencia de ello, el sistema de citas no está en condiciones de ofrecer una imagen fiel de la ciencia.

- Incremento de la literatura científica y del número de citas

El cuerpo de la literatura científica está creciendo exponencialmente. Lógicamente, esto supone un incremento del número de investigaciones potencialmente citables. Al mismo tiempo, se percibe también una tendencia a incrementar el número de citas en los artículos científicos (Mac Roberts y Mac Roberts, 1989).

El incremento del número de citas y de las posibilidades de ser citado no supone necesariamente un aumento de los trabajos de calidad científica.

- Distribución sesgada de las citas

Las publicaciones científicas son citadas en distinta medida. Mientras que la mayoría de los artículos científicos que se escriben apenas reciben citas, un número muy pequeño de los mismos son citados frecuentemente. Más allá de que este hecho pueda ser considerado como un "fenómeno estadístico inevitable", [4] no pueden dejar de valorarse sus consecuencias para el análisis de citas.

Seglen (1992) señala que el 50 por ciento de los artículos más citados acumulan el 90 por ciento de las citas. De esta manera existe una gran fracción de investigaciones no citadas que tienen limitadas sus posibilidades de contribuir al progreso científico.

Dentro de las revistas incluidas en el JCR, un número reducido de las publicaciones recibe la mayor parte de las citas. Además, los artículos que contribuyen sustancialmente a su factor de impacto representan sólo una pequeña parte de los publicados. Esta distribución asimétrica supone, en definitiva, que un gran número de revistas y artículos son consideradas como un "ruido de fondo alejado de las tendencias centrales de la ciencia" (Price, 1968).

Resulta significativo también que 31 países[5]contabilicen el 98 por ciento de los artículos más citados, frente al 2 por ciento que acumulan los 162 países restantes del planeta (King, 2004). Si se admite que el talento científico se reparte de forma equitativa en la geografía mundial, es obligado llegar a la conclusión de que el ranking de citas "oscurece" importantes desarrollos.[6]

Por otra parte, la idea generalizada de que los artículos de calidad científica son publicados en inglés, ha consolidado la preferencia por citar artículos en esta lengua. Esta inclinación distorsiona también el análisis de citas (King, 2004).

- Comportamiento de cita

Por comportamiento de cita debe entenderse la forma y las razones por las que un autor determinado hace referencia a otro trabajo. Este comportamiento se rige por factores complejos, de modo que para conocer las razones de la cita es preciso analizar el contexto y contenido de la misma.

Aún admitiendo que las citas dependen de la idiosincrasia y necesidades de la persona que las utiliza, la forma de citar ha de ser honesta. El que cita debe haber leído el artículo y encontrarlo útil en algún modo.

Es posible detectar algunas anomalías en el comportamiento de cita que alteran el sentido originario de la misma. Así cabe mencionar las siguientes (Ver Tabla 5):

Tabla 5:
Comportamiento de citas anómalo

- Citas secundarias o terciarias.
- Citas superfluas.
- Citas no relacionadas con el artículo.
- Citas para hacer ostentación.
- Citas a personas prestigiosas para adquirir visibilidad.
- Citas de autopromoción.
- Citas para mostrar la filiación.
- Colegios invisibles.[7]
- In house citation.[8]
Fuente: Elaboración propia.

Tampoco puede olvidarse que contribuciones anteriores que conllevan un largo proceso de investigación se sintetizan muchas veces en una sola frase. Además, los artículos suelen adaptar la literatura previa según sus necesidades. Estas simplificaciones determinan que la cita se convierta en "una caja negra" cuyo sentido original no es accesible de forma directa.

- Tipología de las citas

Existen distintas tipologías de cita. En una primera aproximación es posible distinguir entre citas positivas y citas negativas. Las citas positivas confirman los resultados de una investigación anterior. Las citas negativas expresan disconformidad con trabajos previos y tienen un efecto de descrédito. El sistema de análisis de citas no discrimina entre estos dos tipos de cita, propiciando que las de carácter negativo contribuyan a incrementar la influencia del autor de referencia.

3.2. Limitaciones derivadas de las características del área científica

- Variabilidad en la frecuencia y uso de las citas

La frecuencia y el uso de las citas varían en función de distintos factores como la disciplina científica, los países, los autores o las publicaciones. Así por ejemplo, en el área de matemáticas es usual citar pocas publicaciones. Las revistas también difieren por el número medio de citas por artículo.[9]

Puede hablarse, en consecuencia, de distintas "culturas de cita" (Wouters, 1999) que el ISI no tiene en cuenta debido a su carácter uniformizador. Cada una de estas culturas explica las pautas de publicación y las razones por las que se cita.

La dimensión del porcentaje de artículos que de forma persistente no son citados depende también de las prácticas de cita de cada área de conocimiento.

3.3. Limitaciones temporales

El transcurso del tiempo tiene una clara influencia en el número de veces en que un artículo es citado. Existe, por así decirlo, una "ventana" o ciclo de citación. Por ello es conveniente conocer en cada disciplina científica el tiempo medio que transcurre desde que un artículo es publicado hasta que alcanza su "cima" de citas.

Las deficiencias del sistema de citas para valorar el factor tiempo pueden apreciarse con claridad. Price (1968) señala que a medida que pasa el tiempo hay un número mayor de artículos publicados para citar, decreciendo la probabilidad de recibir citas. Desde esta perspectiva considera que los artículos publicados recientemente no tienen tiempo suficiente para ser citados. No obstante, cabe apreciar la existencia de un factor de inmediatez en virtud del cual se cita en mayor medida los artículos recientes que los antiguos debido al riesgo de obsolescencia.

Garfield (1985) destaca también la existencia de casos de trabajos arriesgados o descubrimientos prematuros que sólo obtienen un reconocimiento tardío mediante la citación.

3.4. Limitaciones técnicas

- Cobertura limitada de los índices de citación del ISI

Una de las principales limitaciones del sistema de análisis de las citas científicas viene dada por el hecho de que los índices de citación del ISI no contemplan todas las revistas. Mac Roberts y Mac Roberts (1989) estiman que el SCI sólo cubre el 10% de la literatura científica. Muchas decisiones sobre la inclusión o exclusión de determinadas publicaciones en el índice pueden ser consideradas cuando menos discutibles.

Es apreciable que algunas disciplinas científicas no están suficientemente representadas en los índices de citación. Al mismo tiempo existe un fenómeno de sobrerepresentación de las revistas en lengua inglesa. Por otra parte, el ISI sólo incluye las revistas impresas quedando excluidas las electrónicas.

- Tipo de documentos citados

El SCI, el SSCI y el A&HCI extractan las citas únicamente de revistas. Este hecho implica una devaluación de otros formatos de publicación como los libros de investigación, las tesis doctorales y los manuales. Paradójicamente, en algunas áreas como las ciencias sociales las monografías han sido hasta hace poco tiempo el principal vehículo de comunicación científica.

Por otra parte, las revistas publican distintos tipos de documentos: artículos, recesiones, cartas, editoriales, comentarios, abstracts, etc. Para conocer su verdadero factor de impacto es necesario determinar qué tipo de documentos se deben tener en cuenta para contabilizar el número de citas.

El ISI define el factor de impacto de una revista como el resultado del siguiente cociente:

Nº medio de citas que se realizan en un año a documentos publicados en los dos años anteriores en la revista


Nº de documentos citables publicados en la revista en los dos últimos años

Dado que no existe una definición precisa del concepto de documento citable, tipos de documentos que no se consideran citables en el denominador, sí se computan en el numerador (documentos informales, editoriales, discusiones, cartas, etc.). Debido a ello, el impacto de muchas revistas está sobredimensionado. Para evitar este efecto, Moed y Van Leuween (1995) proponen calcular un factor de impacto para cada tipo de documento.

- Errores

El ISI no contabiliza las citas realizadas de forma incorrecta. Debido a ello el impacto de muchas publicaciones se ve disminuido. El error en el registro de la cita puede referirse al nombre del autor, al número o volumen de la publicación, a las páginas en las que se encuentra el artículo citado, etc...[10] Los casos de homonimia de los autores suscitan también problemas de atribución.

- Duplicación de citas

En los países de lengua no inglesa es común publicar un determinado artículo en el idioma nacional y traducirlo posteriormente al inglés. Esta práctica puede llevar a que las citas se dupliquen si el trabajo se publica en una revista nacional y en una revista internacional incluidas en los índices.

3.5. Los grandes artículos apenas citados

Es indudable que existen trabajos científicos que son menos citados o más citados de lo que realmente se merecen (Seglen, 1992).[11] Especial influencia sobre la credibilidad del sistema de análisis de citas tienen aquellos casos de lo que Garfield (1985) denomina "amnesia bibliográfica". Con esta expresión se hace referencia a artículos que se han convertido en clásicos para la ciencia y tienen un número de citas muy inferior a lo esperado. El propio Garfield (1985) pone como ejemplo paradigmático el artículo de 1957 de Watson y Crick sobre la estructura de doble hélice del ADN. Esta investigación sólo ha sido citada 850 veces, frente a las cerca de 2000 mil citas que suele acumular un artículo de los denominados clásicos.

En opinión de Price (1968), los grandes descubrimientos que se incorporan al cuerpo de conocimiento de una disciplina sin que el artículo original que los comunica sea citado, podrían integrar un ficticio Journal of Really Important Papers.

3.6. Los artículos fraudulentos altamente citados

Existen muchos ejemplos de artículos fraudulentos que son citados de forma positiva en trabajos posteriores.[12] El caso más conocido es el del científico John Darsee que a principios de los años ochenta publicó varios artículos sobre cardiología con datos falseados. Pese a que sus investigaciones han sido desautorizadas, siguen siendo citadas positivamente en la literatura.

El "affaire Darsee", lejos de considerarse como un incidente aislado (Kochan y Budd, 1992), es una prueba manifiesta de las limitaciones del sistema de citas como forma de evaluar la calidad científica.

4. Los efectos indeseables del sistema de citas

El análisis de citas ha sido utilizado para la valoración del esfuerzo investigador. Concretamente, se ha hecho uso del mismo para la elaboración de clasificaciones de científicos, revistas, departamentos universitarios e instituciones académicas. Estas aplicaciones han puesto de manifiesto una serie de efectos indeseables del sistema que se exponen a continuación (Tabla 6):

Tabla 6:
Efectos indeseables del sistema de citas

- Presunción de culpabilidad.
- Evaluación perversa.
- Efecto Mateo.
- La "silla 41".
- Autoridad científica de las revistas.
Fuente: Elaboración propia.

4.1. Presunción de culpabilidad

La valoración del mérito científico de un artículo en función del número de citas que recibe lleva a presumir que los artículos menos citados son los de peor calidad.

4.2. Evaluación perversa

La evaluación de científicos, grupos de investigación e instituciones académicas basada en indicadores bibliométricos cuantitativos como el número de citas conduce a errores graves. Pese a ello, el número de artículos y citas siguen siendo los índices más comunes para evaluar el rendimiento de un científico.[13]

Resulta obvio que el número de artículos de un autor no permite conocer el impacto científico de sus trabajos. No puede olvidarse tampoco que el número de citas no está individualizado. Existen autores con muchas citas en trabajos colectivos. Este hecho tiene una gran importancia en la actualidad ya que el logro de una identidad pública en la ciencia está relacionado con la publicación de un número creciente de artículos con varios autores (Merton, 1968).

Como señala Garfield (1985) no es razonable pensar que el mero cálculo de las publicaciones equivale a su análisis. Incluso en aquellos casos en que el seguimiento de las citas es realizado por expertos, no hay garantías de objetividad.[14]

Realmente, el número de citas no dice nada acerca de las habilidades docentes de un investigador o de su talento como gestor. Este indicador tampoco aporta información sobre la capacidad de una investigación para resolver un problema concreto.

La información sobre el número de citas debe utilizarse con prudencia.[15] Parece evidente que las diferencias pequeñas en el número de citas no son estadísticamente significativas. Por ello es absurdo llegar a la conclusión de que "un candidato con 15 citas es más influyente que uno con 10" (Garfield, 1983).

Es evidente que la evaluación basada en el número de citas no examina el valor intrínseco de los artículos. La distribución sesgada de las mismas, el solapamiento de autores, y las diferencias por áreas de conocimiento hacen que el sistema sea inadecuado para la valoración del trabajo de científicos individuales y de grupos de investigación.

4.3. Efecto Mateo

El estudio de la evolución de las citas científicas revela la existencia de un principio de causación acumulativa en virtud del cual los científicos más experimentados reciben más citas que los que carecen de experiencia. Este fenómeno es conocido en sociología como el "efecto Mateo".[16]

De acuerdo con Merton (1968), el "efecto Mateo" consiste en la acumulación de mayores grados de reconocimiento para las contribuciones científicas de investigadores reputados en detrimento de aquellos no experimentados. Este fenómeno se explica por el hecho de que cuantas más veces es citado un autor, mayor es la probabilidad de que vuelva a ser citado. El incremento exponencial del volumen de publicaciones científicas ha potenciado la frecuencia e intensidad de la función comunicativa de este efecto.

De esta manera, si se examinan los índices de citación se percibe que en los casos de descubrimientos múltiples independientes, los trabajos de los científicos de mayor rango son más rápida y ampliamente citados. En el caso de los trabajos colectivos, los líderes de los equipos de investigación suelen encabezar artículos en los que su contribución ha sido indirecta.

El sistema de citas propicia una exacerbación del reconocimiento asimétrico inducido por el "efecto Mateo", y determina, en cierta medida, una infravaloración de los jóvenes investigadores.

4.4. La "silla 41"

Como es sabido, sólo un número limitado de personas pueden recibir el reconocimiento científico. De forma ilustrativa Merton (1968) señala en este sentido que "un buen número de científicos que no han recibido el Nobel ni lo recibirán han contribuido al avance de la ciencia tanto como aquellas personas que lo han ganado".

Este hecho ha sido descrito en ocasiones con la metáfora de la "silla 41". La "silla 41" hace referencia a la limitación en virtud de la cuál sólo 40 personas podían ser miembros de la Academia Francesa y pasar a la posteridad. Este numerus clausus impedía que personas talentosas se integraran en la institución.

En el ámbito del reconocimiento científico, el sistema de citas parece amplificar este efecto de exclusión, ninguneando a un gran número de investigadores que merecen ser citados y no lo son. De forma inevitable, todos aquellos artículos de calidad que no logran "colocarse" en revistas del JCR pasan a ocupar la "silla 41".

4.5. Publish or perish

La consolidación de la evaluación basada en el número de artículos y citas científicas ha convertido el hecho de publicar en una cuestión prioritaria para los académicos (publish or perish).

La presión para publicar ha generado dos externalidades negativas. En primer lugar, la necesidad de publicar artículos ha llevado a una proliferación de un gran número de revistas cuyas tendencias editoriales responden más a intereses comerciales que al avance de la ciencia.

Por otra parte, los investigadores se ven obligados en muchas ocasiones a producir artículos que no tienen la suficiente calidad. Ello se debe a que los trabajos de más interés científico requieren una demora de tiempo que aquellos que compiten en la carrera académica no siempre se pueden permitir.

Esta situación es especialmente lamentable en el caso de los investigadores junior. Aquellos que dan sus primeros pasos en el mundo de la investigación son conscientes de que son valorados por el número de sus méritos académicos. Como consecuencia de ello, sus estrategias de publicación se orientan hacia las revistas de bajo impacto, en las que el proceso de evaluación es más rápido y las posibilidades de "colocar" un artículo son mayores. De este modo la urgencia por publicar conduce inexorablemente a la elaboración de artículos que rara vez serán citados.

Los artículos banales, la fragmentación de las investigaciones hasta la mínima unidad publicable, el laconismo de los trabajos, y la sobreexplotación de los hallazgos científicos[17] son manifestaciones claras de la degradación de la literatura.

El sistema de citas ha propiciado que la función principal del científico sea la producción de papers just in time. La cantidad parece primar sobre la calidad, y la premura y la competitividad han provocado que "el no dejar ningún artículo en el escritorio" se haya convertido en un lema para muchos.[18]

4.6. Autoridad científica de las revistas

Existe la presunción tácita de que el factor de impacto de una revista es representativo de la calidad de los artículos que pública. De esta manera, el sistema de citas conduce a que las investigaciones sean más valoradas por el prestigio de la revista en que aparecen que por la calidad de su contenido.

Se atribuye así a las publicaciones especializadas las funciones de avalar el rigor de los descubrimientos y rechazar aquellos artículos que no merecen ser citados. Sin embargo, con mucha frecuencia conclusiones incorrectas publicadas en revistas de prestigio "se han abierto paso en los manuales de determinadas especialidades científicas" (Campanario, 1996).

Las revistas científicas se han convertido no sólo en un medio de aportar conocimiento, sino también en un espacio en el que los investigadores compiten por el prestigio y el reconocimiento y en el que se atribuye a editores y evaluadores el papel de cancerberos de la ciencia.

Las líneas editoriales de las publicaciones marcan las directrices de la investigación cercenando grados de libertad a los científicos. La predilección de las revistas especializadas por los artículos empíricos cuantitativos ha determinado una postergación del enfoque cualitativo y de los artículos puramente teóricos o metodológicos.

La evaluación de los artículos que se envían para publicar es un aspecto importante. Puede quedar desvirtuada por diversos motivos. En primer lugar, en ocasiones las revistas tratan de vincularse a grupos académicos poderosos otorgando a sus miembros el papel de editores, evaluadores y autores. En otros casos, las revistas están controladas ya de por sí por instituciones. Así por ejemplo, la Universidad de Chicago controla el Journal of Polítical Economy y la Universidad de Harvard el Quarterly Journal of Economics.

También hay autores que disponen de una ventaja de partida al estar relacionados de algún modo con el consejo editorial de la publicación. Incluso a veces, los propios evaluadores publican en la propia revista que evalúan.

5. Reflexiones finales

Las reflexiones finales de este artículo se estructuran en torno a cinco aspectos fundamentales:

  • El sistema de citas como forma de representación de la ciencia.
  • El sistema de citas como forma de evaluación.
  • Las citas como manifestación de la autoridad del precedente.
  • El sistema de citas y la pérdida de credibilidad de las revistas.
  • Recomendaciones para la evaluación de las contribuciones científicas.

Por lo que respecta al primer aspecto, hay que decir que el sistema de valoración de los meritos científicos basado en el número de citas no refleja el estado real de la ciencia. De hecho sólo ofrece una representación fragmentaria de la misma basada en sus propiedades formales. Los índices del ISI son instrumentos bibliométricos que captan las relaciones entre publicaciones ignorando su contenido.[19] La ciencia se representa desde una perspectiva externa como una red de citas y no se tiene en cuenta todo el proceso de investigación.[20]

El sistema de citas mide el uso formal de la literatura científica.[21] El índice depende de la literatura, pero la literatura no depende del índice. El SCI, el SSCI y el A&HCI ni siquiera aportan una representación objetiva ya que están subordinados a la decisión de los científicos de publicar. Además, los factores de impacto de las revistas son criterios demasiado genéricos como para convertirlos en parámetros de evaluación de la ciencia.

La evaluación científica no puede consistir en ningún caso en un mero cálculo de los artículos publicados en el JCR. La cita no es un hecho simple y no debe tratarse como tal. Aspectos sociales complejos pueden hacer que un determinado trabajo se convierta en un símbolo en su campo. El número de citas que recibe un artículo de investigación está determinado en cierta medida por factores no científicos como la amistad, la antipatía o las políticas institucionales. En estas circunstancias, el sistema de citas no puede sustituir al imprescindible análisis de contenido de toda contribución científica. En palabras de Garfield (1985) la información sobre citas no "reemplaza el pensamiento crítico".

Especialmente en el área de las ciencias sociales, la frecuencia de las citas no garantiza el impacto científico de una investigación. El número de citas no es un indicador suficiente de calidad ya que no proporciona información cualitativa útil.

Por ello es posible decir que el valor científico de un trabajo no depende del número de veces en que es citado, sino de su utilidad para la sociedad.[22] La fuerza de un enunciado original debe residir en él mismo, no en el número de artículo que los incorporan.

La autoridad del precedente como fundamento del sistema de citas se opone a la vocación de universalidad de la ciencia. De hecho el avance científico implica un cuestionamiento sistemático de este principio. No son escasos en la historia de la ciencia los casos de fraude o error accidental vinculados a usos extensivos del argumento de autoridad. El investigador corriente que se encuentra con la verdad debe tener la posibilidad debe superar los obstáculos que eventualmente pueden presentar los evaluadores y las instituciones predominantes. La mayoría no puede inculcar sus argumentos al disidente si este tiene razón.

Hay que considerar, en definitiva, que la literatura que ha sido citada en el pasado no se puede considerar sin sentido crítico. Su antigüedad no es sinónimo de precisión o validez y debe someterse al mismo escrutinio que las nuevas aportaciones.

La capacidad de las revistas científicas de garantizar la calidad de los artículos está cada vez más en entredicho. Esta circunstancia se ve agravada por el hecho de que la publicación en revistas del JCR se ha erigido como la prioridad principal para muchos grupos de investigación. Como consecuencia de ello, lo que antes se consideraba como un mero indicio de calidad se ha convertido en un objetivo central. En estas circunstancias, todo conduce a publicar en las revistas internacionalmente reconocidas, no porque sean necesariamente las mejores, sino porque son las más citadas.

Los argumentos anteriormente esgrimidos permiten realizar algunas recomendaciones. Los índices de citación deben ser considerados como un indicador de utilidad, más que de calidad de la investigación. Resultan más apropiados para la evaluación científica de países que de individuos o grupos. Dado que los indicadores bibliométricos no pueden tener en cuenta todas las particularidades y circunstancias individuales de las realidades evaluadas, han de complementarse con otro tipo de información, y en ningún caso deben emplearse para comparar disciplinas científicas distintas.

En el estado actual de la ciencia moderna se hace necesario realizar un análisis verdadero de las investigaciones. No sólo hay que saber el número de veces que se cita un artículo, sino por qué es citado. Pese al extraordinario incremento de la literatura, se hace imprescindible, por lo tanto, leer el trabajo prescindiendo de los indicadores formales.

Sólo así, el avance científico será mayor, ya que los parámetros de evaluación de la investigación estarán relacionados con sus características básicas: la novedad, la solidez y la magnitud del conocimiento producido.

6. Bibliografía

CAMPANARIO, J. M. (1996): "The competition for Journal Space among Referees, Editors, and Other Authors and Its Influence on Journals' Impact Factors". Journal of the American Society for Information Science. N. 3. Vol. 47. P. 184-192.

CAMPANARIO, J. M. (2003): "Citation Análisis". En FEATHER, J. y STURGES, P. (Eds.): International Enciclopaedia of Information and Library Science. 2ª Edición. Routledge. Londres.

GARFIELD, E. (1983): "How to use Citation Analysis for Faculty Evaluations, and When Is It Relevant? Part I". Current Comments. N. 44. October 31St. P. 354-362.

GARFIELD, E. (1985): "Uses and misuses of citation frequency". Current Comments. N. 43. October 28th. P. 403-409.

KING, D. A. (2004): "The scientific impact of nations". Nature. Vol. 430. 15th July. P. 311-316.

KOCHAN, C. A. y BUDD, J. M. (1992): "The Persistence of Fraud in the Literature: The Darsee Case". Journal of the American Society for Information Science. N. 7. Vol. 43. P. 488-493.

HOPKINS, K. (2005): "Most highly cited". The Scientist. October. P. 22 y 23.

LATOUR, B. (1992): "Ciencia en Acción. Cómo seguir a los científicos e ingenieros a través de la sociedad". Ed. Labor. Barcelona.

MAC ROBERTS, H. y MAC ROBERTS, B. (1989): "Problems of citation Analysis: A critical Review". Journal of the American Society for Information Science. N. 5. Vol.

40. P. 342-349.

MERTON, R. K. (1968): "The Mathew Effect in Science". Science. Vol. 159. N. 3810. P. 56-63.

MOED, H. F. y VAN LEEUWEN, Th. N. (1995): "Improving the Accuracy of Institute for Scientific Information´s Journal Impact Factors". Journal of the American Society for Information Science. N. 6. Vol. 46. P. 461-467.

PRICE, D. J. S. (1968): "Networks of Scientific Papers". Science. Vol. 149. N. 3683. P. 510-515.

SEGLEN, P. O. (1992): "The Skewness of Science". Journal of the American Society for Information Science. N. 9. Vol. 43. P. 628-638.

WOUTERS, P. (1999): "The citation culture". Tesis doctoral. Universidad de Amsterdam.


Notas:

[1]A principios de siglo los documentalistas empezaron a recopilar datos sobre la frecuencia de las citas de determinadas publicaciones para valorar la utilidad de su suscripción.

[2]De acuerdo con la Teoría normativa las bibliografías son listas de influencias que los autores utilizan para reconocer la credibilidad de otros.

[3]Eugene Garfield, padre del sistema actual de análisis de las citas científicas, ha acuñado el término "nobelología" para referirse a los pronósticos de concesión del premio Nobel basados en el dato de que los galardonados son citados de treinta a cincuenta veces más que un científico medio (Hopkin, 2005).

[4]Lógicamente, el número total de citas está determinado por el número medio de referencias por artículo y resulta demasiado pequeño como para dar cabida a todos los artículos publicados. Por ello, el hecho de que una minoría de artículos acumulen la mayor parte de las citaciones es un fenómeno estadístico que no puede alterarse.

[5]Australia, Austria, Bélgica, Brasil, Canadá, China, Dinamarca, Finlandia, Francia, Alemania, Grecia, India, Irán, Irlanda, Israel, Italia, Japón, Luxemburgo, Holanda, Polonia, Portugal, Rusia, Singapur, España, Sudáfrica, Corea del Sur, Suecia, Suiza, Taiwán, Reino Unido y EEUU.

[6]Mac Roberts y Mac Roberts (1994) afirman que los países pequeños no occidentales están infrarrepresentados en los índices del ISI.

[7]Los colegios invisibles son redes de investigadores que se citan de forma reciproca para aumentar su notoriedad.

[8]El término in house citation hace referencia a las citas realizadas entre los miembros de un mismo grupo de investigación.

[9]Seglen (1992) considera que la variabilidad en el uso de las citas de las revistas no es menor que entre autores.

[10]Los casos de errores en la cita no son infrecuentes. Algunas publicaciones incluyen en sus artículos la forma en que estos deben ser citados.

[11]Merton (1968) destaca que la historia de la ciencia está llena de ejemplos de artículos "básicos" escritos por investigadores desconocidos.

[12]En el momento en que escribo estas líneas, en los últimos días del año 2005, la prensa diaria se hace eco de dos notorios casos de fraude científico. El primero de ellos es el del investigador surcoreano Hwang Woo-suk que al parecer falseó sus trabajos sobre la clonación de embriones humanos. El segundo es el del doctor hindú Ram B. Sigh, que en 1992 publicó un artículo en la revista de la British Medical Association en el que aseguraba que las fibras, las frutas y los vegetales disminuían hasta la mitad el riesgo de ataques cardiacos en personas con patologías de corazón. Este artículo ha sido citado en más de 200 ocasiones. Recientemente se ha verificado que el trabajo de campo desarrollado presentaba graves deficiencias que desvirtuaban la investigación.

[13]Recientemente Hirsch, catedrático de Física de la Universidad de California, ha propuesto un índice sencillo para evaluar la carrera científica: el factor H. Este factor es un valor que se asigna a cada científico y establece el número de artículos que tiene ese autor con tantas o más citas que su factor H. Por ejemplo, un factor 15 significa que un científico tiene 15 artículos que han sido citados 15 o más veces. El factor H es un promedio que permite extrapolar el rendimiento científico a medio plazo.

[14]Garfield (1983) considera que los datos sobre citas pueden incluso aumentar la subjetividad de las evaluaciones.

[15]Las personas avezadas en el manejo de los datos de citación saben que los mismos pueden ser fácilmente malinterpretados o manipulados inadvertidamente. Por ello cabe decir que los índices de citación son válidos en la medida en que son interpretados con corrección.

[16]La expresión tiene su origen en Mateo XXV, 29: "Porque al que tiene, le será dado, y tendrá más; y al que no tiene, aun lo que tiene le será quitado".

[17]Por sobreexplotación de los hallazgos científicos entiendo, por ejemplo, la publicación de varios artículos sobre un mismo tema alterando aspectos no sustanciales.

[18]Lamentablemente, las virtudes de la dedicación y la minuciosidad en la investigación están perdiendo terreno como consecuencia de la producción en serie de artículos de baja calidad.

[19]Es importante dejar claro que el número de citas es un indicador bibliométrico y no científico.

[20]Pese a que el artículo científico es la forma usual de comunicación entre científicos, no refleja suficientemente la forma en que este se ha realizado (Campanario, 1996).

[21]Obviamente, los aspectos informales también forman parte de la ciencia.

[22]Seglen (1992) se muestra crítico en este aspecto y considera que las tasas de citación de las publicaciones dependen más de la utilidad para los científicos que para la sociedad.