Influencias formales no citadas como crtica al anlisis de

citas en la evaluacin cientfica

Carolina Callejo

El anlisis de citas es el mtodo ms utilizado para determinar el crdito y el prestigio de los

investigadores y de las publicaciones que difunden los resultados de sus trabajos. La corriente normativa
de la ciencia presupone que los documentos cientficos ms citados son los de mayor calidad y que por
tanto los autores de esos trabajos y las revistas que los publican son referentes de una ciencia de
calidad, por lo que resulta lgico que sean stos los que reciban el mayor prestigio y crdito cientficos.
Sin embargo, en opinin de algunos autores esto genera una serie de prcticas indeseadas por parte de
cientficos y revistas con el nico objetivo de aumentar sus ndices de citacin e impacto y posicionarse
dentro del reducido crculo de productores de investigacin de calidad.
Segn esta enfoque, el anlisis de citas como mtodo de evaluacin cientfica se convierte en un
artefacto artificial que desvirta la esencia de la actividad investigadora. En esta lnea, son muchas las
crticas defendidas por parte de numerosos autores, entre ellas la que afirma que los cientficos no
siempre citan todas las influencias formales de sus trabajos. Esto resultara, por tanto, en un mecanismo
viciado en el que solo los actores ms citados se consideraran los ms influyentes y prestigiosos,
mientras el resto quedaran desprovistos del sello de calidad cientfica.
Este ensayo tiene por objetivo presentar, de forma resumida, cul es el debate en torno al uso de las
citas como sistema de evaluacin de la calidad investigadora y reflexionar sobre la crtica de
MacRoberts1 con respecto a las influencias formales no citadas.

Introduccin
En la actualidad la informacin disponible sobre el mundo que nos rodea crece
exponencialmente. Esa informacin no es sino consecuencia de la continua produccin y
difusin del conocimiento humano que es fruto de la investigacin cientfica. Porque la
ciencia se ha convertido en la va principal de acceso al conocimiento de la realidad,
posicionndose como el motor del desarrollo poltico, econmico y social y, por ende, de la
evolucin humana.
La actividad cientfica es determinante para la vida humana actual. Porque lo que produce la
ciencia son conocimientos certificados; de ah que los resultados de la investigacin y su
aplicacin prctica condicionen todos los mbitos de nuestra existencia (recursos, bienestar
social, economa, actuaciones polticas). Se deduce, por tanto, el papel vital que la ciencia
desempea en nuestra sociedad. Y ms que la ciencia como una especie de ente abstracto,
me refiero a la actividad investigadora materializada en el conjunto de personas implicadas
en el ciclo de produccin cientfica. Son ellos sobre quienes recae la autntica
responsabilidad de practicar una ciencia de calidad. Y para conocer la calidad de la
investigacin cientfica es necesario evaluarla.

MacRoberts, 1989.

Evaluacin de la ciencia y de la actividad cientfica

La evaluacin de la ciencia es hoy en da una prctica sistemtica dentro de la comunidad
cientfica y sus resultados tienen efectos directos sobre las personas, instituciones y
empresas implicadas en la produccin del conocimiento cientfico (investigadores,
universidades, editoriales, laboratorios). El mtodo de evaluacin por excelencia son los
indicadores bibliomtricos, que han convertido a la actividad investigadora en un
competitivo mercado sustentado por la cultura del publicar o perecer (publish or perish2).
En este contexto, las citas constituyen el principal (aunque no el nico) sistema de
evaluacin de la ciencia a travs de los artculos publicados en revistas de revisin por
pares, mediante la medicin del impacto que los resultados de la investigacin tienen
dentro de la comunidad cientfica. As, estos artculos se convierten en los productos
cientficos por excelencia ya que son los que proporcionan el conocimiento certificado.
Como consecuencia, el sistema de evaluacin por citas determina el prestigio y
reconocimiento cientficos de los autores y las instituciones que los respaldan, delimitando
lo que es y lo que no es ciencia de calidad.
En opinin de muchos esto genera un crculo vicioso en el que siempre son los mismos
autores y revistas los que representan el sello de calidad de la investigacin cientfica. De
hecho, se ha constatado que las distribuciones bibliomtricas siguen en muchos casos el
Principio de Pareto, en el que el 20% de una poblacin ostenta el 80% de algo, mientras que
el 80% de la poblacin restante solo ostenta el 20%. Esto, aplicado a la investigacin
cientfica supone que solo el 20% de los autores (aquellos con mayor reconocimiento que
publican sus trabajos en las revistas de mayor prestigio) generan el 80% de la produccin
cientfica.
Si tenemos en cuenta que la evaluacin repercute directamente en la carrera profesional de
los investigadores (posibilidades de promocin, carga docente, remuneracin) este
mecanismo de evaluacin de la ciencia margina a gran parte de los actores.
Esta distribucin asimtrica de la bibliometra no solo afecta a la produccin, sino tambin
al crdito cientfico que se otorga a travs de las citas, de manera que tanto la produccin
como el impacto se concentran en un pequeo nmero de agentes. Pese a este perverso
efecto, ampliamente conocido, el impacto cientfico medido a travs de las citas sigue
siendo el mtodo de evaluacin de la actividad investigadora ms utilizado en la actualidad.
Por qu? Quienes defienden esta corriente, derivada de la concepcin mertoniana de la
ciencia, tienen slidos argumentos para ello. Asumen que las citas de un documento
reflejan el mrito del mismo y, por tanto, las citas se dirigen a los mejores trabajos
publicados. Este pensamiento resulta lgico, ya que si las mejores investigaciones
cientficas son las ms citadas es por mritos propios, porque son las de mayor calidad
cientfica y, por ende, sus autores debern obtener el mayor crdito y reconocimiento.

Expresin acuada por Phillip Clapham como ttulo de su famoso artculo en el que ilustr la importancia que

tiene la publicacin y difusin de los resultados de la investigacin para los cientficos.

[] las publicaciones son un elemento fundamental de la arquitectura

institucional de la empresa cientfica. Y dado que la calidad de la investigacin se
infiere del crdito concedido a las publicaciones en las que aparece, la mejor
ciencia es en la prctica la que se muestra en las revistas con un mayor impacto y
los mejores cientficos son los que consiguen publicar sus investigaciones en ellas
y obtienen ms citas de sus trabajos (Requena, 2014: 131).

Esto provoca el denominado efecto mateo: los cientficos ms prestigiosos concentran

todo el reconocimiento a costa de los dems colaboradores, mientras que stos ltimos
quedan a la sombra de los primeros. As, quienes ms crdito reciben a travs del sistema
de citas son lo que tienen ms recursos y mejores condiciones laborales y gracias a ello
generan, a su vez, mejores investigaciones que son reconocidas de nuevo por el sistema de
citas. El resultado inevitable es que el prestigio y reconocimiento cientficos se concentran
siempre en los mismos.
Crticas al anlisis de citas como mtodo de evaluacin
Todo esto ha generado durante aos un intenso debate dentro de la comunidad cientfica
sobre el uso de las citas como sistemas de evaluacin de la actividad investigadora. Muchos
autores critican este modelo al considerar que se trata de un sistema artificial de evaluacin
de la ciencia que promueve una serie de acciones contraproducentes para la propia esencia
del trabajo cientfico: intereses comerciales derivados del impacto de las publicaciones que
interfieren en los procesos de seleccin de los trabajos de calidad, prcticas editoriales
cuestionables (reduccin artificial del nmero de trabajos publicados, promocin excesiva
de las marcas editoriales), motivaciones de los autores citantes ajenas al propio inters
cientfico que derivan en citas sesgadas, autocitacin e incluso en influencias formales no
citadas para aumentar el ndice de calidad de los trabajos.
Desde los enfrentamientos iniciales, los defensores del anlisis de citas como
sistemas de evaluacin de la calidad cientfica siguen reivindicando que reconocen
las limitaciones del mtodo y corrigen los problemas, mientras que los detractores
defienden que los primeros no solo subestiman los problemas, sino que an no los
reconocen (MacRoberts, 1989: 342).

Una de las crticas al anlisis de citas que realiza MacRoberts3 es la de las influencias
formales no citadas. Una de las principales hiptesis subyacentes al anlisis de citas como
medio para evaluar la calidad cientfica es que los investigadores siempre citan los trabajos
que les influyen y que son raros los casos en los que los autores no citan sus influencias
formales. Sin embargo, esta asuncin no tiene una base slida ya que no haba sido
comprobada en estudios cuantitativos.
Por este motivo, este autor llev a cabo una investigacin4 a nivel cuantitativo para
examinar el problema de las influencias formales no citadas. En este trabajo, se
seleccionaron 15 documentos sobre la historia de la gentica y se anotaron las influencias
formales que s haban sido citadas y las que no haban sido citadas pero que s constituan

MacRoberts, 1989.
MacRoberts, Michael H.; MacRoberts, Barbara, R. (1986). Quantitative Measures of Communication in
Science: A Study of the Formal Level. Social Studies of Science [en lnea]. N 1, vol. 16, pp. 151-172. Disponible
en: http://sss.sagepub.com/content/16/1/151.abstract.
3
4

influencias formales. Los resultados mostraron la influencia de un total de 719 referencias,

de las cuales solo 216 haban sido citadas y el resto se haban omitido. De manera que las
influencias formales citadas solo representaban el 30% de todas las influencias reales.
Se examinaron documentos en otras disciplinas y los resultados obtenidos fueron similares.
El estudio ms minucioso, cit solo el 64% de las influencias. Segn MacRoberts la mayora
de los autores simplemente no citan la mayora de sus influencias, y ninguno cita todas sus
influencias (MacRoberts, 1989: 343).
Anlisis correcto o tendencioso?
Refleja la crtica de MacRoberts un anlisis correcto o tendencioso del empleo de las citas
como medio de evaluacin cientfica?
Antes de responder a esta pregunta quiero comentar algunas cuestiones importantes. Si
damos por sentado que la hiptesis de las influencias formales no citadas es cierta,
debemos preguntarnos cul sera la causa de que los investigadores no citen todas sus
influencias. Planteo dos opciones: que no lo hagan intencionadamente, citando solo
aquellas influencias que se consideran ms prestigiosas para aumentar el impacto de sus
propios trabajos y alcanzar el tan deseado crdito y reconocimiento cientficos, o que la
omisin de algunas influencias se deba a factores inconscientes. En el mundo acadmico las
influencias entre autores son continuas, y en ocasiones es difcil discernir entre lo que se
considera pensamiento propio e influencia5.
El primer caso supondra una interferencia consciente y premeditada del autor en beneficio
propio y podra violar los derechos de propiedad intelectual. Sinceramente, no me decanto
por esta opcin. Quiz en algunos casos el propio investigador manipule los cimientos de su
trabajo6 con el nico fin de obtener un mayor reconocimiento, pero no creo que esta sea la
regla general. Me decanto ms bien por la segunda opcin, que responde a un mecanismo
inconsciente ms cerca del error humano que de la intencionalidad.
Por otro lado, hay que tener en cuenta que el documento que sustenta la crtica de
MacRoberts de las influencias formales no citadas es del ao 1986 y constituye el primer
estudio cuantitativo hasta entonces a este respecto. Por tanto, no se pueden inferir los
resultados de un solo estudio al universo de todos los investigadores. Aun siendo verdadera
la hiptesis de las influencias formales no citadas, los resultados de un trabajo no
representan el quehacer cientfico de las diferentes disciplinas, instituciones y grupos de
investigacin.
Adems, en su estudio este autor afirma que los cientficos omiten en sus trabajos gran
parte de sus influencias formales, pero no especifica (ni creo que lo contabilizase) si estas
influencias formales omitidas son las de menor prestigio y reconocimiento y, por tanto, solo
citan las de mayor impacto o la inclusin de unas u otras responde al azar. Por tanto, hasta

A veces, nos surge una idea que creemos que es propia y luego nos damos cuenta de que haba alguien, a
quien no conocamos, que ya la haba formulado previamente.
6 Las influencias de un trabajo, plasmadas en la bibliografa, no son sino los cimientos de ese trabajo, lo que
sustenta y justifica las conclusiones y resultados.
5

que se desarrolle una lnea de investigacin emprica a este respecto no podremos obtener
conclusiones certeras.
Lo que s puedo concluir, en respuesta a la pregunta que se plantea al principio de este
apartado, es que el anlisis de MacRoberts es ms tendencioso que correcto, ya que
muestra una tendencia parcial y dirigida a un determinado fin: reforzar su crtica al uso de
las citas como medida de la calidad investigadora.

Referencias
JIMNEZ, Evaristo (2015). La evaluacin de la Ciencia y de la actividad cientfica (ppt). Apuntes
del mster en Informacin y Comunicacin cientfica de la Universidad de Granada.
MACROBERTS, Michael H.; MACROBERTS, Barbara R. (1989). Problems of Citation Analysis:
A Critical Review. Journal of the American Society for information science [en lnea]. N 40,
vol. 5, pp.342-349. Disponible en: http://onlinelibrary.wiley.com/doi/10.1002/%28SICI%2910974571%28198909%2940:5%3C342::AID-ASI7%3E3.0.CO;2-U/abstract.
REQUENA, Miguel (2014). La evaluacin de la investigacin a debate. Revista Espaola de
Sociologa [en lnea]. N 21, pp. 129-136. Disponible en: http://www.fesweb.org/res/sumarios/021.php.