El falso artículo de Pantani-Contador que dejó en evidencia a Google Scholar

Cuaderno de Ciencias

Una de las características vitales del moderno método científico es la publicación de los estudios realizados, la metodología utilizada y los resultados obtenidos. Que cualquier experimento o análisis científico sea público y accesible a todo el mundo es uno de los elementos fundamentales sobre los que se basa la Ciencia en nuestro tiempo.

El auge de potentes buscadores ha facilitado esta tarea de poner a disposición de la sociedad la tarea científica, y con ellos han surgido iniciativas de indexación de artículos que en un principio estaban casi exclusivamente reservados a las publicaciones y editoriales científicas de toda la vida.

En 2004 el gigante de internet Google lanzó su propio sistema bibliométrico para registrar y computar el impacto de Revistas y artículos científicos, llamado Google Scholar Metrics. Desde entonces el crecimiento de esta herramienta digital no ha hecho más que aumentar, convirtiéndose en nuestros días en uno de los referentes mundiales no solo para buscar información científica sino también como medida para evaluar la investigación realizada.

Sin embargo, y aunque desde el principio debemos reconocer su enorme utilidad (yo mismo lo utilizo casi a diario para la búsqueda de artículos científicos), muchos profesionales llevan tiempo advirtiendo de sus grandes carencias y lagunas.

[Relacionado: Las confusiones más comunes sobre la homepatía]

Uno de los grupos que con más profundidad ha analizado las ventajas e inconvenientes de esta nueva y emergente herramienta digital son los investigadores del grupo EC3 de la Universidad de Granada de evaluación de la Ciencia y de la Comunicación Científica.

El año pasado este equipo de científicos granadinos emitió un detallado informe en el que se detallaban las principales desventajas del sistema de Google, entre los que se encontraban:

  • Falta de transparencia en el contenido de la base de datos.
  • No se declaran acuerdos con editoriales ni de las fuentes que se indizan.
  • No existe control de las fuentes procesadas.
  • Errores en el procesamiento de la información: errores tipográficos, algoritmos automáticos, errores en las referencias bibliográficas.

El informe del EC3 sobre todo abundaba en la ausencia de análisis y control en la calidad de los artículos indexados en la base de datos. Esto es de vital importancia para una herramienta que calcula algo tan importante para un investigador o una publicación como es el índice h, ya que al fin y al cabo es un baremo que mide el impacto del trabajo de un científico o una Revista.

[Relacionado: La subvención a la pseudociencia del Ministerio de Agricultura]

Por poner un ejemplo: Una revista con un índice h 12 significa que ha publicado 12 trabajos con al menos 12 citas cada uno de ellos. Estas mediciones del impacto de una publicación científica no sirven de nada si no existe un control de calidad de esos trabajos publicados. Es decir, si esos 12 trabajos publicados son erróneos o falsos, la herramienta de medición no tiene mucha utilidad y estamos concediendo valor a una Revista o a un científico basándonos solamente en los artículos que Google automáticamente recoge en su Scholar Metrics.

Lo interesante de este grupo de investigadores granadinos, dirigidos por el Catedrático Emilio Delgado López-Cózar, es que no han querido solamente señalar las faltas de esta herramienta bibliométrica… lo realmente curioso es que, tras elaborar su informe en 2012, se pusieron manos a la obra para demostrar realmente hasta qué punto fallan los controles de calidad y decidieron engañar ellos mismos a Google Scholar Metrics.

Para ello se inventaron un investigador al que llamaron Marco Alberto Pantani-Contador y publicaron un artículo científico sin pies ni cabeza que subieron a la web personal de este personaje ficticio.

El resultado fue casi inmediato: los autores de este experimento habían incluido citaciones a trabajos suyos en el artículo falso publicado y en cuestión de horas, comprobaron que su índice h en Scholar Metrics aumentaba considerablemente, mostrando claramente que Google automáticamente lo registra como artículo científico sin analizar en ningún momento la calidad de lo publicado.

Las conclusiones de este experimento, demostrando la fragilidad de los controles de calidad en Scholar Metrics y Scholar Citations, se han hecho públicas recientemente en un artículo titulado The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators, que ha sido ampliamente recogido en medios especializados e incluso la propia Science la ha publicada en sus cartas al editor.

Como resumen me gustaría quedarme con la siguiente reflexión. Vivimos en una época en la que la producción científica es espectacularmente diversa y amplia. Sin embargo, el que un estudio afirme unas determinadas conclusiones no significa automáticamente que sean correctas. Cuando alguien nos diga que ha leído algo en un artículo científico, nuestra siguiente pregunta debería ser cuál ha sido la calidad de los controles que ha pasado ese estudio.

[Si te ha interesado este artículo deberías leer “¿Y si la mitad de lo que sabes sobre ciencia es falso?]

Referencias científicas:

Delgado López‐Cózar, Emilio; Robinson‐García, Nicolás; Torres‐Salinas Daniel. The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. Journal of the American Society for Information Science and Technology (2013). DOI: 10.1002/asi.23056.

Delgado López‐Cózar, E.; Robinson‐García, Nicolás; Torres‐Salinas Daniel. Flawed Citation Indexing. Science 6 December 2013: Vol 342, no. 6163, p. 1169. DOI: 10.1126/science.342.6163.1169-b.

Delgado-López-Cózar, Emilio; Cabezas-Clavijo, Álvaro. “Google Scholar Metrics: una herramienta poco fiable para la evaluación de revistas científicas”. El profesional de la información, 2012, julio-agosto, v. 21, n. 4, pp. 419-427.

Emilio Delgado López-Cózar. Exposición del experimento en la Secretaría General de la Universidad de Granada. Diciembre 2013.

Al usar Yahoo aceptas que Yahoo y sus socios puedan utilizar cookies para personalización y otros fines