Yo uso mucho Google Scholar (o Google Académico) desde que nació el jueves 18 de noviembre de 2004 (Declan Butler, “Science searches shift up a gear as Google starts Scholar engine,” News, Nature 432: 423, 25 Nov 2004). Por supuesto, su algoritmo automático para detectar qué es un documento científico comete muchos errores (aunque ha mejorado). La clave es que el documento esté colgado en una institución “respetable” (como una universidad española), por ello resulta muy fácil colarle un gol con un artículo bulo (fake). Mucha gente ha abusado de esta posibilidad colgando en la web de su universidad artículos generados por ordenador con autores ficticios o contenido incomprensible. Como es obvio, estos artículos permiten falsear las métricas bibliométricas de Google Scholar, como el índice h y el número de citas de cualquier investigador. Ya lo conté con el experimento Antkare del francés Cyril Labbé en “Cómo incrementar tu índice h gracias a Google Scholar,” LCMF 14 Ene 2011.
El mes pasado esta cuestión volvió a ser noticia gracias al experimento Pantani-Contador realizado por investigadores españoles de las universidades de Granada y Navarra (que se basaron en la idea de Labbé). Lo más curioso es que estos españoles lograron publicar una breve nota (un par de párrafos) sobre su experimento en la prestigiosa revista Science. Un gran premio para su labor, que además muestra que la bibliometría y la cienciometría son campos candentes en los que es fácil publicar hasta en las revistas más prestigiosas. “Science Communication: Flawed Citation Indexing,” Science 342: 1169, 6 Dec 2013; el artículo técnico es ”The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators,” Journal of the American Society for Information Science and Technology, AOP 11 Nov 2013 (arXiv:1309.2413 [cs.DL]).
Por cierto, hay una versión en español del artículo de Emilio Delgado López‐Cózar, Nicolás Robinson‐García, Daniel Torres‐Salinas, ”Manipular Google Scholar Citations y Google Scholar Metrics: Simple, sencillo y tentador,” EC3 Working Papers 6, 2012 [resumen en el blog del grupo EC3noticias, 29 May 2012). En español también recomiendo UGRdivulga, ”El experimento español ‘Pantani-Contador’ demuestra lo fácil que es engañar a Google Scholar,” Agencia SINC, 10 Dic 2013. De hecho, Google Scholar Metrics apareció el 01 de abril de 2013 (lo que muchos interpretaron como una broma de April Fools’ Day, equivalente al 28 de diciembre, Día de los Inocentes, en España), como nos contaron Álvaro Cabezas-Clavijo, Emilio Delgado-López-Cózar, “Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?,” EC3 Working Papers 1, 09 Abr 2013.
Como el artículo técnico está en español, recomiendo su lectura a todos los interesados en los detalles del experimento. En resumen, Emilio Delgado López-Cózar, Nicolás Robinson García y Daniel Torres‐Salinas estudiaron el efecto de seis artículos científicos falsos publicados por un tal Marco Alberto Pantani-Contador, cuyo texto en español es un sinsentido y fue traducido al inglés por Google Translator. Colgaron los documentos en la página web de la Universidad de Granada (una institución muy respetable para Google Scholar), en concreto, en la web del grupo de investigación EC3 (Evaluación de la Ciencia y de la Comunicación Científica). Estos seis artículos citaban cada uno a otros 129 trabajos científicos y estas 774 citas afectaron a los parámetros bibliométricos en Google Scholar de 47 investigadores y de 51 revistas. Por tanto, los autores concluyen que este tipo de prácticas tienen un efecto perverso en Google Citations y Google Scholar Metrics.
Todos los sistemas de gestión automática de citas tienen fallos (como conté en “La falta de rigor de Thomson Reuters al calcular el índice de impacto de una revista en el JCR,” LCMF 06 Feb 2013). La única ventaja del Web of Science de Thomson Reuters es que los autores que detecten fallos pueden solicitar su corrección manual (Web of Science Feedback); yo puedo atestiguar que el sistema funciona. Un sistema similar también está incorporado en Google Scholar (se pueden añadir documentos, citas, cambiar atribuciones de autoría, etc.).
Google Scholar, como todas las herramientas biobliométricas, es muy útil, pero hay que conocer sus limitaciones y utilizarla con sumo cuidado, sobre todo cuando se evalúa a una persona (o su currículum vitae investigador). Google es dios en la web, pero dios también se equivoca.
The post La falta de rigor de Google Scholar appeared first on La Ciencia de la Mula Francis.