Alternativas en la evaluación de la investigación

Alternativas en la evaluación de la investigación

El modelo de evaluación de la investigación lleva años en entredicho. Numerosas voces han alzado la voz en numerosas ocasiones en contra de un modelo que prima principalmente a los indicadores bibliométricos, en general, y a los índices de impacto de revista, en particular.

Emilio Delgado López Cózar, Ernest Abadal, Ismael Ràfols publicaron el pasado mayo un llamamiento a las autoridades con el título Carta: Por un cambio radical en la evaluación de la investigación en España en el Profesional de la Información. En esta carta solicitan que se abandonen las políticas de evaluación de la investigación basadas en un uso indiscriminado de los indicadores bibliométricos para casi todos los ámbitos de la actividad científica y, especialmente, que se valore el desempeño individual de los académicos.

Solicitan que se abandonen las políticas de evaluación de la investigación basadas en un uso indiscriminado de los indicadores bibliométricos que se valore el desempeño individual de los académicos.

Carta: Por un cambio radical en la evaluación de la investigación en España

En la misma repasan los efectos tóxicos que este abusivo empleo de indicadores bibliométricos está generando, tras describir los usos en los que se está empleando el Journal Impact Factor, para a continuación dar cuenta de algunas iniciativas que se están introduciendo en diferentes campos académicos y regiones del mundo, como alternativas a la bibliometría y para mejorar los procesos de evaluación.

La carta se dirige finalmente a los líderes políticos en España para que las adopten y desarrollen.

Una de estas iniciativas es la Declaración DORA sobre evaluación de la investigación, a la que se adhirió hace unas semanas la Agencia Española de Investigación prometiendo «revisar todas sus convocatorias y documentos de soporte a la evaluación para asegurar su correcta implementación».

Algunas de las recomendaciones más destacadas de DORA para mejorar la forma en que se evalúa la calidad de la producción científica son:

  • No utilizar métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.
  • El contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.
  • Considerar una amplia gama de medidas de impacto que incluyan indicadores cualitativos, como la influencia sobre la política y prácticas científicas.
  • Reducir profundamente el énfasis en el factor de impacto como herramienta promocional, idealmente dejando de promover su uso o presentando la métrica en el contexto de una variedad de métricas basadas en revistas.
  • Poner a disposición una variedad de métricas a nivel de artículo para alentar un cambio hacia la evaluación basada en el contenido científico de un artículo en lugar de las métricas de publicación de la revista en la que se publicó.
  • En comités que toman decisiones sobre financiación, contratación, permanencia o promoción, realizar evaluaciones basadas en el contenido científico en lugar de en métricas de publicación.
  • Impugnar las prácticas de evaluación que dependan indebidamente del factor de impacto y promover y enseñar prácticas que se centren en el valor y la influencia de los resultados de investigación específicos.

En el llamamiento a las instituciones españolas, estos profesores instan a adherirse, cumplir e implementar genuinamente los postulados de DORA y también las recomendaciones en el uso de indicadores bibliométricos señalados en el Manifiesto Leiden, no únicamente a firmar, lo que consideran serían mera operación cosmética.

Delgado, Abadal, Ràfolsomo dan ahora un paso más en su objetivo de lograr un cambio en la evaluación de la ciencia en España organizando una mesa redonda el jueves 22 de julio a las 12h, donde discutir sobre la necesidad o no de un cambio de rumbo. Buscan sugerencias, propuestas y alternativas concretas que permitan implementarlo. Os invitan a inscribiros y participar para compartir vuestras reflexiones.

Foto de ThisisEngineering RAEng en Unsplash

Nueva edición del Portal Dialnet Métricas

Nueva edición del Portal Dialnet Métricas

Cuando la familia de los IN-RECS, mantenida por el Grupo Ec3 de Granada, dejó de actualizarse, fuimos muchos los que la echamos de menos cuando buscábamos los índices de impacto de las publicaciones de humanidades y ciencias sociales de habla hispana. Pues bien, pasados unos cuantos años ha llegado (y esperemos que para quedarse) el Portal Dialnet Métricas que pretende continuar esa labor tan necesaria para la investigación en estos campos. 

Ya todos sabemos que, para buscar bibliografía hispana sobre un tema, en los campos de las Ciencias Sociales o las Humanidades, recurrimos a Dialnet y vamos conociendo también su página personal de autor que, aunque no es un currículum propiamente dicho, nos ofrece información sobre la trayectoria, impacto o colaboraciones de un investigador. En este post anterior puedes leer más. 

Ahora, la Universidad Complutense, la Universidad de la Rioja y el Grupo Ec3 (con una gran cantidad de entidades colaboradoras, entre ellas la Uned) presentan el Portal de indicadores de la producción científica o Dialnet Métricas (para abreviar). 

Este ambicioso proyecto nos ofrece el indicador IDR (Índice Dialnet de Revistas), basado (por cada ámbito temático) en el análisis del número de citas que han recibido los artículos publicados en una selección de revistas españolas, en los cinco años anteriores relativo al número de publicaciones. Con él se elabora el ranking de cada disciplina:

De momento, están finalizadas las disciplinas de Ciencias Sociales y Filología Hispánica, pero se pretende que próximamente estén todas las de Humanidades y Ciencias Jurídicas. Dentro de cada disciplina se indica el impacto, cuartil y percentil de las revistas comprendidas en ella.

Además del IDR para las revistas, en Dialnet Métricas podemos consultar en Indicadores Dialnet información sobre investigadores, de forma individual o dentro de la categoría en la que está englobado. Se puede consultar tanto su posición en una categoría, según diferentes indicadores, como dentro de su institución. Así, podemos conocer los datos de un investigador concreto: número de citas, índice h, evolución… datos que a los que también podemos acceder desde la página del investigador en el Portal Dialnet.

En este sentido, Dialnet Métricas ofrece información relevante ─a veces difícil de recopilar─ dado que recoge también las citas recibidas por publicaciones que usualmente no están recogidas en otras herramientas y sí en Dialnet; hablamos, no solo de libros, sino también de capítulos y tesis doctorales.

En este video realizado en la Biblioteca de la UNED, encontraréis más información sobre las posibilidades que ofrece Dialnet Métricas.

Confiamos en que este producto tenga un amplio recorrido, dado que viene a llenar el vacío que tenían las publicaciones e investigadores en las Ciencias sociales y las Humanidades en lengua española, a la hora de recopilar indicadores de calidad. Además, otro de sus valores es que es fruto de la colaboración, en el que están involucradas un enorme número de bibliotecas universitarias.

Foto de Vlada Karpovich en Pexels

Te ayudamos a solicitar tu sexenio

Te ayudamos a solicitar tu sexenio

Más del 90% del Personal Docente e Investigador de la UNED obtuvo una valoración positiva en el último proceso de evaluación de la actividad investigadora, según datos de CNEAI-ANECA (a septiembre de 2020). Parte de este PDI fue asesorado en la Biblioteca de la UNED.

Si te gustaría ser uno de ellos, nosotros te ayudamos a preparar tu solicitud. La Biblioteca ofrece un Servicio gratuito de Apoyo y Asesoramiento al Personal Docente e Investigador que se presente a la convocatoria. Se trata de un asesoramiento personalizado, en el que se evalúa el currículo y se estiman las posibilidades reales de obtener éxito.

Así que no esperes más y envíanos un correo indicando el periodo de evaluación y las referencias bibliográficas de tus principales aportaciones en dicho periodo a:

Recibirás un informe completo con la siguiente información:

  • Campo de evaluación por el que presentarte..
  • Tramo o periodo de evaluación (mínimo de seis años).
  • Selección de las 5 mejores aportaciones principales y, en su caso, dos aportaciones sustitutorias.
  • Indicios de calidad (métricas y citas) de cada una de las publicaciones, según los criterios establecidos por la CNEAI.
  • Redacción de los indicios de calidad de cada una de las aportaciones. En este apartado se reseña la relevancia científica del medio de difusión en el que se ha publicado (referido principalmente al factor de impacto de la publicación, citas recibidas en artículos científicos, libros y capítulos de libros y otros indicios de calidad editorial del medio de difusión)

Además, la Biblioteca ha elaborado una Guía en la que se detalla el proceso de evaluación y se da respuesta a las dudas más frecuentes.

Puedes consultar la convocatoria de sexenios de investigación en la Resolución del 17 de diciembre. El plazo de presentación de solicitudes se extiende del 11 al 31 de enero. Se mantienen los criterios de evaluación.

Créditos imagen: Scott Graham on Unsplash

Herramientas de evaluación de editoriales de libros científicos

Herramientas de evaluación de editoriales de libros científicos

En esta entrada presentamos una recopilación de las principales herramientas para la evaluación de editoriales de libros de contenido científico.

El Scholarly Publishers Indicators (SPI) es la herramienta de referencia en los procesos de evaluación de las editoriales españolas e internacionales de Ciencias Sociales, Jurídicas y Humanidades convocados por la ANECA.  Se trata de una herramienta que hemos abordado anteriormente en el blog en dos entradas (1 y 2), por lo que en esta ocasión  únicamente mencionaremos que ya se han publicado tres ediciones de este ranking (2012, 2014 y 2018) y que la información proporcionada es cada vez más completa, incluyendo desde el clásico ICEE (Indicador de Calidad de Editoriales según Expertos) hasta información sobre la presencia de las editoriales en los  siguientes repertorios: Book Citation Index de Clarivate, Scopus Book Titles, Norwegian lists (CRISTIN) y Finnish list. Además, en la pestaña Indicadores para editoriales, se presenta información relevante sobre la especialización temática de las diferentes editoriales, su sistema de selección de originales, etc.

ie-CSIC (Índice de Editoriales y Editores CSIC) es una herramienta que también ha sido abordada en este blog. Este recurso clasifica las editoriales con tres valores (alto, medio y bajo) y ha sido incluido, junto con el SPI, en el campo 11 Filosofía, Filología y Lingüística de la convocatoria de sexenios del año 2019.

El sello de calidad en edición académica CEA-ACP, promovido por la Unión de Editoriales Universitarias Españolas (UNE) y avalado por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y la Fundación Española para la Ciencia y la Tecnología (FECYT), tiene como objetivo reconocer las mejores prácticas dentro de la edición universitaria española y convertirse en un signo distintivo que tanto las agencias de evaluación de la actividad investigadora como la comunidad académica e investigadora podrán identificar fácilmente. Pretende igualmente ser una vía para promover y estimular la calidad en la edición académica. Este sello también ha sido incluido en el campo 10 Historia, Geografía y Artes de la convocatoria de sexenios del año 2019.

Otras herramientas también analizadas en el blog, y que no aparecen en las convocatorias de evaluación impulsadas por la ANECA debido, en parte, a su desactualización, son el Book Publisher Library Metrics (ver entrada en el blog)  y el Publisher Scholar Metrics. Este último constituye un índice bibliométrico que pretende medir el impacto de las editoriales de monografías científicas a partir del recuento de citas de los libros publicados por los profesores e investigadores de universidades públicas españolas, indizados en Google Scholar (hasta 2012), en el ámbito de las Humanidades y las Ciencias Sociales.

Si necesitas más información sobre los indicios de calidad de las editoriales científicas, contacta con la biblioteca.

Las métricas en la evaluación de la investigación

Las métricas en la evaluación de la investigación

La evaluación de la investigación en la actualidad se fundamenta en un pequeño conjunto de métricas, siendo la más utilizada el factor de impacto, y la consiguiente distribución en deciles, cuartiles y terciles de las revistas que comparten una misma temática.
Este procedimiento de evaluación de la actividad científica ha encontrado numerosos críticos. Así, la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA) recuerda que el factor de impacto se diseñó con el objetivo de facilitar a los bibliotecarios la adquisición de revistas científicas y no como una medida para la evaluación de investigadores e instituciones. Asimismo, en dicha declaración se recuerdan los sesgos que lleva asociados utilizar esta métrica, todos ellos bien documentados en publicaciones científicas y disponibles en dicha declaración.

Otro indicador que comienza a tenerse en cuenta en los procesos de acreditación a profesorado funcionario universitario convocados por la ANECA es el índice h. A modo de ejemplo, en las áreas de conocimiento de Ciencias Económicas y Empresariales (D15), Ciencias de la Educación (D16), Ciencias del Comportamiento (D17) y Ciencias Sociales (D18) se especifica como mérito complementario y específico. Este indicador también está sujeto a críticas, muestra una alta correlación positiva con el número total de citas y de documentos de los investigadores, por lo que siempre será más alto en investigadores con carreras dilatadas, tampoco tiene en cuenta la calidad de las revistas de publicación, incluye las autocitas y penaliza a los autores con estrategias de publicación que priman la calidad sobre la cantidad.

Parece necesario abogar por una evaluación de la investigación más completa y coherente, alejada de indicadores que miden la calidad del trabajo en función de la revista en la que se publica, y que apueste por una combinación de métricas a nivel de artículo, capítulo, libro, etc., combinadas con la necesaria revisión por expertos.

Por último, advertir que la creciente dependencia de las métricas para evaluar la calidad de la actividad investigadora ha dado lugar a nuevas formas de manipulación de las mismas, como los anillos de citas, que son objeto de estudio en la obra Gaming the Metrics Misconduct and Manipulation in Academic Research, editada por el MIT en 2020.

Imagen: Darling Arias en Unsplash