Las métricas en la evaluación de la investigación

Las métricas en la evaluación de la investigación

La evaluación de la investigación en la actualidad se fundamenta en un pequeño conjunto de métricas, siendo la más utilizada el factor de impacto, y la consiguiente distribución en deciles, cuartiles y terciles de las revistas que comparten una misma temática.
Este procedimiento de evaluación de la actividad científica ha encontrado numerosos críticos. Así, la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA) recuerda que el factor de impacto se diseñó con el objetivo de facilitar a los bibliotecarios la adquisición de revistas científicas y no como una medida para la evaluación de investigadores e instituciones. Asimismo, en dicha declaración se recuerdan los sesgos que lleva asociados utilizar esta métrica, todos ellos bien documentados en publicaciones científicas y disponibles en dicha declaración.

Otro indicador que comienza a tenerse en cuenta en los procesos de acreditación a profesorado funcionario universitario convocados por la ANECA es el índice h. A modo de ejemplo, en las áreas de conocimiento de Ciencias Económicas y Empresariales (D15), Ciencias de la Educación (D16), Ciencias del Comportamiento (D17) y Ciencias Sociales (D18) se especifica como mérito complementario y específico. Este indicador también está sujeto a críticas, muestra una alta correlación positiva con el número total de citas y de documentos de los investigadores, por lo que siempre será más alto en investigadores con carreras dilatadas, tampoco tiene en cuenta la calidad de las revistas de publicación, incluye las autocitas y penaliza a los autores con estrategias de publicación que priman la calidad sobre la cantidad.

Parece necesario abogar por una evaluación de la investigación más completa y coherente, alejada de indicadores que miden la calidad del trabajo en función de la revista en la que se publica, y que apueste por una combinación de métricas a nivel de artículo, capítulo, libro, etc., combinadas con la necesaria revisión por expertos.

Por último, advertir que la creciente dependencia de las métricas para evaluar la calidad de la actividad investigadora ha dado lugar a nuevas formas de manipulación de las mismas, como los anillos de citas, que son objeto de estudio en la obra Gaming the Metrics Misconduct and Manipulation in Academic Research, editada por el MIT en 2020.

Imagen: Darling Arias en Unsplash