El modelo de evaluación de la investigación lleva años en entredicho. Numerosas voces han alzado la voz en numerosas ocasiones en contra de un modelo que prima principalmente a los indicadores bibliométricos, en general, y a los índices de impacto de revista, en particular.
Emilio Delgado López Cózar, Ernest Abadal, Ismael Ràfols publicaron el pasado mayo un llamamiento a las autoridades con el título Carta: Por un cambio radical en la evaluación de la investigación en España en el Profesional de la Información. En esta cartasolicitan que se abandonen las políticas de evaluación de la investigación basadas en un uso indiscriminado de los indicadores bibliométricos para casi todos los ámbitos de la actividad científica y, especialmente, que se valore el desempeño individual de los académicos.
Solicitan que se abandonen las políticas de evaluación de la investigación basadas en un uso indiscriminado de los indicadores bibliométricos que se valore el desempeño individual de los académicos.
Carta: Por un cambio radical en la evaluación de la investigación en España
En la misma repasan los efectos tóxicos que este abusivo empleo
de indicadores bibliométricos está generando, tras describir los usos en los
que se está empleando el Journal Impact Factor, para a continuación dar cuenta
de algunas iniciativas que se están introduciendo en diferentes campos
académicos y regiones del mundo, como alternativas a la bibliometría y para
mejorar los procesos de evaluación.
La carta se dirige finalmente a los líderes políticos en España para
que las adopten y desarrollen.
Algunas
de las recomendaciones más destacadas de DORA para mejorar la forma en que se
evalúa la calidad de la producción científica son:
No utilizar métricas basadas en revistas, como el factor de
impacto, como una medida sustituta de la calidad de los artículos de
investigación individuales, para evaluar las contribuciones de un científico
individual, o en las decisiones de contratación, promoción o financiación.
El contenido científico de un artículo es mucho más importante
que las métricas de publicación o la identidad de la revista en la que fue
publicado.
Considerar una amplia gama de medidas de impacto que incluyan
indicadores cualitativos, como la influencia sobre la política y prácticas
científicas.
Reducir profundamente el énfasis en el factor de impacto como
herramienta promocional, idealmente dejando de promover su uso o presentando la
métrica en el contexto de una variedad de métricas basadas en revistas.
Poner a disposición una variedad de métricas a nivel de artículo
para alentar un cambio hacia la evaluación basada en el contenido científico de
un artículo en lugar de las métricas de publicación de la revista en la que se
publicó.
En comités que toman decisiones sobre financiación,
contratación, permanencia o promoción, realizar evaluaciones basadas en el
contenido científico en lugar de en métricas de publicación.
Impugnar las prácticas de evaluación que dependan indebidamente
del factor de impacto y promover y enseñar prácticas que se centren en el valor
y la influencia de los resultados de investigación específicos.
En el llamamiento a las instituciones españolas, estos
profesores instan a adherirse, cumplir e implementar genuinamente los postulados
de DORA y también las recomendaciones en el uso de indicadores bibliométricos
señalados en el Manifiesto
Leiden, no únicamente a firmar, lo que consideran serían mera operación cosmética.
Delgado, Abadal, Ràfolsomo dan ahora un paso más en su objetivo de lograr un cambio en la evaluación de la ciencia en España organizando una mesa redonda el jueves 22 de julio a las 12h, donde discutir sobre la necesidad o no de un cambio de rumbo. Buscan sugerencias, propuestas y alternativas concretas que permitan implementarlo. Os invitan a inscribiros y participar para compartir vuestras reflexiones.
Cuando la familia de los IN-RECS, mantenida por el Grupo Ec3 de Granada, dejó de actualizarse, fuimos muchos los que la echamos de menos cuando buscábamos los índices de impacto de las publicaciones de humanidades y ciencias sociales de habla hispana. Pues bien, pasados unos cuantos años ha llegado (y esperemos que para quedarse) el Portal Dialnet Métricas que pretende continuar esa labor tan necesaria para la investigación en estos campos.
Ya
todos sabemos que, para buscar bibliografía hispana sobre un
tema, en los campos de las Ciencias Sociales o las Humanidades, recurrimos
a Dialnet y vamos conociendo también su página personal de
autor que, aunque no es un currículum propiamente dicho, nos ofrece
información sobre la trayectoria, impacto o colaboraciones de un
investigador. En este post anterior puedes leer
más.
Ahora,
la Universidad Complutense, la Universidad de la Rioja y el Grupo Ec3 (con una
gran cantidad de entidades colaboradoras, entre ellas
la Uned) presentan el Portal de indicadores de la producción científica o
Dialnet Métricas (para abreviar).
Este
ambicioso proyecto nos ofrece el indicador IDR (Índice
Dialnet de Revistas), basado (por cada ámbito temático) en el
análisis del número de citas que han recibido los artículos publicados en una
selección de revistas españolas, en los cinco años anteriores relativo
al número de publicaciones. Con él se elabora el ranking de cada
disciplina:
De
momento, están finalizadas las disciplinas de Ciencias Sociales y Filología
Hispánica, pero se pretende que próximamente estén todas las de Humanidades y
Ciencias Jurídicas. Dentro de cada disciplina se indica el impacto, cuartil y
percentil de las revistas comprendidas en ella.
Además
del IDR para las revistas, en Dialnet Métricas podemos consultar en Indicadores
Dialnet información sobre investigadores, de forma individual o dentro de
la categoría en la que está englobado. Se puede consultar tanto su posición en
una categoría, según diferentes indicadores, como dentro de su institución. Así,
podemos conocer los datos de un investigador concreto: número de citas, índice
h, evolución… datos que a los que también podemos acceder desde la página del
investigador en el Portal Dialnet.
En este sentido, Dialnet Métricas ofrece información relevante ─a veces difícil de recopilar─ dado que recoge también las citas recibidas por publicaciones que usualmente no están recogidas en otras herramientas y sí en Dialnet; hablamos, no solo de libros, sino también de capítulos y tesis doctorales.
En este video realizado en la Biblioteca de la UNED, encontraréis más información sobre las posibilidades que ofrece Dialnet Métricas.
Confiamos en que este producto tenga un amplio recorrido, dado que viene a llenar el vacío que tenían las publicaciones e investigadores en las Ciencias sociales y las Humanidades en lengua española, a la hora de recopilar indicadores de calidad. Además, otro de sus valores es que es fruto de la colaboración, en el que están involucradas un enorme número de bibliotecas universitarias.
Más del 90% del Personal Docente e Investigador de la UNED obtuvo una valoración positiva en el último proceso de evaluación de la actividad investigadora, según datos de CNEAI-ANECA (a septiembre de 2020). Parte de este PDI fue asesorado en la Biblioteca de la UNED.
Si te gustaría ser uno de ellos, nosotros te ayudamos a
preparar tu solicitud. La Biblioteca ofrece un Servicio gratuito de Apoyo y
Asesoramiento al Personal Docente e Investigador que se presente a la
convocatoria. Se trata de un asesoramiento personalizado, en el que se evalúa
el currículo y se estiman las posibilidades reales de obtener éxito.
Así que no esperes más y envíanos un correo indicando el periodo de evaluación y las referencias bibliográficas de tus principales aportaciones en dicho periodo a:
Recibirás un informe completo con la siguiente
información:
Campo de evaluación por el que presentarte..
Tramo o periodo de evaluación (mínimo de seis años).
Selección de las 5 mejores aportaciones principales y, en su caso, dos aportaciones sustitutorias.
Indicios de calidad(métricas y citas) de cada una de las publicaciones, según los criterios establecidos por la CNEAI.
Redacción de los indicios de calidad de cada una de las aportaciones. En este apartado se reseña la relevancia científica del medio de difusión en el que se ha publicado (referido principalmente al factor de impacto de la publicación, citas recibidas en artículos científicos, libros y capítulos de libros y otros indicios de calidad editorial del medio de difusión)
Además, la Biblioteca ha elaborado una Guía en la que se detalla el proceso de evaluación y se da respuesta a las dudas más frecuentes.
Puedes consultar la convocatoria de sexenios de investigación en la Resolución del 17 de diciembre. El plazo de presentación de solicitudes se extiende del 11 al 31 de enero. Se mantienen los criterios de evaluación.
En esta entrada presentamos una
recopilación de las principales herramientas para la evaluación de editoriales
de libros de contenido científico.
El Scholarly Publishers Indicators (SPI) es la herramienta de referencia en los procesos de evaluación de las editoriales españolas e internacionales de Ciencias Sociales, Jurídicas y Humanidades convocados por la ANECA. Se trata de una herramienta que hemos abordado anteriormente en el blog en dos entradas (1 y 2), por lo que en esta ocasión únicamente mencionaremos que ya se han publicado tres ediciones de este ranking (2012, 2014 y 2018) y que la información proporcionada es cada vez más completa, incluyendo desde el clásico ICEE (Indicador de Calidad de Editoriales según Expertos) hasta información sobre la presencia de las editoriales en los siguientes repertorios: Book Citation Index de Clarivate, Scopus Book Titles, Norwegian lists (CRISTIN) y Finnish list. Además, en la pestaña Indicadores para editoriales, se presenta información relevante sobre la especialización temática de las diferentes editoriales, su sistema de selección de originales, etc.
ie-CSIC (Índice de Editoriales y Editores CSIC) es una herramienta que también ha sido abordada en este blog. Este recurso clasifica las editoriales con tres valores (alto, medio y bajo) y ha sido incluido, junto con el SPI, en el campo 11 Filosofía, Filología y Lingüística de la convocatoria de sexenios del año 2019.
El sello de calidad en edición académica CEA-ACP, promovido por la Unión de Editoriales Universitarias Españolas (UNE) y avalado por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y la Fundación Española para la Ciencia y la Tecnología (FECYT), tiene como objetivo reconocer las mejores prácticas dentro de la edición universitaria española y convertirse en un signo distintivo que tanto las agencias de evaluación de la actividad investigadora como la comunidad académica e investigadora podrán identificar fácilmente. Pretende igualmente ser una vía para promover y estimular la calidad en la edición académica. Este sello también ha sido incluido en el campo10 Historia, Geografía y Artes de la convocatoria de sexenios del año 2019.
Otras herramientas también analizadas en el blog, y que no aparecen en las convocatorias de evaluación impulsadas por la ANECA debido, en parte, a su desactualización, son el Book Publisher Library Metrics (ver entrada en el blog) y el Publisher Scholar Metrics. Este último constituye un índice bibliométrico que pretende medir el impacto de las editoriales de monografías científicas a partir del recuento de citas de los libros publicados por los profesores e investigadores de universidades públicas españolas, indizados en Google Scholar (hasta 2012), en el ámbito de las Humanidades y las Ciencias Sociales.
Si necesitas más información sobre los indicios de calidad de las editoriales científicas, contacta con la biblioteca.
La evaluación de la investigación en la actualidad se fundamenta en un pequeño conjunto de métricas, siendo la más utilizada el factor de impacto, y la consiguiente distribución en deciles, cuartiles y terciles de las revistas que comparten una misma temática. Este procedimiento de evaluación de la actividad científica ha encontrado numerosos críticos. Así, la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA) recuerda que el factor de impacto se diseñó con el objetivo de facilitar a los bibliotecarios la adquisición de revistas científicas y no como una medida para la evaluación de investigadores e instituciones. Asimismo, en dicha declaración se recuerdan los sesgos que lleva asociados utilizar esta métrica, todos ellos bien documentados en publicaciones científicas y disponibles en dicha declaración.
Otro indicador que comienza a tenerse en cuenta en los procesos de acreditación a profesorado funcionario universitario convocados por la ANECA es el índice h. A modo de ejemplo, en las áreas de conocimiento de Ciencias Económicas y Empresariales (D15), Ciencias de la Educación (D16), Ciencias del Comportamiento (D17) y Ciencias Sociales (D18) se especifica como mérito complementario y específico. Este indicador también está sujeto a críticas, muestra una alta correlación positiva con el número total de citas y de documentos de los investigadores, por lo que siempre será más alto en investigadores con carreras dilatadas, tampoco tiene en cuenta la calidad de las revistas de publicación, incluye las autocitas y penaliza a los autores con estrategias de publicación que priman la calidad sobre la cantidad.
Parece necesario abogar por una evaluación de la investigación más completa y coherente, alejada de indicadores que miden la calidad del trabajo en función de la revista en la que se publica, y que apueste por una combinación de métricas a nivel de artículo, capítulo, libro, etc., combinadas con la necesaria revisión por expertos.
Por último, advertir que la creciente dependencia de las métricas para evaluar la calidad de la actividad investigadora ha dado lugar a nuevas formas de manipulación de las mismas, como los anillos de citas, que son objeto de estudio en la obra Gaming the Metrics Misconduct and Manipulation in Academic Research, editada por el MIT en 2020.
We use cookies on our website to give you the most relevant experience by remembering your preferences and repeat visits. By clicking “Accept All”, you consent to the use of ALL the cookies. However, you may visit "Cookie Settings" to provide a controlled consent.
This website uses cookies to improve your experience while you navigate through the website. Out of these, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may affect your browsing experience.
Necessary cookies are absolutely essential for the website to function properly. These cookies ensure basic functionalities and security features of the website, anonymously.
Cookie
Duración
Descripción
cookielawinfo-checkbox-analytics
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Analytics".
cookielawinfo-checkbox-functional
11 months
The cookie is set by GDPR cookie consent to record the user consent for the cookies in the category "Functional".
cookielawinfo-checkbox-necessary
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookies is used to store the user consent for the cookies in the category "Necessary".
cookielawinfo-checkbox-others
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Other.
cookielawinfo-checkbox-performance
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Performance".
viewed_cookie_policy
11 months
The cookie is set by the GDPR Cookie Consent plugin and is used to store whether or not user has consented to the use of cookies. It does not store any personal data.
Functional cookies help to perform certain functionalities like sharing the content of the website on social media platforms, collect feedbacks, and other third-party features.
Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.
Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics the number of visitors, bounce rate, traffic source, etc.
Advertisement cookies are used to provide visitors with relevant ads and marketing campaigns. These cookies track visitors across websites and collect information to provide customized ads.
