Las
normas de acreditación y evaluación de la actividad investigadora del
profesorado es uno de los temas más populares, controvertidos y
recurrentes de este y otros blogs de la esfera académica.
Populares ya que la mayor parte de los lectores que se encuentran en la esfera académica y este baile de criterios afectan directamente a su carrera y promoción académica. Tan solo en el blog de ALDE hay más de 10 entradas sobre la ANECA.
Controvertidos por la cantidad de opiniones e intereses encubiertos y enfrentados en cada una de las disposiciones del ministerio a través de la ANECA. En especial el informe revistas Open Access (disponible aquí). A grandes rasgos, el informe hace una radiografía de la publicación en abierto y la particulariza para el caso español. El punto más controvertido del informe es el uso de una matriz enfrentando el número de ítems citables y la tasa de autocitas para categorizar las revistas con un comportamiento no estándar en las categorías JCR. El informe concluye que el factor de impacto no es garantía de calidad científica según los estándares habituales de la comunidad científica y acaba recomendado un escrutinio particular para los artículos publicados en esta nueva lista “no estándar”. Esta lista incluye revistas generalistas de reconocido prestigio como Nature, Cell, Science, o PNAS, del ámbito de la economía con Economics Letters pero también aquellas que bordean el límite de lo predatorio como el grupo MDPI. El informe bebe de un artículo científico (aquí) cuestionando las prácticas de MDPI. La editorial (aquí) y varios bibliometristras (aquí y aquí) se han ocupado de mantener viva la controversia en relación a varios supuestos fallos metodológicos del artículo.
Recurrentes: la ANECA se muestra exquisitamente prolífica al introducir cada dos o tres años nuevos tipos de sexenios (transferencia en 2019, de docencia en ¿2022?) y nuevos criterios de acreditación: noviembre 2017 y diciembre 2019. En octubre del 2021 nos vuelve a sorprender con unos nuevos principios y directrices de evaluación de la investigación. Pueden ver este artículo para una visión histórica anterior en los cambios de criterios en la evaluación científica en España.
Utilizando su mismo léxico es oportuno preguntarse qué explica el comportamiento no estándar de la ANECA en relación a otros organismos similares. Otras agencias como la catalana AQU, también actualizan sus criterios periódicamente. Pero la diferencia es que la AQU tiene unas ventanas fijas de evaluación y los criterios son los mismos en cada actualización (al menos en 2020 y 2021 en el ámbito de las ciencias sociales). Otros organismos de clasificación como la Academic Journal Guide, elaborada por la Association of Business Schools (ABS, RU) actualiza cada tres años sus listados (2018, 2021), pero siguiendo la misma metodología.
Una explicación plausible es el efecto cobra: medidas que en su momento parecieron sensatas (criterios transparentes y cuantitativos) y bienintencionadas (aumentar la calidad de la investigación), pero que han acabado teniendo el efecto contrario al deseado. El ejemplo de manual es el de la India cuando los oficiales británicos ofrecieron una rupia por cada cobra cazada para frenar una plaga. El resultado fue el contrario: aumentó el número de cobras se las criaba para cobrar una rupia.
A la ANECA se ha colado una cobra de acceso abierto en el sistema de evaluación. Veamos cómo particularizando en el cambio de criterios del 2017 en ámbito de la economía resumidos aquí. La ANECA, en un esfuerzo de transparencia y cuantificación, hizo públicos los criterios cuantitativos para la acreditación: una catedrática debe publicar 12 JCR con la siguiente distribución: 8 publicaciones de Nivel 1 (JCR (Q1 o Q2) o SJR (Q1)) y 4 de Nivel 2 (JCR (Q3) o SJR (Q2)). Los criterios del 2019 bailan un poco, pero siguen la misma filosofía (así como el de los sexenios).
¿Cómo responde el catedrático por acreditar? Dedica todo su esfuerzo a conseguir los 12 JCR. Y como los incentivos y el mercado funcionan, lo consigue de una manera (la tradicional) o de otra. Por ejemplo, mediante la publicación en revistas de acceso abierto mediante pago. Algunas de estos journals están bien posicionados según el factor de impacto, pero que ofrecen previo pago un sistema de revisión expeditiva con un alto índice de aceptación. Cualquiera que se haya enfrentado al sistema tradicional en economía sabe que es un proceso largo, tortuoso e incierto (ver este post). Algunas de esta revistas Open Access ofrecen un atajo hacia una publicación con un sello de calidad del JCR. Estas revistas cumplen con los requisitos formales que pide la ANECA (indexadas en JCR con un buen factor de impacto). Sin embargo, es muy difícil extraer señales de calidad adecuadas de los mismo solo con la medición del factor de impacto. Según el propio Beall (el precursor de la lista de revistas predatorias), estas revistas son un caso dudoso y fronterizo entre la publicación legítima y la predatoria (ver vídeo). Es decir, estar en el JCR es condición necesaria pero no suficiente para acreditar la calidad del artículo. No quiere esto decir que todo lo publicado allí sea basura, es simplemente más difícil de determinar la calidad de los artículos.
A la ANECA le han crecido las cobras y seguramente se habrá encontrado con una cohorte de catedráticos acreditados con 12 “Sustanabilities”. Que a su vez han podido financiar el pago mediante convocatorias públicas de proyectos del plan nacional de I+D, que tiene unos criterios formales de selección parecidos a los de la ANECA. El propio informe de la ANECA sobre el open Access y este post señalan que el número de artículos españoles en revistas Open Access del grupo MPDI o Frontiers es desproporcionado.
Por tanto, alguien parece haberse dado cuenta de que los criterios de la ANECA no han contribuido de menara decisiva al incremento y acreditación de la calidad científica en algunas disciplinas (el fin para el que fueron diseñados). En cambio, los criterios han propiciado más bien lo contrario: una inflación de artículos JCR (que no es lo mismo calidad científica) que dificulta la tarea de algunas comisiones a la hora de poder extraer señales de calidad ente tanto ruido. Por tanto, no se han cumplido completamente los objetivos de incrementar la calidad de la investigación española y discriminar calidad de la investigaciones.
Las buenas intenciones no bastan si no contamos con los incentivos adecuados y se evalúan los resultados. Para diseñar políticas eficaces que cumplan con sus objetivos debe primero, tener en cuentas los incentivo que proporcionan a los agentes implicados. Algunas agencias, como la AQU, parece que tuvieron esto incentivos presentes desde hace tiempo y dieron más flexibilidad a las comisiones, que pueden “ajustar los niveles de calidad que considere, en relación con la aportación de la persona solicitante, en el caso de los artículos científicos, más allá de la ubicación de la revista en un cuartil determinado, teniendo en cuenta varios elementos adicionales como: el número de citas (p.e. Google Scholar), el número de autores y el orden en la firma así como la inclusión de las revistas en otros índices de referencia, repertorios o listas especializadas de revistas”. (Criterios en la emisión de las acreditaciones de investigación 2020 – AQU).
Segundo, evaluar los resultados y corregir en caso de fallo.
Afortunadamente, parece que la ANECA está en esto y rectifica el
JCR-centrismo del que ya avisaban, entre otros, Ruiz-Pérez y coautores
en 2010 aquí. No deja de ser curioso como este asunto se parece a su extremo opuesto: la tiranía del top-5 o top5itis denunciada por Heckman y Serrano. Estos reputados economistas proponen abandonar parcialmente el centrismo de las listas (ya sean la top5 o la JCR) y empezar a leer los papers de los profesores evaluados. En
nuestro caso, esto implicaría dotar a las comisiones de la flexibilidad
suficiente para que la norma no produzca efectos indeseados.
