La UE explora DORA

 https://alde.es/blog/la-ue-explora-dora/

La Comisión Europea ha dado un giro en su política de evaluación científica firmando dos acuerdos que impulsan una nueva forma de evaluar la investigación. La Comisión Europea ha suscrito el acuerdo para reformar la evaluación de la investigación (Agreement on Reforming Research Assessment) impulsado por CoARA, una coalición de 350 organizaciones científicas que impulsan una reforma de la evaluación científica. También ha suscrito la Declaración de San Francisco de Evaluación de la Investigación (DORA), que establece unas recomendaciones para mejorar la evaluación científica.

DORA nace en 2012 con el objetivo general de reducir la dependencia del factor de impacto y las citas, y promover una cultura en la que se dé más “importancia al valor intrínseco de la investigación”. A través de la coalición CoARA, la UE recoge plasma esta filosofía en los principios que guían el acuerdo: calidad (originalidad, profesionalidad y resultados) e impacto (científico, tecnológico, económco y social).

A partir de ahora, la Comisión Europea se compromete a impulsar diez acciones en tres ámbitos (diversidad, calidad y evaluación) para incrementar la calidad y el impacto de la investigación Europa. En concreto, la Comisión fija tres compromisos para reformar la evaluación científica. Primero, implementar unos criterios de evaluación cualitativos mediante una revisión por pares, con un uso responsable de métricas. Segundo, reducir el peso de las métricas bibliométricas, en concreto el factor de impacto y índice h en la evaluación. Concretamente, se compromete a renunciar a recurrir exclusivamente a métricas de autoría (número de artículos, citas, proyectos) o de publicación (factor de impacto de la revista, idioma). Tercero, abandonar el uso de los rankings. Conviene señalar que estos acuerdos abarcan la evaluación individual de investigadores, así como los proyectos de investigación y los centros.

Aumentar el peso de la evaluación cualitativa en detrimento de la cuantitativa se justifica por tres motivos: i) las citas no siguen una distribución normal y por tanto el factor de impacto (una media) no es representativa de las citas de un artículo en concreto. ii) El factor de impacto de una revista es específica de cada campo. iii) Ciertas editoriales han encontrado la menara de inflar el factor de impacto. En cada campo existe un consenso de tácito de lo que se considera o no una aportación de calidad. Si se utilizan exclusivamente métricas basadas en el factor de impacto nos encontraríamos con la paradoja de acreditaciones a Catedrático con exclusivamente 12 ‘Sustanaibilites’, como ya expusimos aquí. El factor de impacto es una condición necesaria pero no suficiente para acreditar la calidad del artículo, es difícil determinar la calidad de un artículo individual con la media de todos los artículos publicados en la revista.

Los acuerdos son lo suficientemente imprecisos para entender que los criterios actuales se alinean con los principios de DORA. Por ejemplo, la ANECA ya realiza una revisión por pares (las comisiones) con unos criterios medianamente transparentes que van más allá uso exclusivo del factor de impacto. En especial el informe revistas Open Access (disponible aquí), la ANECA reconoce implícitamente los problemas con el uso del factor de impacto. No obstante, ante la falta de concreción en la transposición práctica de los acuerdos suscritos por la Comisión, resulta interesante reflexionar cómo pueden verse afectadas la política de evaluación científica en España.

En un país que actualiza los criterios de evaluación aproximadamente cada dos años no es descabellado, por tanto, suponer que la siguiente reforma de los criterios de acreditación de la ANECA vayan en línea con esta filosofía de evaluación. Ya se escuchan voces argumentando que estos acuerdos implicarán un cambio radical en el sistema de acreditación nacional; por ejemplo, con una acreditación institucional en vez de individual aquí, o eliminar el uso del factor de impacto aquí. Con estas reflexiones no pretendo dar argumentos en favor del actual sistema de acreditación (es un tema para otra entrada).

Sin embargo, virar el sistema acreditación hacia una valoración totalmente cualitativa (sin ninguna otra reforma adicional) acarrearía tres problemas. Primero, podría chocar con los principios de transparencia y objetividad de cualquier convocatoria pública. Segundo, dificultaría la valoración de contribuciones altamente especializadas que pueden caer fuera del alcance de la comisión encargada de la valoración.

Por último, daría más poder discrecional a las comisiones. Si la discrecionalidad no se ejerce para favorecer a ciertos candidatos, permite corregir los fallos comentados anteriormente. Sin embargo, el factor de impacto (o cualquier otra medida objetiva) proporciona ciertas garantías al evaluado frente al evaluador. La comisión de acreditación con una discrecionalidad total se parecería mucho a los antiguos tribunales de habilitación o los de las plazas actuales. Casi todas las quejas de nepotismo/endogamia surgen de tribunales de plazas donde no existen unos criterios cuantitativos. Casi ninguna de estos casos se hacen eco de decisiones discriminatorias de las comisiones de la ANECA. Se critican más o menos los criterios, pero raramente su aplicación.

En definitiva, una aproximación Marxista (Groucho) a la evaluación científica donde “si no le gustan mis criterios cuantitativos, tengo otros cualitativos” no está exenta de problemas.