Evaluación a distancia: justa, fiable y eficiente

 Evaluación a distancia: justa, fiable y eficiente.

Una vez superado el escollo de las clases a distancia (ver algunas recomendaciones aquí), los profesores nos enfrentamos al reto de evaluar a los alumnos de manera no presencial. La evaluación es una parte del sistema de aprendizaje. Por una parte, recoge el grado con el que el estudiante ha asimilado los contenidos de la asignatura (y en parte también la capacidad del profesor para transmitirlos, pero eso es otro tema). Por otra, certifica la aptitud del estudiante para desempeñar con destreza la materia en su futura profesión. Por tanto, el sistema de evaluación ha de ser justo y fiable, pero también eficiente. Será justo si refleja el conocimiento del alumno sin sesgo, fiable si limita el fraude o la copia y eficiente si no impone una carga excesiva ni al profesor ni al alumno.

Más allá del rigor académico o intelectual, es bastante evidente que no querríamos confiar nuestra salud a médicos que no tuvieran los conocimientos necesarios para curarnos o a arquitectos que se les derrumbaran los edificios (curiosamente, estas son las dos carreras que se han mantenido al margen de la reforma educativa de Bolonia, pero eso es otro tema que ya tratamos aquí).

Hasta la fecha, uno de los sistemas más eficientes y fiables para evaluar los conocimientos y aptitud de los estudiantes es mediante un examen presencial. Se reúne a todos los alumnos en una sala a una misma hora, se comprueba su identidad, y permite controlar el fraude de una manera razonable. Sin embargo, lo más probable es que este curso no podamos evaluar a los alumnos en el aula. Por tanto, los profesores nos encontramos ante el problema de adoptar un sistema de evaluación que garantice unos parámetros de eficiencia, fiabilidad y justicia similares.

Un examen on-line es igual de eficiente (o incluso más si la corrección es automática) que uno presencial. Tiene además la ventaja pedagógica del feedback inmediato frente al diferido (aquí y aquí). La pregunta que más nos suele preocupar es si la evaluación a distancia y on-line es fiable, o al menos tan fiable como el examen presencial. La posibilidad que los alumnos puedan realizar algún tipo de fraude (copiar) es la principal resistencia que encuentra este sistema de evaluación. No obstante, existen métodos y diseños óptimos que maximizan la fiabilidad de estas pruebas.

La respuesta es que no podemos asegurar la fiabilidad al 100% (tampoco en el examen presencial). Ningún sistema es un sistema infalible contra los sistemas de copia o fraude, que son cada vez más sofisticados (como por ejemplo el hackeo de notas). Sin embargo, hay ciertas pautas (algunas de ellas aquí) que pueden asegurar una mayor fiabilidad de un examen final o parcial on-line sin sacrificar la eficiencia:

1. Diseñar las pruebas teniendo en cuenta que los estudiantes tienen acceso a todo el material. Es decir, plantear un examen donde el estudiante tenga que recurrir a razonar, evaluar o aplicar lo aprendido más que a repetir lo memorizado. La prueba puede consistir en un trabajo de investigación, ¿por qué no? Yo recuerdo con pavor los exámenes de la carrera que permitían todo el material posible: eran con diferencia los más difíciles.
2. Diseñar las pruebas teniendo en cuenta que los estudiantes se pueden comunicar entre ellos. Este punto es crucial en aquellas asignaturas con grupos numerosos que tengan que recurrir a test on-line de opción múltiple. Tener un tiempo limitado y ajustado para contestar cada pregunta es clave para desincentivar la cominicación. Existen también medios técnicos en Moodle para aleatorizar y personalizar los test on-line de opción múltiple (ver más aquí). El lenguaje de programación Cloze en Moodle permite que una misma pregunta aparezca a cada alumno con unos cálculos distintos o aleatorios (ver más aquí).Otra posibilidad es, por ejemplo, dejar escoger al examinado las preguntas a responder de entre varias posibilidades
3. Control de copias: Existen varios programas anti-plagio para las preguntas a desarrollar, como el famoso Turnitin, o detección de fallos comunes en los tipo test.Control de la identidad, como los sofisticados sistemas de reconocimiento facial (aquí), con la firma electrónica, manuscritas o videos.
4. Sistema de desincentivos: Se puede plantear un sistema que de manera aleatoria (o en caso de sospecha) se requiera un examen oral y visual por video-llamada. También ser inflexibles ante la detección de copias.

Adicionalmente, un único examen (presencial o no) puede no ser totalmente ni justo ni fiable ni eficiente. Por una parte, no asegura poder evaluar el conocimiento o destreza de los alumnos de manera perfecta. No deja de ser una muestra única y por consiguiente contiene un sesgo en la estimación (por ejemplo, una enfermedad el día del examen). Por este motivo, en este artículo sugieren combinar métodos on-line con presenciales para disminuir el sesgo. Por otra, la probabilidad de copia es mayor en un único examen, que un número mayor de pruebas a lo largo del cuatrimestre. Por último, puede suponer un coste adicional innecesario tanto para el alumno como para el profesor.

¿Se necesita un examen final para evaluar al estudiante? Cada asignatura y grupo tendrá sus propias características, pero en muchos casos no se precisa un examen final presencial para obtener una califación fiable, justa y eficiente tanto para el profesor como para el alumno.

Existen argumentos de peso para no realizar una prueba final y aun así garantizar los criterios de evaluación (especialmente si no se puede desarrollar una prueba presencial). El principal argumento teórico de no realizar ninguna prueba final es el teorema del límite central. Si se dispone de suficientes notas parciales de evaluación continua la nota final será muy parecida a la del examen final. Como la media es un estimador insesgado, la media de muestras repetidas del conocimiento del estudiante coincidirá con el valor de su conocimiento real. En cambio, la varianza de las notas será menor, como ya apuntábamos hace algún tiempo aquí. Es decir, las notas tenderán a estar más concentradas en torno a la media, con menos suspensos, pero también con menos matrículas. Intuitivamente, es más fácil obtener un 10 ó un 0 en un examen que un 10 ó un 0 en todas las prácticas.

En cuanto a la evidencia empírica, existe una arrolladora evidencia que las notas de la evaluación continua e incluso la primera prueba están correlacionadas con la nota final (aquí y aquí, aquí, aquí, aquí). Puede ocurrir, como nos señalan aquí, que la evaluación continua no recoja el efecto de la curva de aprendizaje del estudiante, ya que más de la mitad de los aprobados en las primeras pruebas obtienen una calificación superior en el final (sin embargo, la mayoría de los suspensos siguen suspendiendo). Esto se puede solucionar ponderando más las pruebas finales o realizando una prueba extra o quitando la peor nota, por ejemplo. Por aportar mi experiencia, en mis asignaturas del primer cuatrimestre la diferencia entre la evaluación continua mediante un test online de cada tema y el examen final fue menos de un punto.

Por tanto, si se dispone de un número aceptable de notas durante el cuatrimestre, por ejemplo un test de cada tema, podemos estar razonablemente seguros que la evaluación continua es un sistema de calificación justo (sin sesgo), eficiente (sin demasiados costes) e igual de fiable sujeto a  que en cualquier caso no se podrá celebrar una prueba presencial. Incluso la probabilidad de fraude es mayor con una única prueba que con varias pruebas a largo del cuatrimestre.

En mi asignatura de economía sectorial, por ejemplo, he dejado escoger al propio alumno si prefiere un sistema de evaluación continua (en el caso de haber entregado todas las pruebas), mixto al 50%, o examen final online (en el caso de no haber podido realizar las prácticas o pruebas por motivos justificados). Considero que es la mejor opción si se realizaron además pruebas presenciales antes de la cuarentena.

La universidad es un sistema de enseñanza de adultos para adultos. El trabajo de los alumnos es aprender y el del profesor enseñar (además de leer, escribir, investigar, divulgar, publicar, participar en congresos). El aprendizaje es, por tanto, responsabilidad de ambos y se basa en un proceso de confianza mutua. Cualquier sistema de evaluación que escojamos para medir el grado de aprendizaje tendrá sus fallos. Pero combinando tecnología, teoría y evidencia empírica es posible diseñar y adoptar un sistema de evaluación a distancia justo y fiable además de eficiente.