Algoritmo de resultados de exámenes Ofqual

En 2020, Ofqual, el regulador de calificaciones, exámenes y pruebas en Inglaterra, elaboró ​​un algoritmo de estandarización de calificaciones para combatir la inflación de calificaciones y moderar las calificaciones previstas por los maestros para las calificaciones A level y GCSE en ese año, después de que se cancelaron los exámenes como parte de la respuesta a la pandemia de COVID-19.

Historia

A finales de marzo de 2020, Gavin Williamson, secretario de Estado de Educación del gobierno conservador de Boris Johnson, instruyó a la directora de Ofqual, Sally Collier, a "garantizar, en la medida de lo posible, que se mantengan los estándares de cualificación y que se siga la distribución de calificaciones". un perfil similar al de años anteriores". El 31 de marzo, emitió una instrucción ministerial en virtud de la Ley sobre la Infancia y el Aprendizaje de 2009.

Luego, en agosto, el 82% de las calificaciones de 'A level' se calcularon utilizando un algoritmo ideado por Ofqual. Más de 4,6 millones de GCSE en Inglaterra, alrededor del 97 % del total, fueron asignados únicamente por el algoritmo. Se tomaron en consideración las clasificaciones de los maestros, pero no las calificaciones evaluadas por los maestros enviadas por las escuelas y universidades.

El 25 de agosto, Collier, que supervisó el desarrollo del cálculo del algoritmo de Williamson, renunció al cargo de regulador jefe de Ofqual tras la creciente presión.

Cualificaciones vocacionales

El algoritmo no se aplicó a las calificaciones técnicas y vocacionales (VTQ), como los BTEC, que se evalúan en el trabajo del curso o cuando se completan módulos cortos, y en algunos casos se realizaron evaluaciones adaptadas. Sin embargo, debido al alto nivel de inflación de calificaciones resultante de la decisión de Ofqual de no aplicar el algoritmo a los niveles A y GCSE, Pearson Edexcel, el examinador de BTEC, decidió cancelar la publicación de los resultados de BTEC el 19 de agosto, el día antes de la fecha límite. para ser liberados, para permitir que se vuelvan a moderar de acuerdo con la inflación de calificaciones de Ofqual.

El algoritmo

El modelo de Desempeño Directo del Centro de Ofqual se basa en el registro de cada centro (escuela o facultad) en la materia que se evalúa. Los detalles del algoritmo no se dieron a conocer hasta después de los resultados de su primer uso en agosto de 2020, y solo en parte.

SinopsisEl centro de examen proporcionó una lista de calificaciones previstas por el maestro, denominadas "calificaciones evaluadas por el centro" (CAG).Los estudiantes fueron enumerados en orden de rango sin empates.Para cohortes grandes (más de 15)Con exámenes con una gran cohorte; Se consultaron los resultados previos del centro. Para cada uno de los tres años anteriores, se anota el número de estudiantes que obtuvieron cada calificación (A* a U). Se toma un promedio porcentual.Esta distribución se aplica luego a los estudiantes del año en curso, independientemente de su CAG individual.Se podría realizar un ajuste de estandarización adicional sobre la base de datos históricos personales anteriores: en el nivel A, esto podría ser un resultado de GCSE, en GCSE, esto podría ser un SAT de Key Stage 2.Para cohortes pequeñas y exámenes de intereses minoritarios (menores de 15 años).El CAG individual se utiliza sin cambios

las fórmulaspara escuelas grandes conpara escuelas pequeñas con<img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/242e2754d19a754645cb121d71b192c486bc4f8b" alt="{ estilo de visualización nlas variableses el número de alumnos en la materia que se evalúaes un grado específicoindica la escuelaes la distribución histórica de calificaciones de la escuela (centro) durante los últimos tres años, 2017-19. es la distribución de calificaciones prevista en función de los logros previos de la clase en los GCSE. Una clase con mayormente 9s (la calificación más alta) en GCSE obtendrá muchas A*s pronosticadas; una clase con mayormente 1s en GCSEs obtendrá muchos Us predichos.es la distribución de calificaciones prevista de los años anteriores, en función de sus GCSE. Necesita saber eso porque, si se predijo que los años anteriores tendrían un mal desempeño y un buen desempeño, entonces este año podría tener el mismo resultado.es la fracción de alumnos en la clase donde se dispone de datos históricos. Si puede rastrear perfectamente todos los resultados de GCSE, entonces es 1; si no puede rastrear ninguno, es 0.CAG es la calificación evaluada por el centro.es el resultado, que es la distribución de calificaciones para cada grado en cada escuela .

Se les pidió a las escuelas que hicieran un juicio justo y objetivo de la calificación que creían que un estudiante habría logrado, pero además clasificaron a los estudiantes dentro de cada grado. Esto se debió a que el proceso de estandarización estadística requería información más granular que solo la calificación. Algunas juntas examinadoras emitieron orientaciones sobre el proceso de formación del juicio para ser utilizadas dentro de los centros, donde varios profesores impartían una materia. Este debía presentarse el 29 de mayo de 2020.

Para los estudiantes de nivel A, su escuela ya había incluido una calificación prevista como parte de la referencia de solicitud universitaria de UCAS. Esto se envió antes del 15 de enero (15 de octubre de 2019 para Oxbridge y medicina) y se compartió con los estudiantes. Este grado previsto por UCAS no es el mismo que el grado previsto por Ofqual.

La forma normal de probar un algoritmo predictivo es ejecutarlo contra los datos del año anterior: esto no fue posible porque el orden de clasificación de los maestros no se recopiló en años anteriores. En cambio, las pruebas utilizaron el orden de clasificación que surgió de los resultados finales de 2019.

Efectos del algoritmo

Las calificaciones de nivel A se anunciaron en Inglaterra, Gales e Irlanda del Norte el 13 de agosto de 2020. Casi el 36 % fueron más bajas que las evaluaciones de los maestros (CAG) y el 3 % bajó dos calificaciones.

Efectos secundarios del algoritmo

Los estudiantes en escuelas pequeñas o que toman materias de minorías, como las que se ofrecen en escuelas privadas pequeñas, podrían ver que sus calificaciones son más altas que las predicciones de sus maestros. Dichos estudiantes tradicionalmente tienen un rango de calificaciones más reducido, ya que los estudiantes más débiles han sido invitados a irse. Los estudiantes de grandes escuelas estatales, colegios de sexto curso y colegios FE que tienen políticas de acceso abierto e históricamente han educado a estudiantes BAME o estudiantes vulnerables vieron caer sus resultados para adaptarse a la curva de distribución histórica.

Los estudiantes encontraron que el sistema era injusto y se presionó a Williamson para que explicara los resultados y revocara su decisión de utilizar el algoritmo que había encargado y que Ofqual había implementado. El 12 de agosto, Williamson anunció "un bloqueo triple" que permitía a los estudiantes apelar el resultado utilizando un resultado simulado válido indefinido. Pero el 15 de agosto se publicó el consejo con ocho condiciones establecidas que diferían de la declaración del ministro. Horas después del anuncio, Ofqual suspendió el sistema. El 17 de agosto, Ofqual aceptó que los estudiantes deberían recibir la calificación CAG, en lugar de la calificación prevista por el algoritmo.

UCAS dijo el 19 de agosto que 15.000 alumnos fueron rechazados por su universidad de primera elección en las calificaciones generadas por el algoritmo. Después de la decisión de Ofqual de usar predicciones de maestros no moderadas, muchos estudiantes afectados obtuvieron calificaciones para cumplir con su oferta y volvieron a solicitar. El 90% de ellos dijo que su objetivo era estudiar en universidades de primer nivel. El efecto fue que las universidades de primer nivel parecían tener un problema de capacidad.

La Royal Statistical Society dijo que se había ofrecido a ayudar con la construcción del algoritmo, pero retiró esa oferta cuando vio la naturaleza del acuerdo de confidencialidad que se les habría pedido que firmaran. Ofqual no estaba preparado para discutirlo y retrasó la respuesta por 55 días.

Opinión legal

Lord Falconer, ex fiscal general, opinó que se habían infringido tres leyes y dio un ejemplo de cómo Ofqual había ignorado una instrucción directa del Secretario de Estado de Educación.

Falconer dijo que la fórmula para estandarizar las calificaciones incumplía los objetivos generales bajo los cuales se estableció Ofqual mediante la Ley de Aprendizaje, Habilidades, Niños y Aprendizaje de 2009. Los objetivos requieren que el sistema de calificación brinde una indicación confiable del conocimiento, las habilidades y la comprensión de el estudiante, y que permite hacer comparaciones confiables con estudiantes que toman exámenes calificados por otras juntas y con estudiantes que tomaron exámenes comparables en años anteriores.

El Partido Laborista sugirió que el proceso era ilegal ya que a los estudiantes no se les dio ningún mecanismo de apelación, afirmando: "Habrá una gran cantidad de impactos discriminatorios al operar el proceso sobre la base de reflejar los resultados de los años anteriores de sus instituciones", y "Está destinado a poner en desventaja a toda una gama de grupos con características protegidas, en violación de una serie de leyes contra la discriminación".