miércoles, 19 de enero de 2022

¿Cómo medir la calidad de las escuelas? No por el nivel absoluto (competencia) de sus alumnos (sesgo de selección) sino por cuánto mejoran sus estudiantes tras pasar por ellas

Foto: Elena Hernández Sánchez

Decía Stigler que se puede construir una buena universidad con profesores mediocres si los alumnos son excelentes. Porque si una universidad selecciona, entre los jóvenes correspondientes a una cohorte de edad, al 5 % más brillantes (determinado por test de inteligencia que miden el cociente intelectual) y lo hace sistemáticamente, al cabo de unos años, con independencia de la calidad de los profesores y de la enseñanza que reciban esos alumnos, es probable que los resultados laborales y económicos de esos alumnos sean, en promedio, mejores que los resultados laborales y económicos promedio de los alumnos de otra universidad que seleccione a sus estudiantes entre los que forman el decil más bajo de inteligencia. Y lo propio si la universidad selecciona a sus estudiantes por capacidad económica. Si los estudiantes provenientes de hogares más ricos tienden, en promedio, a tener más éxito laboral y educativo que los estudiantes provenientes de hogares pobres, la universidad de ‘niños ricos’ parecerá de más calidad que la universidad de ‘hogares pobres’ si hay una ‘distribución’ normal de la inteligencia y la paciencia entre niños ricos y niños de hogares pobres.

Pues bien, en el trabajo que se cita abajo, los autores encuentran precisamente esto tras estudiar las escuelas de Nueva York y Denver. Copio el resumen traducido del artículo (y algo del estudio):

Muchos estados, distritos escolares y plataformas de intercambio de información publican medidas de rendimiento escolar. A menudo se denominan "rankings escolares" y son ampliamente consultados por padres y educadores… La calificación de una escuela suele estar muy relacionada con la composición racial de su alumnado. Las escuelas mejor calificadas suelen tener un mayor porcentaje de estudiantes blancos.

Los autores proponen un nuevo sistema de medición de la calidad de las escuelas que llaman de "progreso equilibrado por raza" que ‘descuenta’ la raza de los alumnos “pero es tan predictiva de la calidad escolar como las calificaciones de progreso convencionales”

Para empezar, los autores definen la calidad de una escuela como ‘su impacto causal en el rendimiento de los alumnos’, impacto que debe poder medirse de manera independiente de los antecedentes familiares, la raza o la experiencia anterior del alumnado. Es decir,

las escuelas de alta calidad destacan por su capacidad de mejorar el rendimiento de los alumnos de un determinado origen y nivel de preparación. Se dice que las calificaciones que se ven influidas principalmente por el origen y la preparación de los alumnos, más que por la calidad de los centros, están comprometidas por el sesgo de selección. (es decir, por la calidad de los alumnos que acaban estudiando en esas escuelas)

Los resultados de este estudio sugieren que, en el caso de los centros de enseñanza media de Nueva York y Denver, la composición racial del alumnado de un centro no guarda relación alguna con la calidad del mismo.

El sesgo de selección impulsa la correlación entre las calificaciones ampliamente utilizadas y la composición racial de los estudiantes: muchas escuelas obtienen una calificación más alta simplemente porque sus estudiantes tienden a obtener mejores resultados en los exámenes, independientemente de la calidad de la escuela (por ejemplo, los estudiantes con mayores ingresos).

¿Cómo elaboran su ranking de forma que se mida la calidad de la escuela así entendida (impacto causal sobre el rendimiento – aprendizaje de los alumnos?): examinando cómo ‘crecen’ los alumnos, esto es, cuánto más saben el segundo año respecto del primero etc

… Los rankings que tienen en cuenta el crecimiento del rendimiento o el progreso a lo largo de los grados reflejan mejor la calidad de la escuela y están menos correlacionadas con la raza.

Sin embargo, incluso las calificaciones de progreso tienen margen de mejora. Este estudio ofrece un método sencillo para ajustar las calificaciones de rendimiento académico que elimina la correlación entre la calificación y la raza. Los investigadores descubren que las calificaciones de progreso equilibradas en función de la raza son al menos tan predictivas de la calidad escolar, si no más, que las calificaciones de progreso convencionales.

¿Cómo proceden los autores? Midiendo el rendimiento de los alumnos de 6º grado (11-12 años) en los exámenes estatales. Y comparando entre sí las notas obtenidas por alumnos asignados aleatoriamente a una escuela (el sistema de asignación de los alumnos a escuelas en EE.UU consiste a menudo en recurrir a una lotería) es posible determinar el impacto causal de las escuelas en el rendimiento de los alumnos. 

Los autores encuentran que mientras “los niveles de resultados (notas) están muy correlacionados con la raza, las mediciones del progreso de los estudiantes lo están en mucha menor medida”. O sea que blancos y negros aprenden, digamos, a la misma velocidad, de modo que el ritmo de aprendizaje depende poco de la escuela.

Las calificaciones basadas en los niveles de rendimiento -construidas como la proporción media de estudiantes que son competentes en matemáticas y lengua inglesa- están muy correlacionadas con la proporción de estudiantes matriculados que son blancos.

Sin embargo, las calificaciones de progreso -basadas en la mejora del rendimiento de los alumnos de quinto a sexto grado (mediante modelos de percentiles de crecimiento de los alumnos)- están mucho menos correlacionadas con la raza. La verdadera calidad escolar no parece estar relacionada con la raza (cuando la calidad se predice utilizando la mejora y la proporción de blancos, el coeficiente de mejora sigue siendo alto, pero la proporción de blancos está relacionada negativamente con la calidad… lo que significa que la calidad de la escuela y la proporción de blancos no están relacionadas entre sí, por lo que las escuelas desproporcionadamente blancas están sobrevaloradas en su calidad

Esto significa que las escuelas que ‘parecen’ mejores obtienen mejores resultados en competencia matemática y lingüística porque seleccionan a sus alumnos entre los más competentes, no porque les enseñen más y mejor.

En otras palabras, las puntuaciones medias de los alumnos en los exámenes podrían reflejar factores como los recursos familiares y la involucración de los padres, más que el impacto causal de la escuela. Aunque las medidas de progreso predicen mejor la calidad que los niveles, sigue habiendo cierto sesgo de selección. La correlación entre la raza y las calificaciones de las escuelas puede deberse a la tendencia de las escuelas de mayor calidad a tener una mayor proporción de alumnos blancos o a un sesgo de selección. En conjunto, (parece)… que lo segundo es cierto: la relación entre las calificaciones de las escuelas y la raza es un efecto del sesgo de selección.

Angrist, J., Hull, P., Pathak, P.A., and Walters, C.R. (2022): “Race and the Mismeasure of School Quality,” MIT Blueprint Labs Discussion Paper #2022.01

No hay comentarios:

Archivo del blog