Hacia una evaluación socialmente justa de la escritura

Ganador del concurso IDeaA de I+D Fondef 2021, impulsado por la Agencia Nacional de Investigación y Desarrollo, el proyecto "Hacia una evaluación socialmente justa de la escritura" tendrá una duración de dos años. Tras ese periodo se entregará como producto final un sistema de evaluación de la escritura para estudiantes de 5° y 6° básico, que considera dos componentes: un instrumento de evaluación de la escritura -compuesto por tareas, protocolo de aplicación, rúbrica y protocolo de corrección- y recursos para la enseñanza a partir de los resultados de la evaluación, dirigidos a docentes y con orientaciones para cada nivel de desempeño en la prueba.

La directora académica del proyecto, Natalia Ávila, doctora en Educación y académica especialista en escritura de la Facultad de Educación, detalla que “el objetivo es generar una forma diferente de evaluar la escritura, basada completamente en lo empírico. Vamos a probar experimentalmente todos sus componentes -el instrumento, su aplicación y las rúbricas- con el propósito de medir realmente el atributo de la escritura y no otras variables asociadas, por ejemplo, al nivel socioeconómico de los estudiantes, de manera de garantizar ecuanimidad en la evaluación”.

Para ello, se conformó un equipo interdisciplinario de investigadores que reúne a expertos en escritura y en medición, vinculados a las políticas públicas. A su directora académica, y a su director alterno, el investigador de MIDE UC Diego Carrasco, doctor en Psicología y experto en metodologías cuantitativas aplicadas a sistemas de evaluación de gran escala, se suman Ernesto Treviño, investigador senior de la Facultad de Educación, experto en políticas públicas educacionales; Rosario Escribano, investigadora PhD del Centro de Justicia Educacional, especializada en enfoques metodológicos cuantitativos; María Jesús Espinosa, investigadora PhD de la Universidad Diego Portales y Javiera Figueroa, investigadora PhD de la Universidad Alberto Hurtado, ambas especialistas en escritura y formación docente; Carolina Castillo, tesista del proyecto y estudiante del doctorado en Educación de la Facultad de Educación UC. También forman parte del equipo como profesionales del proyecto Valentina Turen, antropóloga UC; Solange Morales, profesora de Educación Básica UC; y Paula Reveco, psicóloga de la Universidad de Chile y magister en Estadística UC.

La interdisciplinariedad de este proyecto se plasma en la integración de procesos previos a la generación de resultados. Esto quiere decir que, equipos de expertos en lenguaje y especialistas en medición que en la etapa de implementación suelen operar de forma separada, en este proceso de diseño trabajan de forma conjunta. “Esta integración permite que decisiones de diseño, corrección, generación de resultados y usos de los puntajes sean coherentes; similar a los procesos de calidad total”, indica Diego Carrasco, director alterno del proyecto. “Contaremos con diferentes estudios que abordarán aspectos relevantes al proceso de evaluación, y que nos brindarán información para llegar a decisiones de diseño óptimo, antes de proponer una forma de evaluación diferente. El objetivo es minimizar factores adicionales que pueden influir sobre los escritos que producen las y los estudiantes y, finalmente, producir resultados informativos para promover acciones sobre la enseñanza de la escritura”.

Para lograr lo propuesto, se realizarán seis estudios experimentales: acerca de temas de interés, sobre la forma de la prueba,  los tipos de rúbricas, el formato de muestras escritas, el sistema de enseñanza y respecto de la aplicación óptima de la evaluación. Además, el equipo de investigadores desarrollará tareas comunicativas ajustadas al currículo; rúbricas para evaluar niveles textuales, discursivos y pragmáticos; y elaborará recursos pedagógicos para la enseñanza de acuerdo con lo que, según explicca Natalia Ávila, “es un cambio de paradigma respecto del concepto de evaluación, en el que evaluación y enseñanza son indisociables: no se evalúa para penalizar, sino para enseñar, para tener información útil para seguir enseñando”.

Para garantizar una evaluación de la escritura más justa, un aspecto innovador de este proyecto es la elaboración de dispositivos para su aplicación orientados a reducir los sesgos en la medición. Así lo explica Ávila: “si consideramos el nivel socioeconómico de las escuelas, un colegio más vulnerable podría tener menor cobertura curricular, por lo que, si la prueba es acerca de un tema que no ha sido abordado o que no se vio en profundidad en algunos establecimientos, serán mejor evaluados los estudiantes de escuelas con mayor cobertura curricular. Uno de los estudios del proyecto tiene como objetivo controlar esos dos factores: conocimiento del tópico -relacionado con cobertura curricular o con el capital cultural de los estudiantes- y conocimiento del género o tipo de texto que se le pide producir a los niños”. La forma en que el proyecto busca hacerse cargo de la brecha de conocimiento respecto del tópico y del género de la tarea a evaluar, es realizando una activación de conocimientos previos entre los estudiantes, justo antes de aplicar el instrumento de medición, a través de una actividad de familiarización con el tema y el género sobre los que se les pide escribir.

Asimismo, y para responder a la pregunta de investigación: ¿se puede medir mejor el atributo de escritura si los niños tienen más recursos para escribir, que si no los tuvieran?, se crearán cuatro condiciones para la evaluación: sin ningún estímulo; solamente con conocimiento del género; solamente con el conocimiento previo del tema, y con ambos. “Así, veremos si niños con niveles equivalentes de desempeño en Simce de lectura y nivel socioeconómico equivalente tienen desempeños equivalentes, o si los niños que reciben los estímulos mencionados pueden demostrar mejor su habilidad de escritura. Estamos aislando factores que nosotros creemos que son medidos indirectamente en las pruebas estandarizadas y perjudican, por ejemplo, a niños que tienen menos acceso a materiales escritos en sus casas y, por lo tanto, estamos penalizando su entorno cultural familiar y no midiendo su capacidad de escribir”, explica al respecto la directora de este proyecto.

Otra innovación de este proyecto es que contempla el diseño de un sistema en el cual los resultados de las mediciones estarán asociados a estrategias de enseñanza para que los docentes puedan tomar decisiones pedagógicas con los puntajes de sus estudiantes. A través de un repositorio en línea, el sistema dispondrá de una batería de herramientas didácticas asociadas al nivel de desempeño de los alumnos en la prueba, para mejorar sus aprendizajes.

Dado que este es un proyecto de investigación aplicada y de interés público, considera como socios estratégicos a la Dirección de Educación Pública (DEP) y al Laboratorio de Investigación e Innovación en Educación para América Latina y el Caribe (SUMMA). Al respecto Natalia Ávila comenta: “Este proyecto está pensado para transferirse a la sociedad, por eso la Dirección de Educación Pública es nuestra aliada y nuestro objetivo es ofrecer un licenciamiento gratuito de este sistema de evaluación a los colegios de la DEP. Además, esperamos que el resultado final de prototipo llegue a entidades como la Agencia de la Calidad de la Educación, o que, a través de SUMMA, se pueda utilizar en otros países de Latinoamérica, haciendo las adaptaciones regionales correspondientes, como un instrumento que entregue información útil para la toma de decisiones educativas”.