Sobre evaluación en educación ▸ On Evaluation in Education

Rosa María Torres

Pawla Kuczynskiego

Junto aquí algunos textos que he publicado en este blog relacionados con la evaluación, colocada hoy en el centro de la reforma mundial de la educación. Desde los 1990s, la evaluación y el uso de pruebas estandarizadas para evaluar a alumnos, docentes, directivos y planteles vienen creciendo en los sistemas escolares en todo el mundo - con notables excepciones, como Finlandia - junto con la competencia y los ránkings. Continúa alimentándose el mito que asocia automáticamente evaluación a mejoramiento de la calidad de la educación. Incluyo al pie también algunos enlaces recomendados y citas pertinentes.

These are some texts I have published in this blog in relation to evaluation, a key issue in current education reforms. Evaluation, and the use of standardized tests to evaluate students, teachers and administrators, have been growing since the 1990s in countries in the North and in the South - Finland is a notable exception - together with competition and rankings. The myth that associates evaluation with guaranteed educational improvement continues to grow. I include below also a few recommended sites and some pertinent quotes.

» Más evaluación, ¿mejor educación?

» ¿Qué es educación de CALIDAD?

» Repensando el entusiasmo evaluador y las pruebas

» Un GERMen infecta a los sistemas escolares (Pasi Sahlberg)

» Las 4 A como criterios para identificar "buenas prácticas" en educación
» The 4 As as criteria to identify "good practices" in education

» Receta para la reforma educativa
» Recipe for education reform

» La educación y sus mitos

» Una educación que no valora el propio esfuerzo

» Alumnos Clasificados

» El absurdo de la repetición escolar

» Malos resultados escolares, ¿quién tiene la culpa?

» 20 términos de la reforma educativa ecuatoriana

» Ecuador: ¿Otro plan decenal de educación (sin evaluar el anterior)?

» El Ministro mintió: Plan Decenal de Educación 2006-2015 (Ecuador)

» Nosotros de ida, ellos de vuelta

» Campaña Nacional de Alfabetización "Monseñor Leonidas Proaño" (Ecuador)

» El cierre de la Pluriversidad 'Amawtay Wasi' (Ecuador)

Evaluación docente | Teacher evaluation
 
» No hay revolución educativa sin revolución docente y sin diálogo social

» El 'modelo ecuatoriano' de evaluación docente

» La evaluación docente con sangre entra (México, Ecuador)

» Ecuador: La batalla en torno a la evaluación docente (blog)
 
» ¿Atraer a los mejores estudiantes para la docencia?

» Ecuador: El fiasco de la alfabetización

Pruebas | Tests

» Una prueba no prueba nada

» ¿Buen estudiante es el que saca buenas notas?

» Puntajes perfectos (ENES, Ecuador)

» Take The Test!

» El "Descubrimiento de América": Comprensión lectora

» Pedagogía escolar: el cultivado hábito de no entender

LLECE y PISA | LLECE and PISA


» Más evaluación, ¿mejor educación?

» América Latina y las pruebas del LLECE

» El Ecuador en las pruebas del LLECE (SERCE y TERCE)

» Buena escuela pública: LAPOP versus TERCE

» Now comes PISA for "developing countries"
» PISA para "países en desarrollo"

» Stop PISA! » ¡Paren PISA!

» PISA... ¿para qué?

» Pruebas PISA: Seis conclusiones y una pregunta

» Los ministros de educación del MERCOSUR y las pruebas PISA

» Voces críticas de PISA en América Latina
» Critical Voices of PISA in Latin America

Finlandia | Finland

» ¿China, Corea del Sur o Finlandia?
» 10 ideas falsas sobre Finlandia y la educación
» 26 hechos que distinguen a la educación finlandesa
» Glosario mínimo sobre la educación en Finlandia
» Confianza: Palabra clave en Finlandia
» El secreto finlandés es hacer todo al revés
» Más evaluación, ¿mejor educación?

 Algunos sitios relacionados | A few related links

▸ Alfie Kohn
▸ Diane Ravitch
▸ Sir Ken Robinson
▸ Pasi Sahlberg
▸ Change the Stakes - New York City
▸ Providence Student Union
▸ Valerie Strauss - The Answer Sheet, The Washington Post
▸ Joe Bower

Algunas citas pertinentes | Some pertinent quotes

» Hemos alcanzado un punto en nuestra evolución humana caracterizado por el hecho de que sabemos mucho, pero comprendemos poco. Manfred Max-Neef

» ¿Dónde está la sabiduría que perdimos al adquirir conocimientos? ¿Dónde el conocimiento perdido frente a tanta información?. T. S. Eliot.

» Siempre que enseñes, enseña a la vez a dudar de lo que enseñes. José Ortega y Gasset

» Hacer preguntas es prueba de que se piensa. Rabindranath Tagore

» La duda es uno de los nombres de la inteligencia. Jorge Luis Borges

» Las actitudes son más importantes que las aptitudes. Sir Winston Churchill

» De la cuna a la tumba es una escuela; por eso lo que llaman problemas, son lecciones. Facundo Cabral

» Odio que me enseñen, pero me encanta aprender. Winston Churchill

» Reprobar es sinónimo de expulsar, negar, excluir…la negación de la enseñanza. Freinet

» La educación es algo admirable. Sin embargo, es bueno recordar, que nada que valga la pena se puede enseñar. Óscar Wilde

» En los exámenes, los tontos siempre preguntan cosas que los sabios no pueden responder. Óscar Wilde

» La motivación intrínseca (un interés en la tarea por su propia satisfacción) es cualitativamente diferente de la motivación extrínseca (en la cual el cumplimiento de la tarea es visto sobre todo como un pre-requisito para obtener algo más). Alfie Kohn

» La vejez empieza cuando se pierde la curiosidad. José Saramago

» Testing is not a substitute for curriculum and instruction. Good education cannot be achieved by a strategy of testing children, shaming educators, and closing schools. Diane Ravitch

» The person who knows ‘how’ will always have a job. The person who knows ‘why’ will always be his boss. Diane Ravitch

» Our schools will not improve if we value only what tests measure. The tests we have now provide useful information about students' progress in reading and mathematics, but they cannot measure what matters most in education....What is tested may ultimately be less important that what is untested. Diane Ravitch

» What matters most is for the school, the district, and the state to be able to say that more students have reached "proficiency." This sort of fraud ignores the students' interests while promoting the interests of adults who take credit for nonexistent improvements. Diane Ravitch

» Minds are like parachutes - they only function when open. Thomas Dewar

» The anxiety children feel at constantly being tested, their fear of failure, punishment, and disgrace, severely reduces their ability both to perceive and to remember, and drives them away from the material being studied into strategies for fooling teachers into thinking they know what they really don't know.John Holt

» My fear is that "more measurements, better data management and top-down management" will not fix American education. Pasi Sahlberg

» When test scores go up, we should worry, because of how poor a measure they are of what matters, and what you typically sacrifice in a desperate effort to raise scores. Alfie Kohn

» In a word, learning is decontextualized. We break ideas down into tiny pieces that bear no relation to the whole. We give students a brick of information, followed by another brick, followed by another brick, until they are graduated, at which point we assume they have a house. What they have is a pile of bricks, and they don't have it for long. Alfie Kohn

» Rewards motivate people to work for rewards. Alfie Kohn

» Motivation is a fire from within. If someone else tries to light that fire under you, chances are it will burn very briefly. Stephen R. Covey

» Education should not be the filling of a pail, but the lighting of a fire. William Butler Yeats

Repensando el entusiasmo evaluador y las pruebas

Rosa María Torres

Siguiendo recomendaciones internacionales y "siguiendo la corriente" al creciente peso asignado en los últimos años a la evaluación en el campo educativo, muchos países de América Latina y el Caribe han venido montando sistemas nacionales de evaluación. El auge de las pruebas estandarizadas, por su parte, es parte del actual Movimiento Global de Reforma Educativa (GERM por su nombre en inglés: Global Education Reform Movement). Todo el paquete ha sido importado acríticamente en muchos países latinoamericanos, justo en momentos en que dichas pruebas estandarizadas son debatidas, cuestionadas y rechazadas en muchos países del Norte, empezando con Estados Unidos, que es donde ganaron notoriedad y desde donde se han expandido al resto del mundo.

Además de las iniciativas y sistemas nacionales, existen dos pruebas internacionales de rendimiento escolar en las que han participado varios países de la región, una de alcance regional y otra de alcance mundial:

(a) el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) coordinado por la oficina regional de la UNESCO (OREALC). El LLECE ha realizado hasta la fecha tres estudios, en 1997, 2005-2006 y 2013, los cuales han evaluado dos áreas del currículo: Lenguaje y Matemáticas, en tercero y cuarto grados, y en tercero y sexto grados, respectivamente. En el segundo estudio (SERCE) se agregó Ciencias Naturales para algunos países. El tercer estudio - Tercer Estudio Regional Explicativo y Comparativo (TERCE) - aplicado en el 2013, dio a conocer sus resultados en 2014-2015.

En el primer estudio participaron 13 países. En el segundo 16 países: Argentina, Brasil, Colombia, Costa Rica, Cuba, Chile, Ecuador, El Salvador, Guatemala, México, Nicaragua, Panamá, Paraguay, Perú, República Dominicana, Uruguay - y el estado de Nuevo León en México. En el tercer estudio participaron 15 países.

Cuba ocupó el primer lugar en los resultados de las dos primeras pruebas (no partició en el tercero) y República Dominicana el último. Ecuador, El Salvador, Nicaragua, Guatemala, Panamá, Paraguay, Perú y Rep. Dominicana conformaron el grupo de países con peores resultados.

(b) las pruebas internacionales PISA (Programme for International Student Assessment - Programa para la Evaluación Internacional de Alumnos) diseñadas por la OCDE (los países "desarrollados") que vienen aplicándose desde el año 2000 y cada tres años a estudiantes de 15 años de edad. La prueba del 2000 se centró en competencias lectoras, la del 2003 en competencias matemáticas, la del 2006 en competencias científicas, la del 2009 nuevamente en competencias lectoras (incluyendo por primera vez lectura en medios digitales), la del 2012 en competencias matemáticas. Varios países latinoamericanos y caribeños han participado hasta ahora en PISA: Argentina, Brasil, Colombia, Costa Rica, Chile, México, Panamá, Perú, República Dominicana, Trinidad y Tobago, y Uruguay. Estos han conformado – junto con España y Portugal, en Europa - el Grupo Iberoamericano de PISA. México y Chile son los dos únicos países latinoamericanos incluidos dentro del grupo de países OCDE.

Evaluando los impactos de las evaluaciones

La evaluación, en educación, se vende como instrumento indispensable e infalible para "mejorar la calidad de la educación". No obstante, la fiebre evaluadora – de los alumnos de diversos niveles, de los docentes, de las instituciones escolares (y ahora, ¡incluso de los padres de familia!, según se propone en EE.UU. ) – que viene creciendo desde la década de 1990, no se ha traducido en la anunciada "mejoría". Y es que, la evaluación por sí misma, no mejora nada. Más bien se observan varios efectos negativos de las evaluaciones estandarizadas, así como debilidades técnicas y problemas de comparabilidad entre ellas, a nivel regional e internacional, lo que dificulta establecer con claridad conclusiones y tendencias. Por ejemplo, los resultados del primer y segundo estudios del LLECE no son comparables entre sí, entre otros porque: en 1997 se evaluó a alumnos de 3º y 4º grados, y en 2005-2006 a alumnos de 3º y 6º grados; el segundo estudio evaluó no sólo saberes sino “habilidades para la vida”; y 8 de los países que participaron en el segundo estudio no participaron el en primero. A su vez, los métodos, indicadores y resultados del LLECE (regional, UNESCO) y de PISA (mundial, OCDE) no son plenamente comparables entre sí.

Todo esto obliga a revisar el camino recorrido y algunas de las premisas que sustentan el entusiasmo evaluador, entre otras:

(a) que las evaluaciones miden lo que saben o son capaces de hacer los alumnos y los docentes, y

(b) que las evaluaciones son indispensables para mejorar la calidad de la educación, en tanto ayudan a visibilizar los resultados de la enseñanza (y a explicar algunos de los factores que contribuyen a las diferencias de sus resultados) y, de ese modo, a informar mejor - y eventualmente rectificar - políticas y acciones educativas.

La experiencia muestra que, a pesar de los recursos invertidos en reforma y en evaluación educativas desde los 1990s, no hay mejoría consistente y/o significativa en los resultados escolares de los países en los campos o aspectos evaluados. Se observan pequeños incrementos en los puntajes de las pruebas, pero también bajones. En cualquier caso, los países latinoamericanos siguen ocupando los últimos lugares de la lista de países participantes en PISA.

La divulgación de los resultados en forma de ránkings que comparan entre sí a los planteles escolares y a los países, no ha tenido los impactos positivos esperados sobre las políticas ni sobre las prácticas docentes. Más bien, ha contribuido a reforzar el malestar y la resistencia docentes, pues son los docentes los primeros a quienes se responsabiliza de los malos resultados, sin ver el conjunto de “factores asociados” a los rendimientos escolares y sin que se implementen las políticas que las propias evaluaciones nacionales e internacionales muestran indispensables. Los gobiernos de los países participantes en las sucesivas pruebas PISA no están teniendo en cuenta las conclusiones y recomendaciones de dichas pruebas.

Asimismo, las evaluaciones de las evaluaciones muestran que se avanza poco en términos de construir una cultura de evaluación en el campo educativo. Más bien, vienen desarrollándose varias tendencias negativas previsibles:

▸ desmoralización entre estudiantes, docentes y planteles que obtienen bajos resultados, lo que contribuye no a su superación sino más bien a reforzar sentimientos de minusvalía e impotencia.

▸ “estudiar para la prueba” (tanto en el caso de los alumnos como de los docentes), lo que no incide realmente sobre la comprensión y el aprendizaje sino más bien sobre la memorización y la retención de información en el corto plazo.

▸ atención a las asignaturas o contenidos sujetos a evaluación, y descuido de aquellos que se sabe no entrarán en las pruebas.

▸ toda la sociedad concentrada en las pruebas y en sus resultados, asumiendo estos como indicador de la calidad de la educación escolar a nivel nacional y de cada plantel, olvidando aspectos tanto o más importantes que no se ven a través de las pruebas tales como: la relevancia y pertinencia del currículo y de los contenidos que se enseñan en las aulas, la validez pedagógica de los métodos de enseñanza utilizados, la calidad profesional y humana de los educadores, las relaciones entre profesores y alumnos y entre alumnos, el clima de aula y el clima escolar en general, el interés y la satisfacción de los alumnos y de las familias.

▸ presionar a los profesores a que sus alumnos obtengan buenas calificaciones en las pruebas, pues de ellas depende la evaluación del "desempeño docente", aumentos salariales, incentivos, premios y castigos, y hasta despidos. (En EE.UU. y en otros países muchos profesores dependen hoy de las notas de sus alumnos para sobrevivir y permanecer en el sistema).

▸ activar la previsible "cultura del engaño", incluyendo filtración y compra-venta de pruebas, venta de cursos y materiales para prepararse y aprobarlas, evitar que se presenten a las pruebas los "malos alumnos", los "migrantes", los con "problemas de aprendizaje", etc. La selección de alumnos al momento de la prueba es un fenómeno que ha sido analizado y cuestionado desde hace mucho en Chile. Casos de engaño denunciados y ventilados públicamente se han dado por ejemplo en México (copia en la prueba nacional Enlace, venta del 'Examen Universal' - aplicado en julio 2012 - a través de Mercado Libre, en internet), Perú (pruebas aplicadas a los docentes), Brasil (ENEM: Exame Nacional do Ensino Médio), Estados Unidos (Atlanta, pruebas estandarizadas en escuelas) y en la comunidad autónoma de Cataluña en España (pruebas PISA).

▸ obtener buenos resultados en las pruebas como objetivo, a fin de:

(i) quedar bien parado en el marco de parámetros competitivos según los cuales son evaluadas las instituciones escolares, e incluso juzgadas como aptas o con mérito para recibir diversos tipos de incentivos,

(ii) “ubicarse lo mejor posible” en los ránkings internacionales.

Mejorar los puntajes en la prueba PISA y el ránking del país en dichas pruebas ha pasado a ser la razón de ser y el objetivo principal de las reformas educativas en varios países (por ejemplo México de cara a PISA 2012), así como un logro esperable de metas de alcance regional (por ejemplo, las Metas 2021 promovidas por la OEI. "Meta 5: Mejorar la calidad de la educación. Indicador 13: Porcentaje de alumnos con niveles satisfactorios de logro en competencias básicas en las pruebas nacionales e internacionales. Nivel de logro: Disminuye en al menos un 20% el número de alumnos situados entre los dos niveles bajos de rendimiento en las pruebas LLECE 6.º grado, PISA, TIMMS o PIRLS en las que participan diferentes países. Aumentan en la misma proporción los alumnos en los dos niveles altos en dichas pruebas").

Hay asimismo puntualizaciones importantes que hacer y que a menudo siguen sin hacerse:

▸ evaluar la calidad de la educación es mucho más amplio que evaluar los rendimientos escolares.

▸ rendimiento escolar no es lo mismo que aprendizaje; los aprendizajes que se dan en el sistema escolar van mucho más allá de la asimilación de determinadas asignaturas e incluso del currículo prescrito.

▸ las pruebas pueden medir solo una pequeña porción de lo aprendido/sabido, dejando afuera valores, aptitudes, actitudes y competencias claves que hacen al corazón mismo de la educación, la socialización y la convivencia en el medio escolar, y de las múltiples inteligencias (por ejemplo: pensamiento crítico, colaboración, iniciativa, esfuerzo, curiosidad, respeto, amabilidad, honestidad, humor, etc.).

▸ no cabe aplicar los mismos instrumentos de evaluación a países, zonas, grupos humanos, culturas, diferentes. A objetivos, condiciones, contextos, contenidos diversos, corresponden obviamente diferentes para qués, qués y cómos en términos de evaluación.

América Latina y los países de la OCDE

Es fundamental preguntarse acerca de la pertinencia y validez de aplicar las mismas pruebas - y posteriormente comparar sus resultados - (a) a toda la población escolar, muy heterogénea dentro de un mismo país o región, y (b) a países muy diferentes entre sí, como son los países de la OCDE - países ricos con necesidades básicas satisfechas por parte de la mayoría de la población (y que son los países que sistemáticamente obtienen los mejores resultados en las pruebas PISA) - y los países de América Latina, con una alta proporción de su población viviendo bajo la línea de pobreza. Como corroboran las mismas evaluaciones (LLECE, PISA), el contexto socio-económico - no sólo de cada escuela sino del país en su conjunto - tiene gran peso sobre las condiciones de enseñanza-aprendizaje y sobre los resultados escolares en los diversos niveles del sistema.

Las enormes diferencias – históricas, sociales, económicas, políticas culturales - entre los países del Norte y los países del Sur, dentro de la propia América Latina y en el interior de cada país, exigen enfoques, políticas y programas diferenciados. Esto se aplica también a la evaluación, la cual incide de manera directa sobre los currículos, las pedagogías, las expectativas, los perfiles y quehaceres docentes.

Antes que herramienta de rectificación de desigualdades, las pruebas y la evaluación en el medio escolar puede reforzar la discriminación hacia los sectores más pobres y vulnerables. En particular, los grupos y pueblos indígenas resultan los más perjudicados pues las pruebas se elaboran por lo general sin atención a sus especificidades lingüísticas y culturales. Esto ha sido oficialmente denunciado, por ejemplo, en el caso de México y su prueba nacional Enlace, ya cancelada por cierto.

La experiencia cubana y la experiencia finlandesa

Dos notas de cierre que llaman a la reflexión:

▸ Cuba es el país que ha obtenido los mejores resultados escolares en ambas pruebas LLECE aplicadas hasta hoy (1997 y 2005-2006), en ambos casos con una gran diferencia respecto de los demás países que han participado en estas pruebas en América Latina y el Caribe (cabe recordar que las pruebas LLECE incluyen tanto a escuelas públicas como privadas). Cuba, no obstante, está insatisfecha con su sistema educativo y reconoce la necesidad de cambios mayores en sus políticas educativa, cultural y social. Una muestra de que los resultados de las pruebas escolares son insuficientes para dar cuenta de la calidad educativa y que los ránkings formalmente establecidos e internacionalmente validados pueden tener escasa relevancia frente a las expectativas y a los parámetros que pueden fijarse internamente los propios países.

▸ Finlandia, país que viene ocupando los primeros lugares en las pruebas PISA a nivel mundial, se distancia radicalmente de los preceptos que dominan la evaluación en la "reforma educativa global" en la actualidad;

- es crítica de las pruebas estandarizadas y de los ránkings;

- no aplica evaluaciones estandarizadas a sus alumnos antes de los 16 años;

- no divulga públicamente los resultados de las pruebas y no promueve la competencia entre instituciones escolares en base a dichos resultados;

- no aplica a sus profesores esquemas de "pago por desempeño" (entendiendo y valorando dicho desempeño en relación a los rendimientos escolares, según lo medido por pruebas).

* Texto revisado y actualizado, basado en la conferencia “Sociedad del conocimiento, políticas de evaluación y cambio educativo", conferencia de clausura del X Congreso de ADIDE-Federación, Zaragoza, España, 5-7 noviembre 2008.

Artículos relacionados en este blog:
Rosa María Torres, Pruebas PISA: Seis conclusiones y una pregunta
Rosa María Torres, Malos resultados escolares, ¿quién tiene la culpa?
Rosa María Torres, Glosario mínimo sobre la educación en Finlandia
Rosa María Torres, Auge de la trampa en educación
Rosa María Torres, Las pruebas no prueban nada
Rosa María Torres, ¿China, Corea del Sur o Finlandia?
Rosa María Torres, PISA, ¿para qué? ¿El Ecuador en PISA?

Para saber más:
OECD, Education at a Glance 2012
OECD: PISA 2009 results
OECD: Informe PISA 2009: Ránkings países
OCDE: Educación: Corea y Finlandia encabezan el más reciente estudio PISA de la OCDE sobre desempeño educativo
OECD: Education: Korea and Finland top OECD’s latest PISA survey of education performance
Pocos avances en educación: OCDE
México distribuye Manual de Competencias "El México que queremos: Hacia PISA 2012" (dic. 2011)
Secretaría de Educación Pública - SEP, México: Hacia PISA 2012
Repite México último lugar en PISA
Pide SEP comparar a México con América Latina en PISA
Chile: Escolares aumentaron 40 puntos en Pisa de lectura desde el año 2000
Colombia: Los estudiantes colombianos no usan la lectura para aprender
España: El informe PISA como arma contra el sistema educativo
El nuevo estudio PISA consagra el estancamiento de la educación española
PISA reveals wide differences in educational outcomes- Andreas Schleicher
Korea and Finland top OECD’s latest PISA survey of education performance
Asia, con Shanghai al frente, destrona a Europa en educación, según OCDE
Volver la mirada a la escuela, Guillermina Tiramonti
El profesor, a examen: premio o despido - El País
Pruebas estandarizadas y aprendizaje - Sala de Historia
OECD Education Working Papers, Student Standardised Testing: Current Practices in
OECD Countries and a Literature Review (Oct. 2011)
Students Learn Differently. So Why Test Them All the Same? - Arthur Goldstein, New York Times, Feb. 2012
The Fallacy of Good Grades: Why tests don't measure your child's most important strengths - Marilyn Price-Mitchell, Ph.D., The Moment of Youth, April 2011.
México: Denuncian discriminación a niños y niñas de pueblos originarios en pueba nacional de evaluación Enlace , Incidencia Civil en Educación, México
La competencia científica y su evaluación. Análisis de las pruebas estandarizadas de PISA, Yus Ramos, Rafael, et, al., 2010.