Pruebas PISA: Seis conclusiones y una pregunta

Rosa María Torres

Este texto se refiere a los resultados de la prueba PISA 2009 (con mención a las anteriores: 2000, 2003, 2006). Varias de estas conclusiones se repiten en informes posteriores de PISA. No obstante, sus recomendaciones siguen sin tenerse en cuenta en los países.

La prueba escolar PISA (Programa para la Evaluación Internacional de Alumnos, de la OCDE - Organización para la Cooperación y el Desarrollo Económicos) es una prueba de 2 horas de duración que se viene aplicando cada tres años, desde el año 2000, a estudiantes de 15 años de edad para medir competencias en tres áreas: lectura, matemáticas y ciencias. Se aplica a jóvenes de 15 años considerándose que a esa edad están próximos a concluir la educación establecida como obligatoria en la mayoría de países de la OCDE.

La prueba está diseñada en principio para los países miembros de la OCDE y ha venido ampliándose a países no miembros. (Chile y México son, en América Latina, los únicos países miembros de la OCDE).

Los resultados de la prueba aplicada en 2009 reiteraron fundamentalmente lo que ya sabíamos por anteriores pruebas PISA - excepto por un tema nuevo, la lectura digital - así como por otros estudios y otras pruebas aplicadas a alumnos en sistemas escolares a nivel nacional, regional e internacional.

65 países participaron en PISA 2009, 10 de ellos de América Latina y el Caribe: Argentina, Brasil, Colombia, Costa Rica, Chile, México, Panamá, Perú, Trinidad y Tobago, y Uruguay.

El énfasis de PISA 2009 fue la lectura. La competencia de lectura digital se midió en 19 países: 16 de la OCDE (Australia, Austria, Irlanda, Bélgica, Chile, Dinamarca, Francia, Hungría, Islandia, Japón, Corea, Nueva Zelanda, Noruega, Polonia, España y Suecia) y 3 países no OCDE (Colombia, Hong Kong-China y Macao). Los dos países latinoamericanos - Chile y Colombia - se ubicaron en los dos últimos lugares.

Corea del Sur y Finlandia se ubicaron en los dos primeros lugares de la prueba, seguidas de Hong Kong-China, Singapur, Canadá, Nueva Zelanda y Japón. La provincia de Shanghai, en China, participó por primera vez en PISA y obtuvo el puntaje más alto en lectura, así como en matemáticas y ciencias.

Seis grandes conclusiones se derivaron de PISA 2009:

1. La pieza clave de la calidad de la educación en el medio escolar continúan siendo los maestros

"Ningún sistema educativo puede superar la calidad de sus maestros", concluía en 2008 el Informe McKinsey - “Cómo hicieron los sistemas educativos con mejor desempeño del mundo para alcanzar sus objetivos” - tomando como base los resultados de PISA, y recomendaba al respecto: conseguir a las personas más aptas para ejercer la docencia; desarrollarlas hasta convertirlas en docentes eficientes; y garantizar que el sistema sea capaz de brindar la mejor educación posible a todos los estudiantes.

2. Más inversión en educación no asegura mejor educación

Sabemos hace mucho que la solución a los problemas escolares no pasa solo ni necesariamente por más dinero y que esto es cierto tanto para los países pobres como para los ricos. Los resultados de PISA confirman que (a) los recursos financieros son condición necesaria, pero no suficiente, para lograr un buen sistema escolar; (b) no importa solo cuánto, sino sobre todo en qué y cómo se gasta. (Agrego, por mi parte: importa también de dónde provienen los dineros: aporte de las familias, fondos previsionales, endeudamiento externo, empresa privada, multinacionales, explotación de reservas naturales, etc.).

Según se desprende de PISA, apenas un 20% de los resultados guarda relación con la cantidad de dinero invertido en la educación escolar. Países con presupuestos educativos más altos no son necesariamente los mejor ubicados en los ránkings elaborados a partir de dichas pruebas. Estados Unidos invierte mucho más por alumno que varios de los países con los que compite y que se ubican en los primeros lugares en las pruebas internacionales, notablemente en matemáticas. México es el país que más invierte en educación entre los países que integran la OCDE y se ubica a la cola por sus resultados en dichas pruebas. Los indicadores tradicionales "% del PBI destinado a la educación" o "gasto por alumno" son por ende insuficientes y engañosos; requieren acompañarse de otros indicadores que den cuenta de la eficiencia, la calidad, la pertinencia y la transparencia del gasto.

"El dinero por sí solo no puede comprar un buen sistema educativo. Los países y economías que mejor rendimiento tienen son aquellos que creen – y actúan en consecuencia – que todos los chicos pueden tener éxito en la escuela. Entre las economías más fuertes, aquéllas que priorizan la calidad de los profesores sobre el tamaño más pequeño de las clases tienden a obtener mejor rendimiento. Respecto al dinero y la educación la pregunta no es ¿cuánto? sino ¿para qué?".

3. Más tiempo dedicado a la enseñanza no garantiza mejores resultados escolares

Hay países con calendarios y jornadas escolares extensos que obtienen resultados más bajos en las pruebas que otros con calendarios y jornadas más cortos. Finlandia es el país con menos horas de clase entre los "países desarrollados" y el que mejores puntajes obtiene históricamente en PISA, muy por encima de España, con más horas de clase al año. México es el país que más tiempo escolar desperdicia entre los países de la OCDE. Asimismo, más años de escolaridad no aseguran necesariamente mejores niveles de conocimiento de la población, como lo muestra claramente el caso de México.

Un país con más altos niveles de escolaridad, en definitiva, no necesariamente es "más educado". Lo que importa es para qué, en qué, dónde y cómo se usa el tiempo y no meramente cuánto (duración de la clase, de la jornada escolar, del año escolar, de años de escolaridad, etc.).

Por otra parte, acceder a educación preescolar aparece en general asociado a mejores resultados en las pruebas, especialmente en lectura, pero no cualquier educación preescolar sirve: su calidad es fundamental.

Queda confirmado asimismo que la repetición escolar es inútil como estrategia para asegurar el aprendizaje y muy costosa para los sistemas escolares y los países.

4. Incrementar los salarios docentes parece tener impacto positivo

Los países que avanzaron en los puntajes desde la anterior prueba PISA tienen en común el haber incrementado los salarios docentes, junto con mayor atención dedicada a la situación general de los docentes, incluidos sus saberes y su satisfacción laboral. Incrementar los salarios docentes parece ser más eficaz que reducir el número de alumnos por clase (no obstante, como es obvio, "el tamaño de la clase parece ser más importante en los primeros años de escolarización que a los 15 años").

5. La condición socioeconómica de los alumnos es el factor que más incide en sus resultados escolares

Los bajos resultados coinciden en gran medida con factores como el ingreso familiar y el nivel educativo de los padres, mostrando así el impacto intergeneracional de la pobreza y de la educación y, por ende, la necesidad de:

(a) intervenciones integrales, que no se limiten a la política educativa-escolar sino que apunten a mejorar las condiciones de vida de las familias y de toda la sociedad; y

(b) asumir de manera integrada la educación de niños, jóvenes y adultos dentro y fuera del sistema escolar y a lo largo de la vida.

6. Los problemas de la lectura impresa se arrastran a la lectura en pantalla. Los jóvenes leen mejor en el papel. La navegación y la lectura digital muestran serias debilidades incluso en países donde los jóvenes de 15 años tienen acceso a computadora e Internet tanto en el colegio como en el hogar

La mayoría (94%) de los estudiantes en los países de la OCDE tienen computadora en su casa. Corea del Sur obtuvo los mejores puntajes, tanto en lectura impresa como en lectura digital. Los países europeos, incluidos los nórdicos que han tenido siempre resultados destacados en PISA, aparecieron rezagados en este campo.

En la mayoría de países, los jóvenes leen mejor los textos impresos que en la pantalla. Los problemas de compresión lectora en el mundo impreso se extienden al mundo digital. Tener computadora e internet en el hogar contribuye a un mejor manejo de estas herramientas y a una mejor competencia en lectura digital que cuando el acceso se da en el colegio. En definitiva: las condiciones para aprender a usar la TIC y para usarlas efectivamente son mejores en el hogar que en la escuela. Muchos factores deben sin duda explicar este hecho. No obstante, los gobiernos se están esmerando y apurando en dotar computadoras e internet a las escuelas, sin pensarlo dos veces; ¿cuántos países están optando por facilitar el acceso en el hogar, para uso de los estudiantes y de toda la familia?

El uso frecuente de la computadora (todos los días), tanto en la escuela como en el hogar, no aparece asociado a mejores resultados sino al contrario; tanto el exceso en el uso como el no uso tienen, en definitiva, impactos negativos. Las mujeres están mejor posicionadas que los hombres. En la última década ha bajado el porcentaje de jóvenes de 15 años que leen por placer (de 69% en 2000 a 64% en 2009). En general, las dos últimas pruebas PISA (2006 y 2009) no muestran una correlación entre uso de tecnologías y mayor aprendizaje.

Cabe entonces preguntarse y volver a preguntar: 

¿Para qué seguir haciendo estudios y evaluaciones que reiteran periódicamente lo que ya sabemos (salvo la novedad de la lectura digital)?. Y, sobre todo, ¿para qué si - como es usualmente el caso - las conclusiones y las recomendaciones que se derivan de dichos estudios y evaluaciones quedan en letra muerta, se ignoran o bien se interpretan de manera antojadiza o parcial y hasta se aplican al revés (claramente, el caso de España), retocando la inercia y quedando como principal preocupación de los gobiernos subir a como dé lugar puntajes y ránkings en la próxima prueba, asumiendo que allí se juega todo y que en eso consiste el "mejorar la calidad de la educación"?
 
La tan mentada necesidad de políticas "basadas en evidencia" no se lleva a la práctica, no por falta de evidencia, sino por sobra de los mismos problemas estructurales: la desestimación del valor de la información y el conocimiento para la toma de decisiones y la gestión a todos los niveles; el divorcio entre investigación-evaluación y diseño de políticas; la falta de voluntad político-técnica y de responsabilidad social de quienes toman tales decisiones; las debilidades de una academia y de un periodismo investigativo y crítico capaz de comprender y acercar a la ciudadanía los resultados de estudios y evaluaciones fundamentadas; y el desinterés de una ciudadanía que sigue asumiendo "las políticas" como reino de expertos y de cúpulas, y que no activa su derecho ciudadano para informarse adecuadamente y para exigir otra clase de políticos, de políticas, de académicos y de medios de información.

NOTA: A las mismas o similares conclusiones llega el estudio de The Economist (“The Learning Curve: Lessons in Country Performance in Education”, Nov. 2012), el cual compara resultados escolares de 40 países del mundo. En este análisis comparativo (que toma en cuenta los resultados de PISA y otras pruebas internacionales como TIMSS y PIRLS, además de la tasa de alfabetismo y la tasa de graduación de la educación secundaria), prácticamente no hay novedades: Finlandia aparece en primer lugar, seguida de Corea del Sur y de Hong Kong, mientras los cinco países latinoamericanos incluidos en el análisis (Brasil, México, Colombia, Argentina, Chile) se ubican a la cola.

Textos relacionados en OTRA∃DUCACION

Sobre evaluación en educación
Repensando el entusiasmo evaluador y las pruebas
Glosario mínimo sobre la educación en Finlandia
El absurdo de la repetición escolar
12 tesis para el cambio educativo
En educación no manda Don Dinero
Malos resultados escolares: ¿quién tiene la culpa?
La educación y sus mitos
International initiatives for education | Iniciativas internacionales para la educación
Una prueba no prueba nada
Los Ministros de educación del MERCOSUR y las pruebas PISA
PISA, ¿para qué? ¿El Ecuador en PISA?Stop PISA  | ¡Paren PISA!
Voces críticas de PISA en América Latina

Referencias / Para saber más (OCDE)
PISA en español
Resultados PISA 2012
PISA 2009 Results
OECD - Education: Korea and Finland top OECD’s latest PISA survey of education performance
PISA 2009 Results: Students On Line: Digital Technologies and Performance (Volume VI) (June 2011)
El informe PISA por países (07/12/2010)
Education : What do students know and what can they do? (video)
Early Childhood Education and Care Home Page
México distribuye Manual de Competencias "El México que queremos: Hacia PISA 2012", El Universal, 26 dic 2011
México, el país que más gasta de su presupuesto en educación: OCDE (2011)
“La tecnología debe quedarse fuera de las aulas” - Cristóbal Cobo (6 julio, 2011)
Informe PISA sobre la competencia de lectura digital (ERA2009). España otra vez suspende. Europa se queda atrás 4 julio 2011
Colombia: Jóvenes colombianos leen mejor textos impresos que textos en internet, según PISA 2009 - Ministerio de Educación, 4 julio 2011
A los alumnos españoles se les atraganta la lectura digital - España ocupa el puesto 14 de los 19 países que han participado en la nueva prueba del informe PISA de la OCDE (El País, 28/06/2011)
"La educación formal no es suficiente; hay que reconocer la importancia del aprendizaje invisible" (La Crónica de Hoy, México, 23 mayo, 2011)
"La buena escuela necesita manos" (El País, Madrid, 28/3/2011)
México: Hacia PISA 2012 en tercero de secundaria, por Ismael Vidales (Educación a Debate, 18/05/2011)
The Test Chinese Schools Still Fail: High scores for Shanghai's 15-year-olds are actually a sign of weakness - Jiang Xuequin (The Wall Street Journal, 8 Dic 2010)
"España: A más horas de clase, menor rendimiento" (La Opinion.es 26/09/2010)
Why do Finland's schools get the best results? BBC (7 April, 2010)
La clase perdedora - Reportaje El País, 07/04/2009
La era digital llega al Informe Pisa - La OCDE medirá en 2009 la capacidad lectora en formatos electrónicos de los alumnos. El examen se hará con una aplicación que simula Internet (El País, 09/02/2009)
A Teacher's Worth Around the World (infographic)
CIPPEC, Informe PISA sobre lectura digital: paradójicas conclusiones
Invertir más en educación no garantiza mejores resultados, según la OCDE (Feb 2012)
All that money can’t buy, by Marilyn Achiron (Feb 2012)
Así ha escalado la educación de Corea del Sur al podio mundial, ABC.es, 22 oct. 2012
¿Una generación escolar echada a perder por la informática?, Mariano Fernández Enguita, 28 mayo 2014