Stop PISA! ▸ ¡Paren PISA!


Photo taken from: A Teacher's Journey to Life


Nearly 100 educationalists sent a letter to Andreas Schleicher, director of the PISA international programme, expressing concerns about the PISA tests, offering a number of suggestions, and asking to stop the next PISA cycle. The letter was published in The Guardian (6 May 2014). I decided to translate it into Spanish (see the letter below, English and Spanish). One more expression of the growing concerns about PISA worldwide, in countries in the North and in the South.

Most of the educationalists and specialists signing this letter come from the US - and from a few other countries such as New Zealand, Australia, UK, Canada, Sweden, Ireland; many of their concerns and proposals reflect that perspective, even if they also express concern about "developing" countries being compared with "first world" countries. Dissatisfaction and critical analyses grow also among educationalists in other parts of the world, including those from "developing countries" - as we are called - and in languages different from English.

The US perspective has special interest given: US influence in the world (in education and otherwise); the traditional extensive use of standardized tests and the growing movement against standardized testing in that country; and the fact that multinational companies now working with/for PISA - such as Pearson - are US-based.

Andreas Schleicher replied to the letter two days later (The Guardian, 8 May 2014). I also translated the letter into Spanish. See below.
We include at the bottom a few texts on PISA published in this blog.

Cerca de 100 educadores enviaron una carta a Andreas Schleicher, director del programa internacional PISA de la OCDE, expresando preocupación en torno a las pruebas PISA, dando sugerencias y pidiendo parar el próximo ciclo de PISA. La carta apareció publicada en The Guardian (6 Mayo 2014). Decidí traducir la carta al español (abajo el texto, español e inglés). Una expresión más de la creciente crítica a PISA en el mundo, tanto en los países del Norte como en los del Sur. 

La mayoría de los signatarios de la carta provienen de EE.UU. y de unos pocos países tales como Nueva Zelanda, Australia, Reino Unido, Canadá, Suecia, Irlanda. Muchas de sus preocupaciones y propuestas reflejan esa perspectiva, si bien también se muestran preocupados con que los "países en desarrollo" sean comparados con los "países del primer mundo". La insatisfacción y los análisis críticos se multiplican también entre los educadores y especialistas en los "países en desarrollo" - como nos llaman - y en lenguas distintas del inglés.

La perspectiva estadounidense tiene especial interés dada: la influencia de EE.UU. en el mundo (en educación y en todo lo demás); el uso extendido de pruebas estandarizadas y el creciente movimiento en contra de éstas en ese país; el hecho de que compañías multinacionales que hoy trabajan con/para PISA - y cuya vinculación con PISA viene siendo denunciada, como es el caso de Pearson - están en EE.UU.

La carta de respuesta de Andreas Schleicher, publicada en The Guardian dos días después (8 mayo 2014), también la hemos traducido al español y consta abajo.
Incluimos al pie algunos textos relacionados con PISA publicados en este blog. 


Estimado Dr Schleicher:

Le escribimos en su calidad de director del Programme of International Student Assessment - PISA (Programa para la Evaluación de los Estudiantes) de la OCDE (Organización para el Desarrollo y la Cooperación Internacional). Ahora en su décimotercer año, la prueba PISA es conocida en todo el mundo como un instrumento para rankear a los países tanto de la OCDE como de fuera de la OCDE (más de 60 países, según el último recuento) a partir de la medición del logro académico de estudiantes de 15 años en matemáticas, ciencias y lectura. Administrada cada 3 años, los resultados de PISA son esperados con ansias por gobiernos, ministros de educación y comités editoriales de los diarios, y son citados con autoridad en incontables informes de política. Han empezado a influenciar profundamente las prácticas educativas en muchos países. Como resultado de PISA, los países están reformando sus sistemas educativos en la esperanza de mejorar sus ránkings. La falta de progreso en PISA ha llevado a declarar crisis, a "PISA shocks" en muchos países, junto a pedidos de renuncia y reformas de largo aliento según los preceptos de PISA.

Estamos francamente preocupados por las consecuencias negativas de los ránkings de PISA. Estas son algunas de nuestras preocupaciones:

• Si bien las pruebas estandarizadas vienen siendo utilizadas por décadas (a pesar de serias reservas sobre su validez y confiabilidad), PISA ha contribuido a escalar dichas pruebas y ha incrementado dramáticamente la confianza en mediciones cuantitativas. Por ejemplo, en los Estados Unidos PISA ha sido invocada para justificar el reciente programa "Race to the Top", que ha aumentado el uso de pruebas estandarizadas para la evaluación de los estudiantes, los profesores y los administradores, las cuales rankean y categorizan a estudiantes, profesores y administradores de acuerdo a los resultados de pruebas ampliamente conocidas por su imperfección (ver, por ejemplo, el declive inexplicado de Finlandia entre los primeros lugares de la tabla de PISA).

• En términos de política educativa, PISA, con su ciclo trianual de evaluación, ha ocasionado un viraje en la atención hacia soluciones de corto plazo destinados a ayudar a los países a escalar rápidamente en los ránkings, pese a que la investigacion muestra que los cambios duraderos en las prácticas educativas toman décadas - no unos pocos años - para mostrar resultados. Por ejemplo, sabemos que el estatus de los docentes y el prestigio de la docencia como profesión tienen gran influencia en la calidad de la enseñanza, pero que dicho estatus varía fuertemente entre culturas y que no es fácilmente influenciable por políticas de corto plazo.

• Al enfatizar un reducido conjunto de aspectos susceptibles de ser medidos en educación, PISA distrae la atención de los objetivos educativos menos susceptibles de ser medidos o imposibles de ser medidos, tales como el desarrollo físico, moral, cívico y artístico, reduciendo de este modo peligrosamente nuestra imaginación colectiva en torno a lo que es o debería ser la educación.

• En tanto organismo de desarrollo económico, la OCDE está naturalmente sesgada a favor del papel económico de las escuelas públicas [estatales]. Pero preparar a los y las jóvenes para el empleo no es la única - ni siquiera la más importante - meta de la educación pública, la cual debe preparar a los estudiantes para participar en formas de autogobierno democrático, en acciones morales y en una vida de desarrollo, crecimiento y bienestar personales.

• A diferencia de organizaciones de Naciones Unidas tales como UNESCO o UNICEF que tienen mandatos claros y legítimos para mejorar la educación y las vidas de los niños en todo el mundo, la OCDE no tiene tal mandato. Tampoco existen a la fecha mecanismos para una efectiva participación democrática en sus procesos de toma de decisión en torno a la educación.

• Para sacar adelante PISA y sus servicios de seguimiento, la OCDE ha acogido "alianzas público-privadas" y se ha aliado con compañías multinacionales con fines de lucro listas para ganar financieramente de los déficits - reales o percibidos - destapados por PISA. Algunas de estas compañías proveen servicios educativos a escuelas y distritos educativos de Estados Unidos, de manera masiva y con fines de lucro, y tienen planes para desarrollar una educación privada con fines de lucro en Africa, donde la OCDE está planeando introducir PISA. 

• Finalmente y muy importante: el nuevo régimen de PISA, con su ciclo continuo de medición global, hace daño a nuestros niños y empobrece nuestras aulas, dado que inevitablemente implica más y más largas baterías de pruebas de respuesta múltiple y menos autonomía para los docentes. De este modo, PISA ha aumentado aún más el ya alto nivel de estrés en las escuelas, lo que pone en peligro el bienestar de los estudiantes y de los docentes.

Todo esto está en conflicto abierto con los principios ampliamente aceptados de una práctica educativa democrática:

- Ninguna reforma debe basarse en una sola medición de calidad.
- Ninguna reforma debe ignorar el importante papel de los factores no-educativos, entre los cuales la inequidad socio-económica es esencial. En muchos países, incluido Estados Unidos, la inequidad ha incrementado dramáticamente en los últimos 15 años, lo que explica la brecha creciente en términos educativos entre los ricos y los pobres, brecha que las reformas educativas, no importa cuán sofisticadas, no pueden revertir. 
- Una organización como la OCDE, que afecta de manera profunda la vida de nuestras comunidades, debería estar abierta a una rendición de cuentas democrática a miembros de esas comunidades.

Escribimos no solo para destacar déficits y problemas. Querríamos también ofrecer ideas y sugerencias constructivas que puedan aliviar las preocupaciones indicadas. Aunque incompletas, ellas ilustran cómo puede mejorarse el aprendizaje sin los efectos negativos mencionados:

1 Desarrollar alternativas a las tablas de rankings: explorar modos más significativos y menos sensacionalistas/sensacionalizables de informar sobre los resultados de las evaluaciones. Por ejemplo: comparar países en desarrollo - en los que los jóvenes de 15 años son regularmente atraídos hacia el trabajo infantil - con países del primer mundo no hace sentido ni en el plano educativo ni en el plano político, y abre la puerta para acusar a la OCDE de colonialismo educativo. 

2 Abrir espacio a la participación de un amplio espectro de actores: al momento, los grupos con mayor influencia sobre el qué y el cómo de la evaluación de aprendizajes a nivel internacional son psicométricos, estadísticos y economistas. Ellos deben ciertamente sentarse a la mesa, pero también otros grupos: padres de familia, educadores, administradores, líderes comunitarios, estudiantes, así como académicos de disciplinas como antropología, sociología, historia, filosofía, lingüística, artes y humanidades. Qué y cómo evaluar la educación de los estudiantes de 15 años de edad debería ser materia de discusión que involucre a todos estos grupos a nivel local, nacional e internacional.

3 Incluir a organizaciones nacionales e internacionales en la formulación de métodos y estándares de evaluación cuya misión va más allá de los aspectos económicos de la educación pública y que conciernen a la salud, el desarrollo humano, el bienestar y la felicidad de los estudiantes y los docentes. Esto incluiría a las organizaciones mencionadas de Naciones Unidas así como a asociaciones de docentes, de padres de familia, de administradores, para mencionar algunas. 

4 Publicar los costos directos e indirectos de administrar PISA, de modo que quienes pagan impuestos en los países miembros puedan visualizar alternativas de uso de los millones de dólares que se gastan en estas pruebas y puedan determinar si desean continuar participando en ellas. 

5 Dar la bienvenida a la participación de equipos internacionales independientes que monitoreen y observen la administración de PISA desde la concepción hasta la ejecución, de modo que las preguntas sobre formato de las pruebas y sobre los procedimientos estadísticos y de categorización puedan ser sopesados cabalmente, en respuesta a acusaciones de sesgos o de comparaciones injustas.

6 Dar información detallada sobre el papel de compañías privadas con fines de lucro en la preparación, ejecución y seguimiento de las evaluaciones trianuales de PISA, a fin de evitar la apariencia o la realidad de conflictos de interés.

7 Desacelerar la juggernaut (*fuerza destructora) de la evaluación. A fin de ganar tiempo y discutir los temas mencionados a nivel local, nacional e internacional, consideren saltarse el siguiente ciclo de PISA. Esto daría tiempo para incorporar el aprendizaje colectivo - que resultará de las deliberaciones sugeridas - en el nuevo y mejorado modelo de evaluación.

Asumimos que los expertos de la OCDE en PISA están motivados por un deseo sincero de mejorar la educación. Pero nos cuesta entender cómo su organización se ha convertido en el árbitro global de los medios y fines de la educación en el mundo. El foco estrecho con que la OCDE aborda las pruebas estandarizadas corre el riesgo de convertir el aprendizaje en tedio y de matar el placer de aprender. PISA ha llevado a muchos gobiernos a una competencia internacional por los puntajes y la OCDE ha asumido el poder de configurar la política educativa alrededor del mundo, sin debate acerca de la necesidad o de las limitaciones de las metas de la OCDE. Nos preocupa profundamente que medir una gran variedad de tradiciones y culturas educativas usando una única vara, estrecha y sesgada, pueda, al final, causar un daño irreparable a nuestras escuelas y a nuestros estudiantes.

Atentamente,

Andrews, Paul Professor of Mathematics Education, Stockholm University
Atkinson, Lori New York State Allies for Public Education
Ball, Stephen J Karl Mannheim Professor of Sociology of Education, Institute of Education, University of London
Barber, Melissa Parents Against High Stakes Testing
Beckett, Lori Winifred Mercier Professor of Teacher Education, Leeds Metropolitan University
Berardi, Jillaine Linden Avenue Middle School, Assistant Principal
Berliner, David Regents Professor of Education at Arizona State University, USA
Bloom, Elizabeth EdD Associate Professor of Education, Hartwick College
Boudet, Danielle Oneonta Area for Public Education
Boland, Neil Senior lecturer, AUT University, Auckland, New Zealand
Burris, Carol Principal and former Teacher of the Year
Cauthen, Nancy PhD Change the Stakes, NYS Allies for Public Education, USA
Cerrone, Chris Testing Hurts Kids; NYS Allies for Public Education, USA
Ciaran, Sugrue Professor, Head of School, School of Education, University College Dublin
Deutermann, Jeanette Founder Long Island Opt Out, Co-founder NYS Allies for Public Education, USA
Devine, Nesta Associate Professor, Auckland University of Technology, New Zealand
Dodge, Arnie Chair, Department of Educational Leadership, Long Island University, USA
Dodge, Judith Author, Educational Consultant
Farley, Tim Principal, Ichabod Crane School; New York State Allies for Public Education, USA
Fellicello, Stacia Principal, Chambers Elementary School
Fleming, Mary Lecturer, School of Education, National University of Ireland, Galway
Fransson, Göran Associate Professor of Education, University of Gävle, Sweden
Giroux, Henry Professor of English and Cultural Studies, McMaster University
Glass, Gene Senior Researcher, National Education Policy Center, Santa Fe, New Mexico, USA
Glynn, Kevin Educator, co-founder of Lace to the Top
Goldstein, Harvey Professor of Social Statistics, University of Bristol
Gorlewski, David Director, Educational Leadership Doctoral Program, D'Youville College
Gorlewski, Julie PhD, Assistant Professor, State University of New York at New Paltz, USA
Gowie, Cheryl Professor of Education, Siena College
Greene, Kiersten Assistant Professor of Literacy, State University of New York at New Paltz, USA
Haimson, Leonie Parent Advocate and Director of "Class Size Matters"
Heinz, Manuela Director of Teaching Practice, School of Education, National University of Ireland Galway
Hughes, Michelle Principal, High Meadows Independent School
Jury, Mark Chair, Education Department, Siena College
Kahn, Hudson Valley Against Common Core
Kayden, Michelle Linden Avenue Middle School Red Hook, New York, USA
Kempf, Arlo Program Coordinator of School and Society, OISE, University of Toronto
Kilfoyle, Marla NBCT, General Manager of BATs
Labaree, David Professor of Education, Stanford University
Leonardatos, Harry Principal, high school, Clarkstown, New York, USA
MacBeath, John Professor Emeritus, Director of Leadership for Learning, University of Cambridge
McLaren, Peter Distinguished Professor, Chapman University, USA
McNair, Jessica Co-founder Opt-Out CNY, parent member NYS Allies for Public Education, USA
Meyer, Heinz-Dieter Associate Professor, Education Governance & Policy, State University of New York (Albany), USA
Meyer, Tom Associate Professor of Secondary Education, State University of New York at New Paltz, USA
Millham, Rosemary PhD Science Coordinator, Master Teacher Campus Director, SUNY New Paltz, USA
Millham, Rosemary Science Coordinator/Assistant Professor, Master Teacher Campus Director, State University of New York, New Paltz, USA
Oliveira Andreotti Vanessa Canada Research Chair in Race, Inequality, and Global Change, University of British Columbia
Sperry, Carol Emerita, Millersville University, Pennsylvania, USA
Mitchell, Ken Lower Hudson Valley Superintendents Council
Mucher, Stephen Director, Bard Master of Arts in Teaching Program, Los Angeles, USA
Tuck, Eve Assistant Professor, Coordinator of Native American Studies, State University of New York at New Paltz, USA
Naison, Mark Professor of African American Studies and History, Fordham University; Co-Founder, Badass Teachers Association
Nielsen, Kris Author, Children of the Core
Noddings, Nel Professor (emerita) Philosophy of Education, Stanford University, USA
Noguera, Pedro Peter L. Agnew Professor of Education, New York University, USA
Nunez, Isabel Associate Professor, Concordia University, Chicago, USA
Pallas, Aaron Arthur I Gates Professor of Sociology and Education, Columbia University, USA
Peters, Michael Professor, University of Waikato, Honorary Fellow, Royal Society New Zealand
Pugh, Nigel Principal, Richard R Green High School of Teaching, New York City, USA
Ravitch, Diane Research Professor, New York University, USA
Rivera-Wilson Jerusalem Senior Faculty Associate and Director of Clinical Training and Field Experiences, University at Albany, USA
Roberts, Peter Professor, School of Educational Studies and Leadership, University of Canterbury, New Zealand
Rougle, Eija Instructor, State University of New York, Albany, USA
Rudley, Lisa Director: Education Policy-Autism Action Network
Saltzman, Janet Science Chair, Physics Teacher, Red Hook High School
Schniedewind, Nancy Professor of Education, State University of New York, New Paltz, USA
Silverberg, Ruth Associate Professor, College of Staten Island, City University of New York, USA
Sperry, Carol Professor of Education, Emerita, Millersville University
St. John, Edward Algo D. Henderson Collegiate Professor, University of Michigan, USA
Suzuki, Daiyu Teachers College at Columbia University, USA
Swaffield, Sue Senior Lecturer, Educational Leadership and School Improvement, University of Cambridge
Tanis, Bianca Parent Member: ReThinking Testing
Thomas, Paul Associate Professor of Education, Furman University
Thrupp, Martin Professor of Education, University of Waikato, New Zealand
Tobin, KT Founding member, ReThinking Testing
Tomlinson, Sally Emeritus Professor, Goldsmiths College, University of London; Senior Research Fellow, Department of Education, Oxford University
Tuck, Eve Coordinator of Native American Studies, State University of New York at New Paltz, USA
VanSlyke-Briggs Kjersti Associate Professor, State University of New York, Oneonta, USA
Wilson, Elaine Faculty of Education, University of Cambridge
Wrigley, Terry Honorary senior research fellow, University of Ballarat, Australia
Zahedi, Katie Principal, Linden Ave Middle School, Red Hook, New York, USA
Zhao, Yong Professor of Education, Presidential Chair, University of Oregon, USA

************

Respuesta de Andreas Schleicher:

El programa PISA no tiene que ver con soluciones de corto plazo

La carta del Dr Heinz-Dieter Meyer y otros académicos (OECD and Pisa tests are damaging education worldwide – academics, theguardian.com, 6 May) hace una serie de acusaciones falsas sobre el programa PISA de la OCDE. No hay nada que sugiera que PISA u otras comparaciones internacionales hayan ocasionado un viraje hacia "soluciones de corto plazo" en la política educativa. Al contrario: al abrir la perspectiva a un conjunto más amplio de opciones que surgen de las comparaciones internacionales, PISA ha provisto muchas oportunidades para un diseño más estratégico de la política. También ha creado importantes oportunidades para que los tomadores de decisiones y otros actores colaboren entre sí. Un ejemplo es la Cumbre Internacional de la Profesión Docente, en la que los ministros se encontraron con líderes sindicales para discutir cómo elevar el estatus de la profesión docente. No menos importante, si bien es cierto que algunas reformas toman tiempo para mostrar resultados: varios países han mostrado en efecto que puede darse un rápido progreso en el corto plazo, como por ejemplo Polonia, Alemania y otros que han mostrado progreso sostenido y observable cada tres años.

Asimismo, no existen "alianzas público-privadas" u otras "alianzas" en PISA del tipo que sugiere el Dr Meyer. Todo el trabajo relacionado con el desarrollo, ejecución e información de PISA se realiza bajo la sola responsabilidad de la OCDE, bajo la guía de la junta directiva de PISA. La OCDE, por supuesto, contrata servicios técnicos específicos con individuos, instituciones o compañías. Cuando lo hace, estos individuos, instituciones o compañías son nombrados por la OCDE, siguiendo un llamado abierto, transparente y público en la presentación de propuestas. Este proceso transparente y abierto asegura que cada tarea se realice por aquellas entidades que demuestran estar mejor calificadas y que proveen el mejor valor por el dinero invertido. Ningún académico individualmente, institución o compañía tiene ventaja en esto pues los resultados del trabajo de PISA se hacen públicos.

Más aún, en el artículo de Peter Wilby (Pisa league tables killing 'joy of learning', 6 May) se afirma que Pearson supervisa la evaluación de PISA 2015, lo que no es el caso. Pearson fue uno de varios contratados a través de un proceso competitivo para desarrollar y ejecutar PISA 2015. El contrato con Pearson para desarrollar el marco de la evaluación ya se completó y ha llegado a su fin.

Andreas Schleicher
Director de Educación encargado, OCDE

*****************

Dear Dr Schleicher,

We write to you in your capacity as OECD's (Organisation for Economic Co-operation and Development) director of the Programme of International Student Assessment (Pisa). Now in its 13th year, Pisa is known around the world as an instrument to rank OECD and non-OECD countries (60-plus at last count) according to a measure of academic achievement of 15-year-old students in mathematics, science, and reading. Administered every three years, Pisa results are anxiously awaited by governments, education ministers, and the editorial boards of newspapers, and are cited authoritatively in countless policy reports. They have begun to deeply influence educational practices in many countries. As a result of Pisa, countries are overhauling their education systems in the hopes of improving their rankings. Lack of progress on Pisa has led to declarations of crisis and "Pisa shock" in many countries, followed by calls for resignations, and far-reaching reforms according to Pisa precepts.

We are frankly concerned about the negative consequences of the Pisa rankings. These are some of our concerns:

• While standardised testing has been used in many nations for decades (despite serious reservations about its validity and reliability), Pisa has contributed to an escalation in such testing and a dramatically increased reliance on quantitative measures. For example, in the US, Pisa has been invoked as a major justification for the recent "Race to the Top" programme, which has increased the use of standardised testing for student-, teacher-, and administrator evaluations, which rank and label students, as well as teachers and administrators according to the results of tests widely known to be imperfect (see, for example, Finland's unexplained decline from the top of the Pisa table).

• In education policy, Pisa, with its three-year assessment cycle, has caused a shift of attention to short-term fixes designed to help a country quickly climb the rankings, despite research showing that enduring changes in education practice take decades, not a few years, to come to fruition. For example, we know that the status of teachers and the prestige of teaching as a profession have a strong influence on the quality of instruction, but that status varies strongly across cultures and is not easily influenced by short-term policy.

• By emphasising a narrow range of measurable aspects of education, Pisa takes attention away from the less measurable or immeasurable educational objectives like physical, moral, civic and artistic development, thereby dangerously narrowing our collective imagination regarding what education is and ought to be about.

• As an organisation of economic development, OECD is naturally biased in favour of the economic role of public [state] schools. But preparing young men and women for gainful employment is not the only, and not even the main goal of public education, which has to prepare students for participation in democratic self-government, moral action and a life of personal development, growth and wellbeing.

• Unlike United Nations (UN) organisations such as UNESCO or UNICEF that have clear and legitimate mandates to improve education and the lives of children around the world, OECD has no such mandate. Nor are there, at present, mechanisms of effective democratic participation in its education decision-making process.

• To carry out Pisa and a host of follow-up services, OECD has embraced "public-private partnerships" and entered into alliances with multi-national for-profit companies, which stand to gain financially from any deficits—real or perceived—unearthed by Pisa. Some of these companies provide educational services to American schools and school districts on a massive, for-profit basis, while also pursuing plans to develop for-profit elementary education in Africa, where OECD is now planning to introduce the Pisa programme.

• Finally, and most importantly: the new Pisa regime, with its continuous cycle of global testing, harms our children and impoverishes our classrooms, as it inevitably involves more and longer batteries of multiple-choice testing, more scripted "vendor"-made lessons, and less autonomy for teachers. In this way Pisa has further increased the already high stress level in schools, which endangers the wellbeing of students and teachers.

These developments are in overt conflict with widely accepted principles of good educational and democratic practice:

• No reform of any consequence should be based on a single narrow measure of quality.
• No reform of any consequence should ignore the important role of non-educational factors, among which a nation's socio-economic inequality is paramount. In many countries, including the US, inequality has dramatically increased over the past 15 years, explaining the widening educational gap between rich and poor which education reforms, no matter how sophisticated, are unlikely to redress.
• An organisation like OECD, as any organisation that deeply affects the life of our communities, should be open to democratic accountability by members of those communities.

We are writing not only to point out deficits and problems. We would also like to offer constructive ideas and suggestions that may help to alleviate the above mentioned concerns. While in no way complete, they illustrate how learning could be improved without the above mentioned negative effects:

1 Develop alternatives to league tables: explore more meaningful and less easily sensationalised ways of reporting assessment outcomes. For example, comparing developing countries, where 15-year-olds are regularly drafted into child labour, with first-world countries makes neither educational nor political sense and opens OECD up for charges of educational colonialism.

2 Make room for participation by the full range of relevant constituents and scholarship: to date, the groups with greatest influence on what and how international learning is assessed are psychometricians, statisticians, and economists. They certainly deserve a seat at the table, but so do many other groups: parents, educators, administrators, community leaders, students, as well as scholars from disciplines like anthropology, sociology, history, philosophy, linguistics, as well as the arts and humanities. What and how we assess the education of 15-year-old students should be subject to discussions involving all these groups at local, national, and international levels.

3 Include national and international organisations in the formulation of assessment methods and standards whose mission goes beyond the economic aspect of public education and which are concerned with the health, human development, wellbeing and happiness of students and teachers. This would include the above mentioned United Nations organisations, as well as teacher, parent, and administrator associations, to name a few.

4 Publish the direct and indirect costs of administering Pisa so that taxpayers in member countries can gauge alternative uses of the millions of dollars spent on these tests and determine if they want to continue their participation in it.

5 Welcome oversight by independent international monitoring teams which can observe the administration of Pisa from the conception to the execution, so that questions about test format and statistical and scoring procedures can be weighed fairly against charges of bias or unfair comparisons.

6 Provide detailed accounts regarding the role of private, for-profit companies in the preparation, execution, and follow-up to the tri-annual Pisa assessments to avoid the appearance or reality of conflicts of interest.

7 Slow down the testing juggernaut. To gain time to discuss the issues mentioned here at local, national, and international levels, consider skipping the next Pisa cycle. This would give time to incorporate the collective learning that will result from the suggested deliberations in a new and improved assessment model.

We assume that OECD's Pisa experts are motivated by a sincere desire to improve education. But we fail to understand how your organisation has become the global arbiter of the means and ends of education around the world. OECD's narrow focus on standardised testing risks turning learning into drudgery and killing the joy of learning. As Pisa has led many governments into an international competition for higher test scores, OECD has assumed the power to shape education policy around the world, with no debate about the necessity or limitations of OECD's goals. We are deeply concerned that measuring a great diversity of educational traditions and cultures using a single, narrow, biased yardstick could, in the end, do irreparable harm to our schools and our students.

Sincerely,

Andrews, Paul Professor of Mathematics Education, Stockholm University
Atkinson, Lori New York State Allies for Public Education
Ball, Stephen J Karl Mannheim Professor of Sociology of Education, Institute of Education, University of London
Barber, Melissa Parents Against High Stakes Testing
Beckett, Lori Winifred Mercier Professor of Teacher Education, Leeds Metropolitan University
Berardi, Jillaine Linden Avenue Middle School, Assistant Principal
Berliner, David Regents Professor of Education at Arizona State University
Bloom, Elizabeth EdD Associate Professor of Education, Hartwick College
Boudet, Danielle Oneonta Area for Public Education
Boland, Neil Senior lecturer, AUT University, Auckland, New Zealand
Burris, Carol Principal and former Teacher of the Year
Cauthen, Nancy PhD Change the Stakes, NYS Allies for Public Education
Cerrone, Chris Testing Hurts Kids; NYS Allies for Public Education
Ciaran, Sugrue Professor, Head of School, School of Education, University College Dublin
Deutermann, Jeanette Founder Long Island Opt Out, Co-founder NYS Allies for Public Education
Devine, Nesta Associate Professor, Auckland University of Technology, New Zealand
Dodge, Arnie Chair, Department of Educational Leadership, Long Island University
Dodge, Judith Author, Educational Consultant
Farley, Tim Principal, Ichabod Crane School; New York State Allies for Public Education
Fellicello, Stacia Principal, Chambers Elementary School
Fleming, Mary Lecturer, School of Education, National University of Ireland, Galway
Fransson, Göran Associate Professor of Education, University of Gävle, Sweden
Giroux, Henry Professor of English and Cultural Studies, McMaster University
Glass, Gene Senior Researcher, National Education Policy Center, Santa Fe, New Mexico
Glynn, Kevin Educator, co-founder of Lace to the Top
Goldstein, Harvey Professor of Social Statistics, University of Bristol
Gorlewski, David Director, Educational Leadership Doctoral Program, D'Youville College
Gorlewski, Julie PhD, Assistant Professor, State University of New York at New Paltz
Gowie, Cheryl Professor of Education, Siena College
Greene, Kiersten Assistant Professor of Literacy, State University of New York at New Paltz
Haimson, Leonie Parent Advocate and Director of "Class Size Matters"
Heinz, Manuela Director of Teaching Practice, School of Education, National University of Ireland Galway
Hughes, Michelle Principal, High Meadows Independent School
Jury, Mark Chair, Education Department, Siena College
Kahn, Hudson Valley Against Common Core
Kayden, Michelle Linden Avenue Middle School Red Hook, New York
Kempf, Arlo Program Coordinator of School and Society, OISE, University of Toronto
Kilfoyle, Marla NBCT, General Manager of BATs
Labaree, David Professor of Education, Stanford University
Leonardatos, Harry Principal, high school, Clarkstown, New York
MacBeath, John Professor Emeritus, Director of Leadership for Learning, University of Cambridge
McLaren, Peter Distinguished Professor, Chapman University
McNair, Jessica Co-founder Opt-Out CNY, parent member NYS Allies for Public Education
Meyer, Heinz-Dieter Associate Professor, Education Governance & Policy, State University of New York (Albany)
Meyer, Tom Associate Professor of Secondary Education, State University of New York at New Paltz
Millham, Rosemary PhD Science Coordinator, Master Teacher Campus Director, SUNY New Paltz
Millham, Rosemary Science Coordinator/Assistant Professor, Master Teacher Campus Director, State University of New York, New Paltz
Oliveira Andreotti Vanessa Canada Research Chair in Race, Inequality, and Global Change, University of British Columbia
Sperry, Carol Emerita, Millersville University, Pennsylvania
Mitchell, Ken Lower Hudson Valley Superintendents Council
Mucher, Stephen Director, Bard Master of Arts in Teaching Program, Los Angeles
Tuck, Eve Assistant Professor, Coordinator of Native American Studies, State University of New York at New Paltz
Naison, Mark Professor of African American Studies and History, Fordham University; Co-Founder, Badass Teachers Association
Nielsen, Kris Author, Children of the Core
Noddings, Nel Professor (emerita) Philosophy of Education, Stanford University
Noguera, Pedro Peter L. Agnew Professor of Education, New York University
Nunez, Isabel Associate Professor, Concordia University, Chicago
Pallas, Aaron Arthur I Gates Professor of Sociology and Education, Columbia University
Peters, Michael Professor, University of Waikato, Honorary Fellow, Royal Society New Zealand
Pugh, Nigel Principal, Richard R Green High School of Teaching, New York City
Ravitch, Diane Research Professor, New York University
Rivera-Wilson Jerusalem Senior Faculty Associate and Director of Clinical Training and Field Experiences, University at Albany
Roberts, Peter Professor, School of Educational Studies and Leadership, University of Canterbury, New Zealand
Rougle, Eija Instructor, State University of New York, Albany
Rudley, Lisa Director: Education Policy-Autism Action Network
Saltzman, Janet Science Chair, Physics Teacher, Red Hook High School
Schniedewind, Nancy Professor of Education, State University of New York, New Paltz
Silverberg, Ruth Associate Professor, College of Staten Island, City University of New York
Sperry, Carol Professor of Education, Emerita, Millersville University
St. John, Edward Algo D. Henderson Collegiate Professor, University of Michigan
Suzuki, Daiyu Teachers College at Columbia University
Swaffield, Sue Senior Lecturer, Educational Leadership and School Improvement, University of Cambridge
Tanis, Bianca Parent Member: ReThinking Testing
Thomas, Paul Associate Professor of Education, Furman University
Thrupp, Martin Professor of Education, University of Waikato, New Zealand
Tobin, KT Founding member, ReThinking Testing
Tomlinson, Sally Emeritus Professor, Goldsmiths College, University of London; Senior Research Fellow, Department of Education, Oxford University
Tuck, Eve Coordinator of Native American Studies, State University of New York at New Paltz
VanSlyke-Briggs Kjersti Associate Professor, State University of New York, Oneonta
Wilson, Elaine Faculty of Education, University of Cambridge
Wrigley, Terry Honorary senior research fellow, University of Ballarat, Australia
Zahedi, Katie Principal, Linden Ave Middle School, Red Hook, New York
Zhao, Yong Professor of Education, Presidential Chair, University of Oregon

Algunos textos sobre PISA en este blog / Some texts on PISA in this blog

» PISA ¿para qué?
» Repensando el entusiasmo evaluador y las pruebas
» Pruebas PISA: Seis conclusiones y una pregunta
» Un GERmen afecta a los sistemas escolares (Pasi Sahlberg, translated into Spanish, with introduction)
» Glosario minimo sobre la educación en Finlandia
» Take the Test!
» Una prueba no prueba nada (en proceso)
» Los Ministros del MERCOSUR y las pruebas PISA
» Sobre evaluación en educaciónOn Evaluation in Education

Para saber más / To learn more 

» “How Does PISA Put the World at Risk”, Dr. Yong Zhao
» Lo que oculta el informe Pisa, Carlos Manuel Sánchez, XL Semanal, 27 abril 2014
» Informe PISA: Pobre Finlandia, Enrique Bethencourt, 2 abril 2014.
» Bárbara Figueroa critica la Prueba PISA porque mide asuntos 'ajenos a la realidad educativa chilena', Terra, 3 abril 2014
» Las tiranías del informe PISA, El País, 8 mayo 2014

El Foro Económico Mundial y la calidad de la educación


Rosa María Torres






La Agencia Pública de Noticias del Ecuador y Sudamérica (Andes) publicó una nota titulada "Ecuador lidera ranking de calidad en educación primaria de Suramérica" (25 abril 2014). La nota citaba el Informe Global de Competitividad 2013-2014 del Foro Económico Mundial. El Ecuador aparecía en la posición 74 (3.8 puntos) en calidad de la educación primaria. Costa Rica aparecía en la posición 32 (4.8 puntos), es decir, primero en América Latina. (Ver la tabla de ránkings, al pie) Los mismos valores vuelven a repetirse en informes de competitividad más recientes del FEM.

El rankeo de "calidad de la educación primaria" del Foro Económico Mundial me llamó la atención. Por un lado, la presencia (o ausencia) de varios países del mundo entre los primeros 74 lugares; por otro lado, los valores asignados a países de América Latina. Esto no coincide con el estado del conocimiento al respecto en esta región ni con los resultados de aprendizaje en educación primaria medidos por las pruebas del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) de la UNESCO, las cuales evalúan aprendizajes en Lenguaje y Matemática (3º y 6º grados) y Ciencias de la Naturaleza (6º grado). Cuba sobresalió en en el primer estudio (PERCE, 1997). En el segundo estudio (SERCE, 2006) Cuba, Chile, Costa Rica, México y Uruguay se ubicaron por encima del promedio regional; Ecuador, Guatemala, Nicaragua, Panamá, Paraguay, Perú y República Dominicana se ubicaron por debajo del promedio regional (Ver Informe completo y Resumen Ejecutivo del SERCE). En el tercer estudio (TERCE), aplicado en 2013, el Ecuador se ubicó en la media y por debajo de la media regional. (Ver: El Ecuador en las pruebas del LLECE: SERCE y TERCE).

Por eso decidí investigar cómo define calidad educativa el Foro Económico Mundial y cómo establece los ránkings. Descubrí que se trata de una Encuesta de Opinión (Opinion Survey) - "La Voz de la Comunidad de Negocios". (110 informantes en Costa Rica; 118 en el Ecuador, para los diversos tópicos). Descubrí también que lo que la encuesta pregunta no es acerca de la calidad de la educación sino acerca de la calidad de las escuelas. Lo que no es lo mismo.

Como puede verse en la Tabla 4.9 sobre Quality Primary Education, la pregunta dice:


En su país, ¿cómo evaluaría usted la calidad de las escuelas primarias?
1 = extremadamente pobre - entre las peores del mundo. 
7 = excelente - entre las mejores del mundo.

* nuestra traducción del inglés


Surgen varias inquietudes:

a) El Foro Económico Mundial no aclara que el indicador 'calidad de la educación' se refiere a  percepciones y opiniones, no a resultados objetivos de investigación o evaluación.

b) La "comunidad de negocios" no es necesariamente una voz especializada en el campo educativo y en el de la calidad educativa específicamente. Calidad de la educación (en cualquier nivel, de cuaquier tipo) es un concepto complejo y muy debatido, que depende de muchos factores. Definirlo y categorizarlo requiere conocimiento especializado e informado. Por otra parte, los Institutos Asociados (Partner Institutes), como se los denomina en el informe, pueden tener vínculos con el gobierno, lo que hace difícil una opinión independiente; 

c) La calidad de la educación está esencial y finalmente relacionada con los procesos y los resultados de aprendizaje.  Instrumentos y medidas específicas se han desarrollado a nivel nacional e internacional para evaluar dichos procesos y resultados;

d) La pregunta se refiere a escuelas primarias, no a educación primaria. Esto puede llevar a prestar atención a cuestiones como la infraestructura o el equipamiento más que a la educación, la pedagogía y el aprendizaje;

e) En América Latina y en otras regiones "en desarrollo" persisten a menudo grandes brechas entre escuelas rurales y urbanas así como entre escuelas indígenas y no-indígenas, lo que hace muy difícil juzgar escuelas primarias en general;

f) Es ampliamente conocido, y ratificado por investigaciones, que el nivel de satisfacción con la educación y los sistemas escolares está estrechamente relacionado con el nivel educativo de la población o de quienes opinan. Sociedades menos educadas tienden a estar satisfechas con la educación que reciben, mientras que sociedades más educadas están más insatisfechas y tienen posiciones más críticas. De este modo se reproduce el círculo vicioso de la mala calidad educativa. 

Un estudio realizado por el Banco InterAmericano de Desarrollo (BID) en 2007 agregando preguntas a la Encuesta Mundial Gallup, concluyó que América Latina tiene una "satisfacción excesiva" en relación a los servicios de salud y de educación, dada la objetiva calidad de dichos servicios. Esto es especialmene cierto en el caso de la educación. Disciplina, seguridad e infrastructura tienden a ser valoradas por los latinoamericanos más que la enseñanza y el aprendizaje en las aulas. Las percepciones sobre la calidad están muy distantes de la realidad. Solo Argentina mostró un nivel de satisfacción más realista. Ver: Calidad de vida: Más allá de los hechos, Eduardo Lora (ed.), BID, 2007.

De hecho, la misma situación se da con las pruebas PISA (aplicada a jóvenes de 15 años). A pesar de que los países latinoamericanos participantes en la prueba ocupan sistemáticamene los últimos lugares en las tres áreas evaluadas (lectura, matemáticas, ciencias), la pregunta acerca de si "soy feliz en la escuela" arrojó respuestas inesperadas en PISA 2012. La paradoja bajos resultados / alta satisfacción es prominente en el caso de América Latina. Nuevamente, Argentina es al menos más coherente: bajos resultados y alumnos menos felices. (ver gráfico abajo)

En conclusión: los valores y ránkings del Foro Económico Mundial referidos a calidad de la educación no deben ser tenidos en cuenta como indicadores válidos.




RANK         COUNTRY/ECONOMY              VALUE

1 Finland ........................................... 6.8
2 Belgium ......................................... 6.3
3 Singapore ...................................... 6.0
4 Barbados ....................................... 6.0
5 Switzerland .................................... 6.0
6 New Zealand ................................ 5.8
7 Lebanon ........................................ 5.7
8 Ireland ............................................ 5.7
9 Malta ............................................. 5.7
10 Netherlands ..................................5.7
11 Qatar ............................................5.6
12 Cyprus ..........................................5.6
13 Canada .........................................5.5
14 Taiwan, China  ..............................5.4
15 Iceland ..........................................5.4
16 Bosnia and Herzegovina...............5.4
17 Brunei Darussalam........................5.3
18 Estonia ..........................................5.2
19 United Arab Emirates ...................5.2
20 Slovenia ........................................5.1
21 Japan ...........................................5.1
22 Australia ........................................5.0
23 Korea, Rep...................................5.0
24 Sweden ........................................5.0
25 Germany .......................................5.0
26 Lithuania .......................................5.0
27 Montenegro ..................................5.0
28 Austria ..........................................4.9
29 Norway .........................................4.9
30 Hong Kong SAR ...........................4.9
31 United Kingdom ............................4.9
32 Costa Rica.....................................4.8
33 Malaysia ........................................4.8
34 Latvia ............................................4.8
35 France ..........................................4.7
36 Guyana .........................................4.7
37 Ukraine .........................................4.7
38 Croatia ..........................................4.7
39 Luxembourg .................................4.7
40 Italy ...............................................4.7
41 United States ................................4.7
42 Denmark .......................................4.7
43 Sri Lanka......................................4.6
44 Jordan ..........................................4.6
45 Trinidad and Tobago ......................4.6
46 Portugal ........................................4.5
47 Mauritius .......................................4.5
48 Bhutan ..........................................4.5
49 Seychelles .....................................4.4
50 Gambia, The.................................4.4
51 Czech Republic............................4.3
52 Hungary ........................................4.3
53 Albania ..........................................4.3
54 Slovak Republic............................4.3
55 Indonesia ......................................4.3
56 China ............................................4.3
57 Oman ...........................................4.2
58 Poland ..........................................4.2
59 Saudi Arabia.................................4.2
60 Bulgaria ........................................4.1
61 Russian Federation.......................4.1
62 Swaziland .....................................4.1
63 Zimbabwe .....................................4.1
64 Bahrain .........................................4.0
65 Iran, Islamic Rep...........................4.0
66 Spain ............................................4.0
67 Botswana .....................................4.0
68 Suriname ......................................4.0
69 Kazakhstan ...................................3.9
70 Macedonia, FYR...........................3.9
71 Israel .............................................3.9
72 Tunisia ..........................................3.9
73 Cape Verde..................................3.9
74 Ecuador ........................................3.8

SOURCE: World Economic Forum, Executive Opinion Survey


Textos relacionados en este blog
» 
Sobre evaluación en educaciónOn Evaluation in Education

»  Buena escuela pública: LAPOP versus TERCE 


The World Economic Forum and educational quality



The Ecuadorian Public News Agency (Andes) published the note "Ecuador leads the primary education quality ranking in South America" ("Ecuador lidera ranking de calidad en educación primaria de Suramérica", 25 April 2014). The note quoted the Global Competitiveness Index 2013-2014  of the World Economic Forum (WEF). Ecuador appeared in position number 74 (3.8 points) in this category. Andes referred to South America - not to Latin America - since Costa Rica (located in Central America) appears in position 32 (4.8 points), thus with a leading position in the region. (See table at the bottom)

WEF's ranking on educational quality took us by surprise as well as the values attributed to Latin American countries. In the regional context, Cuba occupies a prominent position in the two studies conducted so far by UNESCO's Latin American Laboratory for Assessment of the Quality of Education (LLECE). LLECE tests assess Language and Mathematics in third and sixth grades, and Natural Sciences in sixth grade. 16 countries participated in the second study (SERCE, 2006). Cuba, Chile, Costa Rica, Mexico and Uruguay were above the regional average; Ecuador, Guatemala, Nicaragua, Panama, Paraguay, Peru and the Dominican Republic appeared below the regional average. (See SERCE's Executive Summary).

The presence (or absence) of other countries in the world in the first 74 positions of quality primary education also called my attention. Thus, I decided to find out how WEF defines quality education and establishes the rankings. It turns out that they result from an Opinion Survey - "The Voice of the Business Community" (110 respondents in Costa Rica; 118 in Ecuador, for the various topics).

As seen on Table 4.9 on Quality Primary Education, the question asked was:


In your country, how would you assess the quality of primary schools?
1 = extremely poor - among the worst in the world.
7 = excellent - among the best in the world.


Several concerns arise:

a) WEF does not indicate that the 'quality of education' indicator is related to perceptions and opinions, rather than to research.

b) The business community is not a specialized voice in the field of education and in the topic of educational quality. Also, Partner Institutes - as they are called in the report- may be linked to the government in ways that make it difficult to have an independent opinion. Quality of education (of any level and sort) is a complex and much debated concept, dependant on many factors. Dealing with it requires specialized and well-informed knowledge;

c) Quality of education is essentially and ultimately related to learning processes and outcomes. Specific measures and instruments have been developed nationally and internationally in order to assess such processes and outcomes, beyond opinions;

d) The question asks about primary schools - not about primary education. This leads to pay attention to issues such as infrastructure or equipment, disregarding education as such, pedagogy and learning;

e) In Latin America and in other "developing regions" there are often huge and persistent gaps between rural and urban schools, and between indigenous and non-indigenous schools, thus making it very difficult to judge quality of primary schools in general;

f) It is widely acknowledged and confirmed that less educated societies or segments of the population tend to be the ones that are most satisfied with their school systems and the education they receive, while more educated societies or social segments tend to be more dissatisfied and critical. This reinforces the vicious circle of low quality education.

A study conducted by the InterAmerican Development Bank (IDB), adding specific questions to the Gallup World Survey, concluded that Latin America has "excessive satisfaction" vis a vis health and education services, given the objective quality of such services. This was and remains true especially in the case of education. Discipline, security and infrastructure tend to be valued by Latin Americans much more than teaching, learning, and effective learning outcomes. Perceptions of quality are particularly distant from realities. See: Beyond Facts, Understanding Quality of Life, Eduardo Lora (ed.), IDB, 2007.

The same applies to PISA international tests. Despite the fact that participating Latin American countries systematically occupy the last positions in the three areas assessed (reading, mathematics and science), students are quite happy with their schools (question asked: "Am I happy in school?"). The low results/high satisfaction paradox is prominent in Latin America.

In conclusion: we should not consider WEF's values and rankings attributed to quality of education as reliable and useful indicators.




RANK         COUNTRY/ECONOMY              VALUE

1 Finland ........................................... 6.8
2 Belgium ......................................... 6.3
3 Singapore ...................................... 6.0
4 Barbados ....................................... 6.0
5 Switzerland .................................... 6.0
6 New Zealand ................................ 5.8
7 Lebanon ........................................ 5.7
8 Ireland ............................................ 5.7
9 Malta ............................................. 5.7
10 Netherlands ..................................5.7
11 Qatar ............................................5.6
12 Cyprus ..........................................5.6
13 Canada .........................................5.5
14 Taiwan, China  ..............................5.4
15 Iceland ..........................................5.4
16 Bosnia and Herzegovina...............5.4
17 Brunei Darussalam........................5.3
18 Estonia ..........................................5.2
19 United Arab Emirates ...................5.2
20 Slovenia ........................................5.1
21 Japan ...........................................5.1
22 Australia ........................................5.0
23 Korea, Rep...................................5.0
24 Sweden ........................................5.0
25 Germany .......................................5.0
26 Lithuania .......................................5.0
27 Montenegro ..................................5.0
28 Austria ..........................................4.9
29 Norway .........................................4.9
30 Hong Kong SAR ...........................4.9
31 United Kingdom ............................4.9
32 Costa Rica.....................................4.8
33 Malaysia ........................................4.8
34 Latvia ............................................4.8
35 France ..........................................4.7
36 Guyana .........................................4.7
37 Ukraine .........................................4.7
38 Croatia ..........................................4.7
39 Luxembourg .................................4.7
40 Italy ...............................................4.7
41 United States ................................4.7
42 Denmark .......................................4.7
43 Sri Lanka......................................4.6
44 Jordan ..........................................4.6
45 Trinidad and Tobago ......................4.6
46 Portugal ........................................4.5
47 Mauritius .......................................4.5
48 Bhutan ..........................................4.5
49 Seychelles .....................................4.4
50 Gambia, The.................................4.4
51 Czech Republic............................4.3
52 Hungary ........................................4.3
53 Albania ..........................................4.3
54 Slovak Republic............................4.3
55 Indonesia ......................................4.3
56 China ............................................4.3
57 Oman ...........................................4.2
58 Poland ..........................................4.2
59 Saudi Arabia.................................4.2
60 Bulgaria ........................................4.1
61 Russian Federation.......................4.1
62 Swaziland .....................................4.1
63 Zimbabwe .....................................4.1
64 Bahrain .........................................4.0
65 Iran, Islamic Rep...........................4.0
66 Spain ............................................4.0
67 Botswana .....................................4.0
68 Suriname ......................................4.0
69 Kazakhstan ...................................3.9
70 Macedonia, FYR...........................3.9
71 Israel .............................................3.9
72 Tunisia ..........................................3.9
73 Cape Verde..................................3.9
74 Ecuador ........................................3.8

SOURCE: World Economic Forum, Executive Opinion Survey

Related texts in this blog
Sobre evaluación en educaciónOn evaluation in education

LinkWithin

Related Posts Plugin for WordPress, Blogger...