La mayoría de los niños en los países de ingresos bajos y medios (el 53 por ciento) es incapaz de leer y comprender una historia sencilla tras haber completado la educación primaria. Tal pobreza global de aprendizaje amenaza con impedir el logro de la totalidad de los Objetivos de Desarrollo Sostenible de las Naciones Unidas (las 17 prioridades para la prosperidad global que los miembros de la ONU se comprometieron a alcanzar para 2030). Para poder avanzar en ellas, los gobiernos y los donantes deberán no solo asegurar más fondos para mejorar el aprendizaje, sino también garantizar que cada dólar comprometido se utilice lo más eficazmente posible.
La comunidad educativa global está llegando a un consenso sobre la importancia de generar y hacer uso de cada vez más evidencias con el fin de orientar mejor las decisiones sobre financiamiento y desarrollo de políticas públicas. Hay una gran variedad de agencias que está dedicando recursos significativos al crecimiento de sus iniciativas de generación de evidencias y conocimiento. Ejemplos de ellas son el Knowledge and Innovation Exchange (Intercambio de Conocimiento e Innovación, KIX por sus siglas en inglés) de la GPE o el Global Education Evidence Advisory Panel (Panel Asesor de Evidencia de la Educación Global, GEEAP por sus siglas en inglés), convocado por el Banco Mundial y la Foreign, Commonwealth & Development Office (Ministerio de Relaciones Exteriores, de la Mancomunidad de Naciones y del Desarrollo, FCDO por sus siglas en inglés).
El movimiento en busca de evidencias cobró vigor a raíz de que el Premio Nobel de Ciencias Económicas de 2019 se le otorgara a Esther Duflo, Abhijit Banerjee y Michael Kremer por su trabajo de adaptación del método de ensayos controlados aleatorios (ECA) al campo del desarrollo global. El comité del premio señaló que el uso de ECA había “mejorado considerablemente nuestra capacidad para luchar contra la pobreza global” y había “transformado la economía del desarrollo”.
A pesar de que quienes dan financiamiento y desarrollan políticas públicas generalmente aceptan la importancia de la programación basada en evidencia, normalmente subestiman la verdadera dimensión de la misma. Nos dimos a la tarea de revisar los datos de evaluación de 71 programas reunidos por el GEEAP en su búsqueda exhaustiva de evidencia disponible al público en todo el mundo, para saber cómo se comparaban entre sí en términos de rentabilidad (es decir, de su impacto en el aprendizaje por cada dólar gastado).
Las conclusiones fueron sorprendentes. Alrededor de la mitad de esos estudios encontraron que los programas evaluados tenían un impacto nulo o negativo en el aprendizaje y, por lo tanto, no eran estrictamente rentables. De aquellos que tenían un impacto positivo, el quintil superior tuvo un impacto promedio por niño, por dólar gastado, aproximadamente 100 veces mayor que el impacto del quintil inferior y 9 veces mayor que la mediana de los estudios disponibles.
De estos datos se derivan varias conclusiones importantes. Primero, que las intervenciones que parecen cuidadosamente diseñadas pueden tener resultados contrarios a los esperados, por lo que debemos basarnos en la evidencia de lo que realmente funciona y no de lo que pensamos que funcionará.
En segundo lugar, el valor de diseñar las intervenciones correctas no es algo trivial o margina: el impacto que tendrán en la vida de los beneficiarios se multiplicará por un orden de magnitud. El que el gobierno y los donantes logren o no identificar y apoyar los programas más rentables en el contexto local, superará cualquier mejora en la eficiencia de otras áreas que a menudo reciben mucha más atención, como la reducción en los costos de manejo de programas o adquisiciones, los cuales, la mayoría de las veces resultan en ahorros insignificantes.
En tercer lugar, tenemos una enorme oportunidad de mejorar el impacto de nuestras inversiones en los sistemas educativos. Será absolutamente crucial hacerlo si queremos tener la más mínima posibilidad de abordar la crisis mundial del aprendizaje.
Una forma de aprovechar esta oportunidad es empleando fondos basados en resultados. Este esquema consiste en contratar a implementadores para que alcancen metas previamente especificadas a favor de los beneficiarios; el pago se basa directamente en el logro de dichos objetivos (en lugar de en actividades que pueden o no tener el impacto deseado). Lo más importante es que dichos fondos dirigen la atención a la evidencia de efectividad, ya que el pago depende de lo que funciona. Al generar sistemáticamente evidencia sobre lo que funciona en un contexto específico y recompensar con base en su impacto, los fondos de resultados podrán ayudar a los financiadores y a los desarrolladores de políticas a cruzar el campo minado de la efectividad de los programas y dirigir el financiamiento hacia enfoques con mejores resultados.
El contexto local importa
Ante estos datos, el lector podría ver las cifras crudas sobre el impacto y preguntarse por un momento: “¿Por qué no simplemente invertir todos los dólares destinados al desarrollo en intervenciones para el quintil superior, con base en esa evidencia global?” Desafortunada y predeciblemente, fortalecer los sistemas educativos no es así de sencillo por, al menos, dos razones:
En primer lugar, las intervenciones en el quintil superior suelen ser de muy bajo costo y abordar problemas específicos, en vez de dar lugar a una mejora sistémica. Por ejemplo, en uno de los programas se proporcionó información a las comunidades de Madagascar sobre el alza de ingresos que les traería la educación. Ello ocasionó un aumento significativo en la motivación y el rendimiento de los estudiantes y se llevó a cabo a un costo muy bajo. Pero una vez logrado algo así, no se puede hacer más de lo mismo dentro de las mismas comunidades y esperar que los beneficios crezcan al mismo ritmo. Tampoco se puede hacer lo mismo en un lugar donde las comunidades ya están conscientes de los beneficios de la educación y esperar tener los mismos resultados.
Este punto nos lleva a la segunda razón: es difícil generalizar la evidencia sobre la efectividad de las intervenciones a todos los contextos. Si bien existe un conjunto relativamente homogéneo de condiciones necesarias para que los niños aprendan, las barreras para el aprendizaje que deben abordarse, por lo general, varían de un sitio a otro. Este problema (que los expertos llaman falta de validez externa) puede ser ocasionado por las diferentes idiosincrasias a nivel nacional y local, incluyendo el enfoque de las inversiones históricas; las crisis que han moldeado a la nación, tales como la guerra civil o las epidemias; las normas culturales, y muchos otros factores. La importancia del contexto también es claramente notoria en los datos de la evidencia que revisamos; la rentabilidad de una intervención en particular varía mucho de un país a otro.
Los defensores del financiamiento mediante el pago por éxito (en el que el financiamiento se realiza en función de los resultados verificados de forma independiente) suelen presentar los siguientes argumentos a favor de la estrategia: mayor rendición de cuentas y enfoque en el impacto deseado para los beneficiarios; mayor flexibilidad para adaptar la programación a partir de lo que funciona y lo que no en el contexto local; mayor transparencia en el desempeño, y, en última instancia, mayor impacto y valor por el dinero de los donantes. Los fondos de resultados parten de este concepto a través de la contratación de múltiples socios implementadores bajo un esquema de financiamiento común, lo cual reduce los costos de transacción y permite que se prueben múltiples intervenciones de manera simultánea.
Sin embargo, la creación y el uso de evidencias provenientes de un contexto específico son unas razones que, si bien justifican la existencia de los fondos basados en resultados, a menudo son pasadas por alto. Los fondos de evidencia bien diseñados tienen una utilidad mucho mayor que la de simplemente determinar el pago.
Yo fui co-fundador del Education Outcomes Fund (Fondo de Resultados para la Educación, EOF por sus siglas en inglés), junto con el ex ministro del gabinete de Túnez, Amel Karboul; el pionero de la inversión de impacto, Sir Ronald Cohen, y el ex primer ministro del Reino Unido, Gordon Brown. La iniciativa se creó en asociación con varios gobiernos de todo el mundo con el propósito de ampliar los fondos de resultados para la educación y el desarrollo de habilidades. En todo el modelo EOF, se observa una fuerte presencia de la generación y uso de evidencias provenientes de un contexto específico, desde el diseño de los programas y la selección de las intervenciones y los socios implementadores, hasta la adaptación basada en datos y la corrección de la forma de proceder durante la implementación, para finalmente determinar qué replicar y escalar cuando finaliza el programa.
En los primeros programas del EOF que se implementarán en Ghana y Sierra Leona, un evaluador independiente realizará un ECA anual. Los implementadores utilizarán esta evidencia, así como sus propios sistemas de datos para gestionar el desempeño, para adaptar y mejorar el impacto de sus intervenciones, enfocándose continuamente en lo que funciona y lo que no funciona, y así mejorar el aprendizaje y la vida de los beneficiarios. La rendición de cuentas basada en resultados (en lugar de en las actividades) hace que la toma de decisiones sea más relevante y eficaz, brindando la flexibilidad y los incentivos necesarios para adaptar las intervenciones al contexto local y evitar una programación impositiva y rígida que redunde en esfuerzos infructuosos.
El EOF realizará el pago en proporción al impacto en el aprendizaje, según lo determine el ECA, hasta una cantidad tope previamente acordada. Por lo general (pero no necesariamente), los inversores realizan un financiamiento previo de la intervención mediante una estructura conocida como bono de impacto y solo se les reembolsa en función de evidencia rigurosa de los resultados obtenidos. Esta política alinea los incentivos de los implementadores directamente con el beneficiario y transfiere el riesgo financiero del éxito al sector privado, el cual tendrá que absorber el costo en caso de no haber resultados.
Mediante esta estrategia, los fondos de resultados ponen a disposición del público evidencia significativa, reciente y relativa a un contexto específico para que los desarrolladores de políticas conozcan cuáles intervenciones han tenido el mayor impacto, a qué costo y por qué. Esta forma de evaluar el programa (agenda de aprendizaje), además de ser más amplia, también asegura que tengamos una comprensión integral del impacto de cada intervención, que abarque más allá de únicamente las métricas de pago.
Por ejemplo, en Sierra Leona el fondo de resultados contratará a diversas ONG para ayudar a las escuelas primarias del sector público a mejorar sus niveles de aprendizaje a través de una serie de intervenciones. El gobierno se ha comprometido a escalar a nivel nacional las intervenciones más exitosas de los 5 grupos (de aproximadamente 60 escuelas cada uno) que conforman el programa EOF. Las intervenciones se restringirán a aquellas que el gobierno tenga la capacidad de financiar y escalar, lo cual garantiza una ruta fuerte, viable y bien diseñada para que las iniciativas lleguen desde la evidencia hasta la política.
Más allá de los datos
No todo lo que importa puede medirse, y el uso de datos y evidencia debe entenderse en ese contexto, sin perder de vista los objetivos mayores de un programa y la complejidad de la vida y las necesidades de las personas a las que buscamos servir. Enfocarse de manera excesiva en los resultados medibles de las pruebas puede hacer que se descuiden otros aspectos críticos del desarrollo de un niño, como lo son sus habilidades sociales y emocionales y su bienestar. Las escuelas brindan un valor de mayor alcance a las familias, las comunidades y la sociedad en general.
Por naturaleza, los bonos de impacto y los fondos de resultados exigen que algunos resultados cobren prioridad sobre otros, y en un mundo de intercambios se justifica el centrar la atención en lo que más importa. Sin embargo, quienes diseñan dichos mecanismos deberán hacer lo posible por garantizar que las métricas de pago abarquen ampliamente lo más importante y, cuando eso no sea posible, por encontrar otras formas de evitar consecuencias no deseadas. A medida que el campo avance, seguiremos aprendiendo a garantizar que la evidencia se utilice para lograr el mayor impacto posible dentro de los límites del financiamiento disponible. Mientras tanto, seguiremos gestionando activamente los riesgos y las limitaciones que pueda presentar este enfoque.
|
Autores originales:
- JARED LEE es cofundador y director de programas del Education Outcomes Fund (Fondo para Resultados de la Educación)
|
|