Los ensayos controlados aleatorios (RCTs) son útiles, pero insuficientes sin mejores teorías del cambio y fuentes de datos más amplias. La ciencia del comportamiento ofrece una solución.
Las evaluaciones de impacto rigurosas han cobrado cada vez más importancia como guías de la dirección y la ampliación de los programas de impacto social. En el año 2000, se publicaron solo 39 evaluaciones del impacto de trabajos realizados en países de ingresos bajos y medios, de acuerdo con el portal de evidencia sobre desarrollo sostenido por la Iniciativa Internacional para la Evaluación de Impacto (3ie). En 2020, se publicaron 1,526.
El estándar por excelencia para tales evaluaciones es el randomized controlled trial (ensayo controlado aleatorio, RCT por sus siglas en inglés). El uso de los RCTs en la investigación sobre el desarrollo ha crecido significativamente en las últimas dos décadas, y ha cobrado prominencia pública con la concesión del Premio Nobel de Ciencias Económicas en 2019 a Esther Duflo, Abhijit Banerjee y Michael Kremer por su uso de experimentos de campo en el trabajo contra la pobreza. Aplicar el rigor de los RCT tradicionales de laboratorio para probar intervenciones en el cuidado de la salud, la educación, la agricultura y otros campos ha ayudado a los responsables de políticas y a las ONGs a comprender qué funciona y qué no en el desarrollo internacional.
Quienes implementan las intervenciones a menudo se quejan de que el monitoreo y la evaluación de programas necesitan mayor inversión para permitirles aprender lecciones y aumentar el impacto. Las evaluaciones rigurosas del impacto cuestan dinero, y los RCT a gran escala pueden ser especialmente caros. Independientemente de las quejas, las organizaciones y los financiadores suelen asignar una cantidad significativa de dinero para tales gastos. Sin embargo, incluso las grandes inversiones de dinero, tiempo y experiencia muchas veces no producen resultados que cumplen con lo que los ejecutores de programas necesitan principalmente: retroalimentación valiosa y sobre la cual actuar.
A pesar de la abundancia de elogios recibidos por el uso de los RCTs en el desarrollo, muchos agentes en el campo cuestionan si los RCTs son apropiados para evaluar intervenciones complejas. Su argumento se basa en que la aleatorización no es factible en muchos casos, que es difícil generalizar a partir de los hallazgos de los RCTs, que la aleatorización por sí sola no garantiza que los resultados sean imparciales y que el diseño de los RCTs aporta poco para entender por qué ocurren los resultados.
Dejando de lado tales críticas (aunque muchas son válidas), creemos que hay oportunidades de lograr que los hallazgos de los RCTs sean más aplicables para los implementadores. Como han descrito el economista Angus Deaton y la filósofa Nancy Cartwright : “[P]ara una gran cantidad de preguntas en las que los RCTs pueden ayudar, es necesario realizar una gran cantidad de trabajo adicional, tanto empírico como teórico y conceptual, para que sus resultados sean útiles.”
La ciencia del comportamiento está a la vanguardia de ofrecer caminos creativos promisorios para una mejor medición, evaluación y aprendizaje adaptativo. Desde nuestra función como diseñadores de comportamiento en la organización sin fines de lucro ideas42, usamos la ciencia del comportamiento todos los días para comprender la forma en que el contexto moldea la toma de decisiones para abordar problemas sociales complejos en todo el mundo. Tenemos una amplia experiencia diseñando intervenciones con socios en más de 45 países y hemos llevado a cabo muchas evaluaciones rigurosas para fortalecer estas intervenciones.
Hemos llevado a cabo evaluaciones para apoyar la toma de decisiones y la mejora de programas externos, así como hemos ayudado a nuestros socios a aplicar los resultados que recibieron de evaluaciones de terceros de maneras más accionables. Con base en nuestro trabajo, proponemos dos formas para que los diseñadores de programas y los financiadores obtengan el máximo provecho de sus inversiones en ensayos controlados aleatorios RCTs, al igual que se produzcan las respuestas necesarias para mejorar la programación y optimizar el impacto.
Replantear las teorías del cambio
Primero, recomendamos reconsiderar las teorías del cambio para ayudar al diseño de la evaluación y la toma de decisiones.
Una teoría del cambio generalmente contextualiza una evaluación proporcionando una narrativa coherente sobre cómo se espera que las actividades de un programa generen impacto. Formular una teoría del cambio es un ejercicio útil para alinear a los actores involucrados y ayudarles a desarrollar una comprensión común de los resultados que esperan lograr con la programación y de cómo esperan hacerlo.
Muy a menudo, sin embargo, las teorías del cambio contienen detalles minuciosos sobre los enfoques de programación y los insumos requeridos, pero no logran articular los mecanismos específicos a través de los cuales esos requisitos conducirán a los resultados esperados.
Debemos abandonar nuestro sesgo hacia los datos cuantitativos como la única fuente confiable de veracidad en las evaluaciones.
Afortunadamente, los conocimientos de la ciencia del comportamiento pueden enriquecer las teorías del cambio y esclarecer por qué y cómo los programas generan resultados. Por ejemplo, la adopción de un servicio, producto o proceso depende en última instancia del comportamiento humano. La evidencia de la ciencia del comportamiento puede ayudar a identificar cuándo, para lograr resultados, se requerirá cambiar percepciones, creencias o normas, y si la programación propuesta podría contribuir de manera factible a esos cambios. Además, muchos resultados mencionados en las teorías del cambio (por ejemplo, una mejor nutrición, mayores niveles de logro educativo o resultados de parto más favorables) son consecuencia de una serie de comportamientos positivos diferentes en los diversos actores involucrados.
Las teorías del cambio basadas en la ciencia del comportamiento pueden señalar las conductas relevantes de los proveedores de primera línea, formuladores de políticas, clientes, gestores y otros que pueden ser agentes críticos para lograr esos resultados y asegurarse de que sean medidos. De esta manera, la ciencia del comportamiento puede ayudar a los implementadores a desarrollar una comprensión más matizada de la forma en que los programas generan impacto. Además, puede resaltar formas de mejorar el diseño del programa antes de invertir los muchos años que pueden requerirse para la recolección de datos destinada hacia una evaluación.
Las teorías del cambio también pueden mejorarse incluyendo mecanismos externos y rutas sustentadas con evidencia que pueden ser relevantes, pero que los diseñadores del programa pueden no haber contemplado al proyectar el alcance. ¿Cómo podemos identificar oportunidades de mayor impacto si nos enfocamos solo en un conjunto limitado de indicadores basados en nuestras ideas preconcebidas sobre cómo generar un cambio? Con esto no queremos decir que los esfuerzos de recolección de datos deban sobreexpandirse para capturar todas las posibles rutas mediante las cuales pueda ocurrir el cambio.
En vez de ello, visualizamos el uso de investigaciones formativas, es decir, investigaciones cualitativas, dirigidas e impulsadas por hipótesis, o modelos de comportamiento ya disponibles, basados en evidencia, para resaltar factores que pueden haber pasado desapercibidos pero que podrían ser cruciales para impulsar el cambio. Una evaluación basada en información sobre el comportamiento podría revelar que el programa está teniendo algún impacto en rutas inesperadas, o que no está logrando el impacto deseado porque las rutas no dirigidas son más críticas para el resultado. Ambos conocimientos serían valiosos para orientar la toma de decisiones del programa.
Por ejemplo, recientemente evaluamos un programa de marketing social dirigido a prevenir el consumo de tabaco entre adolescentes en Ghana. La investigación formativa sugirió que el entorno social de las niñas, específicamente las relaciones sociales y los lugares fuera de la escuela o el trabajo donde tenían más probabilidades de que les ofrecieran fumar, era un factor crítico para determinar su probabilidad de fumar. Los diseñadores del programa no se enfocaron en el entorno social ni incluyeron elementos relacionados en su teoría original del cambio. Cuando incluimos indicadores del entorno social en nuestra teoría mejorada del cambio conductual, pudimos validar su relevancia para el tabaquismo en las niñas, demostrar cómo la programación previa podría haber influido en vías relevantes (por ejemplo, las perspectivas de las niñas sobre la amistad), e identificar oportunidades prometedoras para que los programadores reforzaran su impacto a través de los entornos sociales.
Reexaminar suposiciones
Nuestra segunda recomendación es reexaminar las suposiciones sobre qué datos son útiles para las evaluaciones rigurosas, mediante una mejor incorporación de fuentes de datos disponibles públicamente y datos cualitativos.
Es válido que los profesionales enfaticen el uso de fuentes de datos tanto cuantitativas como cualitativas para monitorear la implementación de programas como complemento a evaluaciones de impacto más rigurosas. Sin embargo, normalmente se encasillan demasiado en el proceso (en cómo se están entregando los componentes de la intervención o cómo están siendo recibidos) y no profundizan en la forma en que el programa y su contexto más amplio podrían estar influyendo en los resultados. A menudo, los profesionales e investigadores destacan la importancia de los métodos cualitativos en el contexto de estas evaluaciones y estudios conductuales de manera más amplia. Sin embargo, también es común que los evaluadores utilicen métodos y datos cualitativos solo para sustentar medidas cuantitativas o para agregar más contexto a los hallazgos cuantitativos, en lugar de considerarlos en sí mismos como fuentes adicionales de evidencia.
Reconocemos que la investigación cualitativa es fundamental para sustentar una teoría del cambio y desarrollar hipótesis sobre mecanismos, que luego se puedan probar con métodos cuantitativos. Sin embargo, los métodos cualitativos también pueden ser utilizados para apoyar este proceso de prueba, especialmente en casos en los que los métodos cuantitativos podrían no ser fiables. Por ejemplo, los enfoques cualitativos pueden ser necesarios para identificar y explorar matices contextuales que están influyendo en el funcionamiento del programa. Debemos abandonar nuestro sesgo hacia los datos cuantitativos como la única fuente confiable de veracidad en las evaluaciones y en su lugar favorecer métodos que puedan generar evidencia para responder a nuestras preguntas de investigación, sea ésta cualitativa, cuantitativa o ambas. De esta manera, podremos producir hallazgos más enriquecedores y accionables.
Además, con frecuencia los evaluadores se centran únicamente en los datos recogidos bajo las condiciones rigurosas y controladas del RCT. Sin embargo, en ocasiones pueden surgir tendencias inesperadas en los datos que no pueden entenderse únicamente con la información recolectada para la evaluación. Aunque las fuentes de datos externas a la evaluación no pueden utilizarse para establecer un impacto causal, pueden ayudar a construir hipótesis sobre por qué pueden observarse ciertas tendencias, sobre todo los cambios en el macrocontexto de un estudio.
Tomemos, por ejemplo, nuestra evaluación sobre el consumo de tabaco en Ghana. Cuando observamos un aumento en las tasas de tabaquismo, formamos la hipótesis de que podría deberse a un incremento estacional en la actividad social. Sin embargo, posteriormente, pudimos confirmar un movimiento físico intensificado durante ese período de tiempo utilizando datos agregados de movilidad de teléfonos celulares, los cuales fueron hechos públicos por compañías tecnológicas durante la pandemia de COVID-19. Otro ejemplo de la misma evaluación mostró una disminución paulatina en la proporción de adolescentes que creían que la mayoría de sus pares habían intentado fumar. Nuestra hipótesis fue que la alta inflación nacional durante el período de estudio pudo haber influenciado esta percepción; sin embargo, también los recortes efectivos en el dinero del bolsillo podrían haber cambiado la actividad social y el comportamiento de gasto en formas que redujeron la visibilidad del consumo de tabaco.
Es cierto que los RCTs ofrecen un enfoque robusto para aclarar suposiciones y asegurar que los recursos se inviertan en los programas y políticas más efectivos. No obstante, aun en los casos donde los RCTs son el enfoque adecuado para responder a una pregunta de investigación, podemos aprovechar más sus fortalezas diseñándolos para generar hallazgos más accionables. Al integrar de manera más efectiva la ciencia del comportamiento en la formulación de teorías de cambio más específicas y en la medición de una amplia gama de mecanismos basados en evidencia, responderemos preguntas que ni siquiera habíamos pensado formular. El elevar los datos cualitativos y aprovechar los datos disponibles públicamente pueden agregar color y riqueza a esas respuestas y ayudarnos a darnos cuenta plenamente del potencial de las evaluaciones para así catalizar el impacto de programas y políticas futuras.
|
Autores originales
- Jana Smith es directora ejecutiva de salud global en ideas42, una organización sin fines de lucro que utiliza ideas del comportamiento humano (el porqué de las acciones de las personas) para ayudar a mejorar vidas, construir sistemas más eficientes y promover el cambio social. Además, es miembro actual del Grupo Asesor Técnico sobre Perspectivas del Comportamiento y Ciencias para la Salud de la Organización Mundial de la Salud.
- Sara Flanagan es diseñadora principal de comportamiento en ideas42.
|
Este artículo es contenido original de la Revista Stanford Social Innovation Review publicado en la edición invierno 2024.
- Traducción del artículo Rethinking RCTs por Leslie Cedeño.
|
Recomendado para ti