Evaluación de trayectorias de desarrollo en sistemas complejos
¿Qué es un sistema complejo?
7 diciembre, 2020
Episodio 10: Retos de la política educativa
16 diciembre, 2020
Figura 1: Interacciones entre las 32 condiciones del sistema
Este texto explica brevemente cómo evaluar las contribuciones de un programa o proyecto a procesos de transformaciones sistémicas a largo plazo. El enfoque adoptado no es el de evaluar un proyecto o programa complejo, sino más bien, evaluar la forma en la que el proyecto interactuó con un sistema complejo. El enfoque aquí adoptado busca modelar el fenómeno intervenido por el programa para identificar qué factores afectan la trayectoria del fenómeno. Hacemos esto reconociendo que las interacciones entre los componentes del fenómeno aumentan su complejidad. Posteriormente, indagamos hasta qué grado y en qué formas el programa interactuó con el fenómeno y hasta qué punto el programa contribuyó a redireccionar la trayectoria del sistema intervenido hacia la transformación deseada. Explicaremos el uso del enfoque con la evaluación del proyecto SMART- Fish de ONUDI / SECO en Indonesia (ONUDI, 2019). Presentamos aquí un resumen del artículo Development Trajectories and Complex Systems–Informed Theories of Change (Trayectorias de desarrollo y teorías de cambio informadas por sistemas complejos) el cual se publicó en septiembre de 2020 en el American Journal of Evaluation (Zazueta, et al., 2020). Una versión no editada y gratuita del artículo está disponible aquí.
El objetivo de largo plazo del programa SMART-Fish era apoyar la transformación de las pesquerías para orientarlas hacia mayor eficiencia y hacerlas ambientalmente sostenibles para que aumentaran la generación de valor en los diferentes eslabones de la cadena de valor, especialmente entre los pequeños pescadores y pescadoras. El proyecto abordó tres cadenas de valor que tienen diferentes características ecológicas, económicas y sociales: pangasius, atún de línea y algas marinas. La evaluación inicialmente desarrolló un modelo de las condiciones propicias para las transformaciones deseadas.
En una primera fase, el equipo de gestión del proyecto y el equipo de evaluación desarrolló el modelo del sistema de la cadena de valor referente a la pesca en Indonesia. La primera fase consistió en cinco pasos:
1. A partir de una revisión de la literatura técnica, los equipos identificaron cinco grandes dominios relevantes para las cadenas de valor en pesquerías: político-regulatorio, institucional, tecnológico, financiero y sociocultural.
2. Después, se realizó una lluvia de ideas para identificar las cuatro o cinco condiciones habilitadoras más importantes en cada uno de los cinco dominios. Se encontraron 32 condiciones.
3. Posteriormente, hubo una revisión analítica del resultado de la lluvia de ideas y la reagrupación de las 32 condiciones en seis dominios: 1) gobernanza, 2) producción, 3) comercio y mercados, 4) finanzas, 5) ciencia y tecnología y 6) calidad y estándares (Figura 1).
Figura 2: Contibuciones a las cinco condiciones con mayor influencia en el sistema
Figura 3: Contribuciones a cambio en los dominios
En la segunda fase, el equipo de evaluación convocó a tres grupos focales de las partes interesadas por cada cadena de valor. Con el fin de evaluar los cambios en el proyecto, se pidió a cada grupo que calificara el estado de las 32 condiciones antes de que comenzara el proyecto y en el momento presente, era el punto final del proyecto. Posteriormente, se pidió a los grupos que calificaran el grado en que SMART-Fish contribuyó a los cambios en estas condiciones.
Al agregar las respuestas en las tres cadenas de valor, se encontró que los cambios en las condiciones propicias para los objetivos a largo plazo fueron más pronunciados en los dominios de comercio y mercados, gobernanza y producción (Figura 3). Estos fueron tres dominios en los que se enfocó el proyecto y en los que los participantes indicaron que SMART-Fish hizo contribuciones sustanciales. Si bien las partes interesadas reconocieron las contribuciones del proyecto en ciencia y tecnología, el progreso logrado en muchas de las condiciones favorables en este ámbito se consideró bajo. Los participantes también consideraron que hubo avances importantes en las condiciones relacionadas al ámbito financiero, pero sin vínculo con el proyecto.
El equipo de evaluación también preguntó a los grupos focales en qué medida el proyecto había contribuido a las cinco condiciones habilitadoras clave con mayor influencia en el sistema. Hubo avances importantes en las siguientes condiciones: Políticas propician trayectoria deseada; Ciencia y tecnología robusta; Conciencia y un entendimiento compartido de los desafíos y las oportunidades. De estos logros, el programa tuvo una contribución importante sólo en los dos primeros. También, a pesar de que el programa hizo importantes contribuciones a la condición habilitadora relacionada con la capacidad de innovación en ciencia y tecnología, no se logró mucho progreso en otras condiciones que pertenecen al dominio de la tecnología.
Finalmente, se concluyó que las cadenas de valor relacionadas a la pesca en Indonesia exhiben un alto grado de complejidad. El enfoque adoptado en esta evaluación nos permitió desarrollar un modelo del sistema intervenido por SMART-Fish que permitió identificar las condiciones con una alta probabilidad de influencia en el conjunto de interacciones que operan dentro del sistema. Una vez que identificamos las condiciones que tienen mayor influencia en la trayectoria del sistema, el equipo evaluador indagó hasta qué punto cambiaron tales condiciones.
Subsecuentemente, fue posible indagar sobre el grado en que tales cambios fueron influenciados por el programa. Esto permitió identificar las contribuciones del programa en una trayectoria de desarrollo consistente con los objetivos a largo plazo de la intervención y, en este caso, del gobierno de Indonesia. Asimismo, el enfoque adoptado permitió integrar conocimiento técnico con conocimientos locales por medio de métodos participativos que promovieron el diálogo entre técnicos y científicos con otras partes interesadas.
UNIDO. (2019). Independent Terminal Evaluation Indonesia SMART-Fish Increasing Trade capacities of Selected Value Chains within the Fisheries Sector in Indonesia. United Nations Industrial Development Organization. https://www.unido.org/sites/default/files/files/2020-01/120110_Indonesia_SMART%20Fish_Terminal%20evaluation.pdf
Zazueta, A. E., Le, T. T., & Bahramalian, N. (2020). Development Trajectories and Complex Systems–Informed Theories of Change. American Journal of Evaluation, I–20. https://doi.org/10.1177/1098214020947782
*Aaron Zazueta. Evaluador independiente
