20. Mi tesis doctoral: Un ejemplo de evaluación de proyectos con criterios intangibles
Tesis doctoral:
Sanchez-Lopez, Ramiro. (2008). "Evaluating development projects based on multiple intangible criteria: Theoretical framework and applications to coca producing regions of Bolivia", Research Unit Knowledge-based Systems (KERMIT), Ghent University. PhD Thesis: 354p.
Sanchez-Lopez, Ramiro. (2008). "Evaluating development projects based on multiple intangible criteria: Theoretical framework and applications to coca producing regions of Bolivia", Research Unit Knowledge-based Systems (KERMIT), Ghent University. PhD Thesis: 354p.
En el ámbito de las ciencias para la gestión (Management Science), el proyecto de investigación se orientó hacia el uso de métodos cuantitativos para la toma de decisiones con múltiples criterios, desde la Teoría de las Mediciones, la Teoría de la Decisión y la Teoría de los Conjuntos Difusos, para resolver el problema de evaluación de proyectos bajo criterios intangibles, en este caso, criterios de naturaleza ética y estratégica de muy difícil cuantificación. Matemática aplicada a problemas de evaluación y análisis de decisiones.
Grupos de investigación involucrados:
- KERMIT: Research Unit Knowledge-based Systems, Universidad de Gante, Bélgica.
- CEGIST: Centro de Estudos de Gestão, Instituto Superior Técnico, Portugal.
- CEPLAG: Centro de Planificación y Gestión, Universidad Mayor de San Simón, Bolivia.
Los esfuerzos de la Unión Europea para la cooperación al desarrollo están basados en el principio de desarrollo humano sostenible, equitativo y participativo, lo que ha llevado a la inclusión en las políticas de desarrollo de los llamados "temas transversales" (Cross-cutting Issues):
- la promoción de los derechos humanos;
- la igualdad de género;
- la dimensión medioambiental;
- la democracia como valor social; y
- el empoderamiento de los beneficiarios de las iniciativas de desarrollo, entre otros.
Estos temas se caracterizan por su naturaleza intangible y de difícil evaluación en términos cuantitativos. En consecuencia, la evaluación de proyectos de desarrollo debía pasar a incorporar operacionalmente dichos temas, cuestionando así la adecuación de ciertas metodologías tradicionales, como el análisis Costo-Beneficio, para considerar la naturaleza intangible y cualitativa de las nuevas dimensiones de evaluación. Este ejemplo de aplicación describe cómo la metodología multicriterio fue utilizada para ayudar a un importante programa de desarrollo rural en Bolivia a construir un sistema informático específico para la evaluación de proyectos con respecto a estos temas. El sistema fue diseñado a través de una serie de entrevistas individuales y de conferencias de decisión llevadas a cabo entre especialistas y técnicos de campo. Se consideraron cuatro temas transversales (Medioambiente, Género, Derechos Humanos y Participación) y 17 criterios de evaluación.
Entre los proyectos evaluables se puede mencionar los siguientes:
- Proyectos de desarrollo industrial, como por ejemplo: Programa para la otorgación de créditos productivos; Proyectos de equipamiento industrial; Proyectos de capacitación; Proyectos de piscicultura.
- Proyectos de desarrollo eco-turístico, como por ejemplo: Hotel eco-turístico.
- Proyectos de desarrollo institucional, como por ejemplo: Proyecto de mejora de la red de distribución de agua potable en zona urbana; Programa de capacitación de servidores públicos en tareas administrativas; Programa de titulación de tierras y documentación de pobladores de áreas rurales remotas.
Como resultado, vistas del sistema informático desarrollado con la técnica de spreadsheet programming, que incluye nociones de modelación multicriterio de las preferencias y aritmética difusa para la cuantificación de la incertidumbre:
Texto extraído y traducido del artículo científico:
Sanchez-Lopez, R., C. A. Bana e Costa, B. De Baets. (2011). "The MACBETH approach for multi-criteria evaluation of development projects on cross-cutting issues." Annals of Operations Research (2012).
Según la Unión Europea, las iniciativas de cooperación para el desarrollo deben respetar principios comunes como el multilateralismo efectivo, la apropiación y la asociación, el diálogo político profundo, la participación de la sociedad civil, la igualdad de género y un compromiso continuo para prevenir la fragilidad del Estado. En el ámbito operativo de nuestra institución anfitriona, estos principios comunes se implementaron en la forma de cuatro ejes transversales específicos:
Sin embargo, estos temas conciernen a fenómenos sociales que son difíciles de aislar en el tiempo o captar empíricamente utilizando indicadores objetivamente verificables, lo que genera dificultades operativas cuando los proyectos de cooperación son sometidos a evaluación. Los métodos tradicionales de evaluación de proyectos, como el Análisis Costo-Beneficio o el Marco Lógico, luchan por incorporar aquellos impactos que son difíciles de medir o estimar en términos de indicadores o valor monetario. Por lo tanto, en el trabajo de campo surgió espontáneamente la necesidad de encontrar e implementar un enfoque que, complementario a los métodos tradicionales de evaluación de proyectos, pudiera permitir a los gerentes de proyecto vigilar el desempeño del proyecto en términos de los objetivos estratégicos éticos de la institución anfitriona, algunos de ellos de naturaleza intangible o cualitativa.
La rendición de cuentas y la transparencia en la evaluación de proyectos son medios para lograr los principios comunes perseguidos por la Unión Europea. Un proceso de encuadre participativo orientado a concretar criterios de evaluación así como sus correspondientes escalas de evaluación lleva a desvelar el sistema de valores que utilizan los donantes para la asignación de recursos, lo que a su vez contribuye a disminuir los comportamientos autoritarios y otras formas de dominación en los procesos de cooperación al desarrollo, habilitando a los beneficiarios y otros actores para priorizar sus necesidades de manera participativa, asignando los recursos en consecuencia.
Estas razones constituyen sólidos argumentos a favor de utilizar un enfoque que garantice la alineación de las acciones de cooperación al desarrollo con los objetivos estratégicos de la cooperación al desarrollo. El análisis multicriterio, y en particular el modelo MACBETH, ofrece un enfoque ideal, porque el problema de la evaluación se puede plantear en términos de un modelo multidimensional que describe el desempeño sin forzar la conversión a unidades monetarias. Los fenómenos sociales pueden analizarse cuantitativamente a través de un modelo de valor y describirse cualitativamente mediante descriptores construidos. Además, los requisitos metodológicos del análisis multicriterio obligan a los donantes a resolver las compensaciones entre los criterios de evaluación vinculados a preocupaciones estratégicas igualmente importantes. En nuestro caso particular, un ejemplo fue una relación de compensación entre el debido respeto a la cultura y las tradiciones patriarcales de las comunidades indígenas versus el impulso occidental para lograr la igualdad de género. Al realizar campañas de sensibilización de género en proyectos, el donante se opone a un sistema tradicional, generando una relación de trade-off entre estos dos objetivos. Nuestra institución anfitriona, como donante, se vio obligada a desvelar y resolver este tipo de conflictos para implementar temas transversales de manera coherente.
El modelo de evaluación aquí descrito, que se puso en funcionamiento a través de un programa de hojas de cálculo (Spreadsheet programming, Excel), constituye una poderosa herramienta de comunicación entre las partes interesadas, especialmente en una dirección ascendente beneficiario-donante. En Bolivia, una parte importante del presupuesto de cooperación para el desarrollo se destina a beneficiarios con bajos niveles de alfabetización. Para este tipo de personas, el lenguaje escrito constituye una barrera para la participación en sus propios procesos de toma de decisiones de desarrollo socioeconómico. Tienen dificultad para comunicar a los agentes de desarrollo sus necesidades y requisitos prioritarios. Nuestro instrumento de evaluación multicriterio brinda a los beneficiarios la oportunidad de comunicar sus prioridades utilizando vocabulario institucional estándar. Cuando son utilizados por los beneficiarios, los descriptores construidos implementados dentro del programa de hoja de cálculo permiten generar automáticamente enunciados descriptivos sobre los puntos de vista de los beneficiarios, utilizando un vocabulario aceptado previamente por la institución donante. De esta forma, el instrumento evita posibles malentendidos que pudieran derivarse del uso ambiguo de términos al debatir la conveniencia de financiar un proyecto. Entonces podemos estar seguros de que la negociación sobre la conveniencia de financiar un proyecto se centrará en sus impactos reales.
Nuestra experiencia práctica en la elaboración del modelo nos hizo dar cuenta de la capacidad didáctica de la herramienta. Identificar el conjunto de criterios, desarrollar los descriptores construidos y valorar los niveles de escala con MACBETH requirió un alto grado de síntesis conceptual y especificidad en los términos utilizados por los especialistas y gerentes de campo involucrados en el proceso de encuadre. En particular, los gerentes de campo informaron haber mejorado su comprensión del impacto operacional de los temas transversales en sus operaciones diarias. Con la herramienta lista para usar, los gerentes de campo pudieron enfocar metas específicas alineadas con la estrategia institucional, identificar referencias de apoyo para justificar acciones de campo, proponer nuevos proyectos, nuevas formas de ejecutar proyectos, identificar los inconvenientes éticos de los proyectos y proponer soluciones consiguientes.
Según la Unión Europea, las iniciativas de cooperación para el desarrollo deben respetar principios comunes como el multilateralismo efectivo, la apropiación y la asociación, el diálogo político profundo, la participación de la sociedad civil, la igualdad de género y un compromiso continuo para prevenir la fragilidad del Estado. En el ámbito operativo de nuestra institución anfitriona, estos principios comunes se implementaron en la forma de cuatro ejes transversales específicos:
- participación,
- género,
- medio ambiente y
- derechos humanos,
Sin embargo, estos temas conciernen a fenómenos sociales que son difíciles de aislar en el tiempo o captar empíricamente utilizando indicadores objetivamente verificables, lo que genera dificultades operativas cuando los proyectos de cooperación son sometidos a evaluación. Los métodos tradicionales de evaluación de proyectos, como el Análisis Costo-Beneficio o el Marco Lógico, luchan por incorporar aquellos impactos que son difíciles de medir o estimar en términos de indicadores o valor monetario. Por lo tanto, en el trabajo de campo surgió espontáneamente la necesidad de encontrar e implementar un enfoque que, complementario a los métodos tradicionales de evaluación de proyectos, pudiera permitir a los gerentes de proyecto vigilar el desempeño del proyecto en términos de los objetivos estratégicos éticos de la institución anfitriona, algunos de ellos de naturaleza intangible o cualitativa.
La rendición de cuentas y la transparencia en la evaluación de proyectos son medios para lograr los principios comunes perseguidos por la Unión Europea. Un proceso de encuadre participativo orientado a concretar criterios de evaluación así como sus correspondientes escalas de evaluación lleva a desvelar el sistema de valores que utilizan los donantes para la asignación de recursos, lo que a su vez contribuye a disminuir los comportamientos autoritarios y otras formas de dominación en los procesos de cooperación al desarrollo, habilitando a los beneficiarios y otros actores para priorizar sus necesidades de manera participativa, asignando los recursos en consecuencia.
Estas razones constituyen sólidos argumentos a favor de utilizar un enfoque que garantice la alineación de las acciones de cooperación al desarrollo con los objetivos estratégicos de la cooperación al desarrollo. El análisis multicriterio, y en particular el modelo MACBETH, ofrece un enfoque ideal, porque el problema de la evaluación se puede plantear en términos de un modelo multidimensional que describe el desempeño sin forzar la conversión a unidades monetarias. Los fenómenos sociales pueden analizarse cuantitativamente a través de un modelo de valor y describirse cualitativamente mediante descriptores construidos. Además, los requisitos metodológicos del análisis multicriterio obligan a los donantes a resolver las compensaciones entre los criterios de evaluación vinculados a preocupaciones estratégicas igualmente importantes. En nuestro caso particular, un ejemplo fue una relación de compensación entre el debido respeto a la cultura y las tradiciones patriarcales de las comunidades indígenas versus el impulso occidental para lograr la igualdad de género. Al realizar campañas de sensibilización de género en proyectos, el donante se opone a un sistema tradicional, generando una relación de trade-off entre estos dos objetivos. Nuestra institución anfitriona, como donante, se vio obligada a desvelar y resolver este tipo de conflictos para implementar temas transversales de manera coherente.
El modelo de evaluación aquí descrito, que se puso en funcionamiento a través de un programa de hojas de cálculo (Spreadsheet programming, Excel), constituye una poderosa herramienta de comunicación entre las partes interesadas, especialmente en una dirección ascendente beneficiario-donante. En Bolivia, una parte importante del presupuesto de cooperación para el desarrollo se destina a beneficiarios con bajos niveles de alfabetización. Para este tipo de personas, el lenguaje escrito constituye una barrera para la participación en sus propios procesos de toma de decisiones de desarrollo socioeconómico. Tienen dificultad para comunicar a los agentes de desarrollo sus necesidades y requisitos prioritarios. Nuestro instrumento de evaluación multicriterio brinda a los beneficiarios la oportunidad de comunicar sus prioridades utilizando vocabulario institucional estándar. Cuando son utilizados por los beneficiarios, los descriptores construidos implementados dentro del programa de hoja de cálculo permiten generar automáticamente enunciados descriptivos sobre los puntos de vista de los beneficiarios, utilizando un vocabulario aceptado previamente por la institución donante. De esta forma, el instrumento evita posibles malentendidos que pudieran derivarse del uso ambiguo de términos al debatir la conveniencia de financiar un proyecto. Entonces podemos estar seguros de que la negociación sobre la conveniencia de financiar un proyecto se centrará en sus impactos reales.
Nuestra experiencia práctica en la elaboración del modelo nos hizo dar cuenta de la capacidad didáctica de la herramienta. Identificar el conjunto de criterios, desarrollar los descriptores construidos y valorar los niveles de escala con MACBETH requirió un alto grado de síntesis conceptual y especificidad en los términos utilizados por los especialistas y gerentes de campo involucrados en el proceso de encuadre. En particular, los gerentes de campo informaron haber mejorado su comprensión del impacto operacional de los temas transversales en sus operaciones diarias. Con la herramienta lista para usar, los gerentes de campo pudieron enfocar metas específicas alineadas con la estrategia institucional, identificar referencias de apoyo para justificar acciones de campo, proponer nuevos proyectos, nuevas formas de ejecutar proyectos, identificar los inconvenientes éticos de los proyectos y proponer soluciones consiguientes.
