21. Multicriterio y evaluación de propuestas: Un ejemplo de aplicación
Estudio original:
Bana e Costa, C. A., J. C. Lourenco, et al. (2008). "Development of Reusable Bid Evaluation Models for the Portuguese Electric Transmission Company." Decision Analysis 5(1): 22-42.
Contexto:
La Compañía Portuguesa de Transmisión de Electricidad (REN) con mucha frecuencia se ve involucrada en procesos de selección de proveedores. Sobre la base de estos procesos, REN asigna contratos para la ejecución de proyectos de construcción, o para la provisión de equipos, o para una amplia gama de servicios externos. Dicha asignación de recursos se basa en un modelo multicriterio para la evaluación de propuestas, que fue desarrollado en 2005 por un grupo de consultores especialistas en Análisis de Decisiones, liderado por el Prof. Carlos Bana e Costa. El modelo de evaluación se ha hecho público en el sitio web de la compañía:
El estudio original que resumimos sucintamente aquí describe con mucho detalle el proceso de construcción del modelo. Recomiendo muy especialmente su lectura.
Etapas de construcción del modelo:
- Etapa de estructuración
- Definición de los criterios de evaluación
- Definición de los criterios de preselección
- Definición de los criterios de evaluación
- Definición de los descriptores de desempeño (es decir; las escalas de evaluación)
- Etapa de evaluación
- Definición de las funciones de valor
- Definición de las ponderaciones de los criterios de evaluación
- Etapa de validación
- Verificación del modelo según la teoría de "Requisite Decision Model"
El modelo fue desarrollado con las siguientes características:
- La construcción del modelo de evaluación siguió un proceso participativo basado en la técnica de "Decision Conferencing", en el que participaron varios técnicos de REN dirigidos por especialistas en Análisis de Decisiones.
- El modelo evalúa por un lado los costos y por otro los beneficios. Es, por lo tanto, un modelo costo / beneficio.
- Las ponderaciones de los criterios no representan "importancias relativas", sino "constantes de escala". Considerar las ponderaciones de los criterios como importancias relativas es un error crítico muy común (ver entrada de Blog número 18).
- El proceso participativo de construcción del modelo permitió que los técnicos evaluadores entendieran todos los componentes del modelo y "se apropiaran" del mismo (es decir, lo hicieran suyo y por ende depositaran su confianza en él).
- El modelo es una representación del sistema de valores de REN, y se alinea con sus objetivos estratégicos.
- Los descriptores de desempeño de los criterios (es decir, las escalas cualitativas) fueron discutidas y consensuadas, en un esfuerzo para asegurar una comprensión de su significado, sin ambigüedades, de tal manera que cada propuesta pueda ser evaluada de forma similar en cada uno de los criterios, independientemente de la persona que esté haciendo la evaluación.
- Una característica valiosa del modelo así construido es que permite transformar de forma transparente, evaluaciones cualitativas de las distintas propuestas, en puntuaciones numéricas. Dicha transformación se basa en funciones de valor desarrolladas bajo la metodología Macbeth. Los evaluadores no asignan puntuaciones numéricas a las diferentes propuestas. Los evaluadores sólo evalúan cualitativamente el desempeño de las propuestas. La asignación de puntuaciones numéricas se hace a través de funciones de valor, construidas por los propios técnicos de REN, las cual transforman las evaluaciones cualitativas en puntuaciones numéricas. Esto brinda transparencia al proceso de evaluación.
Árbol de valor:
Criterio "Restricciones de aprovisionamiento": Se refiere al grado en que ciertos aspectos técnicos, logísticos, administrativos y/o financieros puedan comprometer o restringir la capacidad del proveedor para ejecutar la tarea o proyecto según las especificaciones técnicas.
Criterio "Valor añadido": Se refiere al grado en que la propuesta incluye aspectos técnicos, logísticos, administrativos y/o financieros que añadan valor al aprovisionamiento (por ejemplo, que añadan valor a los equipos más relevantes).
Criterio "Plan de equipamiento": Se refiere al grado en que el plan de aprovisionamiento de materiales, maquinaria y equipo propuesto está adecuadamente detallado en cuanto a los tiempos, tipos de equipo, y tareas.
Criterio "Metodología y componentes críticos de despliegue": Se refiere al grado en que la metodología propuesta está adecuadamente explicada, con el propósito de asegurar que se respeten las especificaciones técnicas, que sus componentes están detallados en la propuesta, y que los puntos críticos de ejecución han sido identificados y dadas sus respectivas soluciones.
Criterio "Plan de recursos humanos": Se refiere al grado en que el programa propuesto para la asignación de recursos humanos ha sido adecuadamente detallado en términos de tiempo, y organizado por categorías funcionales y actividades de ejecución.
Criterio "Programa de ejecución": Se refiere al grado en que el programa de ejecución propuesto está adecuadamente detallado y organizado por actividades y sub-actividades.
