Evaluation in the Departmental Governments? Towards a necessary change in order to evaluate and transform local development policies - by Juan Pedro Ravela and Emiliano Santa Cruz

Juan Pedro Ravela, técnico en la Dirección de Desarrollo de la Intendencia de San José. Licenciado en Economía por la Universidad de la República, Magíster en Desarrollo Territorial por la Universidad Tecnológica Nacional (Argentina) y estudiante de la primera edición del Diploma en Evaluación para el Cambio de UTEC.

Emiliano Santa Cruz, técnico en el Centro de Estudios Estratégicos Canario de la Intendencia de Canelones, Licenciado en Desarrollo y estudiante de la primera edición del Diploma en Evaluación para el Cambio de UTEC.

Entre el 2016 y el 2020 en Uruguay, los Gobiernos Departamentales llevaron a cabo políticas de desarrollo con un presupuesto estimado de 190 millones de dólares (cifra estimada en base a las rendiciones de cuenta 2016, 2017 y 2018 de los Gobiernos Departamentales, valores a 2019), un monto que solo incluye fondos propios, quedando excluidos los fondos obtenidos a través del Gobierno Nacional y de la Cooperación Internacional (los cuales se estima que alcanzan una tercera parte de los fondos propios).

¿Cuáles fueron los resultados e impactos de estas políticas? ¿Quiénes se beneficiaron? ¿Su uso fue eficiente? ¿Se implementaron políticas sostenibles? Posiblemente se lograron muchos objetivos, pero también, como es natural, hubo imprevistos, fallas, e impactos no deseados que son parte del proceso de la política pública. Entonces, ¿cuáles factores de éxito y fracaso fueron claves en las acciones ejecutadas? Para obtener respuestas a estos interrogantes sería indispensable contar con un sistema de evaluación adecuado que permita generar y analizar información desde un enfoque formativo y transformador que favorezca el desarrollo del accionar público a nivel departamental. Hoy el Uruguay no lo tiene.

En el presente artículo se tratará sobre los sistemas y métodos de evaluación de los Gobiernos Departamentales y algunas reflexiones para su mejora en base a nuestra experiencia profesional y los principios que sustentan la evaluación formativa como evidencia internacional, a partir del enfoque de Evaluación Formativa de las Políticas de Innovación Transformativa. Este enfoque entiende a la evaluación como un proceso de aprendizaje y una dimensión estratégica que debe ser desarrollada empleando un proceso participativo e inclusivo que favorezca el desarrollo de capacidades entre los agentes participantes (documento de Políticas del Consorcio de Políticas de Innovación Transformativa, Número 1, Marzo 2020).

El llamado a trascender un enfoque centrado en la rendición de cuentas

Las direcciones de Desarrollo de los Gobiernos Departamentales son las principales protagonistas en la implementación de políticas de desarrollo territorial. Son quienes deben llevar a la acción la gestión y hacer frente al desafío de medir resultados.

Tienen bajo su competencia una diversidad de actividades y asuntos como el desarrollo rural, el apoyo a mipymes, la captación de inversiones, turismo, la sostenibilidad ambiental, entre otros que impactan directamente en la vida laboral de las personas. Por eso es clave que estas direcciones cuenten con formas de sistematizar y sintetizar lo realizado a lo largo de la gestión. Pero, ¿sistematizar para qué? Con el fin de comunicar a la ciudadanía las acciones que desde la política pública se están instrumentando, para favorecer procesos de desarrollo local y transparentar la gestión de los recursos estatales. Sistematizar también con el sentido de evaluar para lograr mejores niveles de eficiencia y eficacia en el accionar departamental.

Esta incorporación sistemática de procesos evaluativos en el ciclo de las políticas que llevan adelante las direcciones de Desarrollo, implica propiciar un cambio cultural a la interna de las instituciones en torno a la importancia de la evaluación. De esta forma se podrá trascender el enfoque centrado exclusivamente en la rendición de cuentas para dar mayor espacio a un enfoque formativo y estratégico, que conduzca a mejorar el diseño e implementación de las acciones en este nivel de gobierno.

Fortalecer el desarrollo de una cultura de la evaluación para la mejora, en estas áreas estratégicas de los gobiernos departamentales, es un proceso que demandará tiempos y esfuerzos. Algunos elementos imprescindibles para impulsar el cambio cultural son la capacitación de los cuadros técnicos, el desarrollo de metodologías evaluativas y su aprendizaje, la integración de la ciudadanía y la incorporación de soportes tecnológicos que faciliten el trabajo y habiliten el reporte continuo de resultados de las acciones implementadas, entre otros. Asimismo también es imprescindible trabajar en la formación de los cuadros políticos en relación a la evaluación para comprender de primera mano las complejidades del proceso y dimensionar su importancia en el proceso de las políticas públicas.

Este es un cambio que puede transformar sustancialmente la gestión departamental y el uso de los recursos públicos. Y en tanto proceso que supone un cambio en el ciclo de las políticas públicas y en la cultura de la gestión institucional el mismo no estará exento de tensiones, principalmente la que se susciten entre los tiempos y recursos propios de la ejecución de políticas públicas y los que demandará la integración de la evaluación formativa en este proceso. A estos factores habrá que prestar una especial atención con el objeto de que no se produzca una rivalidad entre la implementación y la evaluación por los recursos tanto técnicos humanos como materiales. Contar con unidades y equipos especializados en el desarrollo de procesos evaluativos y el monitoreo continuo es una cada vez más una estrategia indispensable para mejorar la calidad de las acciones desarrolladas por los Gobiernos Departamentales.

Entendemos que desde este enfoque la evaluación dejaría de ser un mero ejercicio demostrativo para establecer si la política fue buena o mala según el criterio político de cada Intendente o Director/a de área y resaltar sus principales logros para justificar los recursos utilizados en el proceso, para posicionarse como una herramienta crítica de análisis que oriente el accionar público con base en la toma de decisiones basadas en evidencias.

También es relevante desarrollar capacidades evaluativas para comunicar los logros alcanzados y transparentar la gestión hacia la ciudadanía, pero cuidando especialmente que esta comunicación no se dé desde un enfoque exclusivamente unidireccional política pública – ciudadanía.
En este sentido, integrar la participación de la ciudadanía en los procesos de diseño y evaluación, tal como se propone desde el enfoque de la evaluación formativa, es un desafío que interpela especialmente a los Gobiernos Departamentales, fortalecidos con la creación de los municipios, en tanto gobiernos de cercanía.

En el contexto sanitario que nos encontramos (asociado a la pandemia por covid-19) en donde la restricción de la movilidad ya ha pasado ser parte de la vida cotidiana de las personas, la integración de la ciudadanía a través de procesos participativos, tanto para el diseño como para la evaluación de proyectos, programas y políticas, se convierte en un desafío aún mayor y exige desarrollar toda la creatividad en pos de lograr la inclusión de todas las voces. Es imprescindible estar atentos a las nuevas experiencias participativas que se están poniendo a prueba en otras regiones y contextos a modo de incorporar y/o adaptar esos aprendizajes en los procesos locales, considerando las especificidades de nuestra población y nuestros territorios.

Más allá del Marco Lógico

Otra limitación existente refiere a la falta de una reflexión crítica en torno a la metodología empleada para el diseño y evaluación de los proyectos de desarrollo, que son impulsados por los diversos actores que conforman la institucionalidad del país. Hasta el momento la herramienta más difundida y predominantemente utilizada por los actores encargados de los proyectos de desarrollo ha sido el Enfoque del Marco Lógico (EML). Este instrumento es prácticamente un ítem ineludible de llamados y fondos concursables propuestos por los diferentes organismos nacionales e internacionales, e incluso de metodologías de planificación aplicadas a la interna de las direcciones departamentales. Si bien esta herramienta facilita la integración de la evaluación en el diseño de la política, elemento clave que debe ser abordado por los Gobiernos Departamentales, es preciso reconocer que presenta una serie rigideces y limitaciones en entornos dinámicos, complejos y de cambio como en los que se desenvuelven las políticas de desarrollo.

A estas debilidades se agrega un uso inadecuado de esta herramienta por parte de diversos programas, equipos técnicos e instituciones que ha conducido a una deformación tal que minimiza las bondades que ofrece el enfoque, oficiando en algunas ocasiones simplemente como un requisito de formalidad. Cualquier actor familiarizado con los llamados concursables de la política pública, podrá dar cuenta de las diferentes “versiones” del marco lógico que se encuentran en circulación según el programa o institución donde uno quiera postular (utilizando indistinta y confusamente las jerarquías de categorías en la metodología de acuerdo al criterio que cada institución y/o referente técnico decida). Este último punto muestra la necesidad de desarrollar un bagaje de herramientas teóricas, conceptuales y prácticas, para poder afrontar de mejor forma la gestión y evaluación de políticas públicas.

En este sentido, visualizamos en los principios que sustentan la Evaluación Formativa de las Políticas de Innovación Transformativa, una referencia teórica para propiciar ese cambio cultural en el segundo nivel de gobierno en particular. Mejorar la definición de la política y su implementación es el eje orientativo de la evaluación formativa de estas políticas de innovación.

Involucrar a los interesados en los procesos evaluativos estimula el aprendizaje y la reflexividad sobre cómo se formulan los problemas y qué alternativas se plantean para su abordaje a través de una interacción que, si bien exige desarrollar habilidades de diálogo y construcción colectiva, tiene la enorme potencialidad de enriquecer el conjunto de acciones de desarrollo. Asimismo, concebir a la evaluación como parte fundamental y crítica del ciclo de las políticas, e integrada al diseño e implementación, permite visualizarla como una fuente de insumos e información valiosa para la toma de decisiones más que como una mera síntesis del resultado final. Esta es una clave indispensable para cambiar el enfoque de la evaluación como rendición a la evaluación como herramienta para la mejora. Por último, nos interesa destacar el enfoque anidado como otro pilar clave de las Políticas de Innovación Transformativas el cual busca “abordar los diferentes niveles de intervención, desde proyectos específicos a nivel local y de nicho, pasando por programas que incorporan conjuntos de proyectos, hasta intervenciones políticas complejas en las que intervienen diferentes programas” (Boni, A. Gianchi, S. Molas-Gallart, J. (2019) “Principios clave para una evaluación formativa de las políticas de innovación transformativa”. Documento de Políticas TIPC N°1, Marzo 2019 pp 2).

¿Qué institucionalidad para qué evaluación?

En Uruguay existe cierto vacío institucional para el fomento e implementación de la evaluación de las políticas de desarrollo, la cual queda en manos y a criterio de cada actor interviniente en las políticas desde el rol que le corresponda: financiador, beneficiario, socio, u otro, independientemente de sus capacidades técnicas y/o políticas. La anunciada “Agencia de Monitoreo y Evaluación de Políticas Públicas”, en caso de que se ponga en marcha, podría cumplir un rol relevante en el cambio (Sobre la agencia: https://ladiaria.com.uy/opinion/articulo/2020/6/mejor-pensar-fuera-de-la-caja-sobre-la-creacion-de-la-agencia-de-monitoreo-y-evaluacion-de-politicas-publicas-en-la-luc/).

Más allá de las críticas que puedan realizarse a su estructura de gobernanza, muchas de las cuales compartimos y que trascienden el objetivo del presente artículo, entendemos que este modelo puede ser un gran aporte para avanzar hacia un enfoque “anidado”, blindando de mayor coherencia y unidad a las diversas formas y metodologías de evaluar las políticas públicas a las cuales referimos anteriormente. Si bien podría haber un riesgo vinculado a que la búsqueda de coherencia de criterios, se traduzca en mayor rigidez, entendemos que es tal el uso y abuso de metodologías evaluativas aplicadas de forma errónea que hay tierra fértil para avanzar en este sentido, sin que esto se convierta en un empobrecimiento en la diversidad metodológica. Asimismo, la articulación entre niveles de gobierno deberá reforzarse para que la coordinación entre equipos encargados de las evaluaciones de las políticas públicas sea fluida y conduzca a resultados tangibles de mejora, favoreciendo el quehacer público desde un enfoque formativo y el cumplimiento de los objetivos trazados por los gobiernos departamentales.

El camino que sigue

Los Gobiernos Departamentales tienen por delante una valiosa oportunidad (y responsabilidad) de propiciar un cambio cultural en torno a la evaluación, resignificando el concepto como herramienta para la mejora de las políticas públicas. Esta oportunidad no está exenta de los innumerables desafíos que supone un cambio de enfoque en la gestión pública y que fueron mencionados en este artículo. Abordar estos desafíos es una cuestión propia del camino a transitar, y encontrar respuestas a los cuestionamientos que surjan será tarea que requiera la atención de todo el aparato institucional. Se hace necesario poner en valor las políticas de desarrollo frente a la sociedad en su conjunto, no sólo por los recursos económicos que implican, sino también porque entendemos que tienen un rol mucho más decisivo a jugar en la mejora de las condiciones de vida de nuestra población. Para lograrlo será necesario profundizar y transparentar sus resultados a través de formas de evaluación que permitan robustecer la intervención de la política pública, y en definitiva, mejorar el modo por el cual queremos transformar nuestra sociedad.