The challenge of putting the Sustainable Development Goals into practice and evaluating their success - by Iván Sánchez Díaz

Mag. Iván Sánchez Díaz, licenciado en Ciencias Sociales y estudiante de la primera edición del Diploma en Evaluación para el Cambio de la Universidad Tecnológica, Uruguay.

En setiembre del 2015, Uruguay fue uno de los 193 países en adherirse a la Agenda 2030 y a los Objetivos de Desarrollo Sostenible (ODS). Para cumplirlos, el país inició cambios sustanciales en el contenido de muchas de sus políticas públicas, e inició otras. Es que los ODS requieren enfocar el trabajo hacia un horizonte de sociedades más libres e igualitarias, y centradas en un futuro más sostenible desde otro vínculo con el medio ambiente (PNUD, 2015).

Los ODS son 17 y van desde la erradicación del hambre y la pobreza, el combate a la desigualdad social y de género, la promoción de empleos de calidad, de formas de producción y diseños urbanos amigables con el medioambiente, y el fortalecimiento de las instituciones democráticas. Estos objetivos nos conducirían hacia sociedades más libres, justas, y sostenibles. Adherirse a los ODS e impulsar sus logros es promover un cambio sociotécnico, y significa modificar agendas sociales y de gobierno, lo que consecuentemente invita a repensar el contenido, y las analizar, diseñar y gestionar políticas públicas.

Apuntar a estos cambios es hacer esfuerzos de cambio en las administraciones públicas, orientados a modificar el vínculo Estado-sociedad y a modificar lógicas intraestatales. Una exitosa aplicación de los ODS requerirá (entre otras cosas) de Estados y gobiernos transparentes, abiertos, participativos (Guillermo O´Donnell, 2008), y con capacidad de coordinación entre sus agencias para de ser más efectivos, eficientes, y sobre todo coherentes en sus políticas (Peters.G, Bouckaert.G, Verhoest.K, 2010)

Pero no se trata solo de aplicar ODS en las políticas públicas sino poder evaluar si los cambios y los objetivos trazados se cumplen, de qué manera lo hacen, de qué manera y quiénes se vieron beneficiados por el cambio, para así poder contar con insumos que permitan concluir si han sido exitosos, si se han quedado a medio camino, o si fracasaron pese al intento. Cuando hablamos de evaluación de políticas públicas nos referimos a “una práctica integral de construcción, análisis y comunicación de información útil para mejorar aspectos de la formulación y de la implementación de las políticas públicas, un proceso de aprendizaje que incluye la reflexión sobre los aciertos y errores cometidos y la consecuente modificación de los cursos de acción” (Jaime. F; et.al ; 2013, p: 225). Lo particular y esencial de toda evaluación es proporcionar información sistematizada para determinar el valor o mérito de una intervención, o sea para juzgarla en función de ciertos estándares (Alkin, 2011:9; Weiss, 1998:4).

Claro, existen diferentes maneras/metodologías para evaluar estas políticas. Una forma es realizar una evaluación aislada (expost) con pretensiones de objetividad que se realiza luego de desarrollar las intervenciones, y están cargo de evaluadores externos. Se trata de una concepción o teoría de la evaluación como parte de un proceso lineal, enmarcada en modelos lógicos de insumos, actividades, productos, resultados e impactos. La evaluación aparece como una etapa diferenciada en el proceso de las políticas públicas, y que no se involucra ni en el diseño ni en la implementación de las mismas, y su principal aporte es, además de información para emitir juicios sumativos, aportar insumos para el rediseño de las políticas. Otra opción es hacer una evaluación concebida como “transversal y valorativa” que es la nueva tendencia hoy en evaluación. Se trata de una forma de trabajo que permite que la evaluación esté en todo el proceso de la política pública (diseño y gestión), observando cadenas causales que desembocan en determinados resultados, y por ende el quien o quienes evalúan, no es una persona desconocedora del proceso, sino una parte más.

En la actualidad los gobiernos, incluido el uruguayo, realizan principalmente la evaluación más clásica pero deberían encaminarse hacia un mayor uso de la evaluación transversal y valorativa. Esta permite identificar falencias y trabajar sobre ellas de forma inmediato, reduciendo la brecha entre resultados esperados y resultados observados, y logrando mayor impacto sobre grupos y/o personas beneficiarias. Esta modalidad de evaluar es conocida como evaluación formativa orientada a la transformación social. Se involucra en todo el proceso de la política pública (in situ) identificando errores y nuevos aprendizajes, déficit y desafíos para la justicia social y la sostenibilidad medioambiental (experimental) (Schot y Steinmueller, 2018:2). La evaluación no debe ser monopolio de especialistas, sino que debe promover y facilitar el debate abierto, no evitar conflictos de poder, intereses y percepciones de personas ni de grupos.

El propósito de este artículo es contribuir con dar respuesta a la siguiente pregunta: ¿qué posibilidades ofrece el diseño institucional del Estado uruguayo para adoptar una nueva forma de evaluación de políticas públicas en el marco de los ODS?.

La evaluación orientada al cambio: una necesidad

En un país existen diferentes formas de producir, de usar lo que se genera, de consumir. También hay formas de relacionarse en sociedad y distintas maneras de vincularse con el ambiente (a todo esto se lo conoce como sistema sociotécnico). El sistema dominante actual está orientado hacia el crecimiento económico, a la producción en masa para satisfacciones individuales, continuo consumo, competitividad, para lo cual es intensivo en la incorporación tecnológica, en empleo de combustibles fósiles, en recursos y energía, y excluyente socialmente, y que produce una cantidad masiva de residuos, derivando en desigualdad social y daño medioambiental. Pese a la disponibilidad de bienes y los avances tecnológicos que permite el sistema actual, la inequidad social y el daño medio ambiental lo están haciendo insostenible . Schot y Steinmueller (2018) señalan“A pesar de los importantes avances logrados en cuanto a los niveles de esperanza de vida y al bienestar material de muchos países, los problemas persistentes generados por las crisis económicas y la creciente inequidad coinciden con una creciente toma de conciencia de que los actuales sistemas sociotécnicos que ayudan a cubrir nuestras necesidades básicas –en términos de alimentos, energía, movilidad, materiales, agua o recursos en general – son insostenibles” (Schot y Steinmueller, 2018:2)

Pensar en los ODS implica aportar una nueva mirada a este sistema, dado que implican cambios en las vínculos dominantes entre hombres y mujeres, desnaturalizar el hambre, la pobreza y la desigualdad social, preocuparnos por los recursos ambientales de las sociedades futuras, y preocuparnos por la calidad de las instituciones políticas para construir sociedades más justas y libres. No se trata necesariamente de reemplazar lo que ya existe sino de reformular. Se trata de una pugna por la legitimidad de fundamentos y argumentos de las políticas públicas. Los ODS representan un sistema sicotécnico desafiante del actual, orientado a la justicia social, la sostenibilidad medioambiental, y la lucha contra el cambio climático.

A grandes rasgos, podemos entender que las políticas públicas son planes y acciones gubernamentales que se orientan a la solución de problemas públicos ( Jaime. F et.al; 2013). Estas vienen siendo analizadas conforme al sistema sociotécnico dominante, como procesos productivos compartimentados en secuencias lógicas donde existe una etapa de diseño que recae sobre los gobernantes (definición de estrategia), otra de implementación que recae sobre la burocracia (producción y comercialización), y una última etapa que es la evaluación (saldos) y que recae sobre técnicos (policy cycle).

El sistema sociotécnico inspirado en los ODS exige debatir sobre otras formas de entender la evaluación. En particular, entenderla como un ejercicio que puede abandonar el rol pasivo y neutral, y que asuma un rol más comprometido con el cambio deseado de justicia social y sostenibilidad medioambiental. En este sentido se pone en consideración la evaluación formativa transformadora que se sostiene en los siguientes seis principios:

1. Es formativa: Tiene por objetivo las políticas públicas mediante el involucramiento de todos los actores relevantes en las mismas, lo que requiere del desarrollo de capacidades específicas de las organizaciones que la implementan, y del aprendizaje de segundo orden y la reflexividad de los participantes.
   
   Esto llevaría a replantear el cómo se definen los problemas y las soluciones que consideran apropiadas, y concebir el error como algo constructivo, provocador de un nuevo aprendizaje sobre el contexto y el proceso de la intervención.
2. Integrada al proceso de política pública: Es parte del proceso de políticas y que ya no se concibe como una etapa aislada donde los protagonistas son otros distintos a los de la formulación y la implementación.
   
   La evaluación integrada favorece la coherencia entre la formulación e implementación, y por lo tanto también debe ser coherente con los objetivos que se han definido en dicha política. La evaluación, entonces, es entendida como una parte estratégica del proceso de diseño e implementación de una política pública.
3. En el marco de un enfoque “anidado”: La evaluación se realiza en todos los niveles de intervención de las políticas públicas, en sus planes, sus programas, y sus proyectos (PPP), de forma coherente y consistentemente entre esos niveles. Desde proyectos específicos a nivel local y de nicho, pasando por programas que incorporan conjuntos de proyectos, hasta intervenciones políticas complejas en las que intervienen diferentes programas.
   
   El nivel de intervención de una política pública puede ser: (1) un conjunto de intervenciones de políticas complejas (combinación de políticas) que cubren un amplio campo de actividad del sector público; (2) un plan o conjunto de programa con un presupuesto asignado y una línea del tiempo predefinida para su implementación y que involucren varios proyectos (3) proyectos específicos implementados por un individuo o equipo de individuos para abordar aspectos específicos y objetivos del programa al cual los proyectos contribuyen.
4. Participativa: La evaluación no debe ser monopolio de especialistas, sino que debe promover y facilitar el debate abierto, no evitar conflictos de poder, intereses y percepciones de personas ni de grupos que están involucrados. Los actores deben ser varios, con roles y recursos distintos, para detectar nuevas tendencias y problemas, e incorporar nuevos objetivos y actores.
   
   La evaluación debe ser lo suficientemente abierta y reflexiva para capturar las tendencias emergentes y los problemas, e incorporar nuevos objetivos y actores.
5. Diversidad metodológica: debe eliminarse el monopolio metodológico propio del modelo dominante que trabaja con indicadores estándares y cuantitativos. La propuesta es incorporar la diversidad de saberes, diferentes métodos y técnicas de acuerdo con el contexto y naturaleza de la política, ya que el impacto social y ambiental es difícil de medir con indicadores “estándar”, incompatible con la diversidad de valores sociales. La metodología cuantitativa basada en indicadores estándares mide lo superficial, mide consecuencias, y parte de supuestos ontológicos que no problematiza, mientras la naturaleza de los valores sociales tiene que ver con dimensiones inconmensurables y se perciben de manera diferencial dependiendo de los antecedentes culturales y las preferencias personales.
   
   Los métodos cualitativos pueden proveer una mejor aproximación del estudio de los impactos sociales, proporcionando una descripción detallada y contextualizada de los procesos de cambio a través de narrativas detalladas. Finalmente, las técnicas participativas pueden ayudar a incrementar la participación y la inclusión del proceso de evaluación y permitir una vinculación más horizontal de los actores. Las técnicas cualitativas y participativas pueden ayudar a incrementar el carácter incluyente en la evaluación de procesos y permitir una implicación más horizontal de los actores.
6. Teoría del cambio: La evaluación debe apoyarse en una teoría del cambio, con la pretensión de generar una transformación del sistema socio-técnico. La evaluación necesita definir y adoptar una Teoría del Cambio (TdC) que se relacione a la teoría del cambio que inspira o guía a la política pública en cuestión.
   
   Cada TdC específica debe ser flexible y poder ser revisada como un resultado de la evaluación formativa, debe distinguir las dimensiones clave de una intervención: el contexto en el que opera el proyecto que está siendo evaluado, los problemas específicos que esta necesita enfrentar para lograr sus objetivos, los mecanismos causales (procesos) que el proyecto específico busca implementar con los recursos disponibles, los alcances esperados que este espera lograr, y cómo estos alcances son importantes para la transformación que espera generar la política pública.

La evaluación transformadora en Uruguay

En cuanto al diseño institucional del Estado uruguayos, entendido como instituciones formales que pautan la forma de acceder y ejercer el gobierno, es partidocrático (con centralidad de partidos y éxito en neutralizar outsiders de la política como empresarios o tecnócratas, baja volatilidad electoral, lealtad ciudadana hacia partidos, enraizamiento de estos en la sociedad civil), semipresidencialista (no puede gobernar sin el Parlamento), unitario centralizado (que concentra los principales fines y funciones del Estado con un único Poder Judicial), y representación proporcional para integrar parlamento y mayoría absoluta con segunda vuelta para lograr la Presidencia de la República.

¿Qué aspectos de este diseño institucional no favorecerían la incorporación de una evaluación transformadora?

Uruguay tiene un diseño electoral que exige alcanzar grandes mayorías: Para acceder a los principales resortes institucionales de poder, los partidos deben orientarse al “centro” del electorado que es donde se posiciona ideológicamente la mayoría. Por lo tanto, tienden a enfatizar en propuestas que atiendan las demandas del “votante medio” (como aumentar niveles económicos, más de empleo, más ingreso y consumo) (Filgueira et.al, 2011), lo que dificulta el logro de legitimidad y consenso de propuestas de transformación socio técnica. Dos hechos confirman la afirmación: i) la desaceleración económica, la inflación, los problemas de empleo, hacen que los uruguayos tienden a castigar al partido gobernante y votar por la oposición como sucedió en el 1959, en el 2004, y el 2019; y ii) expresiones partidarias vinculadas al medio ambiente son minoría. Por otro lado, es un diseño que obliga a construir una mayoría y excluir la otra, que dificulta la posibilidad de construir consensos respecto a lo directivo.

Para minimizar los obstáculos de este factor de predominios de demandas de bienestar sin importar costos sociales y ambientales, se podría apostar a un trabajo más intenso , amplio y permanente de concientización sobre los problemas del modelo sociotécnico actual y de sensibilización sobre los ODS como forma de que en instancias abiertas y diversas de evaluación de políticas, no se imponga la lógica y la racionalidad económica, y se ponderen otros aspectos igualmente válidos como la equidad de género, la justicia social, el cuidado medio ambiental, la calidad democrática, etc.

Un diseño que da poco margen para gobernar sin pensar en lo electoral: entre la asunción de un Presidente y las previas a las siguientes elecciones internas hay un período 4 años, por lo que el/los partido/s de gobierno está/n muy exigido/s a mostrar rápidamente resultados de gestión en casi todas las áreas de políticas (Botnelli, 2000). Por ello se priorizan evaluaciones sumativas orientadas a mostrar resultados y en el mejor de los casos a la rendición de cuentas. La premura del proceso gubernamental y electoral uruguayo,  inhibe la apuesta por un tipo de evaluación formativa y transformadora que implica participación social, deliberación, tiempo, exposición, y que concibe al error como positivo.

Para neutralizar este factor inhibidor de la apuesta y éxito de una evaluación formativa y transformadora, se podría trabajar pedagógicamente sobre la conciencia de equipos académicos, políticos, y sobre todo ciudadanas y ciudadanos, respecto a las fortalezas que tiene una evaluación formativa que identifica y trabaja de forma inmediata sobre errores de implementación y permite corregir la propia gestión y el rediseño. 

Partidos enraizados: toda partidocracia (Caetano, Rilla y Pérez, 1987) habla de partidos institucionalizados, y una de sus características es el enraizamiento de estos en la sociedad como tentáculos que se incumben en cuerpos directivos de movimientos sociales, grupos culturales, corporaciones profesionales, comisiones comunitarias, clubes deportivos, clústeres empresariales, etc. (Mainwaring y Torcal, 2005). Entendemos que este es un factor que inhibe la apuesta por una evaluación alternativa dado que reduce la autonomía de la sociedad civil y la posibilidad de generar espacios de participación reales y con diversidad de saberes. La sociedad es apresada y controlada por los partidos, lo que contribuye con desdibujar los límites entre Estado y sociedad imponiendo la razón estatal y electoral por sobre otras, lo que frena toda posibilidad de problematizar la realidad social desde deliberaciones genuinas (Goldfrank, 2011).

Para minimizar los efectos de este factor inhibidor de la apuesta y éxito de una evaluación formativa y transformadora, se podría trabajar en convocatorias amplias para la evaluación, convocando y facilitando la participación de la mayor cantidad de colectivos, con énfasis en nichos vinculados al abordaje de los distintos tipos de injusticias sociales (organizaciones de la Sociedad Civil, emprendimientos de impacto social, movimientos sociales y comunitarios, etc) y de sostenibilidad medioambiental (movimientos sociales, clusters turísticos, empresas con responsabilidad social y ambiental, etc). Con este enfoque se fomentaría la puesta en escena del conflicto de intereses y percepciones propias de las sociedades modernas. Proponiendo así pasar de una captura de la sociedad por parte del Estado a una captura del Estado por parte de la sociedad, equilibrando el poder de los partidos y sus lógicas electoralistas.

¿Qué aspectos de este diseño institucional favorecerían la incorporación de una evaluación transformadora? 

Diseño semipresidencialista unitario: este diseño no concentra excesivamente el poder y tampoco los dispersa excesivamente, lo que favorece a la posibilidad de elaborar políticas desde un equilibrio entre legitimidad (representatividad) y eficacia (capacidad de ejecutar). Este es un equilibrio óptimo para alcanzar importantes niveles de coordinación entre agencias y niveles de gobierno para orientarlos a objetivos compartidos; facilita la coherencia entre etapas de la política y una evaluación integrada a las mismas; y facilita la evaluación en diferentes niveles de intervención.

Representación proporcional: los partidos ocupan bancas parlamentarias  según su caudal de votos, lo que sumado a un Presidente que no puede prescindir del Parlamento y un sistema de segunda vuelta que obliga a coaliciones electorales y gubernamentales, implican una distribución o desconcentración del poder que facilita a los actores a instalar el tema de la justicia social y la sostenibilidad medio ambiental en la agenda pública o en la de gobierno. Los aspectos señalados en ítem anterior promueven gobiernos pluripartidistas y coparticipación en el gobierno, lo que facilita la inclusión de actores (con roles y recursos diferenciales) a un proceso de evaluación.

El caso uruguayo y sus desafíos

En síntesis, comprometerse con los ODS desde el Estado como desde la sociedad, implica tomar conciencia de que ello requiere y conduce a un cambio socio-técnico, de enfoques, valores y prácticas distintas respecto a las que predominan actualmente: cambio en la redistribución de recursos; en la desigualdad de género, en formas de producción y de consumo menos extractivas y contaminantes; instituciones democráticas más sólidas, transparentes, y participativas, etc.

Este cambio invita a una concepción diferente de la evaluación de políticas públicas, y la evaluación formativa y transformadora es muy apropiada. En esta modalidad la evaluación no es una etapa aislada del resto de las etapas de las políticas públicas sino que es transversal a todas ellas; no es reservada a especialistas sino a que se basa en la diversidad de metodologías y saberes; y el error no es concebido como sinónimo de fracaso de la política, sino como un insumo para la corrección que permita encaminarse hacia los resultados esperados.

Para el caso uruguayo, entendemos que parte importante de los desafíos que se presentan para incursionar en una evaluación formativa transformadora, pasan por el diseño institucional, tanto normativo como electoral. El sistema mayoritario para acceder a la Presidencia de la República, el poco tiempo relativo entre la asunción de autoridades y las próximas instancias electorales, y el fuerte enraizamiento de los partidos políticos, lo obliga que la competencia electoral se oriente al “centro” del espectro político priorizando demandas del “votante medio” (aumento de los niveles económicos, más de empleo, más ingreso y consumo); inhibe la apuesta a toda evaluación que implica participación social, deliberación, tiempo, exposición, y que concibe al error como positivo; dificulta la colocación en agenda de un cambio socio técnico y de un tipo evaluación distinta a la orientada a mostrar resultados; y se cercena la necesaria autonomía de la sociedad civil para que esta delibere y participe de forma real y con diversidad de saberes.

Ante esto, consideramos necesario:

• Ampliar e intensificar en concientización sobre problemas del modelo sociotécnico dominante y la sensibilización sobre los ODS, como forma de provocar demandas ciudadanas relacionadas a las mismas así como reducir costos políticos de iniciativas también vinculadas.
• Trabajar pedagógicamente sobre la conciencia de equipos académicos, políticos, y sobre todo ciudadanas y ciudadanos, respecto a las fortalezas de la evaluación formativa que identifica y trabaja de forma inmediata sobre errores de implementación y permite corregir la propia gestión y el avanzar en rediseño.
• Convocar y facilitar la participación de la mayor cantidad y diversidad de colectivos, con énfasis en nichos vinculados al abordaje de injusticias sociales (organizaciones de la Sociedad Civil, emprendimientos de impacto social, movimientos sociales y comunitarios, etc) y la sostenibilidad medioambiental (movimientos sociales, clusters turísticos, empresas con responsabilidad social y ambiental, etc), que permitirá contrarrestar la lógica electoralista de los partidos políticos.