Calidad y Uso Instrumental de la Evaluación: Los Programas Sociales Federales. Periodo 2018-2023

Abstract

La evaluación es una herramienta fundamental para analizar, valorar y mejorar la acción gubernamental en distintos niveles, ya sea en políticas, programas y proyectos sociales, económicos y/o ambientales. De acuerdo con la teoría, la evaluación contribuye a la mejora de las políticas y programas. Para que esto ocurra, es imprescindible que la evaluación sea utilizada directa e indirectamente para tomar decisiones sobre los programas e intervenciones. México ha sido pionero en la evaluación de programas sociales. A partir de la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) en 2006 se han realizado más de 3,720 evaluaciones. No obstante, los avances en la calidad de estos programas son cuestionables. Esta investigación analiza la calidad y el uso instrumental de las evaluaciones externas realizadas a programas sociales federales en México entre 2018 y 2023. La hipótesis plantea que el uso instrumental está limitado por la calidad de las evaluaciones. Se adoptó una metodología mixta con un análisis escalonado, estructurado en cuatro etapas: (1) recolección y sistematización de información de las evaluaciones externas, (2) caracterización de la calidad de las evaluaciones, (3) caracterización de su utilización y (4) identificación de hallazgos y asociaciones. Para valorar la calidad, se desarrolló un marco de referencia adaptado al contexto normativo y operativo del SMyE, considerando cinco criterios: rigor metodológico y análisis de datos, claridad y estructura del informe, emisión y comunicación de recomendaciones, cumplimiento de los lineamientos del CONEVAL y buenas prácticas del equipo evaluador. De las 78 evaluaciones analizadas, 52 fueron clasificadas como de calidad media y 26 como de calidad baja, con un puntaje promedio de 39.37 sobre 72. Ninguna evaluación alcanzó la categoría de alta calidad. El criterio con mayores áreas de oportunidad fue la emisión de recomendaciones, caracterizada por problemas como falta de especificidad, redacción ambigua y ausencia de responsables claramente definidos. En cuanto al uso instrumental, solo 23 ASM fueron considerados como tal. De los 239 ASM generados por evaluaciones de calidad media, solo 15 fueron de uso instrumental, mientras que, de los 114 ASM derivados de evaluaciones de calidad baja, solo 8 lo fueron. De estos ASM, se cumplieron 11 provenientes de evaluaciones de calidad media y 7 de calidad baja, lo que evidencia que la generación de compromisos no es suficiente; su cumplimiento es esencial para garantizar la utilización efectiva. Esto demostró que la calidad de la evaluación no garantiza el uso instrumental. Como señala ampliamente la literatura, factores institucionales, políticos y de capacidad técnica en los entes evaluados parecen jugar un papel determinante. La mayoría de los ASM se centró en aspectos procedimentales, administrativos y superficiales, sin potencial para generar cambios directos en los programas, lo que sugiere que los ASM no cumplen con su propósito original. Para fomentar la calidad de las evaluaciones y facilitar su uso instrumental, se propusieron las siguientes recomendaciones: 1. Mejora de la calidad de las evaluaciones: • Fortalecimiento de la emisión de recomendaciones. • Mejorar la justificación metodológica. • Mejorar la claridad y estructura de los informes. • Fortalecer la vinculación entre los hallazgos y los ASM. • Incluir el contexto en los informes. • Profesionalización continua del personal de las UR, UE y los equipos evaluadores. • Implementación de guías metodológicas para el desarrollo de evaluaciones de calidad. 2. Fomento del uso instrumental de las evaluaciones • Fortalecimiento del Mecanismo de ASM para garantizar que solo hallazgos de calidad generen compromisos de mejora. • Creación de espacios de diálogo entre los equipos evaluadores y los tomadores de decisiones. La investigación reafirma que la calidad es necesaria, pero no suficiente para garantizar el uso instrumental de las evaluaciones en México. La práctica evaluativa requiere reformas sustanciales que incluyan una mayor flexibilidad metodológica, profesionalización continua y una cultura organizacional abierta al aprendizaje y la mejora continua, entre otras. La integración de las funciones del CONEVAL al INEGI representa una oportunidad para rediseñar el SMyE, con miras hacia fomentar el uso de las evaluaciones.