Mª Dolores Genaro Moya
Consejera del Tribunal de Cuentas y Profesora Titular de la Universidad de Granada
Antonio M. López Hernández
Presidente de la Cámara de Cuentas de Andalucía y Catedrático de la Universidad de Granada
La evaluación de programas y políticas públicas como reto de las instituciones de control externo españolas
RESUMEN: La evaluación de programas y políticas públicas es un elemento clave para la gobernanza del sector público y, sin embargo, a pesar de la existencia de cierto consenso en torno a su necesaria existencia, resulta destacable la ausencia de un marco global de actuación, tanto en el seno del sector público español como en el sistema español de control externo. Sin embargo, dada la cercanía y la coincidencia de diversos aspectos propios de la fiscalización operativa o de gestión con los de la evaluación de programas y políticas públicas, parece lógico que las Instituciones de Control Externo deban avanzar hacia fiscalizaciones que contengan un enfoque de tipo evaluador cuando realicen fiscalizaciones de eficacia, eficiencia y economía de un programa o una política pública. Para ello, resulta imprescindible el diseño de una estrategia clara de implementación basada al menos en el compromiso del órgano de gobierno, la formación y cualificación del personal, la colaboración entre el Tribunal de Cuentas y los OCEX y la comunicación con las partes interesadas. Algunas Instituciones de Control Externo de nuestro entorno europeo que tienen misiones, mandatos y estructuras similares a las instituciones españolas, cuentan con una amplia trayectoria en la realización de evaluaciones y pueden constituir un punto de referencia en la consecución de los objetivos de la mencionada estrategia.
PALABRAS CLAVE: Evaluación de programas y políticas públicas; fiscalización operativa o de gestión; eficiencia; eficacia; economía; sistema español de control externo
ABSTRACT: Evaluation of public policies and programs is a key element to help to improve good governance in the public sector and, yet, despite a wide consensus about its essential existence, there is a remarkable absence of a global framework, both in the Spanish public sector and in the Spanish external control system. Nevertheless, given the proximity and the coexistence of several aspects related to performance auditing with those which are characteristic of the evaluation of public policies and programs, it seems reasonable that Audit Institutions must move forward conducting audits based on an evaluative approach whenever they audit the effectiveness, efficiency and/or economy of a program or public policy. In order to achieve that objective, it is essential to develop a clear implementation strategy based on, at the very least, the commitment of the Board of Members; the training and qualification of the staff; the collaboration between the Spanish Court of Accounts and the Regional Audit Institutions, and the effective communication with stakeholders. Several Supreme Audit Institutions in Europe, with missions, mandates and organizations similar to those of the Spanish Audit Institutions, have great experience in conducting evaluations and therefore they can serve as a benchmark on the path to achieving the targets set out in the aforementioned strategy.
KEY WORDS: Evaluation of public policies and programs; performance Audit; efficiency; effectiveness; economy; Spanish external control system.
1.- INTRODUCCIÓN
La evaluación de programas y políticas públicas, que se ocupa de la racionalidad del gasto y del análisis de los resultados de las intervenciones públicas, es un elemento clave para la gobernanza del sector público (Garde y Ruiz, 2019). Y, a pesar del consenso existente en su necesidad, tanto en el ámbito político como académico, y de la pluralidad de actores que intervienen en su articulación, es notoria la ausencia de un marco global de actuación, las limitaciones existentes para su efectiva puesta en funcionamiento y, en definitiva, la ausencia de un proceso de evaluación sistemática institucionalizada (Garde Roca, 2006).
Efectivamente, el interés por el análisis y evaluación de las políticas públicas no comienza a aflorar en España hasta los años 80 del pasado siglo, con experiencias puntuales y muy alejadas de una plena institucionalización de la evaluación o de la cultura de evaluación (Pazos, 1996; Zapico, 1998, Esparcia y Noguera, 2000). Y, sin duda, los procesos de evaluación se han visto mejorados en los últimos años como consecuencia de los requerimientos impuestos para el acceso a los fondos comunitarios tras el ingreso de España en la Unión Europea en 1986. A este respecto, conviene recordar que, la reforma de los Fondos Estructurales en 1988 impuso obligatoriamente a nuestro país las evaluaciones sistemáticas y generalizadas, señalando que cualquier actuación financiada o cofinanciada debía someterse a una evaluación obligatoria (Muñoz et al., 2013).
Con la creación, mediante la Ley 28/2006, de 18 de julio, de la Agencia Estatal de Evaluación de la Calidad de los Servicios y de las Políticas Públicas (AEVAL), así como otras agencias e institutos públicos (como el Instituto Catalán de Evaluación de Políticas Públicas –IVALUA-, las agencias Nacional y Regionales de Evaluación de la Calidad Universitaria, las agencias especializadas en el ámbito sanitario, etc.), se intenta legitimar un marco adecuado para el desarrollo de la función de evaluación en distintos niveles de gobierno, actividades o sectores. De esta forma, se produce un cierto avance en el diseño de estructuras que, a menudo con recursos muy insuficientes, pudieran hacer posible la evaluación sistemática de las políticas públicas implementadas por los gobiernos, aunque con un modelo institucional emplazado en el marco del ejecutivo.
Especialmente significativo es el caso de la AEVAL. Durante su existencia (2007-2017) realizó 39 evaluaciones correspondientes a políticas y programas públicos en diversas áreas funcionales del sector público, así como evaluaciones externas de calidad de servicios públicos y diseños metodológicos, como las cinco guías de evaluación de políticas públicas. En opinión de Garde y Ruiz (2019: 264), su fracaso principal hay que situarlo “en el plano institucional y en el de la gobernanza e inscribirlo en un contexto de crisis y cierto retroceso de las entidades reguladoras y de gestión públicas, así como de la propia calidad democrática de las instituciones”.
En la actualidad, en España conviven una disparidad de actores que, a nivel estatal, autonómico o local, propugnan y/o participan en procesos de evaluación, tales como fundaciones o asociaciones privadas, institutos de evaluación universitarios, departamentos de inspección de servicios, órganos de control interno, Instituto de Estudios Fiscales (IEF) o Autoridad Independiente de Responsabilidad Fiscal (AIREF), sin que exista un consenso en aspectos metodológicos y de funcionamiento, ni un marco jurídico y administrativo común a nivel nacional que impulse una cultura pública de evaluación y mejore el desarrollo eficiente de la evaluación de los resultados de las actuaciones públicas.
En este contexto, las Instituciones de Control Externo –ICEX- españolas (Tribunal de Cuentas –TCu- y Órganos de Control Externo de las Comunidades Autónomas –OCEX-) han puesto en marcha una iniciativa muy prometedora que, en el marco de su mandato, persigue mejorar sus prácticas de auditoría, incorporando a sus tareas la evaluación ex post de programas y políticas públicas, ampliando y complementando, así, la actividad que ya vienen realizando a través de las auditorías operativas o de gestión. Adicionalmente, la evaluación como herramienta facilitará a las ICEX un mejor entendimiento de las políticas públicas, permitirá identificar sus objetivos, comprender su puesta en práctica y, en definitiva, explicar su éxito o fracaso.
Como señala Didier Migaud, Primer Presidente de la Cour des Comptes de Francia y Presidente del Grupo de Trabajo sobre Evaluación de Programas de la Organización Internacional de Entidades Fiscalizadoras Superiores (INTOSAI), la práctica de las evaluaciones seguramente obligará a las instituciones de fiscalización a realizar ajustes en su organización, en sus métodos y en su propia cultura, ya que, entre otras razones, la evaluación de las acciones públicas complejas requiere la aplicación de metodologías específicas, escuchar a las partes interesadas y hacer un mayor uso de conocimientos multidisciplinarios (INTOSAI, 2010).
Aunque son numerosos los retos que la evaluación de políticas públicas plantea a las ICEX, también son evidentes las razones que justifican incorporar esta herramienta a sus prácticas de auditoría. La primera es la existencia de una corriente internacional al respecto, como ha puesto de manifiesto de forma reiterada INTOSAI (2010; 2016a; 2016b; 2019b), a la que no se puede permanecer ajeno. Una segunda razón la encontramos en la exigencia y reclamación de la ciudadanía de unos servicios públicos de calidad, que resuelvan sus necesidades de forma adecuada y a un coste razonable. Para ello es fundamental un adecuado proceso de rendición de cuentas que, con transparencia, facilite a los ciudadanos información relevante y objetiva de la eficacia y de los efectos de las políticas públicas (Subirat Humet, 2005). A este respecto, las ICEX colaboran con los ciudadanos y sus órganos de representación evaluando la coherencia, eficacia, eficiencia e impacto de las intervenciones de las entidades del sector público (planes, proyectos programas, políticas, etc.). Y, un tercer argumento, conectado con el anterior, tiene que ver con la sostenibilidad de las finanzas públicas, que, para el caso español, adquiere especial significación por el alto grado de descentralización existente (Pérez Pérez, 2005) y la necesidad de una coordinación en el diseño y ejecución de las políticas públicas y, consecuentemente, de su evaluación por instituciones autónomas e independientes de los ejecutivos.
El artículo se organiza como sigue. Después de esta introducción, en la sección segunda se estudian las similitudes y diferencias entre la fiscalización operativa y la evaluación de políticas públicas, así como la posibilidad y conveniencia de su realización por parte de las Instituciones de Control Externo. La sección tercera se dedica al análisis de algunos ejemplos de evaluaciones de políticas públicas realizados por ICEX, tanto a nivel nacional como internacional. En la cuarta sección se expone la forma en que debería abordarse la institucionalización de la evaluación de políticas públicas en el sistema español de control externo, desde un planteamiento estratégico global. Finalmente se presentan las principales conclusiones del trabajo.
2.- ¿PORQUÉ EVALUAR POLÍTICAS PÚBLICAS DESDE LAS INSTITUCIONES DE CONTROL EXTERNO?
La realización de auditorías operativas o de gestión en el sector público se ha generalizado en numerosos países, especialmente en aquellos de cultura administrativa anglosajona y escandinava. De esta forma, la mayoría de las instituciones de control externo nacionales y regionales incluyen la auditoría operativa entre sus funciones, aunque lógicamente con diferencias entre países (Yetano, 2005; 2014; Torres et al., 2019; Johnsen et al., 2019). Para el caso español, la evolución del control externo ha girado, aunque con lentitud, desde un enfoque casi exclusivamente centrado en la regularidad hacia un creciente peso de la auditoría operativa. Así, de forma paulatina tanto el Tribunal de Cuentas como los OCEX han ido incrementado este tipo de fiscalizaciones en sus programas de actuación (Fernández Llera, 2009; Yetano, 2014; Genaro Moya, 2016). De hecho, el Pleno del Tribunal de Cuentas, aprobó en 2015 un Manual de Fiscalización Operativa o de Gestión[1] cuyo objetivo es “establecer recomendaciones de carácter general y compartir buenas prácticas, con la finalidad de homogeneizar los procedimientos fiscalizadores y alcanzar unos estándares de calidad en la realización de este tipo de fiscalización” y, por otra parte, algunos OCEX, como la Sindicatura de Comptes de la Comunidad de Valencia, han elaborado Guías de Fiscalización Operativa, que persiguen dar orientaciones metodológicas en la realización de este tipo de auditorías.
En la ISSAI-ES 300, párrafo 6, encontramos que, “para una ICEX, la fiscalización operativa es una revisión independiente, objetiva y fiable acerca de si las acciones, sistemas, operaciones, programas, actividades u organizaciones de la entidad fiscalizada cumplen con los principios de economía, eficiencia y eficacia. Puede extenderse a la posible detección de áreas de mejora”. En el párrafo 9, entre otras cuestiones, se añade que el objetivo de este tipo de fiscalización es contribuir, de manera constructiva, a la realización de una gestión sujeta a los mencionados principios, así como que no cuestiona las decisiones políticas ni la elaboración del poder legislativo; pero sí examina si han existido deficiencias técnicas en las leyes y los reglamentos, o si su forma de aplicación ha evitado la consecución de los objetivos propuestos.
Por lo que se refiere a la evaluación de programas y políticas públicas, INTOSAI (2010: 31-32), propone la siguiente definición:
“Una evaluación de programa es una investigación sistemática de una organización o institución, programa o proyecto, o proceso o política que tiene la intención de beneficiar a la sociedad. El propósito de una evaluación de programa puede ser mejorarlo, decidir qué acción tomar, o entender las razones de su éxito o fracaso, o sus fortalezas y debilidades para alcanzar los objetivos propuestos. Puede documentar la rendición de cuentas o aumentar su conocimiento. Las evaluaciones de programa comúnmente determinan los criterios que distinguen la buena o mala calidad, evalúan el desempeño tomando en consideración estos criterios, y sacan conclusiones válidas y confiables.
Una evaluación de programa puede ser independiente, aun cuando se realice con la participación de miembros de la comunidad, consumidores, gerentes, directores, funcionarios y demás personas que ofrezcan diferentes perspectivas. El proceso de evaluación puede incluir la identificación de objetivos y cuestiones clave, la definición de criterios de evaluación, la obtención y análisis de la información relevante, la información de los resultados y la promoción del uso eficaz de los hallazgos. Las evaluaciones son realizadas por personas con bases firmes en las áreas de diseño de investigación y metodología, conocimiento de contenidos y habilidades en diferentes especialidades, así como competentes en la teoría de la evaluación, la metodología de evaluación y el conocimiento práctico.”
Posteriormente, en el documento INTOSAI GOV 9400 “Directrices para la evaluación de las políticas públicas” (INTOSAI, 2016a)[2], se definen las principales características de la evaluación de las políticas públicas y se presentan las principales divergencias que ésta presenta con la auditoría operativa (traducida como auditoría de desempeño). Así, encontramos que, mientras en la auditoría operativa el objetivo es la evaluación de la economía, la eficiencia o la eficacia, en la evaluación de las políticas públicas lo fundamental es evaluar el impacto global a corto y largo plazo de una política (lo cual implica a menudo tener en cuenta otras políticas que tengan efectos en el mismo ámbito) y valorar la pertinencia de dicha política. En definitiva, la evaluación se percibe como una actividad más amplia que abarca diversos tipos de auditoría, entre los cuales se encuentra la auditoría operativa.
En el gráfico nº 1 se pueden diferenciar los principales elementos de la auditoría operativa respecto a los de la evaluación de políticas públicas.
Gráfico nº 1. El Proceso de Evaluación
Como se puede observar en el gráfico nº 1, tanto la evaluación de políticas públicas como la auditoría de desempeño examinan las relaciones de causalidad entre la acción pública y sus efectos. Sin embargo, existe una clara diferencia entre estos dos enfoques. Mientras la auditoría operativa examina principalmente la economía, la eficiencia y la eficacia en términos de resultados inmediatos, en la evaluación el examen de tales resultados se lleva a cabo efectuado con un alcance y ámbito temporal mayores, tomando en consideración su efecto o impacto global y socioeconómico. La distinción entre resultados e impactos es fundamental, pues la medición de los impactos a medio y largo plazo es característica de la evaluación de las políticas públicas y va más lejos que la realizada en la auditoría operativa: A este respecto, la INTOSAI GOV 9400 define como “resultados” los “efectos” que son inmediatos o directos y a corto plazo, afectando en particular a los destinatarios objetivo, mientras que los “efectos” retardados, o que se producen a medio o largo plazo, que por lo general afectan a otras personas además de a los destinarios objetivo, son definidos como “impactos”.
En el documento de INTOSAI que venimos comentando se señala, además, que la evaluación de las políticas públicas se centra, principalmente, en la pertinencia y utilidad de las mismas. Entendiendo por pertinencia la adecuación de sus objetivos a las necesidades sociales, económicas o medioambientales a las que se dirige dicha política, mientras que la utilidad procura dar respuesta a la pregunta de si la política mereció la pena, teniendo en cuenta todos sus efectos directos (resultados) e indirectos (impactos), incluso los no previstos o los involuntarios, así como, por otra parte, las necesidades que la política tenía por objeto satisfacer (INTOSAI, 2016a: 4-5).
En cualquier caso, como reconoce la INTOSAI GOV 9400, ambos enfoques son complementarios y constituyen dos componentes decisivos para evaluar la utilidad de una política. La medición de sus efectos permite dictaminar sobre la eficiencia y eficacia de la política evaluada, aspectos éstos que son componentes esenciales de la auditoría operativa. Sin embargo, la valoración de la pertinencia y utilidad de una política, así como la formulación de recomendaciones encaminadas a mejorarla (o replantearla), características principales de la evaluación de políticas públicas, no es práctica común, ni forma parte de los objetivos principales de la auditoría operativa.
Otra diferencia que se destaca en el documento de INTOSAI entre la auditoría operativa y la evaluación se refiera a la importancia que se le da a ésta a la colaboración con las partes interesadas (stakeholders), ya que los representantes de las partes interesadas acompañan a la entidad evaluadora de las políticas públicas durante el proceso de evaluación. Deben adoptar una actitud constructiva hacia el proceso de evaluación, pues el objetivo principal de la evaluación no es revelar y corregir disfunciones, sino ayudar a los responsables de la toma de decisiones a satisfacer las necesidades sociales y políticas (INTOSAI, 2016a: 11-12).
De otro lado, el documento de INTOSAI hace una interesante reflexión sobre los límites del mandato de las instituciones de fiscalización en su papel de evaluadores de las políticas públicas, planteando la cuestión de hasta qué punto la valoración que se hace sobre la utilidad de una política puede llevarlas a entrar en el debate político. Concluye que, estas instituciones, presentan un estudio independiente sobre los objetivos e impactos de la política evaluada. De esta forma, de una parte, dan la posibilidad a los ciudadanos de formarse su propia opinión sobre las acciones públicas, y por otra, ayudan a los legisladores a tomar decisiones sobre si continuar, modificar o abandonar una política sobre la base de evidencias sólidas y específicas (y no basándose en simples intuiciones o en encuestas de opinión). Pero, añade, esta contribución al debate democrático es neutral y está basada en hechos, proporcionando una reflexión sobre una determinada política a través de análisis y recomendaciones de carácter objetivo (INTOSAI, 2016a: 5)
Finalmente, haremos referencia a las consideraciones que lleva a cabo el documento de la INTOSAI cuando se refiere al ámbito institucional, en el que aborda el origen de la actuación evaluadora. Una institución fiscalizadora puede iniciar la evaluación de una política pública normalmente por propia iniciativa (evaluación voluntaria) o a petición de una autoridad pública (Parlamento o Ejecutivo). En este segundo caso, aunque se suele tener en cuenta la opinión de las partes interesadas a la hora de planificar las evaluaciones, corresponde únicamente a la institución fiscalizadora decidir el alcance y el proceso de sus evaluaciones, y es ella quien tiene la última palabra en el desarrollo de la evaluación y en la formulación de las conclusiones. En aquellas situaciones en las que la administración pública evalúa sus propias políticas y programas, el papel de la institución de fiscalización puede consistir entonces en examinar la evaluación realizada por los ministerios y organismos públicos en términos de exhaustividad, validez y enfoque. Dicho examen puede adoptar la forma de una auditoría de la evaluación de los resultados obtenidos o de una misión de asesoramiento para los ministerios y organismos mencionados (INTOSAI, 2016a: 6).
Una vez establecida la cercanía entre la fiscalización operativa o de gestión y la evaluación de políticas públicas y la posibilidad y conveniencia de su realización por parte de las instituciones que realizan el control externo del gasto público, resulta conveniente comprobar en qué medida estas instituciones realizan evaluaciones de políticas y de programas públicos.
3.- ALGUNOS EJEMPLOS DE EVALUACIÓN DE POLITICAS PÚBLICAS[3] EN LAS INSTITUCIONES DE CONTROL EXTERNO
Tratar de realizar un análisis de las evaluaciones de políticas y programas públicos en las Instituciones de Control Externo no es tarea fácil por la difusa línea que separa un informe de evaluación de uno de fiscalización operativa o de gestión centrado en un programa o actuación pública, tal y como se ha puesto de manifiesto en el apartado anterior. De hecho, una encuesta realizada por la Cour des Comptes francesa en el seno del Grupo de Trabajo de Evaluación de Políticas Públicas de INTOSAI[4], un 64 por 100 de las 14 Entidades Fiscalizadoras Superiores (EFS) pertenecientes al Grupo que contestaron, no llevan a cabo evaluaciones en el sentido establecido en la INTOSAI GOV 9400 sino que realizan auditorías operativas o de gestión con un enfoque de evaluación. Por otro lado, tan solo el 29 % realizan evaluaciones de programas y políticas públicas tal y como se definen en la INTOSAI GOV 9400.
En todo caso, en este apartado tratamos de mostrar sintéticamente el heterogéneo panorama que se deriva de un análisis, tanto a nivel nacional como internacional, de evaluaciones o de auditorías operativas con enfoque evaluador, realizadas por algunas ICEX recientemente.
En lo que respecta al Sistema español de Control Externo, la experiencia existente se limita fundamentalmente a fiscalizaciones operativas o de gestión en las que, al realizarse un análisis del cumplimiento de los principios de buena gestión de los fondos públicos -eficacia, eficiencia y/o economía-, se efectúa, en ocasiones, una valoración que coincidiría parcialmente con la evaluación de un programa o política pública. Por ello, siempre que en dichas fiscalizaciones se realice un análisis no tanto sobre una entidad pública y sus procedimientos, sino más bien sobre una actuación derivada de una política pública, podría llegar a plantearse con carácter previo al inicio de la fiscalización, si es posible adoptar un enfoque propio de una evaluación, sin incumplir por ello el mandato del órgano correspondiente, otorgándole un valor añadido al procedimiento fiscalizador.
En el caso del Tribunal de Cuentas de España podemos encontrar ejemplos, que constituyen fiscalizaciones operativas o de gestión, cuyos objetivos y recomendaciones se podrían encuadrar en el seno de una evaluación, tanto por el ámbito subjetivo como por el enfoque adoptado.
Así, por ejemplo, entre las fiscalizaciones aprobadas por el Pleno del Tribunal de Cuentas en 2019 podemos mencionar las dos siguientes:
• “Informe de fiscalización del Programa de Activación para el Empleo.” El objetivo de esta fiscalización es determinar, respecto del Programa de Activación para el Empleo (PAE), su eficacia, en función del grado de inserción laboral o de mejora de la empleabilidad de sus beneficiarios; su eficiencia, en función de los recursos económicos utilizados para la asignación de tutores y para la realización de itinerarios personalizados de empleo en relación a los resultados obtenidos en la mejora de la empleabilidad de los beneficiarios del programa; y las causas del reducido grado de ejecución del Plan. Las recomendaciones se dirigieron al Ministerio de Trabajo, Seguridad Social y Migraciones y al SEPE y entre ellas deben destacarse la necesidad de mejorar la planificación de los distintos programas de ayudas que gestione el SEPE; de reflexionar sobre la idoneidad de implementar distintos programas sucesivos de carácter temporal en relación con la acción protectora de los desempleados de larga duración, y sobre la eficacia y eficiencia de las políticas activas y pasivas de empleo.
• “Informe de fiscalización de las actuaciones en materia medioambiental llevadas a cabo por ayuntamientos de más de 10.000 habitantes de las comunidades autónomas sin Órgano de Control Externo propio.” En la fiscalización se realiza un análisis de las medidas adoptadas y se examina la ejecución de los programas presupuestarios destinados a la protección y mejora del medio ambiente y de aquellos otros con posibles efectos en el mismo, recomendándose a las entidades locales que establezcan como prioridad resolver los problemas medioambientales y responder al cambio climático de forma coordinada con los agentes sociales y las administraciones implicadas, que asignen mayores recursos económicos y humanos a las políticas medioambientales y que se establezcan objetivos e indicadores presupuestarios para el seguimiento de los resultados de los gastos ejecutados en protección del medio ambiente.
También en el ámbito de los OCEX, encontramos diversos ejemplos de fiscalizaciones operativas que realizan un análisis de eficacia, eficiencia y/o economía de un programa o de una actuación concreta implementada por el gobierno autonómico. Algunos de los más recientes serían los siguientes:
• “La eficacia de la gestión de la Renta Garantizada de Ciudadanía en Castilla y León.” En esta fiscalización se analiza una medida de carácter social como es la Renta Garantizada de Ciudadanía (RGC) tratando de determinar su eficacia tanto en el reconocimiento de la prestación como durante el proceso de seguimiento de la misma para detectar y evitar situaciones de fraude, así como las actuaciones del órgano gestor encaminadas a que los perceptores de la RGC salgan de su situación de exclusión y se integren en el mercado de trabajo. Las principales deficiencias en la eficacia de las actuaciones se derivan de la complejidad del procedimiento y la diversidad de órganos que participan en la gestión que dificultan las comprobaciones a realizar, por lo que se recomienda la implementación de un sistema de control y evaluación basado en indicadores e informes de evaluación de resultados, especialmente los que determinan el grado de incorporación de los beneficiarios al mercado de trabajo.
• “Fiscalización del Plan Andaluz de Atención al Ictus (2011-2014) y Seguimiento de Recomendaciones del Informe Proceso Asistencial Integrado Cáncer de Mama (2009).” En este informe, la Cámara de Cuentas de Andalucía evalúa, en relación con el Plan Andaluz de Atención al Ictus, la eficacia, la eficiencia y la economía del mismo, junto con el cumplimiento de los criterios de accesibilidad, equidad y calidad del Sistema Sanitario Público de Andalucía en la implantación, cumplimiento y seguimiento tanto del Proceso Asistencial como del Plan en el que se integra. La Cámara recomienda a la Consejería de Salud, impulsar la puesta en marcha de la red asistencial configurada en el Plan Andaluz de Atención al Ictus, garantizando a todos los usuarios, el acceso a una atención asistencial completa y de calidad y disminuyendo la mortalidad y el nivel de dependencia del paciente tras el ictus. Asimismo, recomienda favorecer la comunicación entre los profesionales de atención hospitalaria y atención primaria; posibilitar el acceso a una historia clínica única y que se incluyan objetivos motivadores, medibles y alcanzables tanto en el Plan como en el PAI y en el Contrato Programa.
En definitiva, las ICEX están llevando a cabo fiscalizaciones en las que analizan la eficacia, eficiencia y/o economía de distinto tipo de actuaciones de políticas públicas que, pudieran considerarse evaluaciones, excepto por el hecho de que el enfoque debe evolucionar hacia un mayor enfoque evaluador, acercándose a lo que establece la INTOSAI GOV 9400, por ejemplo, examinando los resultados acerca de la eficacia, eficiencia y economía “con un alcance y ámbito temporal mayores, tomando en consideración su impacto global y socioeconómico.” Debe tenerse en cuenta que los dos enfoques –fiscalización operativa y evaluación- son “complementarios y constituyen dos componentes decisivos para evaluar la utilidad de una política pública.”
El análisis de experiencias internacionales en el ámbito de las EFS podría ser relevante para buscar puntos en común y tratar de tener una cierta perspectiva, con objeto de plantearse qué debe cambiarse y/o realizarse para poder llevar a cabo evaluaciones en las ICEX. Esta es precisamente la cuestión que trataremos de abordar en el siguiente apartado.
3.1. Ejemplos de Evaluación de Políticas Públicas en Entidades Fiscalizadoras Superiores
En el ámbito internacional el panorama es muy heterogéneo, de forma que podemos encontrar, por un lado, EFS que realizan evaluaciones de políticas y programas públicos desde hace décadas y, por otro, aquellas que tienen un recorrido más breve en este ámbito, pero parecen determinadas a otorgarle una cierta prioridad. Así, en el Atlas Internacional de Evaluación que elaboran Jacob et al. (2015), países como Australia, Finlandia o Suiza obtuvieron la máxima puntuación en el indicador correspondiente a la realización de actividades de evaluación por la EFS nacional. En el extremo opuesto se encuentran Italia y España, con el indicador más bajo. Los expertos consultados en la investigación para el diseño del Atlas atribuyen esta situación al grado de desarrollo histórico de la auditoría operativa o de gestión, ya que aquellas EFS con mayor tradición en la realización de estas auditorías, participaron en su momento en los debates nacionales sobre evaluación.
Teniendo en cuenta esta diversidad, en el seno de INTOSAI se constituyó en 1992 un Grupo de Trabajo[5] para compartir conocimientos e intercambiar buenas prácticas en la evaluación de programas y con el objetivo de facilitar la implementación de las evaluaciones por parte de las EFS. Como resultado de la actividad del Grupo de Trabajo, en el XXII Congreso de INCOSAI celebrado en 2016, se aprobó la INTOSAI GOV 9400 -mencionada anteriormente-, con el objetivo de identificar las principales características y métodos de la Evaluación de Políticas Públicas teniendo en cuenta que dicha evaluación plantea una serie de riesgos derivados de la proximidad al ámbito político, de la utilización de métodos muy diferentes a los empleados por las EFS y del uso de técnicas que no siempre son consistentes[6].
El siguiente análisis de ejemplos de EFS que realizan evaluaciones de programas o de políticas públicas, puede ser muy ilustrativo de las prioridades, enfoque y temática de las evaluaciones, junto con la diversidad de los mandatos de las instituciones. De hecho, encontramos EFS de una diversidad de países, que cuentan con mandatos diferentes, en los que la evaluación de políticas públicas ha ido cobrando una relevancia creciente en la labor de la entidad hasta constituir uno de los pilares de su misión y de su actividad fiscalizadora. En cualquier caso, tal y como indica INTOSAI (2010), “las EFS no necesitan un mandato especial para realizar la evaluación de programas.” En efecto, de acuerdo con la INTOSAI-GUID 3910: “En numerosas EFS, el mandato relativo a la auditoría operativa o de gestión encuentra su límite en la revisión de los fundamentos políticos de los programas del gobierno. En estos casos, la auditoría operativa no pone en cuestión los objetivos de la política, sino que comprenderá evaluaciones de las actuaciones realizadas para diseñar, implementar o evaluar los resultados de dichas políticas, y puede implicar una evaluación de la adecuación de la información que se ha empleado para adoptar las decisiones políticas[7].”
Oficina Nacional de Auditoría de Finlandia
La Oficina Nacional de Auditoría de Finlandia (NAOF) es una autoridad independiente que fiscaliza las finanzas de la Administración del Estado, evalúa la política fiscal y supervisa la financiación de las campañas electorales y de los partidos políticos.
En relación con la evaluación de la política fiscal, la NAOF persigue el objetivo de asegurar unas finanzas públicas estables y sostenibles, junto a unas normas de política fiscal claras y transparentes. En este sentido evalúa y valora el diseño y la implantación del Plan Fiscal Gubernamental, el cumplimiento del Pacto de Estabilidad y Crecimiento y la aplicabilidad de la normativa europea en Finlandia, el cumplimiento del objetivo presupuestario a medio plazo (MTO) y su mecanismo de corrección y la credibilidad de las predicciones macroeconómicas empleadas como base de la política fiscal y la fiabilidad de dichas predicciones. Así, la Oficina se ha constituido en un organismo independiente de evaluación de la política fiscal nacional recogida en el Pacto de Estabilidad de la Unión Europea.
Los informes de evaluación se centran en temas relacionados con esta parcela del mandato de la NAOF, como es el caso de los siguientes ejemplos de informes publicados en 2018:
• “Efectos económicos de los cambios en el sistema impositivo y los impuestos”, cuyo objetivo fue examinar si los análisis de impacto de las reformas realizadas en la normativa tributaria fueron precisos y se elaboraron sobre la base de una información integral. Las recomendaciones se dirigieron a mejorar la forma de considerar y describir los efectos de los cambios tributarios en el sistema impositivo en su conjunto, a que el Gobierno presente en su programa todos los objetivos de las reformas impositivas y sus efectos, así como las consecuencias (externalidades) que dichas reformas tendrán, por ejemplo, en las entidades locales. Asimismo, se considera imperativa la evaluación del conjunto del sistema tributario de forma periódica, así como el análisis de la política fiscal futura.
• “Informe de Evaluación de la Política Fiscal.” Estos informes son periódicos y están dirigidos a determinar si el Plan Fiscal del Gobierno se ha preparado de acuerdo con la normativa; el cumplimiento de los objetivos establecidos por el Gobierno para las cuentas públicas, el cumplimiento de los límites de gasto y del Pacto de Estabilidad y Crecimiento del año evaluado, y la fiabilidad de las predicciones del Ministerio de Hacienda que constituyen la base del Plan Fiscal del Gobierno para el año evaluado.
Como se puede comprobar, se trata de evaluaciones y análisis más cercanos a la misión encomendada en España a la Autoridad Independiente de Responsabilidad Fiscal[8], que la evaluación de una política o programa público concreto, en la medida en que en todo momento se trata de evaluar la política fiscal total o parcialmente, la sostenibilidad de las finanzas públicas o la fiabilidad de las predicciones del gobierno. De hecho, la NAOF forma parte de la Red de Instituciones Fiscales Independientes de la UE junto con el Consejo de Política Económica de Finlandia.
Junto a la evaluación de la política fiscal, la NAOF realiza numerosos informes de fiscalización operativa en los que, junto a la determinación del cumplimiento de los principios de eficacia, eficiencia y economía, puede incluir análisis de impacto, evaluación de la planificación, así como el análisis de las estructuras de organización, de gestión o dirección de determinados programas y que, por tanto, se pueden encuadrar en el ámbito de la evaluación. Las materias son muy diversas y abarcan desde la política medioambiental (e.g. “Promoviendo el desarrollo sostenible” o “Preparación de la Estrategia Finlandesa de Bioeconomía”), a la educación (e.g. “Digitalización de los entornos de enseñanza y aprendizaje en la educación”), la sanidad (e.g. “Teniendo en cuenta a los hijos de los pacientes de los servicios de salud mental para adultos”) o la utilización de las TIC en los servicios públicos (e.g. “Empleando la digitalización en los procedimientos administrativos obligatorios para comenzar una actividad empresarial” y “Datos abiertos y utilización de la información gubernamental”).
Los objetivos y recomendaciones de dos de estos informes son los siguientes:
• “Digitalización de los entornos de enseñanza y aprendizaje en la educación.” En esta fiscalización se evaluó qué tipo de competencias tienen los diferentes actores en la dirección y gestión para promover una digitalización de apoyo al aprendizaje, que funcione correctamente, equilibrada y en proceso de implantación. Las recomendaciones se dirigieron al Ministro de Educación y Cultura y a la Agencia Nacional Educativa de Finlandia para que clarificasen las responsabilidades y obligaciones de los actores participantes en el proceso de digitalización, así como los modelos operativos. Para ello, debían a su vez, desarrollar tanto la producción de nueva información relacionada con la digitalización y la recogida, utilización y evaluación de la información y el conocimiento existente, colaborando para ello con las universidades y la Asociación de las Autoridades Locales y Regionales Finlandesas.
• “Formación para la integración.” El objetivo de la fiscalización fue evaluar la eficacia de la formación para la integración, desde la perspectiva de la eficiencia económica y el alcance de la formación, así como desde la perspectiva de con qué grado de eficacia los inmigrantes fueron dirigidos hacia la formación, sobre todo en relación a la adquisición de las competencias básicas del idioma. En el informe se recomienda al Ministro de Empleo y Asuntos Económicos que desarrolle el seguimiento de la eficacia de la formación para la integración para asegurar que la información recogida con los sistemas de carácter nacional se emplea mejor en la planificación y la coordinación de la formación y en la determinación de su eficacia. Asimismo, se le recomienda que encargue una evaluación sobre la prácticas de formación para la integración y otras medidas de integración en el empleo y dirigidas a lograr un conocimiento suficiente de la lengua y realizar exámenes sobre el conocimiento de la lengua por los inmigrantes para asegurarse que la administración tiene a su disposición información comparable sobre la eficacia de diferentes proveedores de formación lingüística en el logro por los inmigrantes de los conocimientos propios del nivel de idioma requerido.
Cour des Comptes de Francia
El Tribunal de Cuentas nacional de Francia (Cour des Comptes), con el apoyo de las diecisiete Salas regionales y territoriales, se encarga de:
– la evaluación de las cuentas públicas;
– las auditorías de conformidad y de gestión de todas las organizaciones públicas y los fondos públicos, o sus equivalentes;
– la certificación de las cuentas del Estado y de la Seguridad Social;
– la evaluación de las políticas públicas.
En este caso, como puede comprobarse, se establece claramente que la evaluación de las políticas públicas forma parte de la misión de la Cour des Comptes. Los siguientes ejemplos de informes publicados en 2019, en los que se evalúan políticas o, más bien, programas públicos, ponen de manifiesto que la evaluación constituye una parte relevante del enfoque de las fiscalizaciones que realiza el Tribunal:
• “ESCUELA Y DEPORTE. Logrando una ambición”. En este informe se evalúa un programa concreto que combina la enseñanza obligatoria de educación física con deportes con carácter opcional. Concluye recomendando al Ministerio de Educación, medidas dirigidas a fortalecer la enseñanza obligatoria de Educación Física, revitalizar la organización de la práctica deportiva en los colegios e institutos, facilitar la coordinación entre la escuela y el deporte, y proporcionar a esta política objetivos verificables.
• “EL SERVICIO DIGITAL PÚBLICO PARA LA EDUCACIÓN. Un concepto que carece de estrategia, cuya implantación no ha finalizado.” En este informe se realiza una evaluación de la forma en la que se ha implementado este servicio público en el seno del sistema escolar y examina si han creado, como mínimo, las condiciones para un cambio profundo del sistema, incluso para la transformación del mismo. La Cour des Comptes francesa recomienda definir una estrategia para la implementación de la tecnología digital dentro del sistema nacional de educación y asegurar un mejor control de las herramientas operativas del servicio público.
• “Programa de movilidad internacional de estudiantes.” En la fiscalización se realiza un análisis exhaustivo de la eficacia de los medios empleados en los diferentes mecanismos de movilidad, con el objetivo de identificar las condiciones que permitirán cumplir los objetivos fijados. Las recomendaciones se dirigen a mejorar el conocimiento, la promoción, la gestión, el liderazgo y, en definitiva, la efectividad del sistema de movilidad internacional de estudiantes.
• “Integración de los desempleados a través de la actividad económica.” En este informe la Cour des Comptes recomienda mejorar la evaluación y el desempeño de las estructuras; revisar el establecimiento del nivel de las ayudas según el puesto de trabajo de inserción sin desequilibrar las estructuras del plan económico, ni disminuir la calidad de las acciones de acompañamiento; desarrollar el acceso a la formación durante el itinerario de inserción, con el objetivo, en particular, de asegurar un mayor dominio de los conocimientos de base; mejorar las herramientas de orientación, de coordinación y de acompañamiento de las dinámicas territoriales de inserción en la actividad económica y reducir los procedimientos y las prácticas administrativas.
Bundesrechnungshof de Alemania
La Bundesrechnungshof de Alemania fiscaliza todos los ingresos y gastos federales, así como los fondos de representación y los gastos reservados, y decide si el presupuesto federal se ha gestionado correcta y eficientemente. El Presidente de la EFS de Alemania ocupa el cargo de Comisario Federal de Gestión, formulando recomendaciones y presentando informes y dictámenes destinados a fomentar la eficiencia de la administración federal.
En respuesta a este rol específico del Presidente de la EFS, se realizan informes dirigidos al análisis de la eficiencia como es el caso de “Proporcionar asesoramiento más intensivo sobre colocaciones resulta ineficiente.” En esta fiscalización se analizó la eficiencia de una medida adoptada por la Agencia Federal de Empleo por la que se asignó personal adicional a los servicios de colocación para que dieran mejor soporte a determinados grupos de desempleados. La conclusión a la que llegó la EFS fue que la medida fue ineficiente puesto que la financiación prevista para este incremento en los gastos de personal de la Agencia, no fueron suficientes para cubrirlos, tal y como se había planificado, con el ahorro resultado de la disminución de subsidios de desempleo y con otros ingresos. Por ello se recomendó a la Agencia no asignar personal adicional a este tipo de tareas en el caso de no ser capaz de asegurar que los costes serían cubiertos por una cuantía equivalente de ahorro a largo plazo.
Además, podemos encontrar informes especiales como el dedicado a evaluar la “Coordinación y la dirección para la implementación de la transición energética por el Ministerio Federal de Asuntos Económicos y Energéticos”, en el que se analizó el cambio para la utilización de las energías limpias. En el proceso de transición –liderado por el Ministerio de Asuntos Económicos y Energéticos- se debían coordinar los esfuerzos de varias direcciones generales y departamentos del gobierno federal y de todos los estados federados. La EFS recomienda al Ministerio desempeñar un papel de liderazgo efectivo para determinar sus funciones de coordinación y cómo estas pueden ser organizadas de forma apropiada; qué organismo o unidad de coordinación con responsabilidad general debe crearse o asignarse; o si se establecen estructuras de coordinación tanto entre departamentos gubernamentales como entre los gobiernos federal y estatales.
La Oficina Federal de Auditoría de Suiza
La Oficina Federal de Auditoría de Suiza (SFAO) lleva a cabo supervisión financiera de acuerdo con los criterios de regularidad, legalidad y eficiencia económica. Asimismo, realiza auditorías de gestión en las que determina si los recursos se utilizan de forma económica; si existe un equilibrio adecuado entre los costes y los beneficios y si los resultados han tenido el impacto esperado.
En este caso, la EFS suiza sí que indica expresamente al inicio de los informes si se trata de una evaluación o de una auditoría, como en el caso de la evaluación: “Sustainability of innovation projects (research and development projects) – Commission for Technology and Innovation.” El objetivo de esta evaluación fue averiguar qué había pasado con los 81 proyectos financiados por la Comisión para la Tecnología y la Innovación (CTI), que fueron objeto de la evaluación y a qué efectos sostenibles había llevado la financiación concedida. La SFAO recomendó que la CTI diseñara y desarrollara un sistema riguroso de seguimiento de impacto para los ayudas a proyectos de I+D, por el valor añadido que supondría en términos de transparencia y rendición de cuentas de los proyectos.
Tribunal de Cuentas de la Unión Europea
El Tribunal de Cuentas Europeo examina todos los ingresos y gastos de la Unión Europea o de los organismos, oficinas o agencias establecidos por la UE. Evalúa la buena gestión de las finanzas de la UE y si todos los ingresos recibidos y los gastos desembolsados se han efectuado conforme a la legislación aplicable. El Tribunal facilita al Parlamento Europeo y al Consejo una declaración anual de fiabilidad sobre la legalidad y regularidad del uso de los fondos de la UE. También informa sobre las posibles irregularidades detectadas.
Algunos ejemplos recientes de fiscalizaciones con enfoque de evaluación son los siguientes:
• “Medidas de la UE en el ámbito de la asistencia sanitaria transfronteriza: ambiciones importantes, pero se requiere una mejor gestión.” El objetivo de esta fiscalización fue contestar a la siguiente pregunta: ¿Aportan beneficios para los pacientes las medidas de la UE en el ámbito de la asistencia sanitaria transfronteriza? Las recomendaciones ponen atención en actuaciones dirigidas a respaldar el trabajo de los puntos nacionales de contacto, en particular, en lo que respecta a una mejor comunicación de la relación entre los itinerarios previstos en la Directiva sobre asistencia sanitaria transfronteriza y en el Reglamento sobre la coordinación de los sistemas de Seguridad Social; a evaluar los resultados logrados en los intercambios transfronterizos de datos sanitarios a través de la infraestructura sanitaria electrónica de la UE, así como los resultados de la estrategia sobre enfermedades raras, para decidir si se necesita actualizar, adaptar o sustituir dicha estrategia y a establecer modos de abordar los desafíos a los que se enfrentan las redes europeas de referencia.
• “Los pasajeros de la UE disfrutan de plenos derechos, pero todavía tienen que luchar por hacerlos respetar.” En este informe se analiza, una vez transcurridos casi quince años desde que entró en vigor el primer reglamento sobre los derechos de los pasajeros aéreos, la situación actual de aplicación del marco de dichos derechos y se recomienda llevar a cabo un análisis de las diferencias entre los actuales reglamentos sobre derechos de los pasajeros, para determinar las mejores prácticas; abordar las cuestiones sobre modificación de los reglamentos existentes, estableciendo unas normas mínimas de asistencia y atención, así como reducir el número de excepciones que limitan la aplicación del reglamento; otorgar las competencias necesarias a los organismos nacionales competentes para que pudieran hacer un seguimiento de las políticas de asistencia, atención, información y transporte alternativo de las empresas de transporte, así como sancionar a las empresas de transporte por no ofrecer asistencia, atención e información.
• “Asilo, reubicación y retorno de migrantes: momento de intensificar las actuaciones para abordar las disparidades entre los objetivos y los resultados.” En esta fiscalización, el Tribunal de Cuentas Europeo evaluó si las medidas de apoyo financiadas por la Unión Europea para Grecia e Italia han logrado sus objetivos y si los procedimientos de asilo y retorno han sido eficaces y rápidos. También evaluó si los programas temporales de reubicación de emergencia han logrado sus metas. Las recomendaciones se dirigen a la Comisión y a las agencias implicadas, para que empleen las enseñanzas extraídas para cualquier posible mecanismo voluntario de reubicación en el futuro; para que refuercen la gestión de la ayuda de emergencia, los sistemas de asilo y los procedimientos de retorno; y para que mejoren el apoyo de la Oficina Europea de Apoyo al Asilo a los procedimientos de asilo y ajusten la ayuda al retorno de Frontex y el despliegue de expertos.
También fuera del ámbito de EUROSAI encontramos numerosos países cuyas EFS dedican gran parte de sus fiscalizaciones a realizar evaluaciones de políticas o programas públicos. Este es el caso de las EFS de Australia, India y EEUU, entre otras, siendo este último el ejemplo más representativo debido a la prolongada trayectoria de la EFS estadounidense en la realización de dichas evaluaciones.
Government Accountability Office de EEUU
La Government Accountability Office de EEUU (GAO) examina la forma en que se gastan los dólares del contribuyente y asesora a los legisladores y a los responsables de organismos del Ejecutivo sobre mejoras en los métodos de trabajo del Gobierno. La GAO existe para apoyar al Congreso en el cumplimiento de sus responsabilidades constitucionales, y para ayudar a mejorar el rendimiento y a garantizar la rendición de cuentas del Gobierno federal en beneficio del pueblo estadounidense.
En concreto, viene realizando evaluaciones de políticas y programas públicos desde los años 60, si bien el enfoque de las mismas se ha ampliado progresivamente y desde 2004 realizan evaluaciones dirigidas a la supervisión (oversight), al análisis en profundidad (insight) y a la previsión (foresight).
En la actualidad alrededor del 90% de los informes de la GAO abordan evaluaciones de programas o políticas públicos, como en los siguientes ejemplos:
• “ESTUDIANTES CON DISCAPACIDAD: La información adicional facilitada por el Ministerio de Educación (US Department of Education) podría ayudar a los Estados a proporcionar servicios de transición pre-empleo.” En este informe la GAO examina los pasos que dieron los Estados para implementar los servicios de transición pre-empleo así como los retos que encontraron y como el Ministerio de Educación los ha abordado y concluye recomendando a dicho Ministerio que establezca un calendario para proporcionar información adicional sobre los gastos autorizados, que realice actuaciones adicionales para asistir a los Estados que no hayan actualizado y finalizado sus acuerdos inter-agencias y desarrollar un plan escrito con calendarios específicos y actividades para identificar y diseminar mejores prácticas.
• “AUTOMATIZACIÓN DE LA MANO DE OBRA: Se necesitan mejores datos para evaluar y planificar los efectos de las Nuevas Tecnologías sobre el empleo.” Esta evaluación de la GAO emplea distintos tipos de metodología para analizar los siguientes extremos: el estado del conocimiento acerca de cómo afecta a la mano de obra de EEUU la adopción de nuevas tecnologías, los esfuerzos que realiza el Gobierno federal para hacer un seguimiento de estos efectos; las consideraciones que llevaron a ciertas empresas a emplear nuevas tecnologías y los riesgos a los que se enfrentaron y la forma en que la adopción de dichas tecnologías ha afectado a la mano de obra de las empresas seleccionadas. La GAO recomienda al Ministerio de Trabajo (US Department of Labor) que desarrolle vías para emplear los datos existentes o nuevos para identificar y realizar un seguimiento sistemático de los efectos de las nuevas tecnologías en la mano de obra.
En síntesis, el análisis de algunos ejemplos de evaluaciones de políticas públicas realizados por ICEX, tanto a nivel nacional como internacional, muestran un heterogéneo panorama en el que el nivel de implicación y compromiso de la institución es muy diverso, como lo es también el enfoque adoptado y el grado de utilización de metodologías propias de las ciencias sociales junto con las características de la auditoría operativa o de gestión.
4.- ¿CÓMO INSTITUCIONALIZAR LA EVALUACIÓN DE POLITICAS PÚBLICAS EN LAS ICEX?
De acuerdo con lo expuesto hasta el momento, podemos afirmar que una ICEX no necesita un mandato especial para realizar evaluación de políticas públicas; que no existe un único modelo o una única forma de abordar la realización de evaluaciones; y que se necesita una estrategia a nivel institucional para incorporar la evaluación de políticas públicas como parte de la labor fiscalizadora de la ICEX, especialmente si se quiere seguir el enfoque evaluador establecido en la INTOSAI GOV 9400. Por tanto, parece oportuno reflexionar sobre la forma en que debería abordarse la institucionalización de la evaluación de políticas públicas en el sistema español de control externo, desde un planteamiento estratégico global (ver gráfico nº 2).
En primer lugar, como ocurre en cualquier proceso que implique ciertos cambios en una organización, se requiere el compromiso del máximo órgano de gobierno de la institución, generalmente el Pleno. Este compromiso debe establecerse a largo plazo por las siguientes razones:
• Los cambios internos organizativos que conlleva podrían ser relevantes;
• Deben propiciarse cambios en la cultura de la institución venciendo resistencias al cambio y desarrollando cierta tolerancia a formas de trabajo diferentes a las “tradicionales”;
• Puede requerirse la modificación de normas y de procedimientos internos; y
• Se necesitará una planificación, un camino a seguir en el seno de la institución, pero también frente al exterior, frente a los stakeholders o partes interesadas. En este sentido, de acuerdo con la encuesta realizada por la EFS francesa mencionada anteriormente, solo un tercio de las EFS que respondieron tenían una unidad dedicada específicamente a la realización de evaluaciones, si bien sí existía un cierto consenso sobre la oportunidad de contar con unidades y/o personal especializado en la realización de evaluaciones ya que estas difieren en diversos aspectos de las fiscalizaciones tradicionales realizadas por las ICEX.
Por lo tanto, parece imprescindible que la formación y cualificación del personal implicado en evaluación sea uno de los pilares de la estrategia que debe trazarse. El proceso de formación debe comenzar, lógicamente, con una formación más teórica sobre el diseño, la planificación y la realización de una evaluación, el enfoque establecido en la INTOSAI GOV 9400 y las diversas metodologías que pueden ser empleadas en una evaluación de políticas públicas. Pero tanto o más importante que proporcionar una formación teórica, es proporcionar formación sobre nuevos métodos de trabajo; sobre nuevos enfoques al abordar la fiscalización o evaluación; sobre cómo buscar datos o información útil procedentes de fuentes “no tradicionales” y cómo trabajar con ellos; cómo desarrollar métodos para el análisis cualitativo y cuantitativo. Lograr contar con personal formado y especializado, podría llevar tiempo, pero hemos de tener en cuenta que la evaluación de políticas públicas y la fiscalización operativa tienen ciertos ámbitos de confluencia -tal y como se ha puesto de manifiesto en el epígrafe 2-, por lo que el personal de la institución con mayor experiencia en fiscalización de eficiencia y de eficacia podría formarse en un periodo no tan amplio y liderar, a su vez, en el seno de la organización la puesta en marcha de la evaluación, acumulando know-how que pueda trasladar en términos prácticos a otros colegas interesados en realizar evaluación de políticas públicas.
En lo que respecta a la formación, resulta fundamental la colaboración entre el Tribunal de Cuentas y los OCEX, aunando esfuerzos que permitan lograr “economías de escala” y, sobre todo, plantear una estrategia conjunta que pudiera extenderse también a otros ámbitos relacionados. Así, por ejemplo, la cooperación es fundamental para compartir conocimientos y experiencia y para el diseño de herramientas comunes, tales como guías prácticas, manuales, metodologías o foros, entre otras iniciativas. En este contexto, el Tribunal de Cuentas y los OCEX han puesto en marcha una iniciativa para la formación en evaluación de políticas públicas del personal de sus respectivas instituciones. Para ello han contado con la colaboración de dos entidades públicas españolas con amplia trayectoria en la formación de funcionarios: el Instituto de Estudios Fiscales y el Instituto Nacional de Administración Pública. Esta prometedora iniciativa nace con espíritu de continuidad y con el firme propósito de formar y cualificar al personal de las ICEX en evaluación de políticas públicas como un primer paso esencial para contar con la pieza clave para avanzar en una estrategia a medio plazo.
Tanto en la formación como en el diseño de herramientas y metodologías, también es esencial la apertura a la colaboración de expertos externos, tanto pertenecientes al ámbito del control interno y externo, como al ámbito académico e, incluso, al ámbito de la empresa privada. Expertos que puedan asesorar puntualmente sobre aspectos concretos o metodologías, antes y durante el proceso de evaluación, y colaborar en la formación continuada del personal de la institución dedicado a evaluar políticas públicas.
Otro pilar fundamental para conseguir la institucionalización de la evaluación de políticas públicas es la implicación de las partes interesadas o “stakeholders”, comprendiéndose en este grupo el Parlamento, el gobierno, los gestores públicos, los medios de comunicación y la sociedad en general. El interés de los primeros -Parlamento, gobierno y gestores- es evidente puesto que los resultados de las evaluaciones están orientados a la mejora de la gestión y de los servicios públicos, a lograr servicios prestados con mayor calidad, políticas más eficaces en la consecución de los objetivos planteados o que el necesario equilibrio en las cuentas públicas se lleve a cabo a través de una mayor eficiencia en la gestión. El papel central que desempeñan en estos objetivos las Instituciones de Control Externo debe venir acompañado por el respaldo de los destinatarios de los informes: los Parlamentos de los que dependen, donde debe tener lugar el debate respecto de las reformas y medidas de mejora propuestas y los gobiernos que deban asumirlas y ponerlas en marcha.
En relación con los medios de comunicación y la sociedad, de acuerdo con los resultados de la encuesta que venimos mencionando, el 75% de las evaluaciones son ampliamente cubiertas por los medios. El interés es evidente ya que un informe de evaluación de un programa público nos permite conocer como contribuyentes qué políticas se financian con nuestros impuestos y si las actuaciones puestas en marcha o implementadas por el gobierno de turno han cumplido el objetivo planteado -han sido eficaces- y se han realizado de una forma eficiente -al menor coste posible. Pero las ICEX deben adoptar una actitud activa en relación con la comunicación trasladando al ciudadano un mensaje claro y eficaz de los resultados de las evaluaciones realizadas, lo cual requiere, una reflexión en torno a cómo se dirige a los distintos receptores con el objetivo de trazar una estrategia en la propia institución y cómo conseguir que dicha comunicación se eficaz e innovadora.
Gráfico 2. Pilares de la estrategia para la institucionalización de la evaluación de políticas públicas en el sistema español de control externo
Finalmente, cabe, sin duda alguna, plantearse qué impedimentos pueden surgir en la implantación de la estrategia de institucionalización. En definitiva: ¿Cuáles podrían ser las mayores dificultades que se pueden encontrar las ICEX en el camino trazado?
Entender y aceptar el cambio que conlleva la implantación de una estrategia como la planteada, encontrará muy probablemente resistencias, tanto dentro de la institución como fuera de ella, en las entidades afectadas por este cambio. Esta resistencia natural a cambiar aquello que siempre se ha hecho de una determinada forma, es, sin duda, la primera y principal dificultad, que, incluso, se puede encontrar entre los miembros de los órganos de gobierno o dirección de la institución que eventualmente deben diseñar e implementar la estrategia.
Lógicamente, la utilización de herramientas, metodologías y técnicas no empleadas tradicionalmente en las fiscalizaciones financieras, de cumplimiento o de gestión supone uno de los mayores retos para el personal de la institución. Reto que no sólo implica formación especializada, sino que necesitará, en cierta medida, de un cambio en la forma de trabajar y un esfuerzo extra en el proceso de aceptación y de adaptación al mismo. Contar con expertos externos para proporcionar formación y/o asesoramiento en esta fase podría ser una actuación que facilitase la “transición” natural en este proceso.
Por otra parte, la relación con los gestores públicos también supone un reto al que enfrentarse, tanto durante el proceso de evaluación, en el que será necesario contar con la/s entidad/es fiscalizada/s, como en la puesta en marcha de las recomendaciones y su seguimiento posterior. En este sentido, puede resultar difícil pero imprescindible encontrar un equilibrio adecuado entre la autonomía y la independencia inherente a las ICEX y la necesaria relación de los evaluadores con las instituciones que evalúan, tal y como refleja la propia INTOSAI GOV 9400.
Por último, no debe obviarse el hecho de que para que la evaluación llegue a buen puerto, el evaluador debe partir de unos datos válidos y fiables y contar con unos objetivos e instrumentos de política claros, y esta información no depende de la institución evaluadora[9].
5.- CONCLUSIONES
Aunque existe un amplio consenso sobre la necesidad de una evaluación sistemática institucionalizada de programas y políticas públicas, son numeras las limitaciones existentes para su efectiva implantación. Resulta especialmente llamativo la ausencia de un consenso en aspectos metodológicos y de funcionamiento, así como de un marco jurídico y administrativo común a nivel nacional que impulse una cultura pública de evaluación.
La incorporación de la evaluación de políticas públicas a las prácticas de auditoría de las ICEX encuentra su justificación en diversas razones. De un lado, la corriente internacional impulsada por la INTOSAI. De otra parte, la colaboración de las ICEX con los órganos de representación de los ciudadanos en la mejora de la rendición de cuentas que ponga de relieve la eficacia y efectos de las políticas públicas. Otro argumento lo encontramos en la necesidad de evaluación de la sostenibilidad de las finanzas públicas por instituciones autónomas e independientes de los ejecutivos. Y, finalmente, la cercanía entre la fiscalización operativa o de gestión, en la que las ICEX tienen una amplia experiencia, y la evaluación de políticas públicas, entendida ésta como una actividad más amplia que aquella. En cualquier caso, una ICEX no necesita un mandato especial para realizar evaluación de políticas públicas.
El análisis de evaluaciones o de auditorías operativas con enfoque evaluador realizado por las ICEX, tanto a nivel nacional como internacional, muestra un heterogéneo panorama en el que el nivel de implicación y compromiso de la institución es muy diverso, como lo es también el enfoque adoptado y el grado de utilización de metodologías propias de las ciencias sociales junto con las características de la auditoría operativa o de gestión. De los diferentes casos estudiados, especialmente significativo resulta el de la Government Accountability Office de EEUU (GAO), que viene realizando evaluaciones de políticas y programas públicos desde los años 60. A nivel europeo, destacan los trabajos realizados por la Cour des Comptes de Francia y de la Oficina Nacional de Auditoría de Finlandia (NAOF).
Resulta evidente la necesidad de una estrategia a nivel institucional para incorporar la evaluación de políticas públicas como parte de la labor fiscalizadora de la ICEX, especialmente si se quiere seguir el enfoque evaluador establecido en la INTOSAI GOV 9400. Como elementos esenciales de esta estrategia destacan: a) el compromiso del máximo órgano de gobierno de la institución, generalmente el Pleno; b) la formación y cualificación del personal implicado en evaluación; c) la colaboración entre ICEX, aunando esfuerzos que permitan lograr “economías de escala”; d) la implicación de las partes interesadas o “stakeholders”, comprendiéndose en este grupo el Parlamento, el gobierno, los gestores públicos, los medios de comunicación y la sociedad en general.
Finalmente, hemos de señalar que, aunque el proceso de implantación de la estrategia no estará exento de dificultades, el reto, sin duda, merecerá la pena, y contribuirá a reforzar el papel de las ICEX como vehículo de participación ciudadana, a través del Parlamento, en la mejora de la calidad de la gobernanza y de la democracia. Por nuestra función de control independiente, las ICEX actuamos como “socios” de los ciudadanos, para dar garantía sobre la racionalidad del gasto y la eficacia y efectos de las políticas públicas.
BIBLIOGRAFÍA
Esparcia, J. y Noguera, J. (2000): Aproximación técnico-metodológica de la cultura evaluativa y la evaluación de programas de desarrollo rural. Cuadernos de Geografía (Universidad de Valencia), nº 67, 77-101.
Fernandez Llera, R. (2009): Fiscalización de la gestión pública en los Órganos de Control Externo de las Comunidades Autónomas. Presupuesto y Gasto Público, 57, 135-154.
Garde Roca, J.A. (2006): La institucionalización de la evaluación de las políticas públicas en España. Auditoría Pública, 39, 17-26.
Garde Roca, J.A y Ruíz Martínez, A. (2019): La institucionalización de la evaluación en España y la experiencia de AEVAL. En Hacienda Pública y Gobernanza Fiscal en España: desafíos 2020. Coord. Garde Garde, Mª. J., Gastón Catalán, J. y Merola Mcanás, T., 257-267. Instituto de Estudios Fiscales. Madrid.
Genaro Moya, M.D. (2016): Consideraciones en torno a la fiscalización operativa o de gestión. Revista Española de Control Externo, nºº 53, 11-37.
Jacob, S., Speer, S., Furubo, J.E. (2015): The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later. Evaluation, 21 (1), 6-31.
Johnsen, A., Reichborn‐Kjennerud, K., Carrington, T., Jeppesen, K.K., Taro, K., & Vakkuri, J. (2019): Supreme audit institutions in a high‐impact context: A comparative analysis of performance audit in four Nordic countries. Financial Accountability & Management, 35 (2), 158-181.
Muñóz, A., Pérez Zabaleta, A. y Muñoz, A. y Sánchez, C. (2013): La evaluación de políticas públicas: una creciente necesidad en la Unión Europea. Revista de Evaluación de Programas y Políticas Públicas, nº 1, 1-30.
Organización Internacional de Entidades Fiscalizadoras Superiores-INTOSAI (2010): “Evaluación de Programas para las EFS. Un compendio”, París. Disponible en http://program-evaluation.ccomptes.fr
Organización Internacional de Entidades Fiscalizadoras Superiores-INTOSAI (2016a): “Directrices para la Evaluación de las Políticas Públicas”, Viena.
Organización Internacional de Entidades Fiscalizadoras Superiores-INTOSAI (2016b): “Presentation of the Working Group on Programme Evaluation at the INCOSAI XXII”. Disponible en http://program-evaluation.ccomptes.fr
Organización Internacional de Entidades Fiscalizadoras Superiores-INTOSAI (2019a): INTOSAI-GUID 3910 “Central Concepts for Performance Auditing” Viena.
Organización Internacional de Entidades Fiscalizadoras Superiores-INTOSAI (2019b): “Implementation of the INTOSAI GOV 9400 GUIDELINES: survey results” Disponible en http://program-evaluation.ccomptes.fr
Organización para la Cooperación y el Desarrollo Económico-OCDE (2017): “Making policy evaluation work the case of regional development policy”, OECD Science, Technology and Innovation Policy Papers, No. 38, París.
Pazos, M. (1996): La evaluación de programas en la administración pública española: el estado de la cuestión. Papeles de Trabajo, nº 16/96. Instituto de Estudios Fiscales. Madrid.
Pérez Pérez, J.A. (2005): La evaluación de las políticas públicas de gasto en el ámbito de la Intervención General de la Administración del Estado. Revista Española de Control Externo, nº 20, 21-33.
Subirat Humet, J. (2005): Catorce puntos esenciales sobre la evaluación de políticas públicas con especial referencia al caso de las políticas sociales. Ekonomiaz, nº 60, 18-37.
Torres, L., Yetano, A. y Pina, V. (2019): Are Performance Audits Useful?. A comparison of EU Practices. Administration & Society, 51 (3), 431-462.
Yetano, A. (2005): Value for Money Audits and e-Government: Benchmarking Best Practices. Public Performance and Management Review, 29 (2), 111-124.
Yetano, A. (2014): La difusión de la auditoría operativa en el ámbito regional: un estudio comparado del Reino Unido, Alemania y España. Gestión y Políticas Públicas, Vol. XIII, nº 2, 421-464.
Zapico Goñi, E. (1998): La integración de la evaluación de políticas públicas en el proceso presupuestario. Gestión y Análisis de Políticas Públicas, nº 14-15, 53-59.
[1] El Manual de Fiscalización Operativa o de Gestión, puede encontrarse en la página web del Tribunal de Cuentas: www.tcu.es, en el apartado dedicado a fiscalización.
[2] Tras la sustitución del marco de las ISSAIS por el Marco de Pronunciamientos Profesionales de INTOSAI Framework of Professional Pronouncements (IFPP) la INTOSAI GOV 9400 es la GUID 9020 Evaluación de las Políticas Públicas
[3]Los ejemplos incluidos en este apartado comprenden no solamente informes de fiscalización en los que la EFS correspondiente reconoce explícitamente que se trata de una evaluación de un programa público o política pública, sino también aquellas fiscalizaciones operativas o de gestión en las que se evalúa la eficacia, eficiencia y/o economía de un programa o de una actuación específica realizada en el seno de una política pública y que pueden tener un enfoque de evaluación.
[4] INTOSAI WGPPPE (2019).
[5] El Grupo de Trabajo en Evaluación de Políticas y Programas Públicos de INTOSAI está conformado en la actualidad por las EFS de los siguientes países: Bélgica, Chile, Costa Rica, El Salvador, Tribunal de Cuentas Europeo, Finlandia, Francia, Gabón, Georgia, Alemania, Hungría, India, Kenia, Libia, Lituania, Marruecos, Pakistán, Papúa Nueva Guinea, Filipinas, Polonia, República de Corea, Suiza, Estados Unidos de América.
[6] INTOSAI WGPPPE (2016).
[7] Los pronunciamientos de la INTOSAI en español se están ajustando actualmente de acuerdo con el INTOSAI Framework of Professional Pronouncements (IFPP), por lo que esta traducción de la INTOSAI GUID 3910 es de los autores.
[8] Este es también el caso de la EFS de Lituania, que tiene también encomendada dicha misión.
[9] OCDE (2017)
