Análisis de los efectos derivados de la aplicación de regímenes de auditoría operativa externa en el Reino Unido: la experiencia de la Comprehensive Performance Assessment y de la Comprehensive Area Assessment

Dra. Carolina Pontones Rosa
Dra. Rosario Pérez Morote
Dr. Raimundo González Giménez
Profesores de Contabilidad
Universidad de Castilla-La Mancha

Análisis de los efectos derivados de la aplicación de regímenes de auditoría operativa externa en el Reino Unido: la experiencia de la comprehensive performance assessment y de la comprehensive area assessment.

RESUMEN / ABSTRACT::
La auditoría operativa externa sobre el Gobierno Local constituye todavía una práctica a consolidar en nuestro país, siendo reconocida la conveniencia de su potenciación. Este artículo se dirige a describir las principales características, implicaciones y efectos en relación con los regímenes de control externo aplicados en el Reino Unido en las últimas dos décadas. En concreto, se analizan los sistemas denominados “Evaluación Global del Rendimiento” y “Evaluación Global de Área” puestos en práctica por la Audit Commission, en cooperación con otros organismos inspectores. Además de las principales críticas detectadas, se muestra su posible asociación con el desarrollo de un enfoque de mejora continua por parte de la Administración local, basado en una mayor orientación hacia el value for money de los recursos públicos.
The general exercise of an external value for money audit on Local Government has still a long way to go in our country, in spite of being recognized the desirability of its empowerment. This article aims to describe the main characteristics, implications and effects in relation to the external control regimes applied in the United Kingdom over the last twenty years. In particular, it analyses the so-called systems «Comprehensive Performance Assessment» and «Comprehensive Area Assessment» , which were put in place by the audit commission in cooperation with other inspection bodies. Along with the major criticisms identified, the paper highlights a possible relationship between the external control operated and an increasing focus on performance improvement, centered in a greater approach to value for money.
PALABRAS CLAVE / KEY WORDS:
Auditoría Operativa, Evaluación Global del Rendimiento, Evaluación Global de Area, value for money.
value for money audit, Comprehensive Performance Assessment, Comprehensive Area Assessment, value for money.

1. INTRODUCCIÓN

En nuestro país, la normativa legal[1]aprobada en los últimos años configura un escenario para el desarrollo de la actividad económica-financiera plenamente inspirado en los principios de eficacia, eficiencia, transparencia, programación plurianual, etc. La función pública actual debe orientarse hacia sus clientes últimos, los ciudadanos, y eso implica un proceso de modernización donde se exige un mayor rigor y transparencia en la ejecución del gasto, así como la introducción de los conceptos de competencia y calidad en los bienes producidos y en los servicios prestados. Para alcanzar este objetivo, es necesario que los órganos de control, tanto internos como externos, apliquen un modelo de evaluación de la gestión pú­blica centrado en la observancia de los principios propios de una buena gestión financiera, ofreciendo una información útil y relevante para gestores, políticos, empresas y ciudadanos.

La Conferencia de Presidentes de los Órganos Autonómicos de Control Externo, a través de la “Declaración de Pamplona”, identificó a la auditoría operativa como el instru­mento concreto para la revisión de la gestión pública y, en especial, para el examen de los principios de eficiencia, eficacia y economía. En el caso español, el control de regularidad financiera y el control de legalidad han predominado en el sector público, si bien existe una tendencia a incrementar los esfuerzos para llevar a cabo controles de eficacia, eficiencia y economía (EURORAI, 2006, pág. 4).

Entre  los países que han tomado la iniciativa en la consolidación de la auditoría operativa dentro de las funciones de fiscalización externa, el Reino Unido ocupa un papel destacado (Torres, 2002, págs. 91 y 92). La Administración Local inglesa ha estado sujeta a la inspección o verificación externa desde la exigencia de las primeras contribuciones locales en el siglo XVII. A partir de 1846, dicha tarea se organizó mediante el servicio de los auditores de distrito, antecedente de las auditorías realizadas por la Audit Commission. Este último constituye un organismo independiente, que se autofinancia con tasas y honorarios recaudados por los servicios prestados. El cometido básico de la Audit Commission es ayudar a las entidades públicas locales a mejorar los servicios de su competencia, promoviendo la mejor custodia y administración de los recursos públicos y su empleo eficaz y eficiente.

En dicho país, ha imperado durante décadas una política de incentivación y evaluación del value for money, entendido como economía, eficacia y eficiencia a través de la calidad de los servicios. La finalidad de este artículo es proporcionar, bajo un enfoque crítico, una visión de los efectos generados en el Reino Unido como consecuencia de la aplicación de los dos regímenes principales de control externo que han imperado durante las últimas dos décadas, incidiendo especialmente en su aportación a la evaluación del value for money.

Para cada uno de ellos, se identifican las fortalezas y debilidades y los factores que propiciaron el cambio hacia nuevos regímenes, considerando las opiniones de diferentes grupos de interés, y contando para ello con un caso de estudio desarrollado en el Consejo de Condado de Nottinghamshire entre diciembre de 2010 y enero de 2011. Asimismo, el trabajo es el resultado de la revisión de un extenso material bibliográfico, de la consulta de normativa e informes oficiales, complementados con los resultados de entrevistas realizadas a personal de la propia Audit Commission y de CIPFA.

En primer lugar, tomando como referencia el Marco de Actuación Local Best Value, se analiza el sistema empleado por la Comprehensive Performance Assessment (CPA, en adelante) o Evaluación Global del Rendimiento, en vigor en el período 2002-2008, destacando sus objetivos y rasgos diferenciadores.

Con posterioridad, se detalla el último de los regímenes de auditoría externa coordinado por la Audit Commission, la Comprehensive Area Assessment (CAA, en adelante) o Evaluación Global de Área. Se examina con especial interés una de sus partes, la Evaluación del Uso de Recursos. El análisis concluye con una evaluación que toma como base las opiniones de los propios gobiernos locales, y mediante la cual se muestran sus ventajas e inconvenientes, reflexionándose sobre los motivos que pudieron conducir a su retirada a partir de 2011.

En nuestra opinión, la experiencia acumulada en el país anglosajón puede resultar interesante para el diseño de cambios en la fiscalización externa sobre la gestión pública local en España. A pesar de sus posibles fallos, las iniciativas estudiadas constituyen una apuesta por la transparencia, aspecto ampliamente reclamado en la sociedad actual, tal y como señala el Presidente del Tribunal de Cuentas en España, cuando afirma que “las instituciones de control deben comprometerse a configurar un nuevo modelo de funcionamiento, fundamentado en una adecuada regulación, acompañada de la debida transparencia y exigencia de responsabilidades” (Núñez, 2009, pág.18).

2. LA COMPREHENSIVE PERFORMANCE ASSESSMENT (CPA) O EVALUACIÓN GLOBAL DEL RENDIMIENTO EN EL MARCO DEL BEST VALUE PERFORMANCE FRAMEWORK.

El Best Value Performance Framework o Marco de Actuación Mejor Valor, introducido a través del Local Government Act de 1999, perseguía impulsar la implantación y el desarrollo de una cultura de “buena gestión” en los gobiernos locales, que se tradujera en unos servicios públicos económicos, eficientes y eficaces para la satisfacción de las necesidades de los ciudadanos.

Bajo el enfoque Best Value, se instaba a todos los gobiernos locales de Inglaterra y Gales a convertirse en Best Value Authorities -Autoridades “Mejor Valor”-, lo que equivalía al compromiso, por parte de sus responsables, de asegurar una mejora continua de la gestión de sus funciones, prestando especial atención al logro del value for money (VFM, en adelante). Su implementación supuso la creación, desde el ámbito estatal, de un sistema de control externo basado en la obligación de las autoridades locales de desarrollar Best Value Performance Plans, Best Value Reviews y Best Value Performance Indicators (BVPIs).

En diciembre de 2001, el Gobierno introdujo la Comprehensive Perfomance Assessment (CPA) -Evaluación Global del Rendimiento- a través del White Paper Strong Local Leadership– Quality Public Service (Her Majesty’s Stationery Office, Department for Transport, Local Government and the Regions, 2001).  En él se enfatizaba el papel de los gobiernos locales como líderes en la comunidad y se anunciaba un nuevo marco de actuación local para el desarrollo del liderazgo y la adecuada toma de decisiones. Ello suponía una evolución respecto al régimen Best Value y comprendía los siguientes elementos:

• Prioridades definidas y est
ándares de ejecución precisos, elaborados por el Gobierno Central en cooperación con los gobiernos locales.
• Las labores de auditoría e inspección pública local tendrían lugar bajo el marco de la Comprehensive Performance Assessment (CPA), llevada a cabo por la Audit Commission en colaboración con otros organismos inspectores: Care Quality Commission, HM Inspectorate of Constabulary, HM Inspectorate of Prisons, HM Inspectorate of Probation y Ofsted.
• Establecimiento de un conjunto coordinado de incentivos, recompensas y herramientas, en función de los resultados de las CPAs, para promover la mejora en la prestación de los servicios.

La CPA fue aplicada en el Gobierno Local -autoridades unitarias y consejos de condado- de Inglaterra a partir de abril de 2002, extendiéndose un año más tarde a los consejos de distrito. Fue introducida para posibilitar un conocimiento en profundidad de la actuación y de los resultados de los gobiernos locales, sirviendo de base para la comparación con otras entidades públicas similares. Por primera vez, se proporcionaba un juicio sobre la habilidad corporativa de estas entidades para mejorar los servicios públicos y su capacidad de liderazgo a través de:

• Un enfoque centrado en servicios clave y sus resultados.
• La concentración en torno a los factores generadores de mejora, con especial atención a la capacidad corporativa y a la gestión de recursos.
• La ayuda a las entidades en la identificación de las acciones que deben implementar para alcanzar mejoras.
• Unas labores de inspección y auditoría pública coordinadas y proporcionadas. Bajo el régimen de la CPA, las entidades que demostrasen buena gestión podrían disfrutar de un control externo más leve, con su correspondiente reducción de tarifas, concediéndoles el Gobierno Central mayores flexibilidades y capacidad de endeudamiento. Para aquellas entidades con peores resultados, la CPA preveía una combinación de auditoría, inspección y trabajo orientado a la mejora para superar tal situación. El Gobierno Central proporcionaría apoyo técnico y financiero para construir nuevas capacidades. También se preveía la detección de los casos que requirieran intervención para proteger el interés público.
• La aportación de una base para la rendición de cuentas, mediante una única calificación global.

La metodología seguida tomaba como referencia tanto los BVPIs como las inspecciones, y emitía valoración sobre los planes y estrategias de las entidades. En el modelo inicial de la CPA, durante el período comprendido entre 2002 y 2004, los rasgos y componentes de la evaluación se describen a continuación:

• Cada servicio individual (educación, servicios sociales, medioambiente, vivienda, bibliotecas y ocio, prestaciones económicas) era inspeccionado dentro de los marcos de inspección sectoriales, a partir del análisis de la información disponible sobre la gestión y de la revisión de la planificación de servicio. Cada servicio era puntuado del 1 al 4, siendo 4 la nota más alta.
• La Audit Commission proporcionaba una “evaluación de recursos” a nivel de entidad en las áreas de: posición financiera, control interno, estándares de comportamiento financiero, estados financieros, legalidad de las transacciones financieras relevantes y gestión.
• Combinando los dos componentes anteriores, se emitía la calificación de los servicios principales –core services score-–, de 1 a 4.
• Una “evaluación corporativa” que analizaba a la entidad local en su conjunto, su eficacia como líder de la comunidad y su gestión como organización. Prestaba atención a la forma en que las entidades realizaban su gestión corporativa y afrontaban los fallos en los servicios, tratando de determinar la capacidad del Gobierno Local para operar de forma eficiente sin necesidad de una estrecha supervisión y control. Esta evaluación corporativa se dividía en nueve temas principales: ambición, enfoque, priorización, capacidad, gestión del rendimiento, logros alcanzados, inversiones, aprendizaje y planes de futuro. Cada uno de estos temas era calificado del 1 al 4, después se aplicaba una ponderación para generar una puntuación general sobre la habilidad de la organización, denominada council ability score.
• La primera evaluación corporativa consistió en una autoevaluación realizada por el Gobierno Local, posteriormente inspeccionada por los auditores, que utilizaban para el desarrollo de sus funciones un conjunto de preguntas o líneas de investigación, denominadas key lines of enquiry (KLOE), para la aportación de criterios de juicio. Como novedad, también se incorporaron a las labores de inspección técnicos de otros gobiernos locales, en orden a asegurar que las valoraciones eran objetivas y fieles.

Finalmente, las puntuaciones anteriores, core services score y la council ability score, eran combinadas para calcular la categoría general de la CPA en que se encuadraría la entidad –excelente, buena, aceptable, débil, deficiente-. Ésta pretendía expresar no sólo la calidad de los servicios actuales, sino la capacidad para prosperar y ofrecer mejores servicios en el futuro. Realizada la evaluación, se procedía a la publicación de la categoría de cada Gobierno Local, de su desglose en las diferentes calificaciones y de una copia de la “evaluación corporativa”.

El esquema general de esta primera etapa de la Comprehensive Performance Assessment (CPA) se muestra en la siguiente figura:

Tras la publicación de los primeros resultados de la CPA en diciembre de 2002, el Gobierno Central puso a disposición de aquellos gobiernos locales que habían sido clasificados como débiles o deficientes, medidas de apoyo para salir de tal situación, asignándoles un técnico para la coordinación del proceso de recuperación y para el impulso de estrategias y planes de mejora. Estas entidades sólo serían sometidas a una nueva evaluación corporativa cuando dicho técnico estuviera satisfecho con el progreso alcanzado. En el otro extremo, los categorizados como excelentes, podrían disfrutar de una serie de privilegios: tres años de liberación de inspecciones por parte de la Audit Commission y la participación en un foro de innovación para compartir sus ideas con otras entidades.

El trabajo de inspección y auditoría servía como base para que la Audit Commission elabo
rase informes nacionales sobre la gestión pública local y documentos recopiladores de buenas prácticas denominados “learning from reports”.

A partir de 2002, la prioridad fue asegurar la discrecionalidad de las inspecciones y su aplicación sólo cuando fuera realmente necesario y pudiera producirse un mayor impacto en la mejora. Cualquier subida de categoría debía reflejar cambios que fueran realmente apreciados y reconocidos por los ciudadanos.

En adición a lo anterior, en la CPA de 2003 se introdujo el “Estado de Evaluación Cualitativa de Mejora Continua”, consistente en una breve narración del progreso realizado por el Gobierno Local desde la inspección anterior. Éste era publicado conjuntamente con el resto de informes de la CPA.

En 2005, era generalmente aceptada, aunque con reticencias, la idea de que la CPA había generado mejoras cuantitativas y cualitativas sustanciales en el conjunto del Gobierno Local, así como significativas eficiencias en sus costes de operación (Martin y Bovaird, 2006). No obstante, todos los agentes consideraban que su enfoque era susceptible de mejora. Así, a partir de 2005 se introdujeron cambios en la metodología de la CPA, lo cual se recogió en el documento: “CPA-The Harder Test”. Los nuevos componentes eran los siguientes^[2]:

• Evaluación anual del uso de recursos realizada por la Audit Commission.
• Evaluaciones anuales de servicio^[3] realizadas por la Audit Commission (medioambiente, vivienda y cultura), Ofsted (infancia y juventud), Commission for Social Care Inspection (servicios sociales para adultos) y BFI^[4] (prestaciones económicas).
• Evaluaciones corporativas cada tres años llevadas a cabo por la Audit Commission.
• Evaluación direction of travel -dirección de viaje-, sometida a calificación, que sustituye al estado de evaluación cualitativa de mejora continua y que tiene el mismo contenido que éste.

La evaluación del uso de recursos de esta segunda etapa situaba el listón más alto y se ocupaba de cinco temas, cada uno de los cuales eran puntuados del 1 al 4 y luego combinados para producir una puntuación general del uso de recursos. Los temas eran: gestión financiera, posición financiera, control interno, value for money y emisión de información financiera.

Las evaluaciones anuales de servicio ofrecían una valoración de la actuación realizada, tomando en consideración estándares y requisitos nacionales de relevancia en su prestación. También reflejaban, cuando fuera posible, las opiniones de los usuarios y ciudadanos locales, incluyendo una serie de medidas de actuación obtenidas de los cuestionarios de satisfacción de usuarios (Best Value User Satisfaction Surveys). Estas evaluaciones también eran puntuadas del 1 al 4.

Por su parte, la nueva “evaluación corporativa”, que debía tener lugar solamente una vez para cada entidad durante el período comprendido entre 2005 y 2008, utilizaba un nuevo conjunto de key lines of enquiry que versaban sobre los temas: ambición por la comunidad, priorización, capacidad, gestión del rendimiento y logros alcanzados. Pretendía ser una metodología más potente, que cuestionara en profundidad cómo los gobiernos locales comprendían a la comunidad y actuaban como líderes de la misma, la forma en que dicha comprensión se plasmaba en las prioridades y aspiraciones de la entidad y los resultados que se estaban generando en la práctica. La medición del progreso tenía lugar en torno a una serie de apartados que eran, a su vez, valorados del 1 al 4, a partir de los cuales se configuraba la puntuación global de la evaluación corporativa.

La consideración conjunta de los diferentes componentes de la CPA daba lugar a la categoría de la CPA, aplicándose entonces una escala de calificación distinta basada en estrellas (de 0 a 4). La siguiente figura muestra los elementos de esta segunda fase del modelo CPA:

El informe Final Score (2009) de la Audit Commission recoge, para el período en que estuvieron en vigor, el impacto que provocó la publicación de las CPA sobre la mejora de los servicios prestados a nivel local, la gestión financiera y gubernamental. Según éste, los aspectos positivos más destacados de la CPA fueron:

• Por primera vez, se posibilitó la realización de comparaciones creíbles entre entidades públicas locales, no sólo para servicios individuales, lo cual sirvió de estímulo para las entidades.
• La CPA elevó la rendición de cuentas y promovió la capacidad de mejora del Gobierno Local. Durante los siete años en que fue aplicada:
         * Se pasó del 15% de entidades catalogadas como excelentes a un 42%.
      * La mala gestión pasó a constituir algo excepcional, con ningún Gobierno Local calificado con cero estrellas y sólo cuatro con una estrella en 2008, comparados con los treinta y cuatro del año 2002.
• En algunas áreas de servicio básicas, como los servicios sociales para adultos, se produjo una mejora continuada, alcanzando un 18% de las entidades el nivel más alto de actuación en 2008, frente el 1% de 2002 (CSCI, 2008a). No obstante, en otras áreas como infancia y juventud, la actuación se mantuvo en los mismos niveles.

En cuanto a los aspectos a mejorar, dicho informe señala lo siguiente:

• A pesar de la mejora de las puntuaciones en muchas áreas de servicio, la satisfacción de los ciudadanos respecto a sus gobiernos locales se redujo en el período, pasando del 64% en 2002 al 53% en 2007. Aunque este hecho puede deberse a diferentes factores, también podía ser indicativo de fallos en el modelo de evaluación.
• Se tachó al sistema de simplista y rudimentario por pretender clasificar a todos los gobiernos locales mediante una escala de calificación.
• Se criticó que el sistema había generado comportamientos no deseados, dado que muchos gobiernos locales parecían haber aprendido demasiado bien las “reglas del juego” para obtener buenas calificaciones, sin que ello reflejase verdaderas mejoras.
• La prensa y el público podían realizar interpretaciones “perversas” de las calificaciones.

A partir de las entrevistas realizadas en la entidad local Nottinghamshire County Council, se puso de manifiesto que:

• Las elevadas calificaciones en los últimos añ
os de aplicación no parecían creíbles y ello puso en duda la capacidad de la CPA para evaluar el rendimiento (Knott, R., Adult Social Care Service Heads of Finance).
• La CPA constituía un proceso muy complejo que requería invertir mucho tiempo y esfuerzo por parte de los gobiernos locales, no estando siempre claros los resultados del mismo (Hamilton, D., Senior Management Older People and Strategic Partnerships).

En los últimos años de la CPA, se empezaron a apreciar señales de la necesidad de un cambio de modelo de inspección y auditoría pública local hacia otro que plantease cuestiones más relevantes, desde el punto de vista de los ciudadanos. Cada vez más, los servicios fundamentales eran planificados y gestionados en asociación entre los diferentes organismos públicos locales, emergiendo un nuevo papel de liderazgo para el Gobierno Local. La aparición de los Acuerdos de Área local en 2008 también condicionaría la evaluación de la gestión.

El Acuerdo de Área Local[5] fue impulsado por el Gobierno Central con la idea facilitar y mejorar la cooperación entre entidades que desarrollan su actividad en áreas con un alto grado de interdependencia, actuando el Gobierno Local de nivel superior como líder. Estas entidades debían reunirse y acordar un conjunto de objetivos comunes que serían medidos con una serie limitada de indicadores.

Así pues, el nuevo modelo de control debería ir más allá de los límites de actuación de las entidades individuales para alcanzar una perspectiva de área, de los resultados generados para los ciudadanos que en ella residen y trabajan y que son usuarios de los servicios. Asimismo, resultaba imprescindible la coordinación de la actividad inspectora para favorecer la rendición de cuentas y ofrecer una perspectiva útil para la población local. Todo ello se plasmaría en la Comprehensive Area Assessmen..

3. LA COMPREHENSIVE AREA ASSESSMENT

La Comprehensive Area Assessment (CAA, en adelante) o Evaluación Global de Área, que fue anunciada por primera vez a través del White Paper Strong and Prosperous Communities (CLGD, 2006), reemplazó formalmente a la Evaluación Global del Rendimiento (CPA) a partir de abril de 2009. Los objetivos de este nuevo marco de control externo eran los siguientes:

• Transición desde un enfoque centrado en entidades individuales a otro que abarcase el conjunto de entidades participantes, de una u otra forma, en la prestación de los servicios públicos dentro de un área local –asociaciones locales estratégicas-.
• Valoración centrada en resultados frente a procesos, mayor importancia de las opiniones de los ciudadanos y énfasis en la rendición de cuentas.
• Reducción de la carga inspectora y evaluadora sobre los gobiernos locales y sus socios, a través de una mayor coordinación de los diferentes organismos inspectores. La elaboración de la CAA sería responsabilidad de la Audit Commission, la cual designaría un auditor coordinador de la misma en cada área local.
• Aportar un enfoque más proporcional –diferentes grados de intensidad en función de las características y circunstancias de las entidades- y permitir una mayor alineación con respecto a los marcos de evaluación existentes en determinados sectores de servicios públicos locales.

En relación con este último punto, conviene señalar que los servicios públicos locales operan, cada vez más, a través de acuerdos de cooperación bajo la coordinación general de las asociaciones o consorcios locales estratégicos. Éstos se instrumentaron como medio para la identificación de las prioridades y la expresión de una visión común de su área local[6], cuestiones que se recogen en la Estrategia Comunitaria Sostenible. En este contexto, el enfoque previo de inspecciones de servicios individuales y organizaciones ya no resultaba suficiente.

Los regímenes de evaluación individual continuarían garantizando que los servicios públicos locales satisfacen las necesidades de los ciudadanos que, por sus circunstancias, son más vulnerables -por ejemplo, inspecciones de servicios sociales y de niños y otros servicios que presentan un riesgo inherente elevado, como los de reinserción social- pero, como novedad, la CAA introduce la puesta en común de todo este trabajo de inspección para ofrecer una visión general de la bondad con la que los organismos públicos locales están trabajando, de forma individual y conjunta, para mejorar su área (Audit Commission et al, 2009a).

La CAA se estructuraba en torno a dos apartados principales: la Evaluación de Área y la Evaluación Organizacional (Ofsted, 2009).

El apartado de Area Assessment, o Evaluación de Área, prestaba atención a la forma en que los servicios públicos satisfacen las necesidades y aspiraciones de la población y a las posibilidades de que dicha tendencia continuase en el futuro. Su punto de referencia eran los Acuerdos de Área Local y la Estrategia Comunitaria Sostenible. Permitía responder a las siguientes preguntas:

• ¿En qué medida las prioridades públicas locales expresan las aspiraciones vecinales?
• ¿En qué medida las mejoras y resultados están proporcionando frutos a los ciudadanos?
• ¿Cuáles son las posibilidades y perspectivas de mejora en el futuro?

El proceso de inspección y auditoría de la Evaluación de Área prestaba atención a cuatro temas principales: sostenibilidad, inequidad, vulnerabilidad y value for money^[7].

La Evaluación de Área se expresaba a través de una narración de los principales hallazgos, la cual se complementaba con la inclusión de banderas rojas y verdes en los puntos más relevantes. La bandera verde significaba rendimiento o mejora excepcional en el área local, mientras que la roja reflejaba preocupación y necesidad de tomar medidas para corregir deficiencias. Se trataba de una evaluación conjunta para todos los organismos públicos que cooperasen, en colaboración con el sector privado y el tercer sector, en la prestación de servicios en el área, en lugar de un juicio sobre entidades individuales.

Por su parte, la Organisational Assessment, o Evaluación Organizacional, analizaba la eficacia general de una entidad individual en la gestión de su actuación y el uso de sus recursos. Sería llevada a cabo en los entes integrantes del Gobierno Local, entidades gestoras del Servicio Nacional de Salud- Primary Care Trust o Fundaciones de Cuidado Primario, principalmente-, autoridades de policía y de rescate y de extinción de incendios. Sus objetivos principales giraban
en torno a los siguientes puntos:

• Apoyar y complementar a la Evaluación de Área en la valoración de resultados.
• Asegurar la rendición de cuentas a nivel de organización, haciendo referencia a las contribuciones de cada entidad a su Acuerdo de Área Local y a otras estrategias.
• Aunar las contribuciones de los diferentes inspectores y auditores para ofrecer una valoración equilibrada y global de la efectividad de una entidad.
• Orientar e informar sobre la planificación de acciones tendentes a la mejora, incluyendo la programación de inspecciones.
• Facilitar al público el conocimiento de la gestión de los organismos públicos.
• La estructura de la Evaluación Organizacional consta de dos bloques:
• Managing Performance Assessment o Evaluación de la Gestión del Rendimiento o Desempeño.
• Use of Resources Assessment o Evaluación del Uso de Recursos.

Ambos apartados eran objeto de calificación, por parte del auditor, conforme a una escala del 1 al 4, siendo el 4 la máxima puntuación.

A través del bloque de Evaluación de la Gestión del Rendimiento o Desempeño se pretendía investigar sobre la calidad de los servicios y sobre su eficacia para satisfacer las aspiraciones de los ciudadanos. En concreto, analizaba la habilidad de la entidad para:

• Ofrecer servicios prioritarios e identificar resultados y oportunidades de  mejora.
• Mejorar los servicios y resultados de los que es responsable.
• Contribuir a las prioridades de la comunidad, incluyendo a aquéllas establecidas en los Acuerdos de Área Local.
• Combatir la desigualdad y mejorar la calidad de vida de las personas más vulnerables.
• Aportar el liderazgo, la capacidad y la habilidad necesarios para generar mejoras en el futuro.

En la realización de dicha Evaluación intervenían organismos inspectores especializados en cada servicio público. Así, para servicios sociales, por ejemplo, participaban la Care Quality Commission y Ofsted. Mediante este bloque se conseguía que cada Evaluación Organizacional contuviese referencias específicas sobre la actuación realizada en servicios locales básicos. Dado que los servicios públicos locales son evaluados por diferentes organismos inspectores especializados, el formato de la Evaluación Organizacional variaba según el caso.

En cuanto a la Evaluación del Uso de Recursos, era realizada por la Audit Commission (2009b y 2009c) y tenía por finalidad aportar una visión sobre la forma en que las entidades utilizan sus recursos financieros, humanos, materiales y de otro tipo, prestando atención al value for money generado.

Al objeto de clarificar los elementos que componen la CAA y la relación existente entre ellos, adjuntamos la siguiente figura^[8]:

Si se observa la figura, puede apreciarse que la Evaluación Organizacional y la Evaluación de Área están interconectadas. Una bandera en la Evaluación de Área puede poner de manifiesto mala actuación o mejoras excepcionales en relación con una entidad específica, lo cual será considerado, con más detalle, en su propia Evaluación Organizacional, y reflejado en su puntuación. Del mismo modo, cualquier señal positiva o negativa arrojada por la Evaluación Organizacional, que tenga efectos significativos en los resultados globales del área, tendrá su efecto en la Evaluación de Área a través de la correspondiente bandera.

En la realización de su trabajo, los auditores utilizaban una amplia gama de evidencias que podían incluir, principalmente (Audit Commission et al, 2009a):

• El Acuerdo de Área Local, la Estrategia Comunitaria Sostenible y otros objetivos locales acordados.
• La Batería Nacional de Indicadores o National Indicador Set (NIS, en adelante) y cualquier otro dato disponible a nivel nacional. Los NIS representaban una importante fuente de evidencia, tanto para la realización de la Evaluación de Área como de la Evaluación de la Organización. Principalmente, permitían analizar el progreso en relación con el Acuerdo de Área Local pero, también, cuando era posible, la CAA incluía una comparación entre el desempeño local en un indicador y su valor estándar a nivel nacional, estableciendo grupos de comparación entre entidades homogéneas. Se publicaba el progreso para cada uno de los indicadores del NIS.
• Revelaciones obtenidas de inspecciones y auditorías, incluyendo evidencias relevantes procedentes de otros marcos de evaluación del rendimiento sectoriales.
• Información disponible a nivel local sobre gestión, utilizada para el seguimiento de los resultados, aceptándose cualquier autoevaluación elaborada.
• Informes o evidencias aportadas por otros organismos gubernamentales.
• La visión de los usuarios de los servicios, del tercer sector y de las empresas locales.

La realización de la auditoría debía evitar peticiones innecesarias y redundantes de datos a las entidades auditadas, aplicándose el principio general de “recoger los datos una vez, usar varias”.

Especial mención merece la Evaluación del Uso de Recursos, por su importancia como instrumento de auditoría operativa. En ella se consideraban tres áreas de gestión:

• Managing finances: referida a una gestión financiera de carácter estratégico.
• Governing the business: relativa a gobernabilidad y commissioning estratégico.
• Managing resources: concerniente a la gestión de los recursos naturales, activos y personas.

Para la Evaluación del Uso de Recursos, se utilizaba un formulario con preguntas clave o líneas de investigación denominadas Use of Resources Key lines of enquiry (KLOE), según la metodología del Use of Resources Framework de la Audit Commission, de contenido distinto a las empleadas en la CPA. Estas KLOE constituían la base para alcanzar la conclusión sobre la generación de value for money^{[9]< /a>} y son comunes a todos los tipos de entidades auditados.

La Audit Commission puso a disposición de los entes auditados guías orientativas para enfrentarse a la evaluación[10]. En ellas se relacionaban fuentes de posible evidencia para la auditoría, figurando entre ellas las autorevisiones realizadas por los gobiernos locales^[11]. Éstos habrían preparado evidencias que mostrasen su contribución a cada una de las cuestiones evaluadas, a fin de allanar el terreno para el auditor externo. Dichas evidencias serían verificadas posteriormente por el auditor externo. También, era habitual que realizasen comprobaciones adicionales, a fin de alcanzar un juicio bien fundamentado.

Como parte del informe de auditoría, denominado Annual Audit Letter, se hacían recomendaciones de mejora, dando instrucciones precisas sobre cómo alcanzar la puntuación superior o consolidarse en la obtenida.

Finalmente, con la retroalimentación proporcionada por la Carta de Auditoría y la Evaluación del Uso de Recursos, que incluye la VFM conclussion, los gobiernos locales desarrollaban un plan de acción para dar cumplimiento a las recomendaciones.

En cuanto a la publicación de los hallazgos de la primera y única Evaluación Global de Área (CAA), ésta tuvo lugar en diciembre de 2009. Además de su remisión a las entidades y áreas auditadas, su contenido se puso a disposición del público a través de la página web denominada Oneplace^[12]. En ella, el internauta podía seleccionar un área local o un organismo público local de Inglaterra para conocer cómo había funcionado y qué uso había hecho de los recursos públicos.

El informe CAA evaluation: a sector perspective on year 1 (2010)^[13] recoge las conclusiones obtenidas por la Local Government Association (LGA) durante el primer y único período de aplicación de la CAA, así como sus propuestas y recomendaciones de cara al segundo año de aplicación. Este informe se elaboró con anterioridad al anuncio de desaparición de la Audit Commission y, por tanto, de la Evaluación Global de Área en el verano de 2010. En cualquier caso, su contenido merece, en nuestra opinión, ser revisado, al estar basado en las opiniones de los propios gobiernos locales ingleses, las cuales fueron recogidas mediante un cuestionario^[14] dirigido a altos gestores. Sus conclusiones fueron empleadas para fijar una agenda de cambios en la CAA para su segundo año de implantación, que no llegó a tener lugar. Los apartados de dicha encuesta fueron los siguientes (LGA, 2010a):

En relación con la Area Assessment, se detectaron opiniones encontradas en cuanto su contribución como elemento estimulador de la mejora. De una parte, algunas fuentes indican que el enfoque basado en resultados permitió que los socios locales se reuniesen a reflexionar sobre su actividad conjunta de una manera distinta, y que el propio proceso de evaluación, en particular las conversaciones sobre las banderas, actuó como catalizador en la gestión de los problemas locales en una fase inicial, algo que no habría ocurrido de otra forma. Por el contrario, otras voces apuntaron que tal proceso ya estaba en marcha con anterioridad y que los hallazgos de la CAA no revelaron nada que los gobiernos locales y sus socios no supiesen o no estuviesen intentando corregir previamente.

En relación con el bloque Evaluación del Uso de Recursos, la misma proporción de encuestados se mostró en acuerdo (39%) y en desacuerdo (41%) ante la pregunta de si el trabajo relativo a la Evaluación del Uso de Recursos fue proporcionado, basado en el riesgo y adaptado a las circunstancias locales. Además, para dos de cada tres gobiernos locales encuestados, la nueva Use of Resources Assessment supuso una mayor carga, lo cual puede explicarse por múltiples factores, aunque sin duda el más evidente es la introducción de mayores referencias de consulta, el nuevo enfoque de resultados y la obligación para los propios auditores de alcanzar unas valoraciones más globales y equilibradas.

En cuanto al bloque Managing Performance Assessment, se ha señalado que tuvo lugar al final del proceso, con escasas oportunidades de aportación.

Aunque la CAA no exigía que las entidades auditadas llevasen a cabo tal función, sí que recomendaba su utilización, en la medida en que la misma otorgaría mayor veracidad y fiabilidad a la información contable interna y externa, la cual sería la base para el control externo realizado por la CAA. A este respecto, el 68% de los encuestados desarrolló o pretendió desarrollar una autoevaluación de forma voluntaria.  En cuanto a los motivos, un 26 % contestó que ya formaba parte de sus procedimientos de control interno, el 22% que era algo necesario para llevar a cabo la auditoría, y un 50% argumentó otros motivos (buenas prácticas, proporcionar información de base, asegurarse de que la información que se iba a ser presentada a los inspectores fuese la que mostrase una mejor imagen, preocupación sobre la calidad de la información empleada por los auditores y su capacidad de acceder a los datos más actualizados sobre el área). Un 70% apuntó la conveniencia de que el sector público local se comprometiera a desarrollar un sistema de autoevaluación y examen crítico como medida para reducir la necesidad de una fuerte auditoría externa.

El 53% de los gobiernos locales que participaron en el cuestionario opinó que los inspectores habían basado sus valoraciones en los datos sobre gestión generados internamen
te por la entidad auditada y, sólo cuando fue estrictamente necesario, requirieron información adicional. El 29% consideró lo contrario.

No existe una opinión clara sobre si los informes identificaron claramente las contribuciones de los principales socios locales (36% a favor, 37% en contra). Una minoría significativa consideró que las revelaciones de la Evaluación de Área fueron tan poco concretas que no permitieron identificar oportunidades potenciales de mejora. Se detectó preocupación sobre los criterios aplicados para calificar con banderas rojas y verdes, y dudas sobre la consistencia de tales criterios en las diferentes áreas locales. A pesar de estas preocupaciones, un relativamente bajo número de asociaciones estratégicas locales reclamó la revisión de sus banderas rojas.

En relación con la utilidad del mecanismo de difusión constituido por la página web Oneplace, se señaló que puso a disposición de los agentes locales una amplia información sobre gestión, posibilitando su comparabilidad, aunque existían dudas sobre el uso real que se estaba haciendo de dicha información. Además, no estaba claro el modo en que las opiniones de los ciudadanos habían sido consideradas en las evaluaciones, excepto a través del cuestionario obligatorio Place Survey. En este sentido, se recomendó un mayor uso de la información disponible en cuanto a la opinión de los ciudadanos por parte de los gobiernos locales y sus socios.

De las 152 Evaluaciones de Área emitidas, el 59% de las áreas recibió banderas rojas y/o verdes. En total, fueron otorgadas 74 banderas verdes y 62 rojas. Menos de la mitad de los encuestados consideró que las banderas rojas concedidas habían respondido a los criterios marcados por el sistema, mientras que el 26% se mostró disconforme, aunque sólo un 5% de los encuestados exigió una revisión de sus banderas rojas. Asimismo, más de la mitad de entidades fueron calificadas como de gestión buena o excelente en la Evaluación Organizacional, siendo los consejos municipales de Londres y los consejos de condado los más beneficiados, con el 91 y el 85%, respectivamente.

Las conclusiones generales que podemos extraer del estudio acometido por la LGA son las siguientes:

• El proceso de evaluación, más que la utilidad de los propios informes en sí mismos, parece haber estimulado la mejora y el sentido de propósito común.
• Se propone una definición más precisa del proceso de evaluación de actividades, evitar duplicidades, suavizar el sistema para los mejores gestores y que el sector local garantice que la información sobre gestión proporcionada a los auditores es fiable y de calidad.
• Es necesario centrar el proceso en los aspectos esenciales, reduciendo la carga sobre áreas que presenten buena gestión.

Hay que tener en cuenta, no obstante, que los objetivos de la CAA eran de difícil consecución en un solo año. Se trata de un enfoque muy distinto a su predecesor, que requiere nuevos planteamientos, habilidades y competencias, nuevas formas de colaboración entre organismos inspectores, estando muchos de ellos inmersos en sus propios procesos de reestructuración o haciendo frente a diversos problemas o retos. En general, algunos aspectos funcionaron mejor que otros y es cierto que aún no se han materializado los cambios en el comportamiento que requeriría una adecuada implantación de la CAA.

En agosto de 2010, el Department for Communities and Local Government (DCLG)  anunció la retirada de la Comprehensive Area Assessment y la supresión de la Audit Commission a partir de 2012-2013. Los diferentes regímenes de auditoría externa coordinados por este Organismo han sido objeto de críticas por generar una carga excesiva y, en ocasiones, ser de escasa utilidad, aunque no cabe duda de su impacto sobre la mejora de la gestión pública local, en términos generales. La burocratización de la auditoría y su elevado coste son los principales argumentos esgrimidos en contra de la Audit Commission y su actividad, lo cual parece estar relacionado con que la decisión de su supresión se produzca en plena crisis económica y entre duros recortes presupuestarios. Por este motivo, a nuestro juicio, la desaparición de la Audit Commission ha de analizarse en su contexto y teniendo en cuenta que el Gobierno Local en Inglaterra cuenta ya con una cultura de mejora y está dotado de los instrumentos y de la experiencia necesarios para afrontar esta nueva etapa con un menor control, cualidades que han sido desarrolladas y aprendidas tras décadas de fuerte auditoría operativa y elevados requisitos de elaboración de información sobre la gestión.

Aunque todavía no existe una solución definitiva, parece ser que, en el futuro, el control de la gestión recaerá, en gran medida, en las propias entidades públicas locales, teniendo que contratar éstas a auditores privados. Este hecho ha sido aplaudido por un sector del Gobierno Local, aunque también ha despertado preocupaciones, fundamentalmente sobre cómo se va a asegurar a los ciudadanos que la gestión responde a criterios de value for money. Además, existen temores ante la posible pérdida de objetividad y de perspectiva externa, el riesgo de la auto-indulgencia, la previsible relajación en la medición o la simplificación de los sistemas de control interno. También, se verán reducidas las opciones de comparación de entidades públicas locales a nivel nacional.

4. CONCLUSIONES

En nuestro país, los esfuerzos de los últi­mos años para incorporar las auditorías operativas a las funciones normales de los OCEX han sido notables, si bien todavía se encuentran numerosas dificultades jurídicas, institucionales y técnicas para acometer una adecuada fiscalización de la gestión y los resultados en el seno de la Administración Local.

En el Reino Unido, por su parte, la evaluación externa del rendimiento ha elevado el grado de consciencia sobre la importancia de una gestión de calidad y, al tiempo, ha servido como estímulo para la mejora del value for money, en términos generales.  Los resultados de las auditorías e inspecciones han demostrado tener una gran influencia entre gestores y políticos locales y han servido como base para argumentar una buena o mala gestión. Asimismo, el marco de control ha fomentado y permitido la comparación entre autoridades locales y ha motivado la reflexión sobre las diferencias en costes y calidad respecto al sector privado y voluntario. También, se ha incrementado la habilidad del Gobierno Local para responder a las necesidades de los ciudadanos a través de la planificación estratégica y coordinada con otros organismos públicos locales.

A pesar de sus imperfecciones, la existencia de un sistema de auditoría externa del VFM  proporciona un punto de partida para el auto análisis, el diálogo y el cuestionamiento de cómo se están empleando los fondos públicos y qué se está obteniendo con ellos, contribuyendo de mane
ra esencial al objetivo de transparencia.

Por tanto, en nuestra opinión los sucesivos modelos de auditoría operativa, inspección y emisión de información aplicados en el Reino Unido han consolidado una mayor consciencia de responsabilidad pública y han permitido el desarrollo de una cultura de mejora, lo cual ha repercutido positivamente en la prestación de los servicios públicos locales.  Para terminar, coincidimos con May[15] en que “la mejora de la gestión pública requiere alcanzar un modelo equilibrado de control externo que combine la regulación, la auditoría y la inspección. La comprobación, la comparación y la rendición de cuentas a los ciudadanos, son aspectos esenciales en este ámbito”.

5. BIBLIOGRAFÍA
Audit Commission (2005): “CPA – The Harder Test”
Audit Commission (2009): “Final Score”.
Audit Commission, Care Quality Commission, HM Inspectorate of Constabulary, HM Inspectorate of Prisons, HM Inspectorate of Probation and Ofsted (2009a) : “Comprehensive Area Assessment: A guide to the new framework”.
Audit Commission (2009b): “Use of Resources Framework. Overall approach and KLOE, May 2008” (updated February 2009).
Audit Commission (2009c, octubre): “Use of Resources Framework. Overall approach and KLOE”.
Audit Commission (2009d): “Use of Resources Audit Commission auditor guidance. Effective from April 2009”.
Bovaird, T. y Martin, S. (2006): “Measuring Public Sector Productivity: Lessons from International Experience”. Institute of Public Administration.
Communities and Local Government Department (CLGD) (2006):White Paper Strong and Prosperous Communities
Chartered Institute of Public Finance and Accounting (CIPFA) (2010): “Audit and Assurance: study session 13”.
HM’s Stationery Office, Department for Transport, Local Government and the Regions (2001): “Strong Local Leadership: Quality Public Services”.
Local Government Act de 1999
Local Government Association (LGA) (2010): “CAA evaluation: a sector perspective on year 1”.
Local Government Association (LGA) (2010a): Monitoring the implementation of CAA- “CAA Watch 2”.
Local Government Association (LGA) (2010b): “CPA-CAA: comparing the burden”.
Núñez Pérez, M. (2009): “Transparencia e instituciones de control”. Auditoría Pública nº 49, págs. 7-20.
Organización Europea de las Instituciones Regionales de Control Externo del Sector Público (EURORAI) (2006), Informe: “El control externo del sector público autonómico en España”.
Office for Standards in Education, Children’s Services and Skills (OFSTED) (2009): “Comprehensive Area Assessment: annual rating of council children’s services for 2009”.
Presidentes de los Órganos Autonómicos de Control Externo (2006): “Declaración de los Presidentes de los Tribunales Autonómicos de Cuentas”. Conferencia de Presidentes celebrada en Pamplona.
Torres, L. (2002): “La Auditoría Operativa: un instrumento para la mejora de la Gestión Pública”. Aeca monografías, Madrid.
Abreviaturas:
VFM, value for money.
CPA, Comprehensive Performance Assessment.
BVPIs, Best Value Performance Indicators.
CAA, Comprehensive Area Assessment.
NIS, National Indicador Set.

[1] Son de destacar:
• Real Decreto Legislativo 2/2007, de 28 de di­ciembre, que aprueba el texto refundido de la Ley General de Estabilidad Presupuestaria  (artículo 6).
• Ley  Orgánica  5/2001,  de   13  de  diciembre, complementaria de la Ley General de Estabilidad Presupuestaria (artículo 2).
• Ley 47/2003, de 26 de noviembre, General Presupuestaria (artículos 69, 70, 72 y 142, 159 y 170).
• Ley 57/2003 de 16 de diciembre de Medidas para la Modernización del Gobierno Local (art. 1, por el que se modifica la LRBRL, concretamente su artículo 133).
[2] Sólo se mostrará el modelo aplicable a consejos de condado y a autoridades unitarias. Puede encontrarse información acerca del sistema previsto para los consejos de distrito en Final Score (Audit Commission, 2009).
[3] Los diferentes organismos inspectores consensuaron un conjunto de descriptores de actuación para permitir un planteamiento más uniforme a la hora de calificar e informar sobre la calidad de los servicios.
[4] Benefit Fraud Inspectorate, existente hasta 2008, año en que transfirió sus funciones a la Audit Commission.
[5] Puede consultarse a este respecto el documento: Development of the New LAA Framework. Operational Guidance 2007, pág. 21
[6] Por área local entendemos el territorio que se encuentra bajo la jurisdicción de lo que se denomina top-tier authority o autoridad superior (autoridades unitarias en el modelo de un nivel y consejos de condado en el de dos niveles).
[7]Aunque el análisis principal del VFM dentro de la CAA se encuentra recogido en la Organisational Assessment para cada entidad individual, la CAA ofrecía la oportunidad de realizar cierto análisis de la economía, eficacia y eficiencia desde una visión de conjunto. Esto sólo es posible al utilizar un planteamiento común para evaluar el uso de recursos en los gobiernos locales, las entidades gestoras del Servicio Nacional de Salud a nivel local, las entidades de policía y las de rescate y extinción de incendios. De este modo, cuando las Evaluaciones Organizacionales individuales ponían de manifiesto aspectos de relevancia para con el conjunto del área local, se daba cuenta de éstas en la Evaluación de Área.
[8] Puede observarse que el bloque Evaluación de la Gestión del Rendimiento –Managing Performance Assessment- recibe otras denominaciones en el caso de las fundaciones de cuidado primario y la policía, por los motivos anteriormente expuestos, aunque su contenido es similar.
[9] Durante la vigencia de la CAA, los criterios a seguir por la Audit Commission para alcanzar la conclusión sobre el VFM coincidieron con las Use of Resources KLOE.
[10] Nos referimos a las “características de rendimiento” que acompañaban a las KLOE y que estaban basadas en estándares de buenas prácticas y manuales profesionales. Ayudaban a los auditores a alcanzar una opinión equilibrada y eran publicadas en la Use of Resources Audit Commission auditor guidance (Audit Commission, 2009d). Su finalidad era dotar a la función auditora de mayor transparencia y facilitar el debate entre inspectores y entes auditados.
[11] Sobre este aspecto se ha pronunciado CIPFA (2010, pág. 13), afirmando que, ante la expansión de los regímenes de emisión de información sobre gestión, el rol de los auditores se encuentra inmerso en un continuo cambio hacia la auditoría o inspección de los mecanismos de evaluación del rendimiento e indicadores de gestión instrumentados por los propios entes auditados.
[12] oneplace.audit-commission.gov.uk
[13] Local Government Association, 2010.
[14] El cuestionario adoptó el nombre de CAA watch survey y fue enviado a las 353 entidades que componen el Gobierno Local en Inglaterra, obteniéndose un 49,5% (175 en total) de éxito. Sus resultados se recogieron en el documento Monitoring the implementation of CAA- “CAA Watch 2” (LGA, 2010a) y en CPA CAA: comparing the burden (LGA, 2010b), ambos de la LGA.
[15]Entrevista realizada a May, A., Corporate Director Children and Young People Department, en Nottinghamshire County Council en 2011.