EVALUACIN DE POLTICAS

Marco conceptual y organizacin institucional

Por XAVIER BALLART

SUMARIO

1. INTRODUCCIN.II. QU ENTENDEMOS POR EVALUACIN?: 1. Concepto de eva-

luacin. 2. mbito material de la evaluacin. 3. Evaluacin y juicio valorativo.
III. CMO HACERLO? L A CUESTIN DE LOS MTODOS: 1. Primer paso: Crear datos
sobre eficacia: a) Tipos de medidas; b) Seleccin de variables y fuentes de datos.
2. Segundo paso: la evaluacin de las polticas y programas: a) La evaluacin
de resultados; b) La evaluacin de proceso.IV. ORGANIZACIN INSTITUCIONAL
DE LA EVALUACIN: 1. Estados Unidos: el caso del mercado ms abierto y plural.
2. Reino Unido: de la preocupacin por el impacto final a las iniciativas centradas
en la productividad. 3. Alemania: institucionalizacin de la evaluacin en la
administracin central. 4. Suecia: fragmentacin y descentralizacin de la evalua-
cin. 5. Holanda: la reconsideracin de las polticas. 6. Francia: creacin de un
dispositivo central de evaluacin dependiente del primer ministro.V. IMPLICA-
CIONES DE LA EXPERIENCIA COMPARADA EN LA DEFINICIN DE UNA POLTICA DE EVALUA-
CIN P R O P I A . R E F E R E N C I A S BIBLIOGRFICAS.

I. INTRODUCCIN

Este trabajo presenta una descripcin detallada de la organizacin y uso

de la evaluacin de la actividad de los poderes pblicos en Estados Unidos
y en cinco pases europeos (Reino Unido, Alemania, Suecia, Holanda y
Francia). Desde una perspectiva comparada se presenta informacin sobre el
desarrollo-institucionalizacin de la evaluacin en cada pas y sobre la utili-
zacin de sus resultados en el proceso poltico-administrativo.
Si bien las seis democracias consideradas siguen una misma direccin,
creemos que de la observacin de la experiencia comparada se desprende
claramente la idea de que cada pas ha de definir su poltica de evaluacin

199
Revista de Estudios Polticos (Nueva poca)
Nm. 80. Abril-Junio 1993
 XAVIER BA1.LART

en funcin de sus propios condicionamientos: situacin fiscal y econmica,

orientacin poltica del gobierno, caractersticas jurdico-polticas de las ins-
tituciones, tradicin cientfica y capacidad de oferta por parte de la comunidad
universitaria y profesional. Por esta razn, al final del trabajo se incluyen
una serie de consideraciones sobre el caso espaol y sobre posibles lneas de
desarrollo y organizacin de la evaluacin en nuestro pas.
El anlisis de los seis casos individualmente considerados requera una
clarificacin de conceptos clave. El trabajo se inicia, pues, planteando algunas
cuestiones bsicas sobre el concepto y los mtodos de la evaluacin, cuestiones
que se han tratado con mayor detalle en otro lugar (Ballart, 1992).

II. QUE ENTENDEMOS POR EVALUACIN?

1. Concepto de evaluacin
El desarrollo de la evaluacin, tanto por lo que se refiere a sus mtodos
como por lo que se refiere al tipo de cuestiones a las que se dirige, ha resultado
en una clara expansin de su campo de aplicacin.
La primera y principal idea en relacin con la evaluacin la identifica con
un medio para determinar los resultados y efectos de las polticas y programas
a travs de rigurosos instrumentos metodolgicos (preferiblemente, diseos
de tipo experimental). El pensamiento ms reciente, sin embargo, sugiere
que la evaluacin puede abarcar todas las esferas del ciclo vital de una poltica
o programa, desde su concepcin hasta su impacto pasando por su ejecucin.
Una definicin bastante aceptada de evaluacin es, pues, aquella que entiende
que la evaluacin consiste en la aplicacin de mtodos de investigacin
sistemticos con el objeto de examinar el diseo, la implementacin y la
utilidad de las polticas y programas pblicos.
Generalmente, la evaluacin tendr un carcter retrospectivo, o como
mnimo, concomitante. A diferencia de otras formas de anlisis prospectivo
que pretenden informar decisiones que todava no se han tomado, la evaluacin
retrospectiva busca producir informacin sobre lo que ha ocurrido o est
ocurriendo.
La adopcin de una perspectiva cclica en relacin con las polticas o
programas de la Administracin supone que la evaluacin puede examinar
como mnimo tres fases diferentes que se corresponden con las de creacin
o formulacin, implementacin, y produccin de resultados o impactos de
una poltica o programa. En cada una de estas fases se pueden plantear
cuestiones, que si bien variarn en funcin de las necesidades de informacin

200
 EVALUACIN DE POLTICAS

y de la audiencia (los gestores plantearn cuestiones que sern distintas de

las de los polticos, legisladores o hasta medios de comunicacin y sanos),
sern todas ellas de carcter retrospectivo.
As, los estudios que se centran en la fase de formulacin y diseo de las
polticas persiguen producir informacin sobre:
1) El problema del que se ocupa la poltica: ello supone revisar o elabo-
rar, en su caso, los estudios de necesidades correspondientes.
2) El proceso de formulacin y diseo de la poltica: esto supone la
investigacin de los procesos polticos y sociales que conducen a la formula-
cin de nuevas intervenciones.
3) La racionalidad intrnseca de las mismas intervenciones: ello supone
preguntarse hasta qu punto la poltica, tal y como ha sido llevada a trmino,
sirve a sus objetivos.
Los estudios de implementacin de las polticas persiguen producir infor-
macin sobre:
1) Las caractersticas del grupo de poblacin servido, esto es, el nivel
de cobertura conseguido, los posibles sesgos en su composicin, o las razones
por las que determinados grupos de poblacin estiman que no vale la pena
seguir el programa y optan por abandonar.
2) Los problemas generados por la propia organizacin administrativa,
en trminos de informacin y comunicacin, acceso, tiempo, desplazamientos
o inadecuacin de los procedimientos administrativos establecidos.
Por ltimo, los estudios de eficacia o impacto persiguen producir informa-
cin sobre los efectos del programa. Para ello presuponen que existen un
conjunto de objetivos operacionales e intentan determinar el xito del progra-
ma en funcin de si se ha producido algn cambio en la direccin deseada
hacia la consecucin de estos objetivos. La funcin de los evaluadores consiste
en este caso en intentar aislar el impacto de la intervencin pblica de otros
factores que pudieran explicar por s solos los efectos observados. De forma
general, se puede afirmar que para ello ser preciso recurrir a tcnicas de
carcter experimental o estadsticas (1).

2. mbito material de la evaluacin

La definicin propuesta tiene igualmente un carcter expansivo en la
medida que incluye la evaluacin retrospectiva tanto de polticas como de
programas y servicios. Un programa es un conjunto de recursos y actividades

(1) Esta concepcin y tipologa de los estudios de evaluacin se encuentra en toda la

literatura, si bien originalmente se debe a Rossi y Freeman (1985: 39-46).

201
 XAVIER BALLART

organizados para obtener ciertos objetivos. Son programas los planes de ex-
pansin de la educacin preescolar, de ayuda a los alquileres, de reforma
integral de barrios degradados, o de formacin e insercin de jvenes limpia-
cristales, por poner algunos ejemplos.
Muchas actuaciones pblicas no adoptan la forma de un programa en el
sentido convencional del trmino. Se trata de iniciativas polticas que no
implican necesariamente la creacin de nueva burocracia o la distribucin de
servicios especficos. Cambios en las leyes impositivas, una nueva regulacin
de la caza, la prohibicin de circular sin el cinturn de seguridad..., son
ejemplos de polticas pblicas que la Administracin podra llevar a trmino
cambiando simplemente las rdenes o los procedimientos ordinarios. Tambin
estas polticas tienen, sin embargo, consecuencias que polticos y directivos
pblicos querran conocer. Quiz cabra, pues, afirmar que la evaluacin de
las polticas tiene de forma general mayor relevancia a nivel de instancias de
decisin poltica que no de gestin operacional e intenta responder a cuestiones
relacionadas con la generalizacin de una determinada aproximacin a un
problema.
A todo ello an cabra aadir los servicios de transporte urbano o interur-
bano, de polica, bomberos, ambulancias, recogida de basuras, limpieza via-
ria, bibliotecas, museos..., actuaciones pblicas que no se articulan formal-
mente como un conjunto de programas dada la estructura administrativa exis-
tente y la forma en que se toman las decisiones que conciernen al presupuesto.
La evaluacin de este tipo de servicios intentara identificar y especificar
objetivos y establecer medidas de los servicios prestados, con el propsito de
construir las bases de datos necesarias para ir ajustando mejor los mismos
objetivos operacionales, e ir obteniendo resultados respecto a aquellas dimen-
siones que se consideren crticas, para una misma Administracin o para
distintas Administraciones que sean susceptibles de comparacin.

3. Evaluacin y juicio valorativo

La definicin de evaluacin propuesta ha sido considerada excesivamente
tecnocrtica por una parte de la comunidad cientfica, que ha propuesto defi-
niciones alternativas basndose en el principio de que evaluar una poltica
consiste en valorar-emitir un juicio de valor sobre sta. De acuerdo con este
concepto, habra que distinguir entre los expertos encargados de hacer el
anlisis tcnicos y aquellos otros legitimados para emitir un juicio valo-
rativo las autoridades evaluadoras, esto es, Parlamento, Gobierno, Tribu-
nal de Cuentas, Pleno municipal... u otros rganos que se puedan constituir.
Desde esta perspectiva se considera que slo estas instituciones tienen la

202
 EVALUACIN DE POLTICAS

legitimidad democrtica para hacer juicios sobre el mrito u oportunidad de

las polticas pblicas (Guba y Lincoln, 1987: 210-215; Monnier, 1991-1992:
148-142; Viveret, 1989: 25).
Si bien el primer concepto de evaluacin indica el requisito de una apro-
ximacin metodolgica rigurosa, este segundo concepto pone de relieve el
inevitable input que suponen los factores polticos en el proceso de evaluacin.
Ciertamente, la evaluacin de la eficacia de las polticas y programas pblicos
busca establecer relaciones de causalidad entre medios y efectos y comparar
estos ltimos a los objetivos iniciales de la poltica. Este esfuerzo precisa,
sin embargo, de un conocimiento profundo de la poltica. La evaluacin tiene
que situarse dentro de la poltica, sobre todo si adoptamos una visin dinmica
que tenga en cuenta, primero, la interaccin continua entre medios, efectos
y objetivos, y segundo, la importancia de los juicios de los principales actores,
incluyendo entre stos hasta los mismos beneficiarios de la poltica. Su impli-
cacin, como la de todos aquellos que tengan un inters en la poltica, es
importante, como condicin para un cierto pluralismo, y tambin para la
integracin de todas las informaciones, interpretaciones y juicios pronunciados
en el marco del proceso evaluador.

III.

Si bien la discusin en profundidad de los mtodos de evaluacin supera

claramente el alcance de este trabajo, se incluyen a continuacin algunas
consideraciones sobre: primero, la necesidad de concentrar esfuerzos en la
medida de la eficacia y en la construccin de sistemas de indicadores internos,
simples y permanentes como primer paso para poder llevar a cabo evaluaciones
en el futuro, y segundo, la posible utilizacin de los datos obtenidos para la
evaluacin de las polticas y programas pblicos y, por tanto, para aislar el
impacto de la intervencin pblica de otros factores causales. De acuerdo con
el sentido amplio de evaluacin adoptado, se hace igualmente referencia a
aquellos mtodos que se centran en el anlisis de los procesos ms que en el
anlisis de los resultados finales.

1. Primer paso: crear datos sobre eficacia

Si bien, como se ha indicado anteriormente, la discusin sobre la evalua-
cin de la actividad de la Administracin pblica ha ido ampliando su objeto,
se puede afirmar que es una discusin que ha girado en torno a la idea de
resultados, efectos o impactos.

203
 XAVIER BALLART

a) Tipos de medidas
Generalmente, se entiende por medidas de eficacia aquellas categoras de
indicadores que aportan informacin sobre el grado en que los objetivos de
una poltica o programa se han conseguido. A nuestro entender, sin embargo,
las medidas de eficacia tambin deberan aportar informacin sobre los si-
guientes aspectos:
1) El grado en que se producen efectos no esperados en la poblacin a
la que van dirigidos los servicios, ya sean estos efectos positivos o negativos
(Shortell y Richardson, 1978).
2) El grado en que la cantidad de servicios producidos se adeca a las
necesidades y expectativas de la poblacin destinataria (Scriven, 1973).
3) La forma en que se produce la respuesta por parte de los servicios
pblicos a las demandas de servicio, lo que nos acerca a la idea de servicios
implcitos o de servicio como paquete de servicios.
4) El grado de satisfaccin de los ciudadanos con los servicios prestados,
independientemente de que las percepciones subjetivas sean dispares de las
medidas objetivas de la Administracin (Fitzsimmons y Sullivan, 1982;
16-28).
Desde esta perspectiva, que combina indicadores objetivos y subjetivos,
la evaluacin conecta con la preocupacin por determinar la medida en que
las Administraciones pblicas responden a las demandas de los ciudadanos y
adopta, por tanto, la ptica del cliente-destinatario de los servicios y de la
utilidad concreta que obtienen stos de la intervencin pblica.
En sustitucin de indicadores de eficacia a menudo se utilizan meras
medidas de actividad o de carga de trabajo, dado que son ms fciles de
construir a partir de contabilizar los recursos utilizados y/o los output o
productos que resultan de la transformacin de aqullos en servicios espec-
ficos. Si bien el cmputo de las horas de trabajo invertidas, de los clientes
atendidos, de las visitas, entrevistas o salidas realizadas, por poner algunos
ejemplos, pueden ser de utilidad para propsitos operacionales o para justificar
gastos, no nos parece que este tipo de medidas aporten excesiva informacin
sobre los servicios en trminos de calidad.
Como complemento de los indicadores de eficacia s tiene mayor inters
aportar informacin en trminos de eficiencia, esto es, sobre la relacin entre
la cantidad de servicios producidos y la cantidad de input o recursos utilizados
en su elaboracin y distribucin, puesto que un servicio eficaz se puede
producir de forma intolerablemente ineficiente. Ahora bien, concentrar todos
los esfuerzos en el anlisis de la eficiencia y, por tanto, en la determinacin
del coste unitario de los servicios pblicos no tiene demasiado sentido en un

204
 EVALUACIN DE POLTICAS

contexto en que la mayor parte de los recursos tienden a ser bastante rgidos
y en el que esta informacin podra, en ltimo trmino, interesar nicamente
a aquellos que precisan argumentos para denunciar la situacin de ineficacia
en la que se presupone operan las Administraciones pblicas.

b) Seleccin de variables y fuentes de datos

La evaluacin debe, pues, servir esencialmente para mejorar la calidad
de los servicios finales, en trminos del binomio eficacia-eficiencia, y para
introducir elementos correctores en relacin con su gestin y hasta planifi-
cacin.
El primer paso en este sentido pasa por producir datos sobre la eficacia
de los servicios, internamente y de forma continuada, de forma que sea posible
elaborar peridicamente informes exhaustivos de inters para administradores-
gestores, o ms sintticos de inters para los niveles polticos o hasta la prensa
y la poblacin en general. Para que estos datos tengan alguna posibilidad de
ser utilizados es importante: primero, que los sistemas de mediacin sean
asumidos por sus propios usuarios (Patton, 1986), y segundo, que sean rela-
tivamente simples, ya que los anlisis excesivamente sofisticados no se pueden
realizar de forma habitual y tienden a producir informacin poco clara para
los decisores o para la poblacin.
Para la seleccin de los indicadores y de las fuentes de datos es preciso
elaborar antes un mapa completo de los objetivos que definen eficacia en
relacin con un servicios especfico. Para ello ser conveniente recurrir a una
pluralidad de instrumentos, entre los que cabe incluir:
1) Las declaraciones oficiales de objetivos (que se encuentran en los
documentos de planificacin, presupuestacin o hasta memorias de actividades
de la misma Administracin).
2) Las discusiones generadas a travs de las tcnicas adecuadas entre
los profesionales responsables o entre las organizaciones corporativas y aso-
ciaciones ciudadanas relacionadas con los servicios estudiados.
3) Los anlisis de las quejas de los ciudadanos y de las preocupaciones
expresadas por stos individualmente en los medios de comunicacin.
4) La literatura cientfica especializada.
A su vez, los indicadores y las fuentes de datos debern reunir determina-
das caractersticas de validez aparente y fiabilidad, adems de cubrir la tota-
lidad de los objetivos relevantes. Desde una perspectiva operativa, es igual-
mente importante que aquellas variables que se decida controlar dependan
realmente de la actividad de la Administracin, puesto que en el caso contrario
poco se podr hacer para incidir sobre su cambio en la direccin deseada.

205
 XAVI1R BA1.LART

Finalmente, los costes de recoger la informacin necesaria debern ser razo-

nables, ya que en caso contrario dejar de tener sentido la evaluacin.
Esta ltima cuestin nos llevar a plantear la oportunidad de hacer una
utilizacin intensiva de los datos que ya recoge de forma ordinaria y continuada
la Administracin. A menudo sern, sin embargo, necesarios otros procedi-
mientos de recogida de informacin, como, por ejemplo, los estudios de
opinin entre los usuarios del servicio o entre la poblacin en general (y que
incluye, por tanto, aquellos que siendo beneficiarios potenciales del servicio
no lo utilizan). Otro procedimiento de recogida de datos es el que se funda-
menta en la observacin directa, si bien para esto es preciso proceder de una
forma lo bastante sistemtica como para que diferentes observadores otorguen
una misma calificacin a una misma condicin (2).
La produccin peridica y continuada de datos sobre la eficacia de un
servicio debera permitir la comparacin interanual de los resultados globales
obtenidos por una misma Administracin. Este proceso debera a su vez
permitir elaborar bases de datos que sirvan para formular objetivos ms racio-
nales.
Una segunda posibilidad para la interpretacin de los datos consiste en
comparar los resultados para distintos grupos de poblacin en funcin de
criterios de equidad. Para poder garantizar que ningn grupo de poblacin
no recibe peores servicios que la media, la Administracin precisa datos sobre
la eficacia para distintos grupos de poblacin. En este sentido, los datos se
pueden separar en funcin, por ejemplo, del lugar de residencia, de la edad,
el sexo, la renta o el lugar de origen.
La comparacin con otras Administraciones ofrece otra fuente de interpre-
tacin, si bien en este sentido a menudo nos encontraremos con problemas
derivados de las diferencias en las problemticas de distintas comunidades.

2. Segundo paso:
la evaluacin de las polticas y programas
Los datos producidos por las Administraciones en su actividad de medida
peridica y continuada constituyen una buena base de partida para la evalua-
cin de la eficacia de las polticas y programas que, como se ha indicado
ms arriba, en puridad, implica la idea de aislar el impacto de la intervencin
pblica de otros factores externos que puedan encontrarse en la causa de los
efectos observados. Cmo se consigue esto?

(2) Sobre seleccin de variables y fuentes de datos, vid. la literatura sobre mtodos de
investigacin emprica. En general, para ciencias polticas, Buttolph Johnson y Joslyn (1986).

206
 EVALUACIN DE POLTICAS

a) La evaluacin de resultados
Siguiendo con el procedimiento hasta aqu explicado y partiendo de que
existen unos objetivos especficos y unos indicadores de estos objetivos sus-
ceptibles de medicin, todo lo que tendra que hacerse es recoger datos sobre
los indicadores para aquellos individuos que se beneficiaron del programa y
para un grupo de control equivalente que no hubiera obtenido estos beneficios,
y analizar los datos sobre los participantes y los no participantes, en funcin
de los objetivos de partida (Weiss, 1972: 24).
Concretamente, en los diseos experimentales la asignacin aleatoria de
los individuos a grupos experimentales y de control distribuye los posibles
efectos externos a la intervencin de forma aleatoria entre los dos grupos;
mientras que en los diseos cuasi-experimentales es el investigador quien
procura identificar las caractersticas del grupo que recibe el programa, para
despus intentar formar un grupo de comparacin no equivalente, pero s
similar en todas las caractersticas relevantes al grupo tratado. Los diseos
no experimentales, en cambio, analizan los resultados para un nico grupo
de sujetos que pueden presentar variaciones tanto respecto a su participacin
en el programa como a otros factores, para, a travs de mtodos estadsticos,
eliminar las posibles diferencias entre los sujetos que no sean debidas a la
intervencin (3).
En la prctica, sin embargo, lo que parece fcil puede complicarse enor-
memente. Esta aproximacin, que hemos llamado en otro lugar cientfico-ra-
cional, es adecuada cuando se trata de programas bien definidos, donde una
serie de individuos reciben una misma intervencin, cuyos efectos pueden
ser anticipados y medidos. No lo es tanto, en cambio, cuando los programas
no renen estas condiciones, tanto por los problemas que presentan la identi-
ficacin y operacionalizacin de los objetivos como por la complejidad intrn-
seca de los mismos programas o la dificultad tcnica de aplicar los diseos
que permiten aislar el impacto neto de la intervencin pblica.
b) La evaluacin de proceso
Ciertamente, los objetivos de las polticas y programas ms innovadores
acostumbran a ser generales, abstractos y confusos. Esto es as porque el
proceso de decisin pblica se fundamenta en acuerdos sobre aspectos gene-
rales. Se podra afirmar que en la negociacin poltica se hace sobre programas
y no sobre objetivos. Una vez existe un acuerdo de principio sobre la necesidad
de hacer algo en relacin con los problemas que se hacen un hueco en la

(3) Para una introduccin en castellano a los diseos de tipo experimental, desde una
perspectiva de polticas pblicas, vid. Alvira Martin (1991) o Bailan (1992).

207
 XAVIER BALLART

agenda poltica, lo que se tenga que hacer escapa al acuerdo, de lo que

resulta la aprobacin de programas generales sin objetivos especficos.
A menudo las polticas y los programas son extremadamente complejos,
disponen de distintos medios alternativos para alcanzar objetivos mltiples y
a menudo contradictorios. Esto dificulta la definicin de sus componentes,
la reconstruccin de la cadena de efectos buscados y, por tanto, su reduccin
a un modelo simplificado.
Los diseos de investigacin que parten de la idea de establecer controles
experimentales y estadsticos presentan igualmente dificultades relacionadas
no tanto con los objetivos de las polticas como con la aplicacin del mismo
dispositivo de evaluacin. Muchas veces, simplemente no ser posible cons-
truir los controles que requieren las tcnicas experimentales o estadsticas.
Estas dificultades y la demanda de evaluaciones que puedan ser realizadas
en perodos de tiempo relativamente cortos, sin comprometer grandes cantida-
des de recursos, y que respondan a las necesidades de sus usuarios, ha dado
lugar a la formulacin de una serie de modelos que pueden caracterizarse de
forma general por el hecho de recurrir a aproximaciones cualitativas.
Desde esta perspectiva se podra hablar de un modelo de evaluacin de
proceso (Monnier, 1990-1991: 136-140), que se caracterizara por el intento
de adaptarse a la concepcin de las polticas pblicas como entidades dinmi-
cas que van transformndose en la medida que son llevadas a la prctica. Si
efectivamente los objetivos iniciales de una poltica son objeto de variaciones
importantes, los recursos utilizados no coinciden con los recursos previstos
y, en general, se inicia la poltica como una experiencia abierta de la que se
espera aprender de cara al futuro, entonces la evaluacin deber centrarse en
la identificacin y comprensin de los hechos: en el proceso. La evaluacin
se convierte entonces en una investigacin sobre qu hechos se encuentran
en el origen de los xitos y de los fracasos observados.
Para ello puede ser til adoptar instrumentos de participacin pluralista
en el proceso evaluador, con el objeto de incorporar los valores y las opiniones
del conjunto de actores que tengan relacin con la poltica o programa evalua-
do. En este sentido puede ser importante no perderse la diversidad de percep-
ciones sobre los criterios de evaluacin que deben aplicarse en cada situacin
especfica (Majone, 1989: 168).
Esta aproximacin responde igualmente a la preocupacin por la utilidad
efectiva de los resultados de las investigaciones. En este sentido se entiende
que al ofrecer al conjunto de actores implicados la posibilidad de incidir en
el proceso evaluador y hasta de decidir las cuestiones que deban examinarse,
se incrementarn las posibilidades de que los resultados de la evaluacin sean
eventualmente de alguna utilidad (Patton, 1986: 330).

208
 EVALUACIN DE POLTICAS

Finalmente, creemos que se puede afirmar que la evaluacin de los pro-

cesos y ms si es pluralista o participativa, dado que precisa un elevado
nivel de familiaridad con las intervenciones y con sus principales actores (su
experiencia, su posicin en relacin con la organizacin, sus opiniones y
argumentos) supone no obtener ningn tipo de medida sobre los efectos
concretos de los programas en poblaciones especficas.

IV. ORGANIZACIN INSTITUCIONAL DE LA EVALUACIN

La evaluacin de la accin pblica se produce principalmente en aquellos

pases donde existe un desarrollo importante de las polticas de bienestar
social y en las organizaciones de la ONU dedicadas a programas de ayuda
internacional. De una parte, Estados Unidos, Canad, Alemania, Suecia y
Gran Bretaa cuentan con iniciativas de este tipo desde finales de los aos
sesenta, mientras que Noruega, Dinamarca, Holanda y Francia intensifican
la demanda de evaluacin en los aos ochenta (Derlien, 1990: 148-149). De
otra parte, la evaluacin de polticas pblicas se encuentra formalmente ins-
titucionalizada en la ONU, y de forma singular en el Banco Mundial, OMS,
FAO, UNESCO y UNIDO (Hellstern, 196: 282).
Empezamos el anlisis comparado con el caso de los Estados Unidos
(EEUU en adelante), indudablemente el pas con un sistema de evaluacin
ms avanzado, tanto por su elevado nivel de institucionalizacin como por
el grado de sofisticacin metodolgica alcanzado. Generalmente, se afirma
que nicamente en los EEUU, en el Canad y en algunas organizaciones
internacionales existe una poltica de evaluacin sistemtica de las polticas
y programas pblicos, mientras que en los dems pases de la Europa occiden-
tal sta se produce ad-hoc, es decir, en relacin con demandas especficas.
Ciertamente, la experiencia europea en este campo es mucho ms limitada
y no alcanza todava el carcter de una funcin asumida como propia por las
instituciones. Sin embargo, la presentacin de algunos datos sobre la experien-
cia de cinco pases europeos (Reino Unido, Alemania, Suecia, Holanda y
Francia) nos permite sacar algunas conclusiones sobre los factores que condu-
cen a un mayor desarrollo de la evaluacin en unos determinados pases y
sobre la poltica de evaluacin que puede tener mayor sentido en nuestro
pas, partiendo de la experiencia comparada en esta materia (4).

(4) La informacin que se presenta a continuacin se basa en un limitado nmero de

publicaciones para EEUU y en los trabajos del Working Group on Policy Evaluation coor-
dinado por R. Rist en el marco de las reuniones organizadas por el Instituto de Ciencias Admi-

209
 XAVIER BALLART

1. Estados Unidos:
el caso del mercado ms abierto y plural
La evaluacin de los programas pblicos emerge en los EEUU sobre la
base de una tradicin consolidada de aplicacin de las ciencias sociales al
anlisis de las polticas de las instituciones de gobierno. Esta tradicin tiene
su origen en las polticas federales del New Deal, y se desarrolla de forma
intensiva durante la dcada de los sesenta para dar respuesta a la preocupacin
creciente sobre la utilidad de los programas de la Great Society y de la
Guerra contra la pobreza del presidente Johnson. Desde entonces ha produ-
cido numerosos estudios empricos sobre todo tipo de programas sociales,
que se caracterizan por incorporar las tcnicas de investigacin y los mtodos
estadsticos propios de las ciencias sociales, lo que hace de la misma evalua-
cin un rea de conocimiento interdisciplinar.
La dcada de los sesenta se corresponde asimismo con la extensin de la
reforma presupuestaria conocida como Planning, Programming and Budget-
ing System (en adelante PPBS) a toda la Administracin federal norteame-
ricana. El PPBS propona organizar el gasto en funcin del producto final,
y de su contribucin por tanto a los objetivos de las diversas unidades y
servicios pblicos, lo que permitira agrupara aquellos programas que tuvieran
una forma similar de tratar un determinado problema y establecer comparacio-
nes entre programas alternativos. Si bien esta aproximacin racionalizadora
no pudo superar las dificultades encontradas para llevar a cabo estimaciones
vlidas y fiables de los resultados de la intervencin pblica a priori, s puso
de manifiesto las posibilidades del anlisis retrospectivo, sobre la base de
mejorar las bases de datos y el conocimiento sobre la forma de operar la
intervencin pblica sobre la realidad.
Estas dos corrientes, que segn todos los autores (Rossi y Freeman, 1985:
28; Chelimsky, 1985: 2; Nioche, 1988: 136) se encuentran en el origen de
la evaluacin de programas en los EEUU, tienen sin embargo un peso desigual.
Efectivamente, como ha sealado Nioche:
El lento y progresivo desarrollo de la evaluacin emprica de las polticas
sobre la base de la investigacin aplicada y de la acumulacin de conocimien-
tos y know-how demostr ser ms eficiente y til para los decisores pblicos
que no la aproximacin tecnocrtica del PPBS (1988: 59).

nistrativas de Bruselas para las experiencias europeas. El autor quiere expresar su agradecimien-
to a los profesores J. Leca, presidente del Conseil Scientifiquc de l'Evaluation de Francia; J. P.
Nioche, profesor de Hautes Etudes Commerciales en Pars, y E. Monnier, director del Labora-
toirc d'Evaluation pour les Organismes et les Politiques Publiques de Lyon, por los materiales
facilitados y por sus explicaciones sobre el caso francs.

210
 EVALUACIN DE POLTICAS

La segunda mitad de los aos sesenta y los setenta experimentaron el

crecimiento ms importante de las prcticas de evaluacin, tanto a nivel de
demanda como de oferta tanto pblica como privada. Entre las evaluaciones
llevadas a cabo, algunas fueron especialmente complejas, tanto por sus dimen-
siones (en cuanto a nmero de personas afectadas y presupuesto) como por
los diseos de investigacin aplicados. En este sentido, las ms espectaculares
fueron los experimentos que intentaban determinar los efectos de un impuesto
negativo asociado a la garanta de un nivel mnimo de renta, los experimentos
con los llamados bonos de vivienda y los desarrollados en el mbito de la
seguridad ciudadana y la criminologa (5).
Este enorme esfuerzo para determinar los efectos de la intervencin pblica
ha dado lugar a una verdadera profesin, como demuestran, primero, el
nmero de publicaciones y revistas aparecidas (Evaluation Review, Evaluation
and Program Planning, Evaluation Studies Review Annual); segundo, la
creacin de asociaciones nacionales y comits dedicados al control de la
calidad de los trabajos (Evaluation Research Society), y tercero, el creci-
miento experimentado por las empresas e institutos de investigacin que se
crearon originariamente para optar a los contratos ofrecidos por las Adminis-
traciones pblicas (Abt. Ass., Systems Development Corp., Mitre, Rand,
Stanford International).
La normalizacin de la funcin de evaluacin en el sistema poltico-admi-
nistrativo tuvo su traduccin en la creacin de unidades especializadas tanto
dentro de la Administracin como dependientes del Congreso.
A nivel del ejecutivo, los departamentos y agencias que gestionan la
mayor parte de los programas sociales (trabajo, sanidad, educacin y
bienestar) adoptan estructuras de evaluacin, apoyadas por la Oficina
del Presupuesto, que se encarga de llevar a cabo una labor de estmulo
y divulgacin de metodologas.
A nivel del legislativo, el principal instrumento para la evaluacin de
los programas de la Administracin es la General Accounting Office
(en adelante, GAO). Esta agencia, que a principios de los ochenta
contaba con ms de 3.000 empleados (Walker, 1985: 272), puede
actuar por iniciativa propia, a requerimiento de un miembro del Con-
greso o de un departamento ejecutivo, o simplemente porque as lo
establece la legislacin que autoriza la intervencin. Adems de la
GAO, el Congressional Research Service, el Congressional Budget
Office y la Office of Technological Assesment pueden trabajar

(5) Vid. Ballart (1992), para una descripcin ms detallada de estas experiencias.

211
 XAVIER BALLART

para el Congreso en la evaluacin de opciones programticas alterna-

tivas.
Resumiendo, pues, la evaluacin constituye hoy en los EEUU una funcin
perfectamente consolidada y que ha dado lugar a un mercado plural en el que
participan tanto instituciones pblicas y universidades como institutos de
investigacin, fundaciones y empresas privadas.

2. Reino Unido:
de la preocupacin por el impacto final
a las iniciativas centradas en la productividad
A finales de los aos sesenta y principios de los setenta el inters por el
anlisis de las polticas y la evaluacin retrospectiva de sus resultados encontr
dos puntos de apoyo, segn Jenkins y Grey (1990: 56), en las iniciativas del
Tesoro con el propsito de poner en funcionamiento sistemas efectivos de
control del gasto, y en el movimiento de reforma que reclamaba ms gestin
en el sector pblico y ms racionalidad en los procesos de decisin a nivel
central.
Ambas preocupaciones quedaron reflejadas en el libro blanco sobre La
Reorganizacin del Gobierno central de 1970 y se traduciran en la creacin
del Central Policy Review Stqff (CPRS), a nivel de gabinete y del Program
Analysis and Review (PAR), a nivel de departamentos ministeriales. El CPRS
adopt la forma de un think tank integrado por altos funcionarios de la Admi-
nistracin, expertos acadmicos y dirigentes de empresas privadas, que tenan
por misin generar propuestas de evaluacin a nivel de gabinete. Mientras
que el PAR se estructur como un programa que tena por objetivo forzar a
los departamentos ministeriales a entrar en el anlisis y en la evaluacin de
sus servicios.
Ambas iniciativas acabaran por desaparecer sin haber conseguido sus
propsitos. Entre las razones del fracaso del PAR, Jenkins y Grey (1990: 57)
han sealado, primero, dificultades tcnicas derivadas de la pobreza de los
datos existentes y de la falta de personal con la preparacin adecuada; segundo,
dificultades a nivel de organizacin, en la medida que los departamentos no
contaban con unidades especializadas, y tercero, dificultades polticas, dado
que la evaluacin presentaba algunos riesgos.
La llegada al poder de M. Thatcher en 1979 supuso un cambio de orien-
tacin: la preocupacin por el control de los recursos utilizados sustituira la
preocupacin por cuantificar el output pblico o por delimitar los efectos
netos de la intervencin. En lugar del CPRS y del PAR aparecieron, primero,

212
 EVALUACIN DE POLTICAS

la Efficiency Strategy (ES) y despus la llamada Financial Management ini-

tiative (FMI).
La ES fue diseada por D. Rayner, un conocido hombre de negocios,
a quien M. Thatcher encarg el programa de eficiencia de su gobierno. Su
estrategia para conseguir mayor eficiencia en la Administracin central con-
sisti en organizar una oficina de pequeas dimensiones con apoyo directo
de la Primera Ministra, y con la autoridad y capacidad necesarias para llevar
a cabo estudios rpidos de actividades especficas de los departamentos y
agencias administrativas. El programa persegua objetivos relacionados no
nicamente con la idea de productividad sacar ms provecho de los recursos
invertidos y eliminar obstculos burocrticos a una mejor gestin, sino
tambin con la idea de implementar los cambios propuestos, de una forma
rpida y efectiva.
Segn Jenkins y Gray (1990: 60), si bien los resultados de esta estrategia
en trminos de evaluacin fueron bastante limitados, el apoyo continuado que
obtuvo de la Primera Ministra permiti desarrollar una tarea de pequeas
reformas que ha sido muy bien recibida por el Parlamento y la opinin pblica.
La FMI fue la respuesta del gobierno conservador a la demanda de un
sistema ms amplio de revisin de polticas por parte del Parlamento. Sin
embargo, a diferencia de las iniciativas de los aos setenta, la FMI reflejaba
una mayor preocupacin por la contencin del gasto y por el desarrollo de
sistemas descentralizados de gestin responsable. Coordinada centralmente
por un equipo de reducidas dimensiones, la FMI encargaba a los departa-
mentos ministeriales la elaboracin de sus estrategias, la descripcin de las
actividades que estaban llevando a cabo para gestionar sus objetivos, y el
establecimiento de mecanismos de asignacin de responsabilidades por los
recursos utilizados.
Como en el caso de la ES, la FMI cont con el apoyo incondicional
de la Primera Ministra y ha dado lugar a sistemas de control del gasto y de
medida de outputs en relacin con los objetivos iniciales. Jenkins y Grey
(1990: 61) sealan, sin embargo, cmo la excesiva preocupacin por los
recursos y por el establecimiento de sistemas de control de gestin internos
ha dejado poco margen a la evaluacin de la eficacia final de las polticas.
A nivel parlamentario, la Comisin de Contabilidad Pblica ha visto
reforzada su capacidad de control desde la aprobacin de una ley en 1983,
por la que se amplan las funciones tradicionales del Comptroller and Auditor
General y de su personal en la National Audit Office (equivalente a nuestro
Tribunal de Cuentas) con las de investigar si los departamentos del ejecutivo
utilizan los recursos de que disponen de una forma eficiente y eficaz. Si bien
sus investigaciones difcilmente podran considerarse evaluaciones en sentido

213
 XAVIER BALLART

estricto, la seleccin de nuevos profesionales y la extensin de su mbito de

actuacin puede tener consecuencias importantes, a pesar de las limitaciones
que impone el sistema mayoritario de gobierno.

3. Alemania: institucionalizacin de la evaluacin

en la Administracin central
En Alemania, al igual que en los EEUU y en el Reino Unido, el desarrollo
de la evaluacin se asocia a la progresiva adopcin de nuevas polticas y
programas en las reas de educacin, sanidad, vivienda y asuntos sociales a
finales de los aos sesenta y principio de los setenta, y a la necesidad poltica
de justificar el incremento del gasto pblico en nuevas intervenciones cuyos
efectos no haban sido demostrados de forma emprica.
Segn Derlien (1990: 38), despus de la formacin del gobierno de coa-
licin social-liberal de 1969 y de la primera ola de reformas administrativas
(unidades de planificacin, modelos de previsin, anlisis coste-beneficios),
la evaluacin sera practicada e institucionalizada de forma gradual, tanto a
nivel federal como a nivel de los estados y ciudades importantes. Sin embargo,
este mismo autor seala que hay que buscar las causas concretas del desarrollo
inicial de la evaluacin en la presiones polticas del Parlamento, en el papel
otorgado a Hacienda por las leyes de reforma presupuestaria y en la predispo-
sicin de la Administracin a mejorar sus sistemas de informacin para crear
argumentos con los que hacer frente a las crticas externas.
De forma general, se considera sin embargo que la evaluacin se desarrolla
bsicamente a nivel ministerial, lo que tuvo su traduccin a nivel institucional
en la creacin de unidades especializadas en algunos ministerios centrales.
Concretamente se crearon unidades de evaluacin en los Ministerios de Agri-
cultura, Transportes, Ayuda al Desarrollo y Tecnologa. A su vez, las Agen-
cias Federales para las Relaciones con la Prensa y para la Divulgacin de la
Informacin sobre la Salud, establecieron organismos de evaluacin de sus
polticas de comunicacin. En relacin con estos organismos, Derlien (1990:
39) seala que no se trataba tanto de que las evaluaciones fueran efectivamente
realizadas por el personal administrativo-funcionarial como de que los minis-
terios contaran con especialistas que pudieran mantener contactos con equipos
de investigadores externos, contratar los que fueran ms adecuados para cada
caso y discutir los diseos de investigacin y los trabajos de recoleccin de
datos.
Otra fuente de evaluaciones fueron los experimentos en materia de vivien-
da, educacin y sanidad que, como en EEUU, se llevaron a cabo en Alemania
a principios de los aos setenta con el propsito de determinar los resultados

214
 EVALUACIN DE POLTICAS

de una intervencin antes de generalizar su aplicacin a toda la poblacin.

La supervisin de estos experimentos y en general de las actividades de
evaluacin de los ministerios centrales ha sido desempeada en Alemania,
segn Derlien (1990: 40), por una seccin especializada en tcnicas de plani-
ficacin y evaluacin que se cre dentro de la Oficina del Canciller en 1969.
El Parlamento federal tambin ha jugado un importante papel en el esta-
blecimiento de mecanismos de control y evaluacin. Al igual que en los
EEUU, desde finales de los aos sesenta el Parlamento ha legislado para
numerosos programas la obligacin de aportar informacin sobre su imple-
mentacin y efectos. Ejemplos de esta poltica legislativa han sido importantes
leyes como, por ejemplo, la Ley de Mejora de la Estructura Econmica
Regional, la Ley del Mercado y de la Ocupacin, la Ley de Subsidios Sociales,
la Ley de Inversin en Hospitales, la Ley de Becas y Ayudas, la Ley del
Aborto, la Ley de Proteccin de los Arrendatarios y varias leyes impositivas.
Otra forma de forzar la evaluacin de programas adoptada por el legislativo
alemn ha consistido en estipular la terminacin automtica de un programa
en un determinado perodo de tiempo a no ser que demuestre su eficacia (la
llamada Sunset Legislation norteamericana). Esta tcnica legislativa se apli-
c, por ejemplo, en la citada Ley de Proteccin de los Arrendatarios.
El Tribunal de Cuentas Federal, por el contrario, no ha entrado en la
valoracin de las polticas y programas pblicos en trminos de eficacia y
eficiencia, si bien sta es una tarea que le encomienda la legislacin. Segn
Derlien (1990: 40), la posicin polticamente neutral de esta institucin, su
misin tradicional de auditora de las cuentas pblicas y la formacin de su
personal se hallan entre las posibles causas de este abstencionismo. Desde
1985, sin embargo, el Tribunal de Cuentas recoge en su informe anual los
resultados de las evaluaciones llevadas a cabo por los mismos Ministerios.

4. Suecia:
fragmentacin y descentralizacin de la evaluacin
Suecia ha sido uno de los primeros pases en desarrollar estudios de
evaluacin de las polticas pblicas, y son muchos los estudios realizados
desde mediados de los aos sesenta en relacin con polticas de asistencia
social y sanitaria, educacin, trabajo y conservacin de la energa (Vedung,
1990: 3). Ello no debera soprender tratndose de un pas en el que, segn
Ysander (1984: 53), ms del 70 por 1000 del montante total del producto
interior pasa por los presupuestos pblicos.
Otros autores (Deleau, et al., 1986: 146) han sealado, sin embargo, otros
factores que podran explicar una menor presin poltica en el caso sueco

215
 XAVI1R BALLART

para realizar anlisis ex post de los programas pblicos. Primero, hasta hace
relativamente pocos aos, Suecia ha mantenido un fuerte consenso sobre la
justificacin de los programas pblicos de intervencin, sobre todo en el rea
de bienestar social. Segundo, existe una percepcin generalizada de que la
Administracin funciona bien. Tercero, la implementacin de un sistema de
planificacin y presupuestacin similar al PPBBS norteamericano sirvi en
Suecia para descentralizar de forma significativa la Administracin central,
hasta el punto que dos tercios del presupuesto son administrados por munici-
pios y corporaciones de carcter supramunicipal.
Hasta las reducidas dimensiones del pas y la proximidad de la Adminis-
tracin a los usuarios finales de los servicios podran haber funcionado como
un elemento sustitutorio de la evaluacin. Sin embargo, Suecia ha desarrollado
su propio sistema, que como demuestra Vedung (1990: 16), no se adapta a
ninguno de los modelos de organizacin de la evaluacin discutidos por la
literatura.
El modelo sueco se caracteriza por la fragmentacin de la evaluacin que
se desarrolla de forma independiente bajo el control de las mltiples comisio-
nes creadas ad-hoc para la formulacin o enmienda de las polticas de cada
uno de los distintos niveles de gobierno.
A nivel central, las leyes ms importantes son elaboradas y discutidas por
una comisin que nombra el gobierno y que incluye a altos funcionarios, a
representantes de los partidos polticos y de los grupos de inters, y a expertos
especialistas del mundo acadmico. Corresponde a estas comisiones el poder
de decisin sobre los estudios previos que deban realizarse, y sobre la infor-
macin que sea preciso recoger sobre los resultados de polticas pasadas.
Adems, los Ministerios centrales suecos generalmente cuentan con una co-
misin de investigacin y desarrollo, de composicin igualmente plural, en-
cargada de desarrollar la investigacin de aquellos aspectos que precise la
poltica del Ministerio. Esta constituye una segunda fuente importante de
evaluaciones a nivel central.
A nivel local, dada la importancia de este nivel de gobierno en la prestacin
de los servicios, tanto las asociaciones nacionales de municipios como las
mismas instituciones centrales de gobierno han impulsado el desarrollo de
medidas comparativas y de evaluaciones de polticas sectoriales.
Una tercera fuente de evaluaciones ha sido en el caso de Suecia la Oficina
Nacional de Control o Tribunal de Cuentas que, por imperativo legal desde
1967 se ocupa de evaluar la actividad y la eficiencia con la que actan las
agencias nacionales en las que se organizan los ministerios centrales en Suecia.
A diferencia de otros casos estudiados, la Oficina Nacional de Control sueca
ha ido ampliando progresivamente su papel desde una actividad de control

216
 EVALUACIN DE POLTICAS

externo a una actividad de control ms directo: su estrategia consiste en

examinar, primero, la misin y objetivos de la agencia; segundo, su actividad,
y tercero, sus mecanismos de control interno de gestin. A su vez, la Oficina
Nacional de Control estimula a las agencias administrativas para que analicen
sus actividades por s mismas y les ofrece informacin y sugerencias que
puedan interesarles (Vedung, 1990: 9).
Este modelo ha sido seguido asimismo por la Oficina del Auditor General
noruego, que incluye desde 1986 una seccin de Auditora de Rendimientos
que tiene como misin la evaluacin de la utilizacin de recursos y bienes
pblicos en base al anlisis crtico de objetivos y resultados (Eriksen, 1990:
127). En este sentido, Noruega sigue, con retraso, los pasos de Suecia en la
adaptacin efectiva de esta institucin de control a sus nuevas obligaciones
legales.
5. Holanda: la reconsideracin de las polticas
La introduccin del anlisis de las polticas y programas pblicos tuvo
lugar en el caso de Holanda a principios de los aos setenta, con la creacin
por el Ministerio de Hacienda de un Comit Interdepartamental para el Des-
arrollo del Anlisis de las Polticas. El llamado COBA estaba integrado
por representantes de todos los ministerios que contaban con el soporte de
personal especializado del Ministerio de Hacienda y tenan por misin promo-
ver la aplicacin de anlisis cientficos de las polticas ministeriales. En sus
aos de existencia, segn Bemelmans-Videc, et al. (1990: 110), las activida-
des del COBA se centraron en la clarificacin de los objetivos de los depar-
tamentos ministeriales, en base al desarrollo de estructuras que iban desde
los propsitos ms generales y abstractos hasta los objetivos operacionales
concretos que deban tener indicadores claros de rendimiento.
Estos mismos autores holandeses sealan, sin embargo, como las dificul-
tades encontradas tanto a nivel poltico como administrativo, llevaron en
ltimo trmino a la desaparicin del COBA. Ni gestores ni polticos estaban
excesivamente interesados en fijar objetivos claros y especficos, puesto que
ello les haca ms vulnerables, mostraba sus propios errores y, en ltimo
trmino, su ineficacia a la hora de alcanzar sus propsitos.
Una comisin formada en el ao 1980 para estudiar la estructura organi-
zativa de la Administracin Pblica holandesa recomend en su informe final
la sistematizacin de la evaluacin de las polticas en las instituciones centrales
de gobierno por la va de incorporar la tcnica de la llamada Sunset Legis-
lation, esto es, programas que tienen una fecha lmite cuya continuacin
depende de que demuestren su eficacia. En esta direccin, el impulso del
Parlamento, al estipular la obligatoriedad de las evaluaciones de determinadas

217
 XAVIKR BAl.l.ART

polticas en las mismas leyes que las aprobaron, ha sido importante para la
institucionalizacin de la evaluacin en Holanda.
Al mismo tiempo, la recesin econmica de principios de los ochenta y
la necesidad de encontrar formas de reducir el gasto pblico crearon las
condiciones necesarias para que esta tcnica legislativa y, en general, la idea
de evaluar retrospectivamente las polticas y programas encontraran un apoyo
que antes no tenan de la parte de polticos y altos funcionarios. Segn
Bemelmans-Videc et al. (1990:112), la Administracin central holandesa ha
dado un fuerte empuje a la demanda de evaluaciones en esta ltima dcada,
en todas las materias relacionadas con las polticas de bienestar social (ocu-
pacin, seguridad social, participacin ciudadana a nivel local), lo que ha
contribuido de forma notable a crear un mercado plural en el que participan,
adems de las administraciones pblicas, instituciones relacionadas con el
mundo acadmico y empresas de consultora privadas.
De forma general se considera, sin embargo, que el ejemplo ms impor-
tante de evaluacin sistemtica de las polticas es, sin embargo, el llamado
Procedimiento de Reconsideracin de las Polticas (PRP). Este procedimiento
sigue el ao fiscal y consiste en la reconsideracin de los programas y servicios
estudiados, con el propsito de proponer alternativas a su modo de operar
que redunden en un menor gasto pblico.
La seleccin de los programas que son objeto de reconsideracin cada
ejercicio fiscal corresponde al Consejo de Ministros y los resultados de las
investigaciones son igualmente discutidos por el Consejo en pleno. Los traba-
jos son realizados por equipos mixtos, dirigidos por un representante del
ministerio ms directamente afectado, que adems suele contar con la asisten-
cia de un comit de altos funcionarios y representantes del Ministerio de
Hacienda.
El procedimiento de reconsideracin implica tres tareas: primero, describir
la poltica o programa; segundo, evaluar el desarrollo del proceso de imple-
mentacin, eficacia y eficiencia, y tercero, proponer un mnimo de cuatro
alternativas que requieran menos esfuerzo presupuestario, adems de explorar
las posibilidades de privatizacin, descentralizacin y o aplicacin del princi-
pio de maximizacin de los beneficios.
Esta iniciativa ha sido juzgada con un xito relativo debido, sobre todo,
al carcter obligatorio del procedimiento, a la especificidad de las directrices
y a los estrechos mrgenes temporales en que deben completarse las investi-
gaciones. El principal resultado ha sido, sin embargo, los recortes presupues-
tarios y las operaciones de reorganizacin administrativa, descentralizacin
o hasta privatizacin (Bemelmans-Videc, et al., 1990: 115).

218
 EVALUACIN DE POLTICAS

6. Francia:
creacin de un dispositivo central de evaluacin
dependiente del primer ministro
El gobierno socialista francs sancion en enero de 1990 la evaluacin
como procedimiento institucional de revisin de las polticas pblicas dentro
de la Administracin francesa. La reforma fue el resultado final de un largo
debate que empez con una conferencia internacional en 1983 y con la presen-
tacin de dos informes: el primero en 1986 (Informe Deleau) y el segundo
en 1989 (Informe Viveret).
Los esfuerzos para desarrollar una cierta capacidad de evaluacin se re-
montan a los aos sesenta, en que se adopt el programa de la Rationalisation
des Choix Budgtaires (RCB). Si bien la RCB se centraba en el anlisis ex
ante ms que en la evaluacin expost de las polticas, la creacin de unidades
dentro de la Administracin francesa especializadas en las nuevas tcnicas de
programacin y presupuestacin, gener una importante demanda de estudios
que contribuira a producir un cierto desarrollo de la evaluacin en Francia.
En 1987, escribira Nioche, la evaluacin de las polticas en Francia es
una actividad que avanza muy lentamente y que no est organizada ni insti-
tucionalizada en el sistema poltico-administrativo (1988: 16).
A su vez, este autor sealaba en el mismo texto cmo la preocupacin
por la evaluacin se extiende en Francia a las instituciones de control tradicio-
nal Tribunal de Cuentas e inspecciones ministeriales, si bien este inters
podra, sin embargo, redundar en un menor desarrollo de evaluaciones cien-
tficas y completas, en la medida que se confunde evaluacin y control y
se intenta mantener la primera como una funcin estrictamente interna de la
Administracin.
La organizacin e institucionalizacin de la evaluacin en Francia se
produce con la reforma Rocard de 1990 (Decreto 90-82, de 22 de enero de
1990). Para ello se crea una estructura administrativa nueva con la que se
intenta ampliar a nivel interministerial las iniciativas de evaluacin adoptadas
por los ministerios individualmente considerados y dotar al conjunto de las
administraciones de una poltica de evaluacin coordinada.
Concretamente, el nuevo dispositivo de evaluacin francs est constituido
por: el Comit Interministerial de la Evaluacin (CIME), el Fondo Nacional
para el Desarrollo de la Evaluacin (FNE) y por el Consejo Cientfico de la
Evaluacin (CSE).
El CIME est presidido por el primer ministro y rene a los principales
ministerios del gobierno. Acta como instancia de coordinacin de las eva-
luaciones del ejecutivo, y en este sentido recibe las proposiciones de evalua-
cin de los ministerios. Tambin pueden presentarle propuestas de evaluacin

219
 XAVIER BALLART

el Consejo de Estado, el Tribunal de Cuentas y el Defensor del Pueblo. Es,

sin embargo, el CIME el rgano que tiene la autoridad formal para tomar
una decisin final, y en este sentido afectar los recursos previstos en el Fondo
Nacional para el Desarrollo de la Evaluacin.
El FNE es, pues, controlado por el primer ministro a travs del CIME.
La legislacin establece, sin embargo, una reserva de hasta un 20 por 100
del Fondo para evaluaciones cuya iniciativa sea adoptada por el Consejo
Econmico y Social. La utilizacin de esta reserva por parte de este organismo
requiere a su vez la autorizacin previa del Consejo Cientfico de la Eva-
luacin.
El CSE se compone de 11 miembros, nombrados por el presidente de la
Repblica, entre profesores, altos funcionarios de reconocido prestigio cien-
tfico y/o administrativo. Su mandato es por un perodo de seis aos, no
renovable, y su funcin consiste en proporcionar asesoramiento cientfico al
CIME. Concretamente, el CSE emite dos dictmenes sobre cada proyecto de
evaluacin: uno, antes que el primer ministro y el CIME decidan sobre la
aprobacin de un proyecto, y otro, despus que la evaluacin haya sido
realizada. En este segundo dictamen, que se publica al mismo tiempo que el
contenido de la evaluacin, el CSE expresa su opinin sobre la calidad de
los trabajos realizados.
Si bien este dispositivo de evaluacin est llamado a ser el ncleo central
de la evaluacin en Francia, existen otras instancias pblicas independientes
cuya misin consiste en evaluar un sector preciso de actividad. Algunos
ejemplos de instancias de evaluacin dependientes del ejecutivo son el Comit
Nacional de la Evaluacin de las Universidades, el Comit Nacional de Eva-
luacin de la Investigacin, el Comit de Evaluacin y de Prospectiva de
Nuevas Profesiones, el Comit de Evaluacin de la Poltica de las Ciudades
y la Agencia Nacional para el Desarrollo de la Evaluacin Mdica. Mientras
que dependen de la Asamblea Nacional, la Oficina Parlamentaria de Evalua-
cin de las Opciones Cientficas y Tecnolgicas y la Comisin Nacional de
Evaluacin de la Renta Mnima de Insercin (CEOPS/ENTP, 1991).
La adopcin de dispositivos similares al adoptado por el gobierno central
a nivel de las regiones podra contribuir a un desarrollo ms plural de la
evaluacin en Francia. En esta lnea, el Consejo Regional de la Regin
Rhone-Alpes decidi en enero de 1991 crear un Comit Regional de la
Evaluacin, equivalente al CSE nacional.
La legislacin autorizante otorga al CRE funciones de definicin previa
de los programas que se someten a evaluacin, de control tanto de las propues-
tas de evaluacin como de los equipos encargados de llevarlas a cabo, y de
supervisin a posterior! de los trabajos realizados. Como en el caso de las

220
 EVALUACIN DE POLTICAS

instituciones centrales, la iniciativa queda en manos del presidente regional,

si bien en este caso, de una parte, se incluye en el debate anual del presupuesto
la deliberacin sobre las polticas susceptibles de evaluacin, y de otra parte
se deja en manos de las comisiones correspondientes del Consejo Regional
y del Comit Econmico y Social Regional, la discusin sobre los resultados
de las evaluaciones (Quermonne, el al., 1991).

V. IMPLICACIONES DE LA EXPERIENCIA COMPARADA

EN LA DEFINICIN DE UNA POLTICA DE EVALUACIN PROPIA

La observacin de las experiencias comparadas pone de relieve algunas

tendencias que es preciso tener en cuenta a la hora de definir una poltica de
evaluacin. Sin embargo, las diferencias econmicas, polticas, instituciona-
les y hasta de tradicin en las ciencias sociales determinan unos condicionantes
propios de cada pas.
En primer lugar, la evaluacin tiene su edad dorada en una poca de
expansin econmica, en la que la ampliacin automtica de las bases impo-
nibles financia casi sin costes polticos las nuevas polticas de intervencin
social. Cuando nuestro pas se suma a estos procesos nos encontramos con
una situacin radicalmente distinta que determina que aquellos que antes se
preocupaban por el impacto de las polticas cambien su orientacin a favor
de los anlisis que sirvan para incrementar la productividad, racionalizar la
gestin de unos recursos cada vez ms limitados y hasta, en ltimo trmino,
justificar los recortes presupuestarios.
En segundo lugar, el sistema parlamentario espaol, tanto a nivel central
como autonmico, se basa en una fuerte disciplina de partido que tiende a
limitar la funcin de control del Parlamento. El partido o coalicin mayoritaria
har todo lo que sea posible para evitar una discusin poltica de la que pueda
salir perjudicado su gobierno, mientras que la oposicin, ms interesada en
ejercer sus funciones de control, se ve fuertemente limitada por su condicin
minoritaria.
En tercer lugar, los Tribunales de Cuentas, central y autonmicos, a pesar
de estar obligados legalmente a examinar la eficacia y la eficiencia con que
actan los organismos pblicos de su jurisdiccin, limitan su papel al de
supervisin de las cuentas pblicas de acuerdo con lo que establecen la ley
del presupuesto y las dems leyes que sean aplicables.
En cuarto lugar, tanto por el lado de la oferta como por el lado de la
demanda el nmero de profesionales con conocimiento de mtodos suscepti-
bles de ser aplicados a la evaluacin de las polticas sociales es bastante

221
 XAVIER BA1.I.ART

reducido. En el mismo sentido, los sistemas de informacin internos y en

general los bancos de datos estadsticos, a pesar de los avances registrados
en los ltimos aos, presentan importantes lagunas y/o no han sido construidos
desde una perspectiva de medicin de resultados y evaluacin.
Estos factores podran explicar el retraso de nuestro pas en materia de
evaluacin a la vez que limitan una posible poltica de revisin de la actuacin
de los poderes pblicos. En este sentido creemos que lo ms realista corto
plazo sera generar una demanda mnima de evaluaciones en distintos cam-
pos, realizar dos o tres estudios en una perspectiva temporal concreta e
impulsar a los Parlamentos central y autonmicos y a los Tribunales de
Cuentas a desarrollar su propia oferta de evaluacin o como mnimo a que
controlen la actividad desarrollada por las Administraciones.
En este sentido constatamos como la mayor parte de las evaluaciones
tienen su origen en el ejecutivo. Cuando han sido los ejecutivos centrales los
que han tomado la iniciativa, generalmente lo han hecho para ocuparse de
polticas de carcter interdepartamental. Un ejemplo de ello sera el CPRS
britnico o el mismo dispositivo creado en Francia por el gobierno Rocard.
Como en el caso de la Efficiency Strategy y de la Financial Management
Initiative de la poca Thatcher o del Procedimiento de Reconsideracin
holands cabe, sin embargo, que los gobiernos centrales decidan examinar
programas ms especficos y no slo desde una perspectiva de eficacia, sino
tambin con una clara orientacin a problemas organizativos o de gestin con
propsitos de racionalizacin y ahorro. A nivel de ministerios, en los pases
con ms capacidad se crearon numerosas unidades de evaluacin dentro de
la Administracin central (EEUU, Alemania), mientras que en los pases ms
pequeos, grupos de expertos participan activamente en las actividades de
evaluacin de las agencias administrativas (Suecia, Holanda).
El Parlamento tiene, sin embargo, en la legislacin la posibilidad de
obligar al ejecutivo a presentar informes especficos en una perspectiva tem-
poral concreta sobre el desarrollo y los efectos de las polticas aprobadas.
Otra forma de institucionalizar la evaluacin pasa por la adopcin de estrate-
gias parlamentarias del tipo Sunset Legislation, que al condicionar la con-
tinuacin de un programa a la demostracin de su eficacia, obliga de hecho
a realizar su evaluacin.
Por fin, los Tribunales de Cuentas pueden ir cambiando la concepcin de
su propio rol en la medida que la preocupacin por el anlisis de la eficacia
y de la eficiencia de la actividad pblica vaya calando en otros sectores
institucionales. Mientras tanto, los Tribunales de Cuentas podran ir desarro-
llando un rol ms activo en dos mbitos relacionados: primero, la supervisin
de las actividades de evaluacin realizadas por el ejecutivo o como consecuen-

222
 EVALUACIN DE POLTICAS

cia de eventuales obligaciones legales, y segundo, la seleccin y formacin

de personal especializado con la perspectiva de desarrollar una divisin de
metodologa que sirva de soporte al conjunto de las Administraciones.

REFERENCIAS BIBLIOGRFICAS

ALVIRA MARTN, F.: Metodologa de la evaluacin de programas, Madrid, CIS, 1991.

BALLART, X.: Cmo evaluar programas y servicios pblicos? Aproximacin sistem-
tica y estudios de caso, Madrid, Instituto Nacional de Administracin Pblica,
1992.
BEMELMANS-VIDEC, M. L.; ELTE, R.; KOOLHAAS, E.: Policy Evaluation in the Net-
herlands: Institutional Context and State of Affairs, en R. C. RIST: Program
Evaluation and the Management of Government, New Brunswick, Transaction
Publishers, 1990.
BUTTOLPH JOHNSON, J.; JOSLYN, R. A.: Political Science Research Methods, Washing-
ton, D. C , Congressional Quarterly Press, 1986.
CEOPS-ENTPE: Les Instances Nationales d'Evaluation en France, Vaulxe en Velin,
documento de trabajo, 1991.
CHELIMSKY, E.: Program Evaluation: Patterns and Directions, Washington, D. C ,
American Society for Public Administration, 1985.
DELEAU, M.; NIOCHE, J. P.; PENZ, P H . ; POINSARD, R.: Les enseignements de quelques
expriences nationales, Documentation Franqaise, 1986, pgs. 135-157.
DERLIEN, H. U.: Program Evaluation in the Federal Republic of Germany y Gnesis
and Structure of Evaluation Efforts in Comparative Perspective, en R. C. RIST:
Program Evaluation and the Management of Government, New Brunswick, Tran-
saction Publishers, 1990.
ERICKSEN, B.: Institucional Aspects of Evaluation in Norway, en R. C. RIST: Pro-
gram Evaluation and the Management of Government, New Brunswick, Transac-
tion Publishers, 1990.
GUBA, E. G., y LINCOLN, Y. S.: The countenances of Fourth-Generation Evaluation:
Description, Judgement and Negotiation, en D. J. PALUMBO: The Politics of
Program Evaluation, Beverly Hills, CA, Sage, 1987.
HELLSTERN, G. M.: Assessing Evaluation Research, en F. X. KAUFMANN, G. MA-
JONE y V. OSTROM: Guindance, Control and Evaluation in the Public Sector,
Berln, De Gruyter, 1986.
JENKINS, B . , y GREY, A.: Policy Evaluation in British Government: From Idealism
to Realism, en R. C. RIST: Program Evaluation and the Management of Govern-
ment, New Brunswick, Transaction Publishers, 1990.
MAJONE, E.: Evidence, Argument and Persuasin in the Policy Process, New Haven,
CN, Yale University Press, 1989.
MONNIER, E.: Objetivos y destinatarios de las evaluaciones, Documentacin
Administrativa, 224-225, 1991-1992, pgs. 131-152.
NIOCHE, J. P.: Accountable Public Management, en A. KAKABADSE, P. RONDO

223
 XAVIER BAI.LART

BROVETO y R. HOLZER (eds.): Management Development and the Public Sector,

Avebury, Gower Publishers, 1988.
PATTON, M. Q.: Utilization-Focussed Evaluation, Beverly Hills, CA, Sage, 1986.
QUERMONNE, LARGER y MONNIER: Un Dispositif d'Evaluation des Politiques Publiques
pour la regin Rhone-Alpes, Vaulx en Verlin, documento de trabajo, 1991.
Rossi, P. H., y FREEMAN, H. E.: Evaluation: A Systematic Approach, Beverly Hills,
CA, Sage, 1985.
SHORTELL, S. M., y RICHARDSON, W. C : Health Program Evaluation, Sant Louis,
MI, Molby, 1978.
SCRIVEN, M.: Goal-Free Evaluation, en E. R. HOUSE (ed.): School Evaluation, The
politics and Process, Berkeley, CA, McCutchan, 1973.
FITZSIMMONS, J. A., y SULLIVAN, R. S.: Service Operations Management, Nueva
York, McGraw-Hill, 1982.
VEDUNG, E.: Development of Evaluation in the Swedish Political System, trabajo
presentado en la Conferencia Internacional de La Haya sobre Evaluacin de Pol-
ticas y Programas, 1990.
VIVERET, P.: L'Evaluation des Politiques et des Actions Publiques: Rapport au Pre-
mier Ministre, informe no publicado, 1989.
WALKER, W. E.: The Conduct of Program Evaluations on Government, Evaluation
and Program Planning, 8, 1985, pgs. 271-280.
WEISS, C. H.: Evaluation Research, Englewood Cliffs, NJ, Prentice Hall, 1972.
YSANDER, B. C : L'Evaluation des Politiques Publiques en Sude, en J. P. NIOCHE
y R. POINSARD (eds.): L'Evaluation des Potinques Publiques, Pars, Econmica,
1984.

224