O estado da arte da avaliao de polticas pblicas:

conceituao e exemplos de avaliao no Brasil

Marlia Patta Ramos

Universidade Federal do Rio Grande do Sul

Letcia Maria Schabbach

Universidade Federal do Rio Grande do Sul

A avaliao e o monitoramento so fases imprescindveis do planejamento estatal, ocupando tambm

espao crescente nas pesquisas acadmicas. Sua atualidade no debate em torno da eficcia e do impacto
das polticas pblicas em diferentes reas evidenciada pelos vrios fruns, encontros e redes de especialistas que tratam da temtica, pela demanda oriunda de rgos pblicos, e pela profissionalizao
dessa atividade em escala internacional. O presente artigo destaca, de forma sistemtica e analtica,
a relevncia dos processos de avaliao, sistematizando informaes sobre aspectos conceituais, e o
estado da arte dos estudos sobre avaliao e das prticas avaliativas de diferentes esferas de governo.
O trabalho est dividido em cinco sees: na primeira, so apresentadas a conceituao de avaliao
e suas principais caractersticas, na segunda so analisados os tipos de avaliao, e, na terceira, seus
diversos usos. Segue, na quarta seo, uma exposio sobre as tendncias dos estudos avaliativos no
Brasil e no mundo e, por fim, nas concluses so apontadas as dificuldades e as necessidades ao aprimoramento da atividade de avaliao de polticas pblicas.
P a l av r a s - c h av e : polticas pblicas; avaliao; monitoramento.
El estado del arte de evaluacin de las polticas pblicas: conceptos y ejemplos de la evaluacin
en el Brasil
Evaluacin y monitoreo son las fases esenciales de la planificacin estatal, y tambin ocupan un espacio cada vez mayor en la investigacin acadmica. Su presencia en el debate sobre la eficacia y el
impacto de las polticas pblicas en las diferentes reas se evidencia en los diversos foros, reuniones y
redes de expertos que se ocupan de este tema, as como por la demanda proveniente de las agencias
gubernamentales y la profesionalizacin de esta actividad a escala internacional. El presente artculo
expone, de forma sistemtica y analtica, la pertinencia de los procedimientos de evaluacin, organiza
la informacin sobre los aspectos conceptuales, sobre el estado del arte de los estudios evaluativos y de
las prcticas de evaluacin en las diferentes esferas de gobierno. El trabajo se divide en cinco secciones:
en la primera se presentan la conceptualizacin de evaluacin y sus principales caractersticas, en la

Artigo recebido em 8 fev. 2011 e aceito em 6 jun. 2012.

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1272

Marlia Patta Ramos Letcia Maria Schabbach

segunda se analizan los tipos de evaluacin, y en la tercera, sus diversos usos. En la cuarta seccin se
muestran las tendencias de los estudios de evaluacin en Brasil y en el extranjero. Por ltimo, en las
conclusiones, se sealan las dificultades y necesidades para mejorar la actividad de evaluacin de las
polticas pblicas.
Palabras

c l av e :

polticas pblicas; evaluacin; monitoreo.

The state of the art of public policy evaluation: concepts and examples of evaluation in Brazil
Monitoring and evaluation are crucial to the State Planning and have had a growing space in the
academic field. The constant interest on those themes is highlighted through their presence in different forums, meetings and nets of specialists that study them, along with the governments demand
for them. The present article highlights, in a systematic and analytical way, the importance of public
policy evaluation process, organizing information about the conceptual aspects, and the state of art
of these themes along with examples about concrete practices of evaluation in different governmental
areas. The article is divided in five sections: in the first one it is presented the public policy evaluation
concept and its main characteristics. In the second section we analyze different types of evaluation.
In the third section we present different evaluation uses. In the fourth section we present the stage of
evaluation in Brazil along with some concrete examples. In the end we present some conclusions and
recommendations about public policies evaluation.
Key

words:

public policies; evaluation; monitoring.

1. Definio e caractersticas da avaliao

Pode-se afirmar, preliminarmente, que a avaliao um instrumento importante para a melhoria da eficincia do gasto pblico, da qualidade da gesto, do controle social sobre a efetividade da ao do Estado, esse ltimo instrumentalizado pela divulgao de resultados das
aes de governo.
Na ltima dcada, propostas metodolgicas de avaliao foram geradas por organismos
internacionais de cooperao e financiamento, entre eles: Organizaes das Naes Unidas
(ONU), Banco Mundial (World Bank), Banco Interamericano de Desenvolvimento (BID), Organizao para a Cooperao e o Desenvolvimento Econmico (OCDE), Comisso Econmica
para a Amrica Latina e Caribe (Cepal), Centro Latino-Americano de Administrao para o
Desenvolvimento (Clad).
No existe uma nica definio de avaliao. Para Costa e Castanhar (2003), trata-se
do exame sistemtico e objetivo de um projeto ou programa, finalizado ou em curso, que
contemple seu desempenho, implementao e resultados, tendo em vista a determinao de
sua eficincia, efetividade, impacto, sustentabilidade e relevncia de seus objetivos. uma
atividade permanente e no restrita etapa final do ciclo da poltica pblica (que inclui as
fases: definio da agenda, formulao, implementao e avaliao), que informa sobre seus
avanos e limites. O propsito da avaliao guiar os tomadores de deciso, orientando-os
quanto continuidade, necessidade de correes ou mesmo suspenso de uma determinada
poltica ou programa (Costa e Castanhar, 2003:972).
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1273

Alm de aprimorar o processo de tomada de deciso, vislumbrar a alocao apropriada

de recursos e promover a responsabilizao por decises e aes (accountability) dos governantes perante o parlamento, as agncias reguladoras e fiscalizadoras e os cidados, a avaliao permite aos formuladores e gestores de polticas pblicas desenharem polticas mais
consistentes, com melhores resultados e melhor utilizao dos recursos.
A avaliao constitui-se na determinao de valor de uma atividade, programa ou poltica, um julgamento to sistemtico e objetivo quanto possvel, efetuado por avaliadores
internos ou externos. Ao incorporar elementos valorativos e de julgamento, a avaliao contempla aspectos qualitativos, no se confundindo com o mero acompanhamento das aes
governamentais.
Ela estabelece critrios fundamentais para se decidir se uma poltica deve continuar a
ser implementada, caso esteja promovendo desejvel distribuio de bem-estar (Figueiredo e
Figueiredo, 1986), ou produzindo mudanas nos sistemas econmico e social na direo dos
resultados desejados, sendo, assim, prefervel a qualquer outra poltica. Fazendo parte do processo de planejamento de qualquer poltica pblica, a avaliao gera uma retroalimentao
que permite escolher entre diferentes projetos de acordo com sua eficcia e eficincia, e, ao
cotejar os resultados, possibilita retificar as aes e reorient-las em direo ao fim postulado
(Cohen e Franco, 2004:73).
Trata-se de atividade estratgica que:
Propicia a compreenso das polticas e do Estado em ao, visando o seu aprimoramento
(Draibe, 1997). Assim, beneficia o pesquisador, o tcnico, o usurio, o Estado e a sociedade
em geral.

um instrumento para a tomada de decises e para viabilizar o controle social sobre o

gasto pblico e as aes de governo, um importante direito democrtico (Lobo, 2001; Arretche, 2001).

Em comparao com outras pesquisas, a pesquisa avaliativa possui a caracterstica explcita de atribuio de valor (como justia social, eficincia, reduo de custos, equidade,
entre tantos outros), alm de ser mais orientada para a deciso (Faria, 2001).
No Brasil, o crescente interesse dos governos com a avaliao est relacionado s questes de efetividade (alcance das metas, aferio dos resultados esperados e no esperados dos
programas) ou eficcia ( maior produo, maior eficcia), eficincia (a um menor custo de
produo, maior eficincia), ao desempenho e accountability da gesto pblica. A avaliao
permite ao governante certo conhecimento dos resultados de um dado programa ou projeto,
informao essa que pode ser utilizada para melhorar a concepo ou a implementao das
aes pblicas, fundamentar decises, promover a prestao de contas. Em nvel acadmico,
estudos nessa rea vm proliferando, embora a ateno maior seja dada aos processos de formao da agenda e formulao das polticas, em detrimento da implementao, da avaliao
e do monitoramento.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1274

Marlia Patta Ramos Letcia Maria Schabbach

Alm da preocupao com a efetividade, podem ser citadas outras razes que fomentaram a demanda por avaliaes em nosso pas, especialmente a partir dos anos 1990: a crise
fiscal que diminuiu a capacidade de gasto dos governos e aumentou a presso por maior eficincia; o fim do processo inflacionrio, que reduziu as receitas financeiras dos governos e exps os problemas das finanas pblicas; o aprofundamento da democracia, que trouxe novos
atores sociais e reivindicaes aos governos; a longa crise econmica brasileira que aumentou
a desigualdade social e a busca por programas sociais pblicos; a desestruturao da funo
de planejamento, que deixou os governantes sem elementos de informao e avaliao; a
reduo da ajuda externa e a presso dos organismos internacionais de fomento pela aferio
dos resultados dos programas sociais por eles financiados.
Dentro desse contexto, o Estado brasileiro passou a redefinir sua rea de atuao diante
das restries fiscais e, ao mesmo tempo, sofreu uma presso at ento indita pela ampliao
de polticas pblicas mais universais, de qualidade e eficientes.
Na ltima dcada do sculo XX verificou-se um abrangente movimento de reforma de
Estado e de seu aparelho administrativo nos pases desenvolvidos, que rapidamente proliferou
para os demais. Tal movimento, conhecido como Nova Gesto Pblica ou New Public Management, preconizava, em termos gerais, uma redefinio do papel do Estado e a implantao
de mecanismos de gesto oriundos da iniciativa privada na administrao pblica. Em nosso
pas, o fato mais emblemtico dessa nova orientao poltico-ideolgica e gerencial foi a Reforma Administrativa promovida pelo governo federal em 1998, atravs da Emenda Constitucional no 19 (Brasil, 1998).
As questes imediatas e centrais a serem respondidas pelos estudos de avaliao so:
em que medida os objetivos propostos na formulao do programa-projeto so ou foram alcanados? Como o programa funciona? Quais os motivos que levam ou levaram a atingir ou
no os resultados?
Cabe destacar, ainda, que a avaliao de polticas pblicas tem um carter eminentemente poltico, na medida em que est vinculada ao processo poltico mais abrangente, s
estratgias e aos interesses dos decisores e demais envolvidos (Faria, 2005). Enquanto momento do processo de anlise de polticas pblicas, a avaliao incorpora, segundo a literatura
anglo-sax, uma dupla natureza: estudo da poltica (of policy) e para a poltica (for policy). Por
um lado, ela representa a atividade acadmica que objetiva um melhor entendimento do processo poltico; por outro, volta-se soluo de problemas sociais, sendo, portanto, aplicada.
Em outros termos, subjacente anlise e avaliao de polticas pblicas, aparece a
orientao pela poltica (for policy), ou seja, o interesse em que os achados dos estudos avaliativos possam melhorar o processo poltico e o bem-estar da populao, uma vez que os avaliadores so tambm agentes sociais, cidados participantes do processo poltico e eventuais
beneficirios das aes estatais. Ao passo que a postura mais crtica e distanciada desenvolvida dentro do espao acadmico importante por permitir a iseno e o rigor cientfico; uma
postura engajada no significa, necessariamente, a identificao com os objetivos daqueles
que controlam o processo poltico e o governo.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1275

Enfim, uma postura crtica, que coloque em suspenso os pressupostos dos tomadores de
deciso, sempre recomendvel ao analista de polticas pblicas; no faz-lo conduz a uma
posio conservadora.

2. Tipos de avaliao
Existem diferentes maneiras de se realizar uma avaliao. Por exemplo, a avaliao acadmica, que mais formal e enfoca a efetividade das polticas, seus impactos e benefcios; por sua
vez, a avaliao da implementao privilegia o exame de sua eficincia e eficcia. Ainda que
estudos neutros representem um mito, a pesquisa avaliativa acadmica permite maior iseno
e rigor cientfico.
As avaliaes com foco na questo fiscal so denominadas gerencialistas, e em contraposio a elas, as de cunho mais acadmico, so chamadas de no gerencialistas (Faria,
2005).
Os tipos de avaliao podem ser agrupados de acordo com outros critrios no excludentes, como se observar na sequncia.

2.1 Conforme o agente que avalia e quem participa do processo de avaliao

A avaliao externa quando realizada por especialistas de fora da instituio responsvel
pelo programa, apresentando vantagens e desvantagens. Entre suas vantagens citam-se: a
iseno e objetividade dos avaliadores externos, no implicados diretamente no processo, e
a possibilidade de comparao dos resultados obtidos com os de outros programas similares
j analisados. Entre suas desvantagens ressaltam-se: o difcil acesso aos dados e uma provvel posio defensiva dos que tero seu trabalho avaliado, fazendo com que, muitas vezes,
forneam informaes parciais ou minimizem o efeito da avaliao sobre a melhoria dos programas.
A avaliao interna quando executada dentro da instituio e conta com maior colaborao das pessoas que participam diretamente do programa-projeto. Entre suas vantagens
tem-se: a eliminao da resistncia natural ao avaliador externo, e a possibilidade de reflexo,
aprendizagem e compreenso acerca das atividades institucionais. J entre as desvantagens
pode-se perder muito em objetividade, j que os que julgam esto envolvidos na formulao
e execuo dos programas. Todavia, se a avaliao interna for realizada por funcionrios que
no participam diretamente do programa, na tentativa de se diminuir a subjetividade, a situao torna-se anloga do avaliador externo (Cunha, 2006).
Do exposto acima se depreende que o conhecimento da metodologia de avaliao no
substitui o conhecimento sobre as especificidades e os detalhes do programa, no existindo
um nico modelo a ser aplicado em todos os casos. Neste sentido, cita-se, ainda, a avaliao
mista, que combina os dois tipos anteriores, fazendo com que os avaliadores externos tenham
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1276

Marlia Patta Ramos Letcia Maria Schabbach

contato estreito com os participantes do programa a ser avaliado, o que pode maximizar as
vantagens e minimizar ou superar as desvantagens das avaliaes (Cunha, 2006).
Por fim, evoca-se a avaliao participativa, usada principalmente em pequenos projetos, e que prev a participao dos beneficirios no planejamento, execuo e avaliao das
aes. Essa modalidade no costuma fornecer informaes especficas sobre o impacto de um
programa, mas sim sobre a opinio/percepo dos participantes (Spink, 2001; Abma, 2004,
Kayano e Caldas, 2002).

2.2 Conforme a natureza da avaliao

Quanto natureza, as avaliaes podem ser formativas quando relacionadas com a formao
do programa. Elas so voltadas para a anlise e a produo de informaes sobre as etapas da
implementao aos diretamente envolvidos, fornecendo elementos para a correo de procedimentos.
Por sua vez, as avaliaes somativas referem-se anlise e produo de informaes
sobre a implementao e etapas posteriores, sendo efetuadas quando o programa est sendo
executado h algum tempo ou aps, no sentido de verificar se alcanou as metas previstas e
julgar seu valor geral. Elas contemplam as relaes entre o processo, os resultados e o impacto, podendo incluir comparaes entre diferentes programas (Cunha, 2006).

2.3 Conforme o momento de realizao da avaliao

Quando se leva em conta o momento de sua realizao, os estudos avaliativos diferenciam-se
em ex ante e ex post. A avaliao ex ante realizada antes do comeo de um programa, com
o fito de dar suporte deciso de implement-lo ou no, e ordenar os vrios projetos segundo
sua eficincia para alcanar os objetivos determinados (Cunha, 2006).
Destaca-se neste tipo de avaliao o diagnstico (ou estudo da situao), quando se mapeiam as necessidades e so realizados estudos de factibilidade que orientaro a formulao
do programa, alm do exame do custo-benefcio e do custo-efetividade,1 que objetiva adequar
os recursos disponveis aos objetivos propostos. Tais procedimentos permitem aquilatar a viabilidade dos programas e projetos.
Ainda dentro da avaliao ex ante, Khander e colaboradores (2010) ressaltam a importncia de se realizar estudos prospectivos para dimensionar os possveis benefcios ou

Custo-benefcio a relao monetria entre os custos e os benefcios de um programa, sendo aceitvel se os ltimos
excederem os primeiros. Adequa-se mais a projetos econmicos, com benefcios facilmente quantificveis. Mais utilizada em projetos sociais, a relao custo-efetividade no se baseia em custos monetrios, mas na premissa de que,
diante de um volume limitado de recursos, esses devam ser aplicados de forma tal que permitam um maior nmero
de unidades de benefcios, qualquer que seja o valor monetrio.

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1277

obstculos de uma interveno, simulando-se situaes futuras (com e sem o programa), e

de se utilizar o modelo de anlise estrutural que identifica os principais agentes envolvidos
(indivduos, comunidades, governos locais ou nacionais), suas interaes e os diferentes contextos que influenciam os resultados do programa. Tais procedimentos podem colaborar com
o refinamento das aes antes mesmo da sua implementao, ao prever seus efeitos potenciais
em diferentes ambientes sociais.
Por sua vez, a avaliao ex post realizada durante a execuo de um programa ou ao
seu final, quando as decises passam a se basear nos resultados alcanados. Quando o programa est em execuo, julga-se se ele deve continuar ou no, com base nos resultados obtidos
at o momento. Se a resposta for positiva, avalia-se se se deve manter a formulao original
ou efetuar modificaes, redirecionando os objetivos, propostas e atividades.
Quando o programa j foi concludo, examina-se a pertinncia do uso futuro da experincia, isto , se o mesmo tipo de programa deve ser replicado ou no. A avaliao ex post a
mais desenvolvida metodologicamente e a que tem tido maior aplicao.
Para captar o impacto recomenda-se combinar ambas as anlises (ex ante e ex post) a
fim de se comparar o alcance do programa (ex post) com as predies (ex ante).

2.4 Conforme o tipo de problema ao qual a avaliao responde

Existem ainda duas modalidades de estudos avaliativos, que se referem aos tipos de problemas ou perguntas que pretendem responder (Cohen e Franco, 2004; Cotta, 1998): a avaliao
de processos, que realizada durante a implementao do programa e diz respeito dimenso
da gesto, e a avaliao de resultados e de impacto, com objetivos mais ambiciosos, especialmente o de responder se o programa funcionou ou no (Cunha, 2006).
A avaliao processual procura detectar, periodicamente, as dificuldades que ocorrem
durante o processo, a fim de se efetuarem correes ou adequaes. Ela permite identificar
os verdadeiros contedos do programa, se ele est sendo realizado conforme o previsto, se
est atingindo o pblico-alvo e se os benefcios esto sendo distribudos corretamente. Acompanhando os processos internos, ela focaliza os fatores que influenciam a implementao,
estimulando mudanas, quando necessrias.
Por intermdio de procedimentos mais cleres, essa avaliao serve de suporte para
melhorar a eficincia operativa e a eficcia dos programas, disponibilizando resultados e informaes teis aos gestores e gerentes, mais diretamente voltados s situaes contextuais.
Seus desenhos adaptam-se ao contexto, ao problema e abrangncia da pesquisa, frequentemente combinando mtodos quantitativos e qualitativos: surveys com questionrios fechados,
entrevistas semiestruturadas ou abertas e observao.
Conforme Viana (1996), a avaliao de processo diferencia-se da de impacto pelo seu
objeto que a aferio da adequao entre meios e fins, considerando os aspectos organizacional e institucional, social, econmico e poltico e pelo seu objetivo, qual seja, o de
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1278

Marlia Patta Ramos Letcia Maria Schabbach

permitir a correo do modelo de causalidade e da implementao, visando reorient-la em

funo dos objetivos propostos.
Por sua vez, a avaliao de resultados procura verificar em que medida o programa
alcanou os objetivos e quais foram seus efeitos e consequncias, indagando, aps sua implementao, se houve modificaes na situao-problema que originou a formulao do programa e examinando o sucesso ou fracasso em termos de mudana efetiva nas condies prvias
de vida das populaes beneficiadas.
Avanando-se um pouco mais em torno de seus objetivos, a aferio dos resultados contempla a avaliao de impacto, que verifica a existncia de um nexo causal entre os resultados
da implantao do programa ou projeto e as alteraes nas condies sociais da populao.
uma dimenso ex post do resultado, relacionada com os objetivos gerais e o alcance efetivo
das metas.2
Tratando-se de avaliao mais complexa, essa modalidade procura responder a trs
questes fundamentais:
a) As mudanas observadas na situao-problema se devem interveno ou a outros fatores?
b) Uma soluo se aplica a outras realidades, ou apenas a determinado contexto?
c) As mudanas so permanentes ou temporrias, cessando com a interrupo do programa?
A avaliao de impacto, geralmente realizada por meio de desenhos quase experimentais, usa mtodos quantitativos para a coleta e o tratamento dos dados e modelos estatsticos
e economtricos para analis-los. O principal desafio demonstrar que os resultados encontrados esto causalmente relacionados aos produtos oferecidos pelo programa.
As exigncias para uma adequada aferio de impacto so:
observar um tempo de maturao do programa (ou do tratamento) para se identificar o
registro de impacto;
contar com uma gama de informaes anteriores implementao (estudos ex ante);
encontrar um bom contrafactual3 um indivduo ou grupo de comparao que no tenha

Alguns autores diferenciam a avaliao de resultados da de impacto. Para Costa e Castanhar (2003), a primeira
refere-se aos resultados imediatos e aos objetivos especficos de um programa ou projeto; ao passo que a ltima seria
um subtipo da avaliao de resultados, centrada no mdio e longo prazo e nos objetivos gerais. Por sua vez, Cotta
(1998:13) destaca que a avaliao de resultados visa inquirir sobre os efeitos de uma interveno sobre a clientela
atendida, enquanto a de impacto pretende captar os reflexos dessa mesma interveno em um contexto mais amplo.
De qualquer forma, pode-se dizer que os efeitos ou resultados de um programa representam condio prvia, mas
no suficiente, para se avaliar seu impacto.
3
O ideal seria que uma mesma pessoa (ou outra unidade de anlise) pudesse ter participado e no participado de
um programa, mas ela no pode estar nas duas situaes ao mesmo tempo. Ento a pessoa que compe o grupo
de controle (no ter participado) deveria ser um clone (mais prximo) que participou. Como isto impossvel,
necessrio buscar um contrafactual, uma pessoa ou unidade de anlise que seja muito similar aos participantes.
2

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1279

participado do programa, mas que seja similar ao factual ou de tratamento a fim de se

controlar o vis de seleo do indivduo ou grupo de comparao;
comparar o estudo com outras avaliaes.
Esses desenhos possuem alta legitimidade na comunidade internacional que discute
avaliao de polticas pblicas e permitem a realizao de anlises abrangentes, com grandes
amostras populacionais. So pesquisas mais complexas e caras, e demoram mais tempo at
produzirem resultados aos tomadores de deciso. Por estes motivos, Khander e colaboradores
(2010) sugerem sua utilizao parcimoniosa, especialmente quando: a) o programa inovador e de importncia estratgica, b) h uma falta de conhecimento do que funciona ou no,
c) houver dados viveis e de qualidade.
Na classificao de Figueiredo e Figueiredo (1986), tanto a avaliao de processo quanto a de impacto podem chegar s seguintes concluses:
a) O resultado esperado alcanado.
b) Um resultado no esperado produzido, sendo, porm, positivo.
c) Resultados do tipo a) e b) ocorrem e so positivos no curto prazo, mas podem ser negativos
no mdio e longo prazo.
d) O resultado esperado atingido no que se refere aos membros da populao-alvo, isto ,
cada indivduo melhorou sua situao com a poltica pblica; no entanto, em mdio prazo,
a categoria social a que esses indivduos pertencem, ou passam a pertencer, piora.
e) O resultado esperado no alcanado e nenhum outro resultado produzido.
f) Um resultado no esperado ocorre, sendo, porm, negativo.

2.5 Diferenas entre avaliao e monitoramento

Acompanhamento ou monitoramento uma atividade gerencial interna, realizada sistematicamente durante o perodo de execuo e operao, para se saber como uma interveno
evolui ao longo do tempo, atravs de dados da gerncia do projeto sobre metas iniciais, indicadores e resultados associados aos programas. Ela necessria para se dimensionarem as
metas de um projeto, os caminhos que uma interveno percorre e as mtricas potenciais para
medir os efeitos na populao-objetivo.

Para tanto, h dois procedimentos bsicos: a) modificar a estratgia do programa a fim de se exclurem as possveis
diferenas entre ambos os grupos, atravs da seleo aleatria de seus componentes, b) criar um grupo comparativo com atributos parecidos com o de tratamento, por intermdio de certos procedimentos estatsticos, tais como:
randomized evaluations, propensity score matching, double-difference methods, use of instrumental variables, regresso
descontinuity, pipeline approach (Khander et al., 2010).
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1280

Marlia Patta Ramos Letcia Maria Schabbach

Atravs do monitoramento, gestores, pesquisadores ou outros agentes podem examinar como a implementao est sendo realizada, se est atingindo seus objetivos, alm de
verificar que problemas esto interferindo nas aes, processos e consecuo dos objetivos
previstos (Faria, 2005; Cunha, 2006). De acordo com seus resultados, pode-se recomendar o
ajuste do plano, das condies operacionais e a correo dos rumos.
Os desafios para um bom monitoramento so:
Identificar os objetivos que o programa ou a estratgia busca alcanar;
Elaborar indicadores que possam monitorar o progresso em relao s metas;
Fixar metas quantitativas e temporais para cada indicador.
Um dos aspectos constitutivos do monitoramento a elaborao de indicadores de performance e de progresso da poltica, observados periodicamente (a cada trimestre, semestre
ou ano). Enquanto os indicadores finais medem os resultados dos programas e seu impacto
em termos de bem-estar, os intermedirios examinam os inputs (recursos e meios necessrios)
e os outputs do programa (tais como: estradas construdas, desemprego masculino, emprego
feminino) (Thoenig, 2000; Henry, 2001; Jannuzzi, 2004).
Por sua vez, a avaliao pode ser realizada antes, durante a implementao ou mesmo
algum tempo depois, aps o programa provocar todo o seu impacto, e com a preocupao
centrada no modo, medida e razo dos benefcios advindos.
Em ambos os instrumentos latente a funo de proviso de informaes sobre um
determinado programa ou poltica governamental em todo o seu ciclo, inclusive o momento
inicial de identificao do problema.
Em uma conceituao abrangente, a avaliao e o monitoramento de programas consistem na verificao da adequao do desenho sua finalidade e aos objetivos pretendidos,
da correlao entre os servios prestados e as metas definidas estrategicamente, dos efeitos
(resultados e/ou impactos) mensurveis e, por fim, da lgica de eficincia subjacente, ou seja,
examinar se os benefcios advindos da poltica compensam seus custos.
A avaliao necessita das informaes provenientes do monitoramento para realizar o
julgamento que lhe cabe a respeito da eficincia, eficcia e efetividade dos programas; ambos
os estudos so, portanto, complementares. Porm, a primeira vai alm, pois verifica se o plano
originalmente traado est, de fato, produzindo as transformaes pretendidas.

3. Os diferentes usos das avaliaes

A utilizao dos estudos avaliativos envolve, fundamentalmente, quatro possibilidades: instrumental, conceitual, como instrumento de persuaso e para o esclarecimento (Faria, 2005).
O uso instrumental depende da qualidade da avaliao e da adequada divulgao de
seus resultados, de sua inteligibilidade e da factibilidade das recomendaes eventualmente
propostas. No uso conceitual, as descobertas da avaliao (a sua prpria realizao) podem alRev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1281

terar a maneira como os tcnicos compreendem a natureza, o modo de operao e o impacto

do programa. Essa aprendizagem potencializada quando os tcnicos participam ativamente
do processo de avaliao.
A utilizao da avaliao como instrumento de persuaso ocorre quando ela um recurso para mobilizar o apoio posio que os tomadores de deciso j tm sobre as mudanas necessrias na poltica ou programa e para ganhar novos adeptos para as mudanas desejadas.
J o uso para o esclarecimento incide sobre as redes de profissionais e comunidades de
polticas, os formadores de opinio e as advocacy coalitions, no sentido de produzir alteraes
nas crenas e na forma de ao institucional, pautando, assim, a agenda governamental (Faria, 2005).
Para Faria (2005), a avaliao pode igualmente ser elemento central na disputa eleitoral, no controle das relaes intergovernamentais e na busca de acomodao de foras e de
interesses no mbito intraburocrtico.
Tambm podem ser usados elementos especficos da avaliao, tais como:
A aplicao das ideias e generalizaes derivadas da avaliao pelos formuladores e pessoal tcnico do programa.
O uso do prprio fato de a avaliao ter sido ou estar sendo feita como desculpa para a
no ao.
A realizao da avaliao pode tanto ser pensada em termos de legitimao do programa,
quanto sugerir que algo no vai bem ou que h problemas no desenho do programa.
A utilizao do foco do estudo: o pblico (interno e externo) do programa avaliado passar
a dar ateno prioritria aos elementos da avaliao, com destaque para os que devero
ser mensurados. O risco que sejam negligenciados outros aspectos do programa que no
incidem sobre os indicadores de sucesso definidos.
Utilizao do desenho da pesquisa avaliativa: possibilidade de que as categorias de anlise
usadas pelos avaliadores, a metodologia de avaliao e a forma de se analisar os dados
tenham influncia no apenas sobre a gesto da poltica ou do programa em questo, mas
tambm sobre outras reas e esferas de governo.
Os usurios potenciais da pesquisa avaliativa podem ser: os financiadores do programa
(e da prpria avaliao), os gerentes e encarregados de mais alto escalo, os tcnicos e profissionais que lidam de maneira mais direta com os beneficirios (os agentes encarregados
da implementao, street level bureaucracy, Souza, 2003), os beneficirios, os gerentes de
programas similares e/ou de diferentes nveis governamentais, os agentes do governo central,
os representantes de fundaes, os interessados em conhecer projetos exitosos que meream
financiamento ou preocupados em melhorar programas sob sua responsabilidade, os membros do Legislativo engajados na melhoria de programas existentes ou na elaborao de novas
propostas, os cientistas sociais, outros avaliadores que buscam aprender com as descobertas
e com as metodologias empregadas, as prprias organizaes que administram o programa
avaliado e o pblico em geral ou a sociedade civil.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1282

Marlia Patta Ramos Letcia Maria Schabbach

Um aspecto relevante neste tpico a importncia da divulgao dos resultados de

avaliaes, pois de nada adianta avaliar se as concluses no so publicizadas. Por exemplo,
nos Estados Unidos existe o Escritrio Geral de Prestao de Contas (General Accouting Office)
e um canal de televiso que divulga regularmente resultados de avaliaes.
Carlos Aurlio Faria (2005) enumera alguns fatores que podem interferir na forma
como so aproveitados os resultados da avaliao: a existncia de crenas e interesses conflitantes na organizao que gerencia o programa, a ocorrncia de conflitos de interesses entre
as distintas unidades do programa, as mudanas no pessoal encarregado (quando, por exemplo, os novatos tm prioridades diferentes daquelas vigentes no incio da avaliao), a eventual inflexibilidade das regras e dos padres operacionais da organizao (que podem impedir a
adoo das recomendaes feitas quando da avaliao), as mudanas nas condies externas,
tais como cortes oramentrios e alteraes no ambiente poltico, que podem tornar impossvel para a organizao responder necessidade de mudana revelada pelos avaliadores.

4. A avaliao no mundo e no Brasil

4.1 Histrico da avaliao de polticas pblicas
Segundo Faria (2005), nas dcadas de 1980 e 1990, a avaliao de polticas pblicas foi posta
a servio da reforma do Estado.
Para esse autor, o primeiro boom da avaliao de polticas e programas pblicos ocorreu
nos Estados Unidos, na dcada de 1960. A pesquisa avaliativa era ento encarada como ferramenta de planejamento destinada aos formuladores de polticas e aos gerentes de mais alto
escalo. Nesse contexto, a avaliao acabou institucionalizando-se, dentro de um enfoque topdown e por meio de uma ordem executiva do presidente norte-americano, a qual determinava
que os programas sociais fossem avaliados.
Nos EUA, essa era de ouro da avaliao durou at o final da dcada de 1980, dentro
da qual predominava um paradigma metodolgico experimental, randomizado e controlado.
A inicial abordagem top-down foi sendo progressivamente revertida, com o surgimento
de metodologias bottom-up.
Na dcada de 1990 passou a predominar em muitos pases a funo de realocao,
associada ao movimento do New Public Management, tendo os avaliadores se convertido em
auditores que privilegiavam a aferio dos resultados.
Na Amrica Latina, a institucionalizao da funo avaliao aconteceu apenas entre
o final da dcada de 1980 e o incio da dcada de 1990, sendo instrumentalizada para o sucesso da reforma do Estado a partir de trs propsitos bsicos: a) a adoo de uma perspectiva
de conteno dos gastos pblicos, b) a busca de melhoria da eficincia e da produtividade, de
ampliao da flexibilidade gerencial e da capacidade de resposta dos governos, c) a maximizao da transparncia da gesto pblica e de responsabilizao dos gestores, o consumidor
vindo em primeiro plano (Melo, 1998).
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1283

A consolidao de sistemas de avaliao no continente teve forte carter de induo

externa. Dentro de uma perspectiva gerencialista, percebe-se a nfase dada implantao
dos sistemas de avaliao pelos organismos multilaterais, que investem sistematicamente no
processo: disponibilizando assistncia tcnica, fornecendo financiamento, articulando redes
de profissionais, sensibilizando lideranas polticas e acadmicas e atrelando o financiamento
de projetos exigncia de avaliao (Faria, 2005; Melo, 1999).
Esta nova nfase dada avaliao de polticas no Brasil, centrada em pesquisas que
aplicam metodologias de avaliao de resultados ou de impacto,4 no despertou interesse por
parte da comunidade acadmica dos analistas de polticas pblicas, e das reas de sociologia
e de cincia poltica, esta sempre tendo privilegiado os processos decisrios nas anlises, em
detrimento de investimentos mais sistemticos no estudo dos processos de implementao e
avaliao.
Parte significativa dos estudos sobre os processos de avaliao de polticas pblicas realizados desde a dcada de 1960 refere-se s questes de ordem metodolgica e/ou s distintas
maneiras de se classificar a avaliao, alm de seu vis acentuadamente normativo. Sempre
houve uma crena de que os resultados seriam automtica e necessariamente encampados pelos tomadores de decises para a melhoria da poltica ou do programa em questo. E tambm
uma expectativa ingnua de que se poderia produzir melhores e mais sbias decises com
base apenas na realizao da avaliao (Faria, 2005).

4.2 Tendncias internacionais recentes

As instituies multilaterais como o Banco Mundial (BM) e a Organizao das Naes
Unidas (ONU) tm desempenhado papel fundamental na priorizao e definio dos arcabouos metodolgicos da avaliao de polticas pblicas. O BM, por exemplo, estabeleceu
em 1994 o Modelo do Quadro Lgico (Logical Framework), ferramenta destinada a facilitar a
conceituao, o desenho, a execuo e a avaliao de projetos.
O Banco Interamericano de Desenvolvimento (BID), dentro do Projeto Fortalecimento
da Funo Avaliativa na Amrica do Sul, tem procurado analisar os avanos no campo da
avaliao, promovido o intercmbio de experincias quanto gesto pblica, principalmente
entre Brasil, Argentina e Chile, e buscado disseminar informaes sobre a avaliao como
parte integrante da gesto pblica.5
Outra instituio importante na definio de critrios de avaliao tem sido a ONU.
Atravs de suas agncias, a instituio estabelece as diretrizes dos programas a serem avaliados. Destaca-se, nesse sentido, a metodologia recomendada pelo Fundo das Naes Unidas
para a Infncia (Unicef) para avaliao dos programas da rea.

Cabe lembrar que avaliaes de impacto exigem uso de quantificao em termos de modelos economtricos (para
maiores detalhes ver: Ramos, 2009).
5
No Brasil, como fruto desse projeto, o Instituto de Pesquisa Econmica Aplicada (Ipea) vem elaborando uma srie
de relatrios tcnicos de avaliao de polticas.
4

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1284

Marlia Patta Ramos Letcia Maria Schabbach

Ainda quanto atualidade da avaliao no contexto internacional, menciona-se a Agenda pela Eficcia da Ajuda ao Desenvolvimento, movimento apoiado por governos de pases
desenvolvidos e em desenvolvimento, agncias multilaterais de cooperao e organizaes
privadas de financiamento. A eficcia da ajuda entrou para o lxico da indstria da ajuda
(Kaufmann, 2009) na dcada de 1990, quando a comunidade internacional de cooperao
mtua constatou que os recursos alocados eram ineficazes para promover o desenvolvimento
humano e reduzir a pobreza, alm de gerarem enormes custos aos pases beneficiados ou
nutrirem a corrupo e a m governana. Dentro desta Agenda, cujos fruns e atividades so
coordenados pela OCDE, foi firmada em 2005 a Declarao de Paris para a Eficcia da Ajuda, a qual estipula cinco compromissos de parceria em prol do desenvolvimento: apropriao
e liderana dos pases beneficiados, alinhamento da ajuda para apoiar as iniciativas locais,
harmonizao dos procedimentos dos organismos internacionais, gesto por resultados mensurveis de desenvolvimento, responsabilizao (accountability) mtua. Uma das consideraes da Declarao foi a necessidade de se especificar indicadores, calendrios e metas a fim
de se aquilatar o nvel de progresso em desenvolvimento alcanado por pas, monitorando-se,
assim, a implementao dos programas locais.6
O ex-presidente da Associao Americana de Avaliao, Michael Patton, palestrante do
seminrio Futuras Tendncias em Avaliao,7 comentou as tendncias mundiais recentes da
atividade avaliativa: a globalizao da profisso, a sua natureza transdisciplinar, o emergente
interesse poltico por accountability, pelos indicadores de performance e pela transparncia,
a crescente nfase no desenvolvimento de capacidades e habilidades em avaliar, o debate em
torno da apropriao dos diferentes mtodos de avaliao.

4.3 A avaliao na atualidade no Brasil

No Brasil, a Constituio Federal de 1988, em seu artigo do ttulo VI da Tributao e do
Oramento , estabeleceu como leis de iniciativa do Poder Executivo, a serem submetidas
aprovao do Legislativo:
a) O Plano Plurianual (PPA), abrangendo quatro anos e contendo as diretrizes, os objetivos e
as metas da administrao pblica federal para as despesas de capital e para os programas
de longa durao.
b) As Diretrizes Oramentrias e os Oramentos Anuais, como componentes de um sistema
integrado de planejamento e oramento.

Embora conste como indicativo na lista dos pases signatrios, o Brasil ainda no ratificou sua adeso Declarao
de Paris.
7
O Webminar Future Trends in Evaluation, promovido pelo Pnud, Unicef e outras organizaes internacionais,
aconteceu em 1o de julho de 2010. Conferncia (vdeo e powerpoint) disponvel em: <www.mymande.org.br>.
Acesso em: 20 ago. 2010.
6

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1285

Todos os demais planos e programas nacionais, regionais e setoriais devem ser subordinados ao PPA.
Embora os PPA dos quatrinios 1996-99 e 2000-03 j possussem instrumentos de avaliao e monitoramento, os modelos apresentavam falhas, o que suscitou a necessidade de
corrigir certos aspectos (Garcia, 2000; Silva e Costa, 2000).
J o PPA de 2004 a 2007 trouxe uma inovao inexistente nos anos anteriores: o Sistema de Avaliao do Plano Plurianual. O objetivo era assegurar que a avaliao integrasse
a gesto dos programas subsidiando a tomada de deciso, bem como disseminar a cultura
avaliativa e garantir sua utilizao na formulao e implementao das polticas e programas
de governo. A estrutura principal desse Sistema a Comisso de Monitoramento e Avaliao
(CMA), assessorada pela Cmara Tcnica de Monitoramento e Avaliao (CTMA). A Comisso constituda pelos Ministrios do Planejamento, da Fazenda e do Meio Ambiente, alm
da Casa Civil, com a finalidade de deliberar sobre propostas de normas e procedimentos gerais
relativos Avaliao e Monitoramento (A&M) dos programas do Poder Executivo. Alm disso,
essa Comisso oferece elementos tcnicos que orientam o processo de alocao de recursos
oramentrios e financeiros e a reviso dos programas, com vistas ao alcance dos resultados.
Segundo a legislao, o relatrio anual de avaliao deve conter:
a) avaliao do desempenho das variveis macroeconmicas que fundamentaram a elaborao do Plano;
b) demonstrativo da execuo fsica, financeira e regionalizada dos programas;
c) demonstrativo do desempenho dos indicadores de cada programa;
d) avaliao do alcance das metas fsicas e financeiras e da evoluo dos indicadores de cada
programa (Lei no 9.989/2000, Brasil, 2000).
Quanto ao monitoramento, o principal instrumento do PPA a Portaria no 198, de 18
de julho de 2005, do Ministrio do Planejamento, Oramento e Gesto, que estabelece os
procedimentos e a periodicidade para registro de informaes relacionadas com o desempenho das aes do Plano Plurianual, no Sistema de Informaes Gerenciais e de Planejamento
SIGPlan (Brasil, 2004:1).
A norma obriga o registro de informaes do desempenho fsico das aes no sistema
pelos coordenadores de ao, como tambm das restries execuo e providncias adotadas para sua superao.
No que tange avaliao, o PPA inclui o Relatrio Anual de Avaliao, obrigatrio por
lei e encaminhado ao Congresso Nacional, junto com as normas propostas de reviso do Plano
e da Lei Oramentria Anual. Esse Relatrio contm:
a) a avaliao do desempenho das variveis macroeconmicas que fundamentaram a elaborao do Plano;
b) o demonstrativo da execuo fsica, financeira e regionalizada dos programas;

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1286

Marlia Patta Ramos Letcia Maria Schabbach

c) o demonstrativo do desempenho dos indicadores de cada programa;

d) a avaliao do alcance das metas fsicas e financeiras e da evoluo dos indicadores de cada
programa (Brasil, 2000).
O Relatrio Anual constitudo, ainda, de trs nveis de avaliao:
a) dos Programas, realizada pelos gerentes;
b) Avaliao Setorial, elaborada no mbito da Secretaria-Executiva dos ministrios;
c) Avaliao do Plano, uma avaliao geral realizada pelo Ministrio do Planejamento.
A etapa de Avaliao do Programa, de responsabilidade do gerente de programa, , de
fato, uma autoavaliao em que os gerentes destacam os avanos e resultados alcanados e
apresentam as restries (de recursos oramentrios e humanos etc.) que dificultaram a obteno de melhores desempenhos. A avaliao subdivide-se em trs partes interdependentes,
quanto a:
a) concepo do programa;
b) implantao do programa,
c) resultados do programa.
Todas as etapas so importantes para o alcance dos objetivos da avaliao. Contudo, a
terceira (resultados do programa) valoriza a elaborao, o acompanhamento e a apurao dos
indicadores como forma de propiciar objetividade e credibilidade ao processo. A metodologia
de avaliao de programas do PPA envolve a escolha de um conjunto de critrios e o uso de
indicadores possibilitando um julgamento continuado e eficaz acerca do desempenho de um
programa ou conjunto de programas, por meio da comparao com padres de desempenho
predefinidos.
A Avaliao Setorial fica a cargo da Unidade de Monitoramento e Avaliao (UMA), a
unidade de assessoramento do secretrio executivo ou seu equivalente. Ela se baseia em questes mais abrangentes, buscando relacionar os resultados aos objetivos da pasta.
As etapas de avaliao dos programas e de avaliao setorial so realizadas atravs de
questionrios de mltipla escolha, aos quais se adicionaram algumas questes de resposta
aberta e discursiva. O questionrio preenchido pelos gerentes e pela secretaria executiva de
cada ministrio por meio do Sistema de Informaes Gerenciais e de Planejamento (Sigplan),
acessvel pela internet.
O Ministrio do Planejamento adiciona essas avaliaes a uma anlise das variveis
macroeconmicas, do cenrio que integra a Lei de Diretrizes Oramentrias e da conjuntura,
para consolidar o Relatrio Anual de Avaliao.
O Sigplan foi implantado para apoiar o planejamento, execuo, monitoramento, gesto e avaliao do Plano. Esse sistema agregou os dados de execuo oramentria e financeiRev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1287

ra de todos os programas e aes do governo federal, alm de informaes de monitoramento

e gesto fornecidas pelos gerentes de programas, ministrios setoriais e Ministrio do Planejamento, Oramento e Gesto.
A integrao entre o Plano Plurianual e o Oramento permitiu que a atualizao da
execuo oramentria e financeira dos programas fosse procedida semanalmente e que os
gerentes complementassem periodicamente as informaes sobre o desempenho fsico. Os
tcnicos do Ministrio do Planejamento tm por tarefa monitorar as informaes no Sigplan.
Tambm h um mdulo nesse Sistema com o objetivo de tornar acessveis sociedade as informaes sobre o andamento dos programas.
Por outro lado, no mbito da Secretaria de Avaliao e Gesto da Informao (Sagi), do
Ministrio do Desenvolvimento Social (MDS, criado em 2004), foi desenvolvido em 2006 o Sistema de Avaliao e Monitoramento de Polticas e Programas Sociais. Ele tem como objetivo principal desenvolver e implementar instrumentos de avaliao e de monitoramento das polticas e
dos programas referentes s aes da pasta. Alm dessa responsabilidade, a Secretaria responde
pela capacitao de gestores de polticas sociais, pela promoo da gesto do conhecimento e
pela publicao de estudos e pesquisas, sejam elas contratadas ou realizadas internamente.
A Sagi substituiu e herdou a estrutura da Secretaria de Avaliao dos Programas Sociais
do extinto Ministrio da Assistncia e Promoo Social (MAS), que funcionou por cerca de
um ano sem apresentar resultados expressivos. Ela constituda pelas seguintes secretarias e
programas:
Senarc Secretaria Nacional de Renda e Cidadania (responsvel pelo Programa Bolsa
Famlia)
Sesan Secretaria Nacional de Segurana Alimentar
PAA/Compra Local Programa de Aquisio de Alimento
PAA/Conab
PAA/Leite
Cisternas
Distribuies de cestas
Hortas comunitrias
Cozinhas comunitrias
Restaurantes populares
Educao alimentar
Banco de alimentos
Snas Secretaria Nacional de Assistncia Social
Peti Programa de Erradicao do Trabalho Infantil
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1288

Marlia Patta Ramos Letcia Maria Schabbach

BPC Benefcio Assistencial da Prestao Continuada

Agente Jovem
PAC Proteo Social Bsica Criana de 0 a 6 anos
Sentinela Programa de Combate ao Abuso e Explorao Sexual de Crianas e Adolescentes
API Ateno Pessoa Idosa
Paif Programa de Ateno Integral Famlia
PDC Ateno s Pessoas com Deficincia
O formato de rgo especfico com a finalidade precpua de avaliao e gesto da informao como a Sagi indito no governo federal. Na prtica, a Sagi tem um funcionamento
do tipo matricial na medida em que executa e contrata pesquisas, realiza cursos e publicaes
e atende s necessidades das secretarias responsveis pelas polticas nacionais de segurana
alimentar e nutricional, de assistncia social e de renda de cidadania.
De acordo com o regimento interno do MDS, as informaes produzidas pela Sagi
tm como objetivo subsidiar gestores e formuladores das polticas sociais na tomada de
decises de modo a aperfeioar os programas e racionalizar o uso dos recursos financeiros.
Ademais, a disseminao do conhecimento ao pblico, mediante publicaes tcnicas e seminrios, contribui para a ampliao do controle social e o fortalecimento da transparncia
governamental.
importante esclarecer que a Sagi no possui uma exclusividade na avaliao das polticas sociais no pas; sua responsabilidade institucional, mas outras agncias, tanto internas
(como o Ipea e o IBGE) como externas (universidades, fundaes privadas e think tanks)8
tambm esto envolvidas em atividades avaliativas.
A Secretaria tambm atua no acompanhamento de todas as fases das pesquisas, inclusive enviando servidores para o trabalho de campo, promovendo assim aprendizado organizacional.
Em relao s atividades de monitoramento, o principal instrumento elaborado pela
Sagi a Matriz de Informao Social (MI Social), uma ferramenta de informaes georreferenciadas sobre os programas do MDS, na qual so depositadas informaes migradas de
outros sistemas e agregadas tabelas especficas de informaes no sistematizadas. Tais infor-

8
A maior parte dos think tanks so organizaes sem fins lucrativos, fundadas por governos, grupos de interesse ou
empresas. Alguns think tanks tambm exercem funes de pesquisa e consultoria, sendo essa uma de suas fontes
de financiamento. Os think tanks ainda no representam uma real alternativa aos centros e grupos de pesquisa universitria no Brasil, onde as poucas iniciativas esto geralmente vinculadas a partidos polticos, como: a) o Instituto
Teotnio Vilela, ligado ao Partido da Social Democracia Brasileira (PSDB), b) a Fundao Perseu Abramo, ligada ao
Partido dos Trabalhadores (PT), c) a Fundao Liberdade e Cidadania, ligada ao Democratas.

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1289

maes podem ser visualizadas em vrios nveis de agregao, sejam unidades da Federao,
microrregies, municpios ou territrios especiais.
Alm dos indicadores e informaes bsicas dos programas sociais do MDS, esto disponveis para consulta na ferramenta informaes demogrficas e socioeconmicas.
A apresentao dos resultados das pesquisas dirigida ao pblico do prprio Ministrio
e convidados externos envolvidos com o tema. A divulgao tambm se d por meio de vrias
publicaes, como os Cadernos de Estudos de Desenvolvimento Social e livros. Quatro meses
aps a divulgao dos resultados da pesquisa, os microdados sem a identificao pessoal de
qualquer entrevistado so disponibilizados para o Consrcio de Informaes Sociais (CIS).9
H certos tipos de estudos realizados pela Sagi que no cumprem diretamente a funo
de avaliao, mas, sim, a de produzir informao para o planejamento e a programao das
prprias polticas. Esse foi o caso, por exemplo, do levantamento sobre os beneficirios do
Programa de Erradicao do Trabalho Infantil (Peti). Como a Secretaria responsvel, a Snas,
s possua dados relativos aos recursos repassados aos municpios, sem qualquer informao
sobre o pblico-alvo, foi realizado um levantamento junto aos municpios, que ento forneceram informaes que serviram de base para se fazer um perfil dos beneficirios e subsidiar a
gesto do programa (MDS, 2010).
Outro exemplo foram as duas pesquisas feitas em conjunto com o IBGE sobre a rede
da assistncia social no Brasil com o intuito de subsidiar o investimento e o planejamento da
implementao e gesto do Sistema nico de Assistncia Social (Suas). A primeira identificou toda a estrutura pblica de organizao da poltica (associaes, conselhos, instituies)
e de prestao de servios nos municpios brasileiros. A segunda, a rede de assistncia do
setor privado, com informaes sobre equipamentos assistenciais, tipos de servios prestados
e recursos humanos (MDS, 2010). Tambm se pode citar a pesquisa, realizada pela primeira
vez no pas, sobre as percepes da populao em relao s condies de acesso a alimentos
suficientes e de qualidade, cujos dados foram coletados pelo IBGE, na Pesquisa Nacional por
Amostra de Domiclios (Pnad) de 2004. Se repetida, essa pesquisa permitir o acompanhamento regular das condies alimentares da populao.
Outro estudo, tambm realizado pelo IBGE, o Suplemento da Pnad-2006 sobre o
trabalho infantil, que permitiu acompanhar a evoluo desse fenmeno, o qual j havia sido
medido em 2001 por metodologia similar.
Menciona-se, igualmente, o trabalho desenvolvido pelo Instituto de Pesquisa Econmica Aplicada (Ipea) do Ministrio do Planejamento, Oramento e Gesto, que tem como uma
de suas misses acompanhar o desenho e a implementao das polticas pblicas, de modo a
subsidiar o governo em seu processo de tomada de deciso. Entre as vrias publicaes desse

O CIS resultou de um projeto do Ncleo de Apoio Pesquisa sobre Democratizao e Desenvolvimento da Universidade de So Paulo (Nadd-USP) em parceria com a Associao Nacional de Ps-graduao e Pesquisa em Cincias
Sociais (Anpocs). O projeto est sendo desenvolvido sob a chancela de um convnio entre a USP e a Anpocs, e conta
com o suporte financeiro da Fapesp. Est disponvel em: <www.nadd.prp.usp.br/cis/index.aspx>.

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1290

Marlia Patta Ramos Letcia Maria Schabbach

Instituto, cita-se o Boletim de Polticas Sociais Acompanhamento e Anlise, o qual publicado

desde 200010 e cujo propsito avaliar o conjunto das aes realizadas pelo governo federal
para a promoo dos direitos sociais da populao, visando responder os seguintes questionamentos principais: como esto evoluindo as polticas sociais? A quem atendem, quanto
gastam, como operam e quais so seus resultados?
Por ltimo, interessante apontar a formao de redes de especialistas em torno da
avaliao e do monitoramento de polticas pblicas, as quais vm aproximando profissionais
das mais diversas reas do conhecimento, estados e pases, divulgando experincias e produes acadmicas, organizando e apoiando fruns e eventos cientficos, promovendo, enfim,
um acmulo de conhecimento e de expertise sobre essa temtica. Dentre elas destaca-se, no
Brasil, a Rede Brasileira de Monitoramento e Avaliao, que contava com mais de 1.100
membros em janeiro de 2011.11

5. Concluso
Para alguns, o motor da avaliao a necessidade urgente de obter eficincia e ampliar a rea
de influncia do governo com programas sociais e, ao mesmo tempo, dar retorno s autoridades quanto ao planejamento e implantao de novas polticas. Para outros, a avaliao
parte no apenas da aferio da eficincia dos gastos pblicos, mas de todo um processo de
participao social, que vem crescendo desde a redemocratizao do pas. Nesse contexto, a
pesquisa avaliativa promove um importante direito democrtico, relacionado com o controle
social sobre a atuao estatal (Arretche, 2001).
Ao longo deste artigo foram analisados diversos aspectos relativos pesquisa avaliativa: o seu papel, os seus tipos, os seus diversos usos, a situao atual da temtica no mundo
e no Brasil. No sentido de se reiterar sua importncia estratgica para a retroalimentao
do ciclo das polticas pblicas, alm de sua relevncia como temtica no campo das cincias
sociais e polticas pblicas, conclui-se este texto sinalizando as dificuldades e necessidades ao
seu aprimoramento.
a) Dificuldades:
Muitos programas e aes no so desenhados para serem avaliados.

A prevalncia de delineamentos de pesquisa que no controlam as variveis antecedentes, processuais e de resultados, e que produzem inferncias esprias, atribuindo ao
programa a responsabilidade de resultados (bons ou ruins) no provocados por ele, mas
por outros fatores.

Elaborado pela Diretoria de Estudos Sociais (Disoc), a veiculao deste Boletim iniciou em junho de 2000, tendo
periodicidade semestral (com algumas interrupes) at 2009, quando passou a ser anual.
11
Disponvel em: <http://redebrasileirademea.ning.com>. Acesso em: 6 jan. 2011.
10

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1291

Poucos dados disponveis e, quando existentes, bastante limitados e com periodicidade

irregular.

A resistncia na administrao pblica, devido predominncia de uma cultura autoritria. As autoridades pblicas ficam constrangidas com a perspectiva de serem analisadas
as suas aes e reagem atravs de: proibies diretas, ou colocao de dificuldades burocrticas: desinteresse no levantamento de dados, tornar inacessveis as fontes, falta de
apoio.

b) Necessidades:
Assumir a avaliao como atividade regular da instituio, implantando uma cultura de
avaliao.

Constituir sistemas de informaes, de acessibilidade garantida e atendendo s peculiaridades dos programas sociais, para gerar um mnimo de factibilidade avaliao (ou de
avaliabilidade, Cano, 2002:25 e 111; Costa e Castanhar, 2003:985 e 986).

Fortalecer e aprimorar os sistemas de informaes gerenciais existentes, a fim de construir indicadores de desempenho.

Sua execuo por rgos independentes (como garantia de rigor metodolgico e iseno) e, na medida do possvel, mesclando tcnicas quantitativas e qualitativas (Lobo,
2001; Arretche, 2001; Khander et al., 2010).

Incorporar, de forma aberta, todos os atores envolvidos e mapear suas percepes, devolvendo-lhes as informaes recebidas.

Ampliar o escopo da avaliao, considerando o contexto da macropoltica e utilizando

modelos dinmicos que incluam as estruturas organizacionais, os distintos recursos de
apoio mobilizados e as caractersticas sociais, culturais e econmicas dos atores (Perez,
2001:72).

Referncias
ABMA, Tineke A. Responsive evaluation: the meaning and special contribution to public administration. Public Administration, v. 82, n. 4, p. 777-1058, 2004.
ARRETCHE, Marta. Tendncias no estudo sobre avaliao. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais,
2001. p. 29-39.
BOURDIEU, Pierre; CHAMBOREDON, Jean-Claude; PASSERON, Jean-Claude. Conclusin: sociologa del conocimiento y epistemologa. In: BOURDIEU, Pierre. El oficio de socilogo. Mxico: Siglo
XXI, 1996. p. 99-124.

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1292

Marlia Patta Ramos Letcia Maria Schabbach

BRASIL. Emenda Constitucional no 19, de 1998. Modifica o regime e dispe sobre princpios e normas
da Administrao Pblica, servidores e agentes polticos, controle de despesas e finanas pblicas e
custeio de atividades a cargo do Distrito Federal, e d outras providncias. Braslia: 4 de junho de
1998. Disponvel em: <www.planalto.gov.br/ccivil_03/constituicao/emendas/emc/emc19.htm>.
Acesso em: 29 out. 2010.
BRASIL. Lei Federal 9.989, de 2000. Dispe sobre o Plano Plurianual para o perodo de 2000/2003.
Braslia: 2000. Disponvel em: <www.planalto.gov.br/ccivil_03/Leis/L9989.htm>. Acesso em: 20
out. 2010.
BRASIL. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual
2000-2003 Exerccios 2000 a 2003. Disponvel em: <www.planejamento.gov.br/planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>.
BRASIL. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual
2004-2007 Exerccio 2004. Disponvel em: <www.planejamento.gov.br/planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>.
CANO, Ignacio. Introduo avaliao de programas sociais. Rio de Janeiro: Editora FGV, 2002.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 2004.
COSTA, Frederico L. da; CASTANHAR, Jos C. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37, n. 5, p. 969-992,
set./out. 2003.
COTTA, Tereza C. Metodologia de avaliao de programas sociais: anlise de resultados e de impactos. Revista do Servio Pblico, Braslia, v. 49, n. 2. p. 105-126, abr./jun. 1998.
CUNHA, Carla da. Avaliao de polticas pblicas e programas governamentais: tendncias recentes
e experincias no Brasil. Trabalho elaborado durante o curso The Theory and Operation of a Modern National Economy, ministrado na George Washington University, no mbito do Programa
Minerva, em 2006. Digitalizado.
DRAIBE, Snia M. A poltica social na Amrica Latina: o que ensinam as experincias recentes de
reforma? In: DINIZ, Eli; AZEVEDO, Srgio (Org.). Reforma do Estado e democracia no Brasil. Braslia:
Editora UnB; Enap, 1997. p. 213-258.
DRAIBE, Snia M. Uma nova institucionalidade das polticas sociais? Reflexes a propsito da
experincia latino-americana recente de reformas dos programas sociais. So Paulo em Perspectiva,
v. 11, n. 4, p. 3-15, 1997.
FARIA, Carlos A. P. de. A poltica da avaliao de polticas pblicas. Revista Brasileira de Cincias
Sociais, So Paulo, v. 20, n. 50, p. 97-169, out. 2005.
FARIA, Regina. Avaliao de programas sociais: evolues e tendncias. In: RICO, Elizabeth Melo
(Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 2001. p. 40-49.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

O estado da arte da avaliao de polticas pblicas

1293

FIGUEIREDO, Marcus F.; FIGUEIREDO, Argelina M. C. Avaliao poltica e avaliao de polticas: um

quadro de referncia terica. Anlise e Conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, 1986.
FUTURE TRENDS IN EVALUATION. Live Webinar, 1o july 2010. Conferncia (vdeo e powerpoint)
disponvel em: <www.mymande.org.br>. Acesso em: 20 ago. 2010.
GARCIA, Ronaldo C. A reorganizao do processo de planejamento do governo federal: o PPA 20002003. Braslia, Ipea, maio 2000. (Texto para Discusso n. 726).
HENRY, Gary T. How modern democracies are shaping evaluation and the emerging challenges for
evaluation. American Journal of Evaluation, v. 22, n. 3, p. 419-429, Sept. 2001.
JANNUZZI, Paulo de M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicaes. 3. ed.
Campinas: Alnea, 2004.
KAUFMANN, Daniel. Aid effectiveness and governance: the good, the bad and the ugly. The Brookings
Institution, 17 Mar. 2009. Disponvel em: <www.brookings.edu/opinions/2009/0317_aid_governance_kaufmann.aspx>. Acesso em: 20 nov. 2010.
KAYANO, Jorge; CALDAS, Eduardo de L. Indicadores para o dilogo. So Paulo: Plis, Programa
Gesto Pblica e Cidadania; Easp/FGV, 2002.
KHANDER, Shahidur R. et al. Handbook on impact evaluation. Quantitative methods and practices.
Washington, DC: The World Bank, 2010. p. 3-4; 7-31. [free on-line].
LOBO, Thereza. Avaliao de processos e impactos em programas sociais: algumas questes para
reflexo. In: RICO, Elizabeth Melo. Avaliao de polticas sociais: uma questo em debate. So Paulo:
Cortez, 2001. p. 75-85.
MDS. Ministrio do Desenvolvimento Social. Brasil, 2010. Disponvel em: <www.mds.gov.br/>.
Acesso em: 25 maio 2010.
MELO, Marcus A. As sete vidas da agenda pblica brasileira. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998. p. 11-28.
MELO, Marcus A. Estado, governo e polticas pblicas. In: MICELI, Srgio (Org.). O que ler na cincia
social brasileira (1970-1995). So Paulo: Sumar, 1999. v. 3, p. 59-100.
PARIS DECLARATION ON AID EFFECTIVENESS. Ownership, harmonisation, alignment, results and
mutual accountability. Paris: Feb. 20 Mar. 2, 2005. Disponvel em: <www.oecd.org/document/
18/0,3343,en_2649_3236398_35401554_1_1_1_1,00.html> e <www.searo.who.int/LinkFiles/
GAVI_ParisDeclaration.pdf>. Acesso em: 29 nov. 2010.
PEREZ, Jos R. R. Avaliao do processo de implementao: algumas questes metodolgicas. In:
RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo:
Cortez, 2001. p. 65-73.
POLTICAS SOCIAIS: ACOMPANHAMENTO E ANLISE. Braslia: Ipea, 2000 a 2008 (semestral),
2009 em diante (anual).
RAMOS, Marlia. Avaliao de polticas e programas sociais: aspectos conceituais e metodolgicos.
Planejamento e polticas pblicas, Braslia, v. 32, n. 1, p. 94-114, jan. 2009.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012

1294

Marlia Patta Ramos Letcia Maria Schabbach

RIO GRANDE DO SUL. Lei 11.075, de 1998. Institui o Cdigo Estadual de Qualidade dos Servios
Pblicos. Porto Alegre, 6 jan. 1998. Disponvel em: < www.al.rs.gov.br/legis/M010/M0100018.
asp?Hid_IdNorma=7453&Texto=>. Acesso em: 4 out. 2010.
SILVA, Pedro L.; COSTA, Nilson. Avaliao de polticas pblicas na Amrica do Sul. Avaliao de
Programas Pblicos: uma estratgia de Anlise. In: CONGRESSO INTERNACIONAL DA CLAD, V,
2000, San Domigo, Republica Dominicana. Disponvel em: <www.clad.org/congresos/congresosanteriores/v-santo-domingo-2000/5.-investigando-al-estado>. Acesso em: 10 abr. 2011.
SOUZA, Celina. Estado do campo da pesquisa em polticas pblicas no Brasil. Revista Brasileira
de Cincias Sociais, So Paulo, v. 18, n. 51, p. 15-20, fev. 2003.
SPINK, Peter. Avaliao democrtica: propostas e prticas. Rio de Janeiro: Associao Brasileira
Interdisciplinar de Aids, 2001. (Coleo Abia, Fundamentos de Avaliao no 3). Disponvel em:
<www.abiaids.org.br/_img/media/colecao%20fundamentos%20avaliacao%20N3.pdf>.
THOENIG, Jean-Claude. A avaliao como conhecimento utilizvel para reformas de gesto pblica.
Revista do Servio Pblico, Braslia, v. 51, n. 2, p. 54-70, abr./jun. 2000.
UNIVERSIDADE ESTADUAL DE CAMPINAS. Grupo de Anlise de Polticas de Inovao (GapiUnicamp). Metodologia de anlise de polticas pblicas. Disponvel em: <www.oei.es/salactsi/
rdagnino1.htm>. Acesso em: 20 jul. 2010.
VIANA, Ana L. Abordagens metodolgicas em polticas pblicas. Revista de Administrao Pblica,
Rio de Janeiro, v. 30, n. 2, p 5-43, abr. 1996.

Marlia Patta Ramos professora adjunta II do Departamento de Sociologia e do Programa de Ps-graduao em Sociologia da Universidade Federal do Rio Grande do Sul (UFRGS). Bolsista Produtividade
PQ CNPq. E-mail: mariliaramos68@gmail.com.
Letcia Maria Schabbach professora adjunta II do Departamento de Sociologia da UFRGS. E-mail:
leticiams65@gmail.com.

Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012