Professional Documents
Culture Documents
1272
segunda se analizan los tipos de evaluacin, y en la tercera, sus diversos usos. En la cuarta seccin se
muestran las tendencias de los estudios de evaluacin en Brasil y en el extranjero. Por ltimo, en las
conclusiones, se sealan las dificultades y necesidades para mejorar la actividad de evaluacin de las
polticas pblicas.
Palabras
c l av e :
The state of the art of public policy evaluation: concepts and examples of evaluation in Brazil
Monitoring and evaluation are crucial to the State Planning and have had a growing space in the
academic field. The constant interest on those themes is highlighted through their presence in different forums, meetings and nets of specialists that study them, along with the governments demand
for them. The present article highlights, in a systematic and analytical way, the importance of public
policy evaluation process, organizing information about the conceptual aspects, and the state of art
of these themes along with examples about concrete practices of evaluation in different governmental
areas. The article is divided in five sections: in the first one it is presented the public policy evaluation
concept and its main characteristics. In the second section we analyze different types of evaluation.
In the third section we present different evaluation uses. In the fourth section we present the stage of
evaluation in Brazil along with some concrete examples. In the end we present some conclusions and
recommendations about public policies evaluation.
Key
words:
1273
Em comparao com outras pesquisas, a pesquisa avaliativa possui a caracterstica explcita de atribuio de valor (como justia social, eficincia, reduo de custos, equidade,
entre tantos outros), alm de ser mais orientada para a deciso (Faria, 2001).
No Brasil, o crescente interesse dos governos com a avaliao est relacionado s questes de efetividade (alcance das metas, aferio dos resultados esperados e no esperados dos
programas) ou eficcia ( maior produo, maior eficcia), eficincia (a um menor custo de
produo, maior eficincia), ao desempenho e accountability da gesto pblica. A avaliao
permite ao governante certo conhecimento dos resultados de um dado programa ou projeto,
informao essa que pode ser utilizada para melhorar a concepo ou a implementao das
aes pblicas, fundamentar decises, promover a prestao de contas. Em nvel acadmico,
estudos nessa rea vm proliferando, embora a ateno maior seja dada aos processos de formao da agenda e formulao das polticas, em detrimento da implementao, da avaliao
e do monitoramento.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012
1274
Alm da preocupao com a efetividade, podem ser citadas outras razes que fomentaram a demanda por avaliaes em nosso pas, especialmente a partir dos anos 1990: a crise
fiscal que diminuiu a capacidade de gasto dos governos e aumentou a presso por maior eficincia; o fim do processo inflacionrio, que reduziu as receitas financeiras dos governos e exps os problemas das finanas pblicas; o aprofundamento da democracia, que trouxe novos
atores sociais e reivindicaes aos governos; a longa crise econmica brasileira que aumentou
a desigualdade social e a busca por programas sociais pblicos; a desestruturao da funo
de planejamento, que deixou os governantes sem elementos de informao e avaliao; a
reduo da ajuda externa e a presso dos organismos internacionais de fomento pela aferio
dos resultados dos programas sociais por eles financiados.
Dentro desse contexto, o Estado brasileiro passou a redefinir sua rea de atuao diante
das restries fiscais e, ao mesmo tempo, sofreu uma presso at ento indita pela ampliao
de polticas pblicas mais universais, de qualidade e eficientes.
Na ltima dcada do sculo XX verificou-se um abrangente movimento de reforma de
Estado e de seu aparelho administrativo nos pases desenvolvidos, que rapidamente proliferou
para os demais. Tal movimento, conhecido como Nova Gesto Pblica ou New Public Management, preconizava, em termos gerais, uma redefinio do papel do Estado e a implantao
de mecanismos de gesto oriundos da iniciativa privada na administrao pblica. Em nosso
pas, o fato mais emblemtico dessa nova orientao poltico-ideolgica e gerencial foi a Reforma Administrativa promovida pelo governo federal em 1998, atravs da Emenda Constitucional no 19 (Brasil, 1998).
As questes imediatas e centrais a serem respondidas pelos estudos de avaliao so:
em que medida os objetivos propostos na formulao do programa-projeto so ou foram alcanados? Como o programa funciona? Quais os motivos que levam ou levaram a atingir ou
no os resultados?
Cabe destacar, ainda, que a avaliao de polticas pblicas tem um carter eminentemente poltico, na medida em que est vinculada ao processo poltico mais abrangente, s
estratgias e aos interesses dos decisores e demais envolvidos (Faria, 2005). Enquanto momento do processo de anlise de polticas pblicas, a avaliao incorpora, segundo a literatura
anglo-sax, uma dupla natureza: estudo da poltica (of policy) e para a poltica (for policy). Por
um lado, ela representa a atividade acadmica que objetiva um melhor entendimento do processo poltico; por outro, volta-se soluo de problemas sociais, sendo, portanto, aplicada.
Em outros termos, subjacente anlise e avaliao de polticas pblicas, aparece a
orientao pela poltica (for policy), ou seja, o interesse em que os achados dos estudos avaliativos possam melhorar o processo poltico e o bem-estar da populao, uma vez que os avaliadores so tambm agentes sociais, cidados participantes do processo poltico e eventuais
beneficirios das aes estatais. Ao passo que a postura mais crtica e distanciada desenvolvida dentro do espao acadmico importante por permitir a iseno e o rigor cientfico; uma
postura engajada no significa, necessariamente, a identificao com os objetivos daqueles
que controlam o processo poltico e o governo.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012
1275
Enfim, uma postura crtica, que coloque em suspenso os pressupostos dos tomadores de
deciso, sempre recomendvel ao analista de polticas pblicas; no faz-lo conduz a uma
posio conservadora.
2. Tipos de avaliao
Existem diferentes maneiras de se realizar uma avaliao. Por exemplo, a avaliao acadmica, que mais formal e enfoca a efetividade das polticas, seus impactos e benefcios; por sua
vez, a avaliao da implementao privilegia o exame de sua eficincia e eficcia. Ainda que
estudos neutros representem um mito, a pesquisa avaliativa acadmica permite maior iseno
e rigor cientfico.
As avaliaes com foco na questo fiscal so denominadas gerencialistas, e em contraposio a elas, as de cunho mais acadmico, so chamadas de no gerencialistas (Faria,
2005).
Os tipos de avaliao podem ser agrupados de acordo com outros critrios no excludentes, como se observar na sequncia.
1276
contato estreito com os participantes do programa a ser avaliado, o que pode maximizar as
vantagens e minimizar ou superar as desvantagens das avaliaes (Cunha, 2006).
Por fim, evoca-se a avaliao participativa, usada principalmente em pequenos projetos, e que prev a participao dos beneficirios no planejamento, execuo e avaliao das
aes. Essa modalidade no costuma fornecer informaes especficas sobre o impacto de um
programa, mas sim sobre a opinio/percepo dos participantes (Spink, 2001; Abma, 2004,
Kayano e Caldas, 2002).
Custo-benefcio a relao monetria entre os custos e os benefcios de um programa, sendo aceitvel se os ltimos
excederem os primeiros. Adequa-se mais a projetos econmicos, com benefcios facilmente quantificveis. Mais utilizada em projetos sociais, a relao custo-efetividade no se baseia em custos monetrios, mas na premissa de que,
diante de um volume limitado de recursos, esses devam ser aplicados de forma tal que permitam um maior nmero
de unidades de benefcios, qualquer que seja o valor monetrio.
1277
1278
Alguns autores diferenciam a avaliao de resultados da de impacto. Para Costa e Castanhar (2003), a primeira
refere-se aos resultados imediatos e aos objetivos especficos de um programa ou projeto; ao passo que a ltima seria
um subtipo da avaliao de resultados, centrada no mdio e longo prazo e nos objetivos gerais. Por sua vez, Cotta
(1998:13) destaca que a avaliao de resultados visa inquirir sobre os efeitos de uma interveno sobre a clientela
atendida, enquanto a de impacto pretende captar os reflexos dessa mesma interveno em um contexto mais amplo.
De qualquer forma, pode-se dizer que os efeitos ou resultados de um programa representam condio prvia, mas
no suficiente, para se avaliar seu impacto.
3
O ideal seria que uma mesma pessoa (ou outra unidade de anlise) pudesse ter participado e no participado de
um programa, mas ela no pode estar nas duas situaes ao mesmo tempo. Ento a pessoa que compe o grupo
de controle (no ter participado) deveria ser um clone (mais prximo) que participou. Como isto impossvel,
necessrio buscar um contrafactual, uma pessoa ou unidade de anlise que seja muito similar aos participantes.
2
1279
Para tanto, h dois procedimentos bsicos: a) modificar a estratgia do programa a fim de se exclurem as possveis
diferenas entre ambos os grupos, atravs da seleo aleatria de seus componentes, b) criar um grupo comparativo com atributos parecidos com o de tratamento, por intermdio de certos procedimentos estatsticos, tais como:
randomized evaluations, propensity score matching, double-difference methods, use of instrumental variables, regresso
descontinuity, pipeline approach (Khander et al., 2010).
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012
1280
Atravs do monitoramento, gestores, pesquisadores ou outros agentes podem examinar como a implementao est sendo realizada, se est atingindo seus objetivos, alm de
verificar que problemas esto interferindo nas aes, processos e consecuo dos objetivos
previstos (Faria, 2005; Cunha, 2006). De acordo com seus resultados, pode-se recomendar o
ajuste do plano, das condies operacionais e a correo dos rumos.
Os desafios para um bom monitoramento so:
Identificar os objetivos que o programa ou a estratgia busca alcanar;
Elaborar indicadores que possam monitorar o progresso em relao s metas;
Fixar metas quantitativas e temporais para cada indicador.
Um dos aspectos constitutivos do monitoramento a elaborao de indicadores de performance e de progresso da poltica, observados periodicamente (a cada trimestre, semestre
ou ano). Enquanto os indicadores finais medem os resultados dos programas e seu impacto
em termos de bem-estar, os intermedirios examinam os inputs (recursos e meios necessrios)
e os outputs do programa (tais como: estradas construdas, desemprego masculino, emprego
feminino) (Thoenig, 2000; Henry, 2001; Jannuzzi, 2004).
Por sua vez, a avaliao pode ser realizada antes, durante a implementao ou mesmo
algum tempo depois, aps o programa provocar todo o seu impacto, e com a preocupao
centrada no modo, medida e razo dos benefcios advindos.
Em ambos os instrumentos latente a funo de proviso de informaes sobre um
determinado programa ou poltica governamental em todo o seu ciclo, inclusive o momento
inicial de identificao do problema.
Em uma conceituao abrangente, a avaliao e o monitoramento de programas consistem na verificao da adequao do desenho sua finalidade e aos objetivos pretendidos,
da correlao entre os servios prestados e as metas definidas estrategicamente, dos efeitos
(resultados e/ou impactos) mensurveis e, por fim, da lgica de eficincia subjacente, ou seja,
examinar se os benefcios advindos da poltica compensam seus custos.
A avaliao necessita das informaes provenientes do monitoramento para realizar o
julgamento que lhe cabe a respeito da eficincia, eficcia e efetividade dos programas; ambos
os estudos so, portanto, complementares. Porm, a primeira vai alm, pois verifica se o plano
originalmente traado est, de fato, produzindo as transformaes pretendidas.
1281
1282
1283
Cabe lembrar que avaliaes de impacto exigem uso de quantificao em termos de modelos economtricos (para
maiores detalhes ver: Ramos, 2009).
5
No Brasil, como fruto desse projeto, o Instituto de Pesquisa Econmica Aplicada (Ipea) vem elaborando uma srie
de relatrios tcnicos de avaliao de polticas.
4
1284
Ainda quanto atualidade da avaliao no contexto internacional, menciona-se a Agenda pela Eficcia da Ajuda ao Desenvolvimento, movimento apoiado por governos de pases
desenvolvidos e em desenvolvimento, agncias multilaterais de cooperao e organizaes
privadas de financiamento. A eficcia da ajuda entrou para o lxico da indstria da ajuda
(Kaufmann, 2009) na dcada de 1990, quando a comunidade internacional de cooperao
mtua constatou que os recursos alocados eram ineficazes para promover o desenvolvimento
humano e reduzir a pobreza, alm de gerarem enormes custos aos pases beneficiados ou
nutrirem a corrupo e a m governana. Dentro desta Agenda, cujos fruns e atividades so
coordenados pela OCDE, foi firmada em 2005 a Declarao de Paris para a Eficcia da Ajuda, a qual estipula cinco compromissos de parceria em prol do desenvolvimento: apropriao
e liderana dos pases beneficiados, alinhamento da ajuda para apoiar as iniciativas locais,
harmonizao dos procedimentos dos organismos internacionais, gesto por resultados mensurveis de desenvolvimento, responsabilizao (accountability) mtua. Uma das consideraes da Declarao foi a necessidade de se especificar indicadores, calendrios e metas a fim
de se aquilatar o nvel de progresso em desenvolvimento alcanado por pas, monitorando-se,
assim, a implementao dos programas locais.6
O ex-presidente da Associao Americana de Avaliao, Michael Patton, palestrante do
seminrio Futuras Tendncias em Avaliao,7 comentou as tendncias mundiais recentes da
atividade avaliativa: a globalizao da profisso, a sua natureza transdisciplinar, o emergente
interesse poltico por accountability, pelos indicadores de performance e pela transparncia,
a crescente nfase no desenvolvimento de capacidades e habilidades em avaliar, o debate em
torno da apropriao dos diferentes mtodos de avaliao.
Embora conste como indicativo na lista dos pases signatrios, o Brasil ainda no ratificou sua adeso Declarao
de Paris.
7
O Webminar Future Trends in Evaluation, promovido pelo Pnud, Unicef e outras organizaes internacionais,
aconteceu em 1o de julho de 2010. Conferncia (vdeo e powerpoint) disponvel em: <www.mymande.org.br>.
Acesso em: 20 ago. 2010.
6
1285
Todos os demais planos e programas nacionais, regionais e setoriais devem ser subordinados ao PPA.
Embora os PPA dos quatrinios 1996-99 e 2000-03 j possussem instrumentos de avaliao e monitoramento, os modelos apresentavam falhas, o que suscitou a necessidade de
corrigir certos aspectos (Garcia, 2000; Silva e Costa, 2000).
J o PPA de 2004 a 2007 trouxe uma inovao inexistente nos anos anteriores: o Sistema de Avaliao do Plano Plurianual. O objetivo era assegurar que a avaliao integrasse
a gesto dos programas subsidiando a tomada de deciso, bem como disseminar a cultura
avaliativa e garantir sua utilizao na formulao e implementao das polticas e programas
de governo. A estrutura principal desse Sistema a Comisso de Monitoramento e Avaliao
(CMA), assessorada pela Cmara Tcnica de Monitoramento e Avaliao (CTMA). A Comisso constituda pelos Ministrios do Planejamento, da Fazenda e do Meio Ambiente, alm
da Casa Civil, com a finalidade de deliberar sobre propostas de normas e procedimentos gerais
relativos Avaliao e Monitoramento (A&M) dos programas do Poder Executivo. Alm disso,
essa Comisso oferece elementos tcnicos que orientam o processo de alocao de recursos
oramentrios e financeiros e a reviso dos programas, com vistas ao alcance dos resultados.
Segundo a legislao, o relatrio anual de avaliao deve conter:
a) avaliao do desempenho das variveis macroeconmicas que fundamentaram a elaborao do Plano;
b) demonstrativo da execuo fsica, financeira e regionalizada dos programas;
c) demonstrativo do desempenho dos indicadores de cada programa;
d) avaliao do alcance das metas fsicas e financeiras e da evoluo dos indicadores de cada
programa (Lei no 9.989/2000, Brasil, 2000).
Quanto ao monitoramento, o principal instrumento do PPA a Portaria no 198, de 18
de julho de 2005, do Ministrio do Planejamento, Oramento e Gesto, que estabelece os
procedimentos e a periodicidade para registro de informaes relacionadas com o desempenho das aes do Plano Plurianual, no Sistema de Informaes Gerenciais e de Planejamento
SIGPlan (Brasil, 2004:1).
A norma obriga o registro de informaes do desempenho fsico das aes no sistema
pelos coordenadores de ao, como tambm das restries execuo e providncias adotadas para sua superao.
No que tange avaliao, o PPA inclui o Relatrio Anual de Avaliao, obrigatrio por
lei e encaminhado ao Congresso Nacional, junto com as normas propostas de reviso do Plano
e da Lei Oramentria Anual. Esse Relatrio contm:
a) a avaliao do desempenho das variveis macroeconmicas que fundamentaram a elaborao do Plano;
b) o demonstrativo da execuo fsica, financeira e regionalizada dos programas;
1286
1287
1288
8
A maior parte dos think tanks so organizaes sem fins lucrativos, fundadas por governos, grupos de interesse ou
empresas. Alguns think tanks tambm exercem funes de pesquisa e consultoria, sendo essa uma de suas fontes
de financiamento. Os think tanks ainda no representam uma real alternativa aos centros e grupos de pesquisa universitria no Brasil, onde as poucas iniciativas esto geralmente vinculadas a partidos polticos, como: a) o Instituto
Teotnio Vilela, ligado ao Partido da Social Democracia Brasileira (PSDB), b) a Fundao Perseu Abramo, ligada ao
Partido dos Trabalhadores (PT), c) a Fundao Liberdade e Cidadania, ligada ao Democratas.
1289
maes podem ser visualizadas em vrios nveis de agregao, sejam unidades da Federao,
microrregies, municpios ou territrios especiais.
Alm dos indicadores e informaes bsicas dos programas sociais do MDS, esto disponveis para consulta na ferramenta informaes demogrficas e socioeconmicas.
A apresentao dos resultados das pesquisas dirigida ao pblico do prprio Ministrio
e convidados externos envolvidos com o tema. A divulgao tambm se d por meio de vrias
publicaes, como os Cadernos de Estudos de Desenvolvimento Social e livros. Quatro meses
aps a divulgao dos resultados da pesquisa, os microdados sem a identificao pessoal de
qualquer entrevistado so disponibilizados para o Consrcio de Informaes Sociais (CIS).9
H certos tipos de estudos realizados pela Sagi que no cumprem diretamente a funo
de avaliao, mas, sim, a de produzir informao para o planejamento e a programao das
prprias polticas. Esse foi o caso, por exemplo, do levantamento sobre os beneficirios do
Programa de Erradicao do Trabalho Infantil (Peti). Como a Secretaria responsvel, a Snas,
s possua dados relativos aos recursos repassados aos municpios, sem qualquer informao
sobre o pblico-alvo, foi realizado um levantamento junto aos municpios, que ento forneceram informaes que serviram de base para se fazer um perfil dos beneficirios e subsidiar a
gesto do programa (MDS, 2010).
Outro exemplo foram as duas pesquisas feitas em conjunto com o IBGE sobre a rede
da assistncia social no Brasil com o intuito de subsidiar o investimento e o planejamento da
implementao e gesto do Sistema nico de Assistncia Social (Suas). A primeira identificou toda a estrutura pblica de organizao da poltica (associaes, conselhos, instituies)
e de prestao de servios nos municpios brasileiros. A segunda, a rede de assistncia do
setor privado, com informaes sobre equipamentos assistenciais, tipos de servios prestados
e recursos humanos (MDS, 2010). Tambm se pode citar a pesquisa, realizada pela primeira
vez no pas, sobre as percepes da populao em relao s condies de acesso a alimentos
suficientes e de qualidade, cujos dados foram coletados pelo IBGE, na Pesquisa Nacional por
Amostra de Domiclios (Pnad) de 2004. Se repetida, essa pesquisa permitir o acompanhamento regular das condies alimentares da populao.
Outro estudo, tambm realizado pelo IBGE, o Suplemento da Pnad-2006 sobre o
trabalho infantil, que permitiu acompanhar a evoluo desse fenmeno, o qual j havia sido
medido em 2001 por metodologia similar.
Menciona-se, igualmente, o trabalho desenvolvido pelo Instituto de Pesquisa Econmica Aplicada (Ipea) do Ministrio do Planejamento, Oramento e Gesto, que tem como uma
de suas misses acompanhar o desenho e a implementao das polticas pblicas, de modo a
subsidiar o governo em seu processo de tomada de deciso. Entre as vrias publicaes desse
O CIS resultou de um projeto do Ncleo de Apoio Pesquisa sobre Democratizao e Desenvolvimento da Universidade de So Paulo (Nadd-USP) em parceria com a Associao Nacional de Ps-graduao e Pesquisa em Cincias
Sociais (Anpocs). O projeto est sendo desenvolvido sob a chancela de um convnio entre a USP e a Anpocs, e conta
com o suporte financeiro da Fapesp. Est disponvel em: <www.nadd.prp.usp.br/cis/index.aspx>.
1290
5. Concluso
Para alguns, o motor da avaliao a necessidade urgente de obter eficincia e ampliar a rea
de influncia do governo com programas sociais e, ao mesmo tempo, dar retorno s autoridades quanto ao planejamento e implantao de novas polticas. Para outros, a avaliao
parte no apenas da aferio da eficincia dos gastos pblicos, mas de todo um processo de
participao social, que vem crescendo desde a redemocratizao do pas. Nesse contexto, a
pesquisa avaliativa promove um importante direito democrtico, relacionado com o controle
social sobre a atuao estatal (Arretche, 2001).
Ao longo deste artigo foram analisados diversos aspectos relativos pesquisa avaliativa: o seu papel, os seus tipos, os seus diversos usos, a situao atual da temtica no mundo
e no Brasil. No sentido de se reiterar sua importncia estratgica para a retroalimentao
do ciclo das polticas pblicas, alm de sua relevncia como temtica no campo das cincias
sociais e polticas pblicas, conclui-se este texto sinalizando as dificuldades e necessidades ao
seu aprimoramento.
a) Dificuldades:
Muitos programas e aes no so desenhados para serem avaliados.
A prevalncia de delineamentos de pesquisa que no controlam as variveis antecedentes, processuais e de resultados, e que produzem inferncias esprias, atribuindo ao
programa a responsabilidade de resultados (bons ou ruins) no provocados por ele, mas
por outros fatores.
Elaborado pela Diretoria de Estudos Sociais (Disoc), a veiculao deste Boletim iniciou em junho de 2000, tendo
periodicidade semestral (com algumas interrupes) at 2009, quando passou a ser anual.
11
Disponvel em: <http://redebrasileirademea.ning.com>. Acesso em: 6 jan. 2011.
10
1291
A resistncia na administrao pblica, devido predominncia de uma cultura autoritria. As autoridades pblicas ficam constrangidas com a perspectiva de serem analisadas
as suas aes e reagem atravs de: proibies diretas, ou colocao de dificuldades burocrticas: desinteresse no levantamento de dados, tornar inacessveis as fontes, falta de
apoio.
b) Necessidades:
Assumir a avaliao como atividade regular da instituio, implantando uma cultura de
avaliao.
Constituir sistemas de informaes, de acessibilidade garantida e atendendo s peculiaridades dos programas sociais, para gerar um mnimo de factibilidade avaliao (ou de
avaliabilidade, Cano, 2002:25 e 111; Costa e Castanhar, 2003:985 e 986).
Fortalecer e aprimorar os sistemas de informaes gerenciais existentes, a fim de construir indicadores de desempenho.
Sua execuo por rgos independentes (como garantia de rigor metodolgico e iseno) e, na medida do possvel, mesclando tcnicas quantitativas e qualitativas (Lobo,
2001; Arretche, 2001; Khander et al., 2010).
Incorporar, de forma aberta, todos os atores envolvidos e mapear suas percepes, devolvendo-lhes as informaes recebidas.
Referncias
ABMA, Tineke A. Responsive evaluation: the meaning and special contribution to public administration. Public Administration, v. 82, n. 4, p. 777-1058, 2004.
ARRETCHE, Marta. Tendncias no estudo sobre avaliao. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais,
2001. p. 29-39.
BOURDIEU, Pierre; CHAMBOREDON, Jean-Claude; PASSERON, Jean-Claude. Conclusin: sociologa del conocimiento y epistemologa. In: BOURDIEU, Pierre. El oficio de socilogo. Mxico: Siglo
XXI, 1996. p. 99-124.
1292
BRASIL. Emenda Constitucional no 19, de 1998. Modifica o regime e dispe sobre princpios e normas
da Administrao Pblica, servidores e agentes polticos, controle de despesas e finanas pblicas e
custeio de atividades a cargo do Distrito Federal, e d outras providncias. Braslia: 4 de junho de
1998. Disponvel em: <www.planalto.gov.br/ccivil_03/constituicao/emendas/emc/emc19.htm>.
Acesso em: 29 out. 2010.
BRASIL. Lei Federal 9.989, de 2000. Dispe sobre o Plano Plurianual para o perodo de 2000/2003.
Braslia: 2000. Disponvel em: <www.planalto.gov.br/ccivil_03/Leis/L9989.htm>. Acesso em: 20
out. 2010.
BRASIL. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual
2000-2003 Exerccios 2000 a 2003. Disponvel em: <www.planejamento.gov.br/planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>.
BRASIL. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual
2004-2007 Exerccio 2004. Disponvel em: <www.planejamento.gov.br/planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>.
CANO, Ignacio. Introduo avaliao de programas sociais. Rio de Janeiro: Editora FGV, 2002.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 2004.
COSTA, Frederico L. da; CASTANHAR, Jos C. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37, n. 5, p. 969-992,
set./out. 2003.
COTTA, Tereza C. Metodologia de avaliao de programas sociais: anlise de resultados e de impactos. Revista do Servio Pblico, Braslia, v. 49, n. 2. p. 105-126, abr./jun. 1998.
CUNHA, Carla da. Avaliao de polticas pblicas e programas governamentais: tendncias recentes
e experincias no Brasil. Trabalho elaborado durante o curso The Theory and Operation of a Modern National Economy, ministrado na George Washington University, no mbito do Programa
Minerva, em 2006. Digitalizado.
DRAIBE, Snia M. A poltica social na Amrica Latina: o que ensinam as experincias recentes de
reforma? In: DINIZ, Eli; AZEVEDO, Srgio (Org.). Reforma do Estado e democracia no Brasil. Braslia:
Editora UnB; Enap, 1997. p. 213-258.
DRAIBE, Snia M. Uma nova institucionalidade das polticas sociais? Reflexes a propsito da
experincia latino-americana recente de reformas dos programas sociais. So Paulo em Perspectiva,
v. 11, n. 4, p. 3-15, 1997.
FARIA, Carlos A. P. de. A poltica da avaliao de polticas pblicas. Revista Brasileira de Cincias
Sociais, So Paulo, v. 20, n. 50, p. 97-169, out. 2005.
FARIA, Regina. Avaliao de programas sociais: evolues e tendncias. In: RICO, Elizabeth Melo
(Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 2001. p. 40-49.
Rev. Adm. Pblica Rio de Janeiro 46(5):1271-294, set./out. 2012
1293
1294
RIO GRANDE DO SUL. Lei 11.075, de 1998. Institui o Cdigo Estadual de Qualidade dos Servios
Pblicos. Porto Alegre, 6 jan. 1998. Disponvel em: < www.al.rs.gov.br/legis/M010/M0100018.
asp?Hid_IdNorma=7453&Texto=>. Acesso em: 4 out. 2010.
SILVA, Pedro L.; COSTA, Nilson. Avaliao de polticas pblicas na Amrica do Sul. Avaliao de
Programas Pblicos: uma estratgia de Anlise. In: CONGRESSO INTERNACIONAL DA CLAD, V,
2000, San Domigo, Republica Dominicana. Disponvel em: <www.clad.org/congresos/congresosanteriores/v-santo-domingo-2000/5.-investigando-al-estado>. Acesso em: 10 abr. 2011.
SOUZA, Celina. Estado do campo da pesquisa em polticas pblicas no Brasil. Revista Brasileira
de Cincias Sociais, So Paulo, v. 18, n. 51, p. 15-20, fev. 2003.
SPINK, Peter. Avaliao democrtica: propostas e prticas. Rio de Janeiro: Associao Brasileira
Interdisciplinar de Aids, 2001. (Coleo Abia, Fundamentos de Avaliao no 3). Disponvel em:
<www.abiaids.org.br/_img/media/colecao%20fundamentos%20avaliacao%20N3.pdf>.
THOENIG, Jean-Claude. A avaliao como conhecimento utilizvel para reformas de gesto pblica.
Revista do Servio Pblico, Braslia, v. 51, n. 2, p. 54-70, abr./jun. 2000.
UNIVERSIDADE ESTADUAL DE CAMPINAS. Grupo de Anlise de Polticas de Inovao (GapiUnicamp). Metodologia de anlise de polticas pblicas. Disponvel em: <www.oei.es/salactsi/
rdagnino1.htm>. Acesso em: 20 jul. 2010.
VIANA, Ana L. Abordagens metodolgicas em polticas pblicas. Revista de Administrao Pblica,
Rio de Janeiro, v. 30, n. 2, p 5-43, abr. 1996.
Marlia Patta Ramos professora adjunta II do Departamento de Sociologia e do Programa de Ps-graduao em Sociologia da Universidade Federal do Rio Grande do Sul (UFRGS). Bolsista Produtividade
PQ CNPq. E-mail: mariliaramos68@gmail.com.
Letcia Maria Schabbach professora adjunta II do Departamento de Sociologia da UFRGS. E-mail:
leticiams65@gmail.com.