INDICADORES E A GESTO DE POLTICAS PBLICAS

Cludia Antico Paulo de Martino Jannuzzi

INDICADORES E A GESTO DE POLTICAS PBLICAS1

Introduo A Administrao Pblica, em geral, vem passando por mudanas institucionais relacionadas consolidao da sistemtica do Planejamento Plurianual, ao aprimoramento dos controles administrativos dos Ministrios, mudana da nfase da auditoria dos Tribunais de Contas da avaliao da conformidade legal para a avaliao do desempenho dos programas, reforma gerencial da Gesto Pblica em meados dos anos 1990 (GARCIA 2001, COSTA e CASTANHAR 2003). O interesse crescente pelo uso de indicadores nas atividades ligadas gesto de polticas pblicas deve-se, em grande parte, a tais fatores, assim como ao aprimoramento do controle societal do Estado Brasileiro nos ltimos 20 anos. A mdia, os sindicatos, a sociedade civil passaram a ter maior poder de fiscalizao do gasto pblico, exigindo o uso mais eficiente, eficaz e efetivo do mesmo, e a reorganizao das atividades de planejamento em bases mais tcnicas. O acesso crescentemente facilitado s informaes mais estruturadas de natureza administrativa e estatstica que as novas tecnologias de informao e comunicao viabilizam tambm tem contribudo para a disseminao do uso dos indicadores na gesto pblica. Dados cadastrais antes armazenados em armrios e fichrios passam a transitar pela rede, transformando-se em informao estruturada para anlise e tomada de deciso. Dados estatsticos antes inacessveis em enormes arquivos digitais passam a ser customizados na forma de tabelas, mapas e modelos quantitativos construdos por usurios no especializados. Sem dvida, a Internet, os CD-ROMs inteligentes, os arquivos de microdados potencializaram a disseminao da informao administrativa compilada por rgos pblicos e a informao estatstica produzida pelas agncias especializadas.

Esse texto est baseado em idias expostas em oportunidades anteriores (Jannuzzi 2001, 2002 e em especial Jannuzzi 2005), valendo-se, ainda, das experincias de capacitao de tcnicos de ONGs e gestores do setor pblico, desenvolvidas no mbito do convnio ENCE/IBGE e Fundao FORD, nas experincias de participao em cursos de formao e extenso da Escola Nacional de Administrao Pblica, da Fundao do Desenvolvimento Administrativo, e de Gesto Pblica da PUC-Campinas.

 com o objetivo de apresentar como essas informaes estruturadas podem ser empregadas nas diferentes etapas do ciclo de formulao e avaliao de polticas pblicas que se apresenta este texto. Em sua forma clssica, o ciclo de formulao e avaliao de polticas pblicas composto pelas etapas de Diagnstico, Formulao, Implementao e Avaliao (Figura 1). Cada etapa desse ciclo envolve o uso de um conjunto de indicadores de diferentes naturezas e propriedades, em funo das necessidades intrnsecas das atividades nelas envolvidas (Quadro 1).
Figura 1: Ciclo de Formulao e Avaliao de Polticas Pblicas

Diagnstico Avaliao Formulao

Implementao

Este texto est estruturado em quatro tpicos correspondentes a cada uma das etapas do ciclo, discutindo o uso dos indicadores tipos e propriedades desejveis em cada fase, assim como as ferramentas analticas e aplicativos que podem potencializar o uso dos mesmos na gesto das polticas pblicas.
Quadro 1: Indicadores requeridos nas etapas do Ciclo de Formulao e Avaliao de Polticas Pblicas
Tipos e Propriedades Amplo escopo temtico Ampla desagregabilidade Elaborao do Diagnstico Indicadores que permitam retratar geogrfica e populacional a realidade Validade de constructo Boa confiabilidade Formulao de programas e Indicadores sintticos seleo de alternativas Indicadores multicriteriais Indicadores que orientem Tipologias de situaes sociais objetivamente a tomada de deciso Esforo (insumos/processos) Implementao/Execuo Indicadores que permitam filmar Atualidade/regularidade o processo de implementao dos Sensibilidade programas formulados e a eficincia Especificidade Avaliao Indicadores que permitam revelar a eficcia e efetividade social dos programas Resultados e Impactos Distncia s metas Tipologias Etapas Fontes de Dados Predominantes Censos Demogrficos Pesquisas amostrais

Censos Demogrficos Pesquisas amostrais Registros Administrativos Registros gerados nos procedimentos dos prprios programas Pesquisas amostrais Registros administrativos Grupos focais Pesquisas de egressos e participantes no programa

Indicadores na Elaborao do Diagnstico Na etapa de elaborao do Diagnstico, so necessrios indicadores de boa confiabilidade, validade e desagregabilidade, cobrindo as diversas temticas da realidade. preciso um retrato amplo e detalhado da situao vivenciada pela populao para orientar, posteriormente, as questes prioritrias a atender, os formatos dos programas a implementar, as estratgias e aes a desenvolver. Trata-se de caracterizar o Marco Zero, a partir do qual se poder avaliar se o programa est provocando as mudanas desejveis. Os indicadores usados nesta etapa so construdos, em geral, a partir dos Censos Demogrficos ou pesquisas amostrais multitemticas (como as PNADs Pesquisa Nacional por Amostra de Domiclios). O Censo Demogrfico 2000 constitui-se em uma fonte muito rica de indicadores para elaborao de um diagnstico, pelo escopo temtico, desagregabilidade territorial e popuplacional e comparabilidade inter-regional. Foram levantados na amostra do Censo mais de 70 quesitos de informao, cobrindo caractersticas domiciliares, infra-estrutura urbana, caractersticas demogrficas e educacionais dos indivduos, insero da mo-deobra, rendimentos, acesso a alguns programas pblicos etc. Os indicadores dessas dimenses analticas podem ser computados para diversos grupos sociodemogrficos (por sexo, raa/cor, estratos de renda etc) e escalas territoriais que chegam ao nvel de agregaes de bairros de municpios (reas de ponderao) e at mesmo ao nvel de setor censitrio (conjunto de cerca de 200 a 300 domiclios na zona urbana, para os quesitos levantados no questionrio bsico, aplicados em todos os domiclios do pas). Atravs de um software de fcil manipulao Estatcart pode-se extrair estatsticas e cartogramas da quase totalidade de municpios de mdio porte no pas, ao nvel de setor censitrio ou reas de ponderao, como ilustrado atravs da Figura 2.

Figura 2: Cartograma produzido pelo Estatcart ilustrando diferenciais socioeconmicos ao nvel de setor censitrio e mapa de um setor (com ruas e quadras) Sumar SP 2000

Esta possibilidade de dispor de informao estatstica por setor censitrio (ou rea de ponderao) no parece ter sido explorada em toda sua potencialidade por parte de formuladores e gestores de programas pblicos, seja no mbito federal, estadual ou municipal. Quando se trata de fazer diagnsticos sociais mais detalhados territorialmente emprega-se, em geral, indicadores mdios computados para os municpios, escondendo-se os bolses de iniquidades presentes dentro de cada um dos municpios brasileiros. Os indicadores mdios de rendimentos ou infra-estrutura urbana do Municpio de So Paulo so, por exemplo, bem melhores que a mdia geral dos municpios brasileiros. Contudo, se os indicadores forem computados ao nvel de setores censitrios se poder constatar no territrio paulistano a diversidade de situaes

de condies de vida encontrada pelo territrio nacional. Ou seja, possvel encontrar bolses de pobreza na capital paulistana com caractersticas de alguns municpios no Nordeste2. Um dos recursos que tem auxiliado na elaborao e apresentao de Diagnsticos Sociais a proposio de Tipologias, Agrupamentos ou Arqutipos, usados para classificar unidades territoriais segundo um conjunto especfico de indicadores sociais e, portanto, apontando os dficits de servios pblicos, de programas especficos etc. O ndice Paulista de Responsabilidade Social um exemplo neste sentido, ao classificar os municpios paulistas em cinco grupos, de acordo com os nveis observados de indicadores de sade, escolaridade e porte econmico municipal (SEADE 2002). Alm dos indicadores multitemticos para retratar as condies de vida, referentes sade, habitao, mercado de trabalho etc, tambm devem fazer parte de um Diagnstico Social os indicadores demogrficos, em especial, aqueles que permitem apresentar as tendncias de crescimento populacional passado e as projees demogrficas futuras, para dimensionamento de pblicos-alvo dos diversos programas em termos de idade e sexo. As mudanas demogrficas foram bastante intensas no pas nos ltimos 30 anos, com impacto significativo e regionalmente diferenciado sobre a demanda de vagas escolares, postos de trabalho etc (MARTINE et al. 1994). Indicadores na Formulao de Programas Na segunda etapa do ciclo de gesto pblica Formulao , requer-se um conjunto mais reduzido de indicadores, selecionados a partir dos objetivos norteadores dos programas definidos como prioritrios pela Agenda Poltico-Social vigente. Por meio do Diagnstico, so identificados, em tese, os bolses de pobreza, as reas com maior dficit de servios urbanos, com maior parcela de crianas fora da escola, com maior nmero de responsveis sujeitos ao desemprego etc. Na etapa de Formulao, deve-se definir, a partir da orientao poltica governamental, a natureza dos programas, as questes sociais prioritrias a enfrentar e os pblicos-alvo a atender. Nesta fase, os Indicadores Sintticos podem ter maior aplicao, na medida em
2

De fato, o que o ndice Paulista de Vulnerabilidade Social calculado por setor censitrio permite

que oferecem ao gestor uma medida-sntese das condies de vida, vulnerabilidade, desenvolvimento social de municpios, estados ou outra unidade territorial de implementao de programas. O IDH-Municipal foi, por exemplo, o indicador empregado pelo Programa Comunidade Solidria para selecionar os municpios para suas aes, o que certamente representou um avano em termos de critrio tcnicopoltico de priorizao. Contudo, a escolha desse indicador acabou por excluir do programa todas as cidades mdias e populosas do Sudeste, j que suas medidas sociais mdias calculadas para a totalidade do municpio eram sempre mais altas que as dos municpios do Norte e Nordeste. Se fosse usado um indicador calculado para domnios sub-municipais (setor censitrio, bairros, reas de ponderao etc), os municpios do Sudeste certamente teriam bolses que se enquadrariam entre os pblicos-alvo prioritrios do programa. Esse exemplo deixa claro a importncia do diagnstico micro-espacializado comentado anteriormente, em especial o realizado ao nvel de setor censitrio. possvel, desta forma, no s garantir maior preciso e eficincia na alocao dos programas que devem ser focalizados, como tambm acompanhar, posteriormente, os seus efeitos. Alm disso, o uso do setor censitrio (ou rea de ponderao) garante, em alguma medida, a compatibilizao dos quantitativos populacionais de cada pequena rea, amenizando os efeitos potencialmente destoantes da tomada de deciso baseada em indicadores expressos em termos relativos. Dois municpios podem ter, por exemplo, percentual similar de famlias indigentes, mas totais absolutos de indigentes muito distintos. Municpios populosos podem apresentar cifras relativamente mais baixas de indigentes, mas ainda assim podem reunir totais absolutos bastante significativos. Em qual municpio deve se priorizar as aes de Programas de Transferncia de Renda: naquele em que a intensidade de indigncia elevada ou naquele em que o quantitativo de indigentes maior? Quando se tm indicadores calculados para reas com totais populacionais mais compatveis, rankings de priorizao baseados em indicadores relativos ou absolutos diferem pouco3. A diferena na focalizao com uso de indicadores relativos e absolutos fica evidente na Figura 3, em que se representa, esquerda, a proporo de responsveis
constatar (vide em www.seade.gov.br). 3 Vale observar, contudo, que os setores censitrios apresentam variabilidade significativa em termos de quantitativos populacionais pelos municpios brasileiros.

sem rendimento ou com at um salrio mnimo, e direita, o total de responsveis com mesma caracterstica. Se fato que a intensidade relativa de pobreza alta nos pequenos municpios do Serto Nordestino, tambm verdade que nos municpios mdios e grandes do Sudeste (e em todo territrio nacional) os quantitativos populacionais nesta situao so muito expressivos. A adoo do setor censitrio como unidade de representao territorial dos indicadores pelo fato de garantir certa compatibilidade dos totais populacionais eliminaria, em larga medida, este problema na identificao de pblicos-alvo baseados em medidas relativas e absolutas.
Figura 3: Responsveis por domiclio sem rendimento ou com rendimento at 1 salrio mnimo, representado como proporo e total populacional Brasil 2000
Proporo de chefes sem rendimento ou at 1 salrio mnimo Total de chefes sem rendimento ou at 1 salrio mnimo

Idealmente, a tomada de deciso com relao aos pblicos-alvo a serem priorizados deve-se pautar em um indicador mais especfico e vlido para o programa em questo, mais relacionado aos seus objetivos, como a taxa de mortalidade infantil em Programas de Sade Materno Infantil, dficit de peso ou altura em Programas de Combate Fome, ou proporo de domiclios com baixa renda em Programas de Transferncia de Renda. Se vrios indicadores devem ser usados e os critrios de elegibilidade referem-se a variveis existentes no Censo Demogrfico possvel fazer processamentos especficos, de forma relativamente rpida atravs de um pacote estatstico (com os microdados do Censo em 16 CDRoms), ou mesmo atravs de uma ferramenta disponibilizada pela Internet (Banco Multidimensional de Estatsticas) no stio do IBGE. Um desses indicadores, construdos atravs do cruzamento de variveis do Censo 2000, o trazido na ltima tabela da publicao Indicadores Municipais do IBGE (2002). Trata-se de um indicador combinado, construdo a partir do cruzamento

simultneo de diversos critrios, representando a proporo dos domiclios particulares permanentes que no tm escoadouros ligados rede geral ou fossa sptica, no so servidos de gua por rede geral, no tm coleta regular de lixo, seus responsveis (chefes) tm menos de 4 anos de estudo e rendimento mdio mensal at 2 salrios mnimos. Este indicador pode ser calculado tambm por reas de ponderao do Censo, e tem se mostrado com grande poder de discriminao e validade em representar situaes de carncias de servios pblicos bsicos pelo territrio nacional. Em alguns casos de programas inter-setoriais, que envolvem esforos de equipes de diferentes reas e o alcance de vrios objetivos, pode ser interessante tomar a deciso acerca das reas prioritrias de implantao dos programas a partir da combinao de vrios critrios (indicadores). Neste caso, pode-se empregar a Anlise Multicritrio, tcnica estruturada para tomada de decises em que interagem vrios agentes, cada um com seus critrios e juzos de valor acerca do que mais importante considerar na deciso final (ENSSLIN et al. 2001). A vantagem do uso dessa tcnica em relao a outras, como o emprego de Indicadores Sintticos, que ela permite que a deciso seja pautada com base nos critrios (indicadores) considerados relevantes para o programa em questo pelos agentes decisores, e que a importncia dos critrios seja definida pelos mesmos, em um processo de interatividade com outros atores tcnico-polticos. Alguns algoritmos que implementam a tcnica produzem solues hierarquizadas como um Indicador Sinttico e robustas, no dependentes da escala de medida ou disperso das variveis. H diferentes formas de implementar de forma estruturada o processo coletivo de tomada de deciso, entre os quais, o implementado computacionalmente no software Programa para Apoio tomada de Deciso baseada em Indicadores (PRADIN)4. Na forma como foi implementada a tcnica no programa, necessrio especificar quem so os decisores, o poder de influncia de cada um, os indicadores usados como critrios de avaliao, os pesos e valores destes indicadores para cada alternativa considerada, possveis escolhas a serem avaliadas como programas alternativos ou municpios-alvo de um programa (Quadro 2). Deve-se, tambm, escolher a funo de preferncia e seus
4

Este programa foi desenvolvido para a ANIPES Associao Nacional de Instituies de Planejamento, Pesquisa e Estatstica e SEI Superintendncia de Estudos Econmicos e Sociais da Bahia como ferramenta para uso por gestores na seleo de pblicos-alvo de programas sociais. Est disponvel como recurso de capacitao em tcnicas multicritrio em www.anipes.org.br. Para aplicaes prticas h vrios softwares disponveis na Internet.

parmetros, o nvel de indiferena, relacionado confiabilidade dos indicadores e ao que se considera como padro normativo esperado (ou boas prticas) , que definiro a regra de comparao, duas a duas, entre as alternativas, para cada indicador ou critrio definido.
Quadro 2: Etapas de Construo do Indicador Multicriterial para seleo de pblico-alvo de programas sociais usando o PRADIN 1a.etapa Definio do programa, agentes envolvidos e poder de influncia dos mesmos (com base na posio hierrquica, recursos aportados etc)

2a.etapa Explicitao dos indicadores que sero tomados como critrios para deciso, bem como a importncia que cada agente confere ao mesmo

3a.etapa Definio dos parmetros do algoritmo de comparao das alternativas segundo os critrios como a funo de preferncia, nveis de indiferena e preferncia

Etapa recorrente Simulaes segundo avaliao coletiva dos resultados

4a.etapa Cmputo do Indicador Multicriterial

5a.etapa Anlise de Sensibilidade para validao do Indicador Multicriterial

6a.etapa Gerao dos Agrupamentos de Solues

10

Com o emprego do programa, as alternativas so hierarquizadas pelo resultado lquido entre superaes e subordinaes, definidas pelas comparaes, duas a duas das alternativas, para cada indicador, usando a funo de preferncia. Ao final da aplicao do algoritmo, tem-se o conjunto de alternativas classificadas por um indicador-sntese indicador multicriterial , ordenando as alternativas, da menor para aquela de maior potencialidade, segundo os critrios e pesos estabelecidos (Figura 4).
Figura 4: Exemplo de uso do Pradin na construo e validao de indicador multicriterial
1) Definindo decisores e poder de deciso 2) Definindo pesos para os indicadores e a funo de preferncia

3) Computando o indicador multicriterial

4) Testando a soluo atravs da Anlise de Sensibilidade

Um aspecto interessante no uso desta tcnica para a tomada de deciso que ela permite a simulao de solues, mediante variaes nos pesos, introduo ou retirada de indicadores e alternativas, ou ainda troca de parmetros e funes usadas para comparao das alternativas a serem avaliadas. Na forma em que a tcnica foi implementada no PRADIN possvel, ainda, validar a soluo encontrada atravs de uma Anlise de Sensibilidade, avaliando o impacto na soluo final de pequenas variaes nos pesos dos indicadores, no poder de

11

influncia dos decisores ou ainda da retirada de algumas alternativas. Implementou-se tambm no programa o recurso de definio de clusters Anlise de Agrupamentos por proximidade do indicador multicriterial, para situaes em que se busca no apenas uma hierarquizao das alternativas, mas tambm grupos de alternativas similares segundo os critrios usados. Para ilustrar o uso da Anlise Multicritrio na identificao de pblicos-alvo prioritrios a atender, seguindo o Quadro 2, suponha a existncia de um programa pblico que envolva diferentes Ministrios ou Secretarias Sade, Desenvolvimento Social, Infra-estrutura Urbana, Habitao, cada um com volume de recursos especficos para o programa (Etapa 1 do Quadro 2). Suponha, ainda, que tal programa est voltado diminuio do Dficit Social mais bsico nos municpios brasileiros, expresso, por exemplo, pela demanda no atendida de ensino bsico para crianas e adolescentes, de programas de assistncia social de transferncia de renda e proteo ao risco de desemprego de chefes de famlia, de servios bsicos de preveno sade pblica (minimamente garantidos pelo acesso a servios de infra-estrutura urbana como abastecimento de gua, saneamento bsico adequado, coleta de lixo) e programas de habitao popular. Considerando a natureza intersetorial deste programa, seus objetivos e a disponibilidade de informaes estatsticas municipais, possvel que o processo de busca, discusso e seleo dos indicadores acabe resultando no conjunto apresentado no Quadro 2 (Etapa 2 do Quadro 2). Esses indicadores podem ser computados por meio das informaes do Censo Demogrfico 2000, dimensionando, para cada municpio, a parcela da populao que no reside em uma moradia adequada, no tem acesso a servios bsicos de infra-estrutura urbana, no tem acesso a oportunidades educacionais, ou no dispe de rendimentos suficientes provenientes do seu trabalho, aposentadoria ou programas pblicos de transferncia de renda para manuteno de um padro adequado de vida.

12

Quadro 3: Possvel conjunto de Indicadores analticos usados na construo do Indicador Multicriterial de Dficit Social no Brasil
Dimenso do Dficit dficit em educao Indicadores Pessoas de 7 a 14 anos analfabetas Chefes sem instruo ou at 1 ano de escola Critrio normativo de adequao (em %) 0% analfabetos 0% analfabetos

dficit em renda, trabalho e Chefes sem rendimento ou com rendimento at 1 sm assistncia social

0% Chefes

Domiclios urbanossem acesso rede gua ou poo

0% Domiclios

dficit em sade e saneamento

Domiclios urbanos sem esgotamento sanitrio adequado Domiclios urbanos sem coleta de lixo

0% Domiclios

0% Domiclios 0% Domiclios 0% Domiclios

dficit em habitao

Domiclios invadidos ou improvisados Domiclios com 10 ou mais moradores

Introduzindo-se tais indicadores, para todos os municpios brasileiros, fazendose diferentes escolhas de ponderao e parmetros no programa (Etapa 3 do Quadro 2), chega-se a solues do tipo da ilustrado na Figura 5, retratando a dicotomia NorteSul no nvel de atendimento de servios bsicos populao (Etapa 4 do Quadro 2). Temse, assim, depois de testada a robustez da soluo e sua validao pelos rgos financiadores do programa, os pblicos-alvo prioritrios a atender.
Figura 5: Possvel Ilustrao dos Muncpios-alvo a atender em um programa pblico voltado diminuio do Dficit Social no Brasil, com a aplicao do Pradin

13

Essa proposta metodolgica de construo de indicadores de priorizao atravs da Anlise Multicritrio certamente mais interessante que a oferecida pelos Indicadores Sintticos mais gerais, j que permite a computao de uma medida especfica para cada programa pblico, considerando seus objetivos, pblicos-alvo especficos e escolhas tcno-polticas dos gestores pblicos encarregados de tomar as decises. Indicadores na Implementao e Monitoramento Na etapa de Implementao e execuo dos programas so necessrios indicadores de monitoramento, que devem primar pela sensibilidade, especificidade e, sobretudo, pela periodicidade com que esto disponveis. As informaes produzidas pelas agncias estatsticas no so, em geral, especficas para os propsitos de monitoramento de programas, seja na escala territorial desejada, seja na regularidade necessria. Contudo, procurando atender demanda por informaes municipais mais peridicas, o IBGE tem realizado de forma mais regular a Pesquisa Nacional de Assistncia Mdico-Sanitria (AMS), a Pesquisa de Informaes Bsicas Municipais (MUNIC) e a Pesquisa Nacional de Saneamento Bsico (PNSB). A AMS corresponde a um censo de estabelecimentos de sade no pas, identificando volume e qualificao de pessoal, equipamentos e outros recursos disponibilizados para atendimento mdico-sanitrio da populao. Com isso, pode-se ter uma idia mais clara e precisa do nvel e diversidade da oferta de servios de sade pelo pas, atravs da construo de indicadores de esforos de polticas na rea de sade. A MUNIC contempla, anualmente, o levantamento de um conjunto amplo de informaes junto s prefeituras dos mais de 5 mil municpios brasileiros. So levantados dados sobre a estrutura administrativa, o nvel de participao e formas de controle social (existncia de conselhos municipais), existncia de legislao e instrumentos de planejamento municipal (como a institucionalizao do Plano de Governo, Plano Plurianual de Investimentos, Plano Diretor, Lei de Parcelamento do Solo, entre outros), a disponibilidade de recursos para promoo da justia e segurana (existncia da delegacia de mulheres, juizados de pequenas causas, etc), alm da

14

existncia de equipamentos especficos de comrcio, servios da indstria cultural e lazer como bibliotecas pblicas, livrarias, jornais locais, ginsios de esporte. Essa pesquisa permite, pois, construir indicadores que possibilitam retratar o grau de participao e controle popular da ao pblica, e caracterizar o estgio de desenvolvimento institucional das atividades de planejamento e gesto municipal pelo pas. A PNSB complementa esse quadro informacional sobre os municpios brasileiros com a coleta de dados sobre Abastecimento de gua, Esgotamento sanitrio, Limpeza Urbana e Sistema de Drenagem urbana. Pode-se dispor de outros indicadores mais informativos sobre a estrutura e qualidade dos servios de infra-estrutura urbana, que no se limitam a apontar o grau de cobertura populacional atendida. Com os dados levantados nessa pesquisa, possvel construir indicadores de volume de gua ofertada per capita, do tipo de tratamento e volume da gua distribuda populao, de volume e destino do esgoto e lixo coletado, entre outros aspectos. H tambm esforos louvveis de vrias instituies pblicas, alm do IBGE, em disponibilizar informaes de seus cadastros e registros de forma mais peridica, fato que se deve no s a necessidade de monitoramentos da ao governamental, mas tambm das facilidades que as novas tecnologias de informao e comunicaes tm proporcionado. Os rgos estaduais de estatstica, o Ministrio da Sade, da Educao, do Trabalho, do Desenvolvimento Social, da Previdncia Social, das Cidades, a Secretaria do Tesouro Nacional disponibilizam pela Internet informaes bastante especficas em escopo temtico e escala territorial- a partir de seus registros e sistemas de controle internos, que podem ser teis para construo de indicadores de monitoramento de programas (Quadro 3).

15

Quadro 3: Algumas das fontes oficiais para atualizao peridica de indicadores Fonte IBGE rgos estaduais de estatstica Ministrio da Sade Ministrio da Educao Ministrio do Trabalho Ministrio do Desenvolvimento Social Ministrio da Previdncia Social Ministrio das Cidades Stio www.ibge.gov.br www.anipes.org.br www.datasus.gov.br www.inep.gov.br www.mte.gov.br www.mds.gov.br www.mpas.gov.br www.cidades.gov.br Contedo Estatsticas scias e econmicas diversas, em diferentes nveis de atualizao e desagregao territorial, acessveis nas publicaes, no @Cidades, Sidra e BME Pelo stio da Associao Nacional das Instituies de Planejamento, Pesquisa e Estatstica pode-se acessar os rgos estaduais e as informaes dos mesmos Estatsticas de mortalidade por causas Atendimentos no SUS Registro de Vacinaes Estatsticas educacionais Docentes e equipamentos Avaliao de desempenho educacional Estatsticas mensais do Cadastro Geral de Empregados e Desempregados Relao Anual de Informaes Sociais Indicadores de Pobreza e Indigncia Acesso aos Programas de Transferncia de Renda Benefcios e Auxlios concedidos Contribuintes Acidentes de Trabalho Indicadores urbanos e saneamento Dficit habitacional Transferncias de recursos Execuo oramentria Receitas e Despesas municipais

Secretaria do www.stn.fazenda.gov.br Tesouro Nacional

A lgica de acompanhamento de programas requer a estruturao de um sistema de indicadores que, alm de especficos, sensveis e peridicos, permitam monitorar a implementao processual do programa na lgica insumo-processo-resultado-impacto. So necessrios indicadores que permitam monitorar o dispndio realizado por algum tipo de unidade operacional prestadora de servios ou sub-projeto; o uso operacional dos recursos humanos, financeiros e fsicos; a gerao de produtos e a percepo dos efeitos sociais mais amplos dos programas. Assim, a distino entre a terceira e quarta etapa do Ciclo de Programas pode ser menos evidente que nas demais, sobretudo em programas de longa durao. Monitoramento e Avaliao de Programas so ambos termos cunhados para designar procedimentos de acompanhamento de programas, focados na anlise da eficincia, eficcia e efetividade dos mesmos (COHEN e FRANCO 2000). So processos analticos organicamente articulados, sucedendo-se no tempo, com o propsito de subsidiar o gestor pblico com informaes acerca do ritmo

16

e forma de implementao dos programas (indicadores de monitoramento) e dos resultados e efeitos almejados (indicadores de avaliao). Em muitas situaes, pode ser interessante dipor de um Paniel de Indicadores de Monitoramento, construdo a partir da seleo de 5 a 10 indicadores do Sistema de Informaes elaborado. Painis de Indicadores so apostas mais pragmticas, em geral voltadas para monitoramento de programas mais especficos, envolvendo um conjunto mais reduzido de informaes que podem ser produzidas de forma mais regular, sem a pretenso de abarcar as mltiplas facetas da realidade, mas aquelas mais impactadas pelas aes governamentais ou que mais interessa enfocar. Os indicadores dos Objetivos de Desenvolvimento do Milnio e os indicadores do Radar Social do IPEA so exemplos de propostas de conjuntos de indicadores organizados na forma de painis de monitoramento.

17

Quadro 4: Exemplo de Painel de Indicadores de Monitoramento

18

Indicadores na Avaliao de Resultados e Impacto A avaliao de um programa pblico requer indicadores que possam dimensionar o grau de cumprimento dos objetivos dos mesmos (eficcia), o nvel de utilizao de recursos frente aos custos em disponibiliz-los (eficincia) e a efetividade social ou impacto do programa. Os indicadores de desembolso de recursos e produtos construdos a partir de registros prprios de controle e gerenciamento de programas podem permitir uma avaliao indireta da eficcia dos programas no alcance das metas estabelecidas, quando as estatsticas pblicas ou os dados administrativos de Ministrios e Secretarias Estaduais no disponibilizarem dados especficos, peridicos e na escala territorial desejada. Na falta de pesquisas amostrais regulares que contemplem temticas relativas ao consumo de produtos culturais e hbitos de lazer, por exemplo, ainda no incorporado Agenda Poltico-Social nacional de forma imperativa , a eficcia de programas na rea (como Programas de Fomento Leitura) ter que ser inferida a partir de produtos previstos nas aes desencadeadas, tais como volume de livros distribudos s escolas e bibliotecas. Neste caso, indicadores de resultados mais vlidos para avaliar a eficincia do programa como nmero mdio de livros lidos no ltimo ano, por exemplo, so apenas ocasionalmente levantados pelo IBGE ou pela Cmara Brasileira do Livro. Na avaliao da eficincia, importante analisar os indicadores de resultados a partir dos indicadores de esforos e recursos alocados, o que permite o dimensionamento da eficincia dos programas. O emprego da Anlise Envoltria de Dados (DEA) pode representar um grande avano metodolgico neste sentido (LINS e MEZA 2000). Trata-se de uma tcnica derivada dos mtodos de pesquisa operacional, que visa a identificao das unidades de operao mais eficientes, tendo em vista como os recursos (retratados atravs de vrios indicadores de insumo) so utilizados para gerar os resultados finais (medidos atravs de diversos indicadores-resultados), considerando as condies estruturais de operao dos programas. Determinados programas, implementados em regies mais pobres, podero no ter resultados to promissores como em outras mais desenvolvidas. Assim, preciso avaliar a eficincia dos programas em funo no apenas do resultado obtido e quantidade de recursos

19

alocados, mas considerando as dificuldades ou potencialidades existentes na regio em que os programas esto operando. O que torna essa tcnica particularmente interessante que se pode considerar os recursos e resultados como vetores de indicadores em suas escalas originais, e no variveis representando valores monetrios de custos e benefcios. Como ilustra a Figura 6, a DEA permite identificar as boas prticas ou benchmarks reais, isto , unidades de implementao de programas municpios, escolas, hospitais em que os resultados so, de fato, compatveis com o nvel de esforo e recursos empreendidos. Com tal identificao possvel ter referncias especficas em termos de porte e caractersticas socioeconmicas para que outras unidades de implementao de programas possam avaliar qual e em que intensidade devem ser efetuados esforos corretivos.
Figura 6: Aplicao da Anlise Envoltria de Dados na identificao de Boas Prticas

Resultados

Envoltria + + + + + + + + + + + + + Mdia I1 Recursos +

Esforo necessrio

R max
Boas Prticas

+ + +

Outra demanda no ciclo de gesto de polticas pblicas, em particular na etapa de Avaliao, a identificao dos seus impactos. Para tanto, deve-se empregar indicadores de diferentes naturezas e propriedades, de forma a conseguir garantir tanto quanto possvel a vinculao das aes do programa com as mudanas percebidas (ou no) nas condies de vida da populao, tarefa sempre difcil de ser realizada (ROCHE 2002). Em primeiro lugar, a menos que a realidade social vivenciada antes do incio do programa (Marco Zero) fosse muito trgica, ou que o programa tenha recebido recursos muito expressivos para serem gastos em curto espao de tempo, no se pode esperar que

20

os produtos e resultados gerados no mbito dele possam ser imediatamente impactantes sobre a sociedade. Programas de Transferncia de Renda ou Distribuio de Leite ou Cestas Bsicas em periferias de grandes cidades do Sudeste proporcionam impactos sociais comparativamente menos intensos e rpidos que Programas de Investimento em Saneamento Bsico, por exemplo, no que diz respeito s condies de mortalidade infantil. Contudo, ao longo do tempo, a transferncia de renda ou distribuio de produtos contribuir para melhoria na nutrio de crianas, garantindo ganhos adicionais contra mortalidade infantil, assim como, mais a mdio prazo, na melhoria do desempenho escolar das mesmas. Esse exemplo revela, pois, a dificuldade de se atribuir os efeitos de programas especficos sobre as mudanas estruturais nas condies sociais, dificuldade que, paradoxalmente, cresce medida em que tais transformaes e os impactos tendem a se tornar mais evidentes. A dificuldade ainda maior quando se observa problemas de descontinuidades e de implementao nos programas pblicos. Para perceber de forma mais clara os impactos dos programas deve-se buscar medidas e indicadores mais especficos e sensveis aos efeitos por eles gerados. Uma das formas de se operacionalizar isso avaliando efeitos sobre grupos especficos da populao, seja em termos de renda, idade, raa, sexo ou localizao espacial. Se os programas tm pblicos-alvo preferenciais, localizados em determinadas regies ou estratos de renda, deve-se buscar indicadores de impacto que privilegiem a avaliao dos mesmos, no do conjunto da populao, que pode estar, inclusive, sob o risco de efeitos estruturais mais gerais (que podem no afetar o pblico-alvo na mesma intensidade). Deve-se procurar tambm desenvolver estratgias metodolgicas avaliativas de natureza qualitativa, com pesquisas de opinio ou grupos de discusso, incorporando indicadores subjetivos na avaliao. Neste sentido, os impactos podem ser avaliados em uma perspectiva mais restrita ou mais ampla, considerando o tamanho da populao afetada, o espao de tempo considerado para a referncia dos indicadores e a natureza mais objetiva ou subjetiva dos impactos percebidos pela populao.

21

Consideraes Finais Uma das grandes dificuldades atuais no acompanhamento de programas pblicos o de dispor de informaes peridicas e especficas acerca do processo de implementao dos mesmos, do alcance dos resultados e do impacto social que tais programas tm nos segmentos sociodemogrficos ou comunidades focalizadas pelo programa. Seja em uma perspectiva de Avaliao Formativa isto , avaliao com propsitos de acompanhar/monitorar a implementao de programas, a fim de verificar se os rumos traados esto sendo seguidos e permitir intervenes corretivas , seja em uma perspectiva de Avaliao Somativa isto , avaliao ao final do processo de implementao, com propsitos mais amplos e meritrios (CANO 2002) o gestor de programas sociais defronta-se com a dificuldade de obter dados vlidos, especficos e regulares para seus propsitos. Se fato que as informaes produzidas pelas agncias estatsticas so, em boa medida, pouco especficas para os propsitos de monitoramento de programas, no provendo informao na escala territorial desejada ou na regularidade necessria, tambm verdade que elas podem se prestar para elaborao de diagnsticos bastante detalhados em escopo e escala, como no caso das informaes provenientes dos Censos Demogrficos. As informaes produzidas no mbito dos processos administrativos dos Ministrios e Secretarias estaduais e municipais podem tambm suprir boa parte da demanda de dados para construo de indicadores peridicos de monitoramento, requerendo, contudo, algum re-trabalho de customizao em funo das necessidades de delimitao territorial dos programas (desde que exista um cdigo de localizao da escola, posto de sade, delegacia etc). De qualquer forma, as estatsticas e dados do IBGE e outros rgos pblicos dificilmente atendero todas as necessidades informacionais requeridas para o monitoramento e avaliao de programas pblicos mais especficos. Assim, necessrio, quando da formulao dos programas, prever a organizao de procedimentos de coleta e tratamento de informaes especficas e confiveis em todas as fases do ciclo de implementao, que possam permitir a construo de indicadores de monitoramento desejados.

22

Bibliografia CANO, I. Avaliao de programas sociais. Rio de Janeiro: FGV, 2002. COSTA, F.L. e CASTANHAR, J.C. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista Brasileira de Administrao Pblica, Rio de Janeiro, 37(5): 969-992, 2003. COHEN, E. e FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes, 2000. ENSSLIN, L. et al. Apoio Deciso: Metodologias para Estruturao de Problemas e Avaliao Multicritrio de Alternativas. Florianpolis: Insular, 2001. v. 1000. 296 p. GARCIA, R.C. Subsdios para organizar avaliaes da ao governamental. Planejamento e Polticas Pblicas, Braslia, 23, 7:70, 2001. IBGE. Indicadores Sociais Municipais. Rio de Janeiro, 2002. JANNUZZI, P.M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicaes. Campinas: Alnea, 2001. JANNUZZI, P.M. Consideraes sobre o uso, mau uso e abuso dos indicadores sociais na formulao e avaliao de polticas pblicas municipais. Revista de Administrao Pblica, Rio de Janeiro 36 (1):51-72. Jan/Fev. 2002. JANNUZZI, P.M. Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico. Braslia 56(2):137-160, abr/jun 2005. LINS, M.E e MEZA, L.A. Anlise envoltria de dados e perspectivas de integrao no ambiente de apoio deciso. Rio de Janeiro, COPPE/UFRJ, 2000. ROCHE, C. Avaliao de impacto dos trabalhos de ONGs. So Paulo: Cortez, 2002. SEADE. Monitorao de prioridades de desenvolvimento com equidade social. In: KEINERT, T. e KARRUZ, A.P. (orgs). Qualidade de vida: observatrios, experincias e metodologias. So Paulo: Annablume: Fapesp, 2002.

23