725

Estudos de Linha de Base do Projeto de Expanso e Consolidao do Sade da Famlia (ELB/Proesf ): consideraes sobre seu acompanhamento Baseline Studies of the Project for the Expansion and Consolidation of Family Health (PROESF): considerations about its follow up

OPINIO OPINION

Regina Bodstein 1 Ktia Feliciano 2 Virginia Alonso Hortale 1 Maria do Carmo Leal 1

1 Escola Nacional de Sade Pblica, Fiocruz. Rua Leopoldo Bulhes 1480, Manguinhos, 21041-210 Rio de Janeiro RJ. bodstein@ensp.fiocruz.br 2 Instituto Materno Infantil Professor Fernando Figueira.

Abstract This article discusses the process by which a group of experts invited by the Coordination for Monitoring and Evaluation of the Department of Primary Health Care of the Ministry of Health accompanied the Baseline Studies(BLS) carried out in the context of PROESF. The process consisted in establishing a dialogue and partnerships between important health institutions and research groups in the country and was supported by ABRASCO. The constitution of this group was important in view of the relevance of the BLS in subsidizing the conversion of the health care model besides providing more legitimacy and transparency to the activities, technically qualifying the dialogue and optimizing the use of the produced information. What was at stake was on one hand the quality of the products and results of the BLSs, which involved data about 168 municipalities from different mega-regions of the country, and on the other hand the establishment of partnerships between researchers, public managers and local professionals aimed at encouraging the institutionalization of evaluation in the Unified Health System by means of strategies for capacity building of the responsible for primary health care in the municipalities participating in the studies Key words Primary health care, Monitoring, Institutionalization of evaluation of primary health care

Resumo O artigo discute o processo de acompanhamento dos Estudos de Linha de Base (ELB) desenvolvido no mbito do Projeto de Expanso e Consolidao do Sade da Famlia (Proesf) por um grupo de especialistas convidado pela Coordenao de Acompanhamento e Avaliao da Ateno Bsica (CAADAB/MS), garantindo a interlocuo e a parceria entre importantes instituies e grupos de pesquisa em sade do Pas, com apoio da Associao Brasileira de Ps-Graduao em Sade Coletiva (Abrasco). A constituio do grupo de acompanhamento, alm de permitir maior legitimidade e transparncia s atividades, qualificando tecnicamente o dilogo e potencializando o uso das informaes, foi importante diante da relevncia dos ELB para subsidiar a converso do modelo assistencial por meio da expanso da estratgia da sade da famlia nos grandes centros urbanos do Pas. Estava em questo tanto a qualidade dos produtos e resultados dos ELB, que abrangiam dados sobre 168 municpios das diversas macrorregies do Pas, como a constituio de parcerias entre pesquisadores, gestores e profissionais locais, a fim de incentivar a institucionalizao da avaliao, por intermdio de estratgias de capacitao dos responsveis pela ateno bsica nos municpios participantes dos estudos. Palavras-chave Ateno bsica, Monitoramento, Institucionalizao da avaliao da ateno bsica

726
Bodstein, R. et al.

Introduo
Iniciativas de institucionalizao da avaliao em sade vm sendo implantadas desde os anos 70 em diversos pases, com o objetivo de melhorar o desempenho do sistema de sade e aumentar o grau de responsabilidade dos gestores, garantindo transparncia na utilizao dos recursos. Desta forma, a institucionalizao da avaliao passa a ser enfocada como objeto de pesquisa e de interveno no campo da sade1, 2, 3, tendo em vista sua potencialidade para o dilogo entre pesquisa, processo decisrio e servios de sade. No Brasil, a avaliao em sade emerge de forma sistemtica no fim dos anos 90 e ganha relevncia a partir de 2000, com o debate internacional em torno da metodologia de avaliao do desempenho dos sistemas de sade proposto pela Organizao Mundial da Sade4, 5. Atravs de iniciativas recentes, vem sendo sistematicamente debatida pelo Ministrio da Sade (MS), que passa a compreender a institucionalizao da avaliao como uma poltica no mbito do Sistema nico de Sade (SUS)6. Nesse contexto, criada, no MS, a Coordenao de Acompanhamento e Avaliao da Ateno Bsica, dentro do Departamento da Ateno Bsica da Secretaria de Ateno Sade. Esta coordenao foi estruturada em torno de um conjunto de iniciativas voltadas para o monitoramento e avaliao das aes e servios de sade e para a induo e gesto de estudos e pesquisas, com o objetivo de produzir informao e comunicao, dentre outras atribuies6. Os Estudos de Linha de Base (ELB) realizados no Brasil a partir de 2005 fazem parte das iniciativas desenvolvidas por essa coordenao6. Trata-se de um projeto que objetivou fazer um diagnstico do padro epidemiolgico e da organizao dos servios, principalmente em relao ateno bsica, em 168 municpios do Pas com mais de 100 mil habitantes, o que corresponde a um territrio com cerca de 75 milhes de habitantes. As informaes foram coletadas em uma amostra de mais de cinco mil unidades bsicas de sade, envolvendo entrevistas com quase 12 mil profissionais de sade e aproximadamente 35 mil usurios potenciais ou reais dos servios. Esta pesquisa se constituiu no marco inicial, na linha de base de um estudo de seguimento das mudanas ocorridas ao longo do tempo, tanto nos padres sanitrios quanto na organizao da assistncia nessas reas contem-

pladas pela investigao. Junto com outras iniciativas no mbito do SUS, os ELB aparecem como um componente importante para o processo de institucionalizao da avaliao em sade no Pas. Concomitante ao processo de investigao, foi realizado um treinamento dos profissionais de sade locais em tcnicas de avaliao de servios de sade, de forma que essa experincia se constitusse em uma oportunidade de compartilhamento de saberes entre os que operam os servios de sade e os que detm os recursos cientficos para avali-los. Para garantir o sucesso desse empreendimento, foi criada uma estrutura gerencial e acadmica de acompanhamento, ancorada por um grupo de especialistas convidados pela Coordenao de Acompanhamento e Avaliao da Ateno Bsica, oriundos de importantes instituies e grupos de pesquisa em sade do Pas, de diferentes subreas do conhecimento, em parceria com a Associao Brasileira de PsGraduao em Sade Coletiva (Abrasco). Alm de monitorar o desenvolvimento dos estudos, o grupo facilitou a interlocuo entre as vrias instituies de pesquisa envolvidas, aumentando a qualidade do trabalho e dos instrumentos de coleta de dados. O apoio tcnicocientfico e a parceria da Abrasco foram decisivos para o alcance dos resultados, vistos como subsdios importantes para o Projeto de Expanso e Consolidao do Sade da Famlia (Proesf) e para o processo de converso do modelo assistencial no Pas. O objetivo deste artigo refletir sobre o acompanhamento dos ELB, identificar o papel desempenhado pelo grupo na realizao dos estudos, de maneira a poder criar um referencial de pesquisa avaliativa da ateno bsica no Pas.

Projeto de Expanso e Consolidao do Sade da Famlia

Desde meados da dcada de 1990, o sistema de sade brasileiro vem orientando a poltica de sade para priorizar a ateno bsica. Inspirado na experincia do Programa de Agentes Comunitrios de Sade (Pacs) do Cear, iniciado em 1987, o MS implementa, em 1991, o Programa Nacional de Agentes Comunitrios de Sade. Em 1993, o Pacs j estava implantado em 13 estados das regies Norte e Nordeste. Neste mesmo ano, estimulado pela experincia do Programa Mdico de Famlia desenvolvido

727
Cincia & Sade Coletiva, 11(3):725-731, 2006

pelo Municpio de Niteri, o MS cria o Programa de Sade da Famlia (PSF) com o desafio de reorientar as prticas de sade, promovendo e protegendo a sade dos indivduos, das famlias e das comunidades de forma integral e contnua, alm de assistir aos mesmos, reafirmando desta forma os princpios de universalizao, descentralizao, integralidade e participao da comunidade que regem o SUS7, 8. No PSF o atendimento prestado pelos profissionais das equipes de sade da famlia (mdicos, enfermeiros, auxiliares de enfermagem, agentes comunitrios de sade, dentistas, auxiliares de consultrio dentrio e tcnicos de higiene dental) na unidade de sade ou nos domiclios. No iderio do programa, a equipe de sade e a populao acompanhada criam vnculos de co-responsabilidade, o que facilita a identificao, o atendimento e o acompanhamento dos agravos sade dos indivduos e famlias na comunidade, possibilitando inclusive o desenvolvimento de aes intersetoriais que atuariam nos determinantes dos padres de sade das populaes. Do ponto de vista do modelo assistencial, as unidades/equipes de sade da famlia seriam a porta de entrada do SUS, que asseguraria assistncia integral sade da populao9. O PSF e o Pacs expandiram-se com muita aceitao pela populao em municpios de pequeno porte, no interior do Pas. J nos municpios maiores, sua presena era pequena, o que levou o MS a conceber o Proesf, em 2003, como uma proposta de fortalecimento e reorganizao da ateno bsica a partir do PSF nos municpios com mais de 100 mil habitantes. Dados de estudos nacionais vm mostrando que muito embora ainda existam no Brasil importantes limitaes de acesso aos servios de sade, houve, entre 1998 e 2003, melhora expressiva em vrios indicadores analisados, particularmente em decorrncia da expanso da ateno bsica10, 11. Em 2003, cerca de 80% da populao brasileira referiram ter um servio de uso regular contra 71,2%, em 1998. A existncia de servio de uso regular um indicador positivo de acesso aos servios de sade. O servio de uso regular mais comum era o posto de sade, e sua participao relativa aumentou expressivamente entre a Pesquisa Nacional por Amostra de Domiclios (Pnad) de 1998 e a de 2003 (41,8% e 52,4%, respectivamente). Entre 1998 e 2003, houve aumento tambm da proporo de pessoas que realizaram pelo

menos uma consulta mdica no ano que antecedeu a pesquisa: de 54,7% para 62,8%, respectivamente. Este aumento se deu para todas as classes de rendimento, com expressivo diferencial entre as classes extremas, mostrando a persistncia de imensa iniqidade no acesso. H evidncias de que pases onde existe uma forte orientao para a ateno primria tm resultados mais eqitativos na sade do que aqueles orientados para a ateno especializada, porque aquela custa menos para os indivduos e mais custo-efetivo para a sociedade. O acesso a um determinado tipo de assistncia, comparado com outros, pode trazer mais benefcios populao, reduzindo a carga das doenas12, 13. Outros pases tm priorizado o desenvolvimento da ateno bsica dentro do sistema de sade. No Canad14, os cuidados primrios de sade, primary health care (PHC), so definidos como a base e o primeiro contato da populao com o sistema de sade, por intermdio de equipes compostas por mdicos, nutricionistas, enfermeiras, terapeutas ocupacionais, fisioterapeutas, farmacuticos, psiclogos, assistentes sociais, entre outros. Incluem no seu escopo promoo da sade e preveno de doenas, assistncia curativa e reabilitao voltadas para indivduos, famlias e comunidades.

Caractersticas dos Estudos de Linha de Base

Os ELB e, portanto, alguns dos artigos originais deste nmero foram financiados com recursos emprestados para o Brasil Proesf/MS pelo Banco Mundial (acordo de emprstimo no 7105BR), destinados a suporte financeiro s investigaes selecionadas em um processo de concorrncia pblica divulgada pelo Dirio Oficial da Unio de 6 de janeiro de 2004. Oito instituies nacionais foram selecionadas para participar deste processo: Fundao Oswaldo Cruz, Universidade Federal do Rio Grande do Norte, Universidade de So Paulo, Universidade do Estado do Rio de Janeiro, Universidade Federal de Pelotas, Universidade Estadual de Maring, Universidade Federal de Minas Gerais e Fundao Cesgranrio. O termo de referncia da pesquisa definia como principais objetivos dos estudos: o desenvolvimento de metodologias de anlise sobre as prticas de Sade da Famlia; a coleta e a sistematizao de dados primrios e secund-

728
Bodstein, R. et al.

rios; o compartilhamento das metodologias utilizadas e dos resultados obtidos durante a pesquisa; o apoio e a utilizao e institucionalizao dos resultados da avaliao nos municpios selecionados, envolvendo MS, Secretarias Estaduais de Sade (SES), Secretarias Municipais (SMS), plos de educao permanente em sade e instituies de pesquisa. O plano metodolgico a ser seguido por cada um dos estudos detalhava duas etapas de trabalho: a realizao de estudos transversais em reas com ou sem PSF, quando possvel, para permitir uma comparao entre as diferentes modalidades de ateno bsica; estudos de linha de base em 100% dos municpios, contemplando quatro grandes dimenses: poltico-institucional, organizao da ateno, cuidado integral e desempenho dos sistemas de sade (Quadro 1). As informaes necessrias para contemplar o estudo destas quatro dimenses poderiam ser coletadas por intermdio de vrias tcnicas de pesquisa, incluindo consulta documental, entrevistas, questionrios fechados, grupo focal, entre outras. Os grupos de investigao selecionados apresentaram propostas metodolgicas diferentes para abordarem esses pontos do edital, o que foi considerado um aspecto enriquecedor desse processo no momento de seleo dos estudos. Estava previsto ainda um conjunto de atividades de capacitao/treinamento dos profissionais de sade dos municpios e estados envolvidos, que deveria estar contemplado na proposta do grupo que concorria ao financiamento. Um levantamento detalhado e a coleta da produo cientfica local e regional sobre avaliao da ateno bsica realizada no interior do SUS tambm deveriam ser feitos por cada uma das equipes nas suas reas de abrangncia. Muito embora houvesse uma especificao das subdimenses que deveriam ser abordadas e uma extensa lista de critrios e indicadores fosse sugerida para orientar as pesquisas, dentro de cada um desses aspectos listados, um leque de possibilidades de novos critrios e indicadores se abria e podia ser criado em cada investigao. A definio de conceitos e categorias utilizados na avaliao crucial no s para a validade do estudo, mas tambm para o avano e o enriquecimento da discusso sobre a ateno bsica. Trata-se de mostrar, alm da importncia do uso mais instrumental das avaliaes em sua preocupao com a efetividade das aes e programas15, 16, 17 bastante legtimo quando

se trata de subsidiar o processo decisrio , o ganho conceitual que as avaliaes podem trazer18, 19. Dessa forma, estudos avaliativos apresentam o potencial de gerar conhecimento para a compreenso ampliada e contextualizada do programa20, bem como para a anlise do processo decisrio, gerando condies para sua governabilidade e sustentabilidade21.

Processo de acompanhamento dos ELB e interlocuo

O grupo de acompanhamento, criado para apoiar a execuo dos ELB, tinha a tarefa de fornecer s instituies responsveis pelo desenvolvimento das pesquisas subsdios tcnicos e operativos concernentes s atividades previstas. Garantir o cumprimento dos objetivos desses estudos e unificar estratgias que viessem a contribuir com a institucionalizao da avaliao nos municpios selecionados, incluindo a capacitao de gestores e profissionais da ateno bsica e do PSF, eram tambm outras atividades a serem implementadas6. Alm disso, o grupo de acompanhamento desempenhou papel de promotor e facilitador da interlocuo do MS com pesquisadores e representantes dos estados e dos municpios, dentro de uma perspectiva de representatividade conferida pela Abrasco. Para dar conta das suas atribuies, o grupo promoveu o Seminrio de Construo dos Instrumentos dos Estudos de Linha de Base, com a participao de todos os coordenadores dos ELB e suas equipes. O seminrio teve como objetivo apresentar as diferentes metodologias adotadas pelas equipes de pesquisa e refinar os instrumentos de coleta de dados do estudo. Os produtos deste processo foram: 1. Socializao de metodologias e instrumentos de coleta de dados, com maior nfase nos questionrios da Pesquisa Mundial de Sade (PMS), Pnad-Sade, Pesquisa de Assistncia Mdico-Sanitria (AMS) e no questionrio do Primary Care Assessment Tool (PCAT), j validado no Brasil22; 2. Adequao do desenho metodolgico e dos instrumentos de pesquisa, garantindo uma comparabilidade nacional e regional de algumas dimenses dos estudos; 3. Incentivo ao intercmbio de instrumentos, questionrios gerais ou partes deles, de elaborao prpria de cada equipe; 4. Disponibilizao de outras tecnologias de pesquisa utilizadas por alguns grupos como, por

729
Cincia & Sade Coletiva, 11(3):725-731, 2006

Quadro 1 Matriz para orientar a elaborao e avaliao das propostas dos Estudos de Linha Base da implantao do Proesf. Dimenses Poltico-institucional Subdimenses Projeto de governo Capacidade de governo Governabilidade Prioridade da ateno bsica em sade na gesto municipal Critrios ou indicadores prioridade setorial articulao intersetorial e sociedade civil competncia na conduo e reorganizao do sistema municipal de sade base poltica de apoio ao SUS trajetria de gesto no SUS conforme NOB e NOAS institucionalizao do PSF converso e expanso municipal mecanismos e processos de deciso no sistema de sade municipal planejamento e programao municipal de sade qualidade do sistema de informao mecanismos de monitoramento e avaliao estratgias de controle e regulao regionalizao integralidade na ateno acesso assistncia farmacutica provimento de infra-estrutura com recursos humanos e equipamentos necessrios ao nvel bsico de ateno acesso modelos de ateno funcionamento gesto

Organizao da ateno

Prticas de gesto

Prticas na oferta de servios

Sustentabilidade Experincias inovadoras

Cuidado integral

Acolhimento Vnculo Qualidade tcnica e cientfica

Condies e prticas de trabalho Trabalho em equipe Percepes sobre a sade-doena e cuidado Direito escolha de teraputica Desempenho dos sistemas de sade
Fonte: Ministrio da Sade, 2004.

ateno ao primeiro contato mecanismos de agendamento prticas dos profissionais de sade nas respostas s necessidades conhecimento dos membros da famlia e o meio social em que vive existncia de protocolos de ateno registro adequado nos pronturios de queixas, problemas e condutas modalidades e regularidade de acompanhamento e superviso mecanismo de articulao e integrao da equipe multiprofissional protocolos como organizadores das prticas conjuntas da equipe percepo do usurio, profissional e gerente sobre sade-doena e cuidado uso de prticas teraputicas alternativas ou populares de cura indicadores do pacto da ateno bsica, PPI e progresso de fase

Cobertura e desempenho de metas pactuadas

exemplo, a de georeferenciamento, para analisar a cobertura das equipes de sade da famlia, e um pacote estatstico denominado Pacopats, desenvolvido pela Universidade Federal de Pelotas, para anlise da demanda ambulatorial nas unidades de sade; 5. Por ltimo, mas no menos importante, o desenvolvimento de um sentido de parceria e compartilhamento da responsabilidade pelo sucesso do estudo como um todo, inicialmente

sob a responsabilidade particular de cada grupo de pesquisa, de acordo com o lote para o qual concorreu. O grupo de acompanhamento tambm organizou quatro oficinas macrorregionais dos ELB (Porto Alegre, So Paulo, Recife e Belm), em conjunto com a equipe de Coordenao de Acompanhamento e Avaliao da Ateno Bsica do MS, das quais participaram o conjunto dos investigadores e os tcnicos das Secretarias

730
Bodstein, R. et al.

Estaduais e Municipais de Sade. As oficinas macrorregionais visaram a apresentar a proposta dos ELB, mobilizando os gestores para o entendimento e o dilogo em torno dos principais objetivos da pesquisa e das diversas metodologias desenhadas. Havia o entendimento de que a prpria institucionalizao da ateno bsica dependia do envolvimento e do compromisso dos diversos atores. Durante todo o processo foram feitas reunies com os coordenadores dos estudos e, a cada etapa do desenvolvimento da pesquisa (definio dos instrumentos de coleta de dados, relatrio do trabalho de campo, entrega dos bancos de dados municipais e dos resultados e anlise final das informaes coletadas), era emitido um parecer tcnico sobre a adequao e a qualidade do cumprimento daquela fase, tomando como referncia o projeto de cada lote do estudo e os compromissos assumidos coletivamente. O acompanhamento de cada uma das etapas dos estudos se associava liberao das parcelas financeiras a que faziam jus os projetos. Todo este processo permitiu que a pesquisa se completasse no tempo previsto inicialmente, sem atrasos no seu cronograma de execuo e com garantia de qualidade dos estudos.

Consideraes finais
Os ELB aparecem como mais um dos diversos componentes que conformam uma proposta abrangente de avaliao da ateno bsica, dentro de uma meta de sua institucionalizao no SUS. Incorporam-se fase inicial de um programa bastante ambicioso que prev, at 2008, a ampliao da cobertura do PSF para 70% da populao brasileira23 e pretendem cumprir importante papel na orientao dos rumos das polticas de ateno bsica no Pas, j que foram delineados para subsidiar os gestores do sistema de sade, fornecendo informaes confi-

veis (e/ou vlidas) sobre a situao da ateno bsica nos grandes centros urbanos do Brasil. Alm disso, enquanto estudos de linha de base devem ser seguidos de novas investigaes e pesquisas, como, alis, j prev o termo de referncia do Proesf, fornecendo assim a base para futuras comparaes no tocante organizao poltico-institucional, integralidade da ateno sade e ao desempenho dos sistemas de sade. Trouxe como desafio e inovao a prpria constituio de um grupo para acompanhar e legitimar todo o processo e para intermediar tecnicamente a relao entre as atividades de pesquisa e o gestor federal. As atividades do grupo de acompanhamento favoreceram a otimizao dos recursos tcnicos, financeiros e informacionais e mostraram a importncia de se atuar tanto na interlocuo entre os grupos de pesquisadores, como junto com o MS, para a mobilizao de gestores, profissionais dos servios e das unidades de sade, visando a democratizar informaes e a promover maior utilizao dos produtos alcanados pelas investigaes. Entre essas atividades e funes do grupo de acompanhamento, merece destaque a capacidade de potencializar os benefcios gerados e o uso das informaes e produtos dos estudos de forma sustentvel. Sustentabilidade e continuidade, alis, so desafios permanentes para o gestor pblico, principalmente quando a questo no includa desde a fase inicial de formulao e planejamento do programa24. A perspectiva do MS de estabelecer Centros Colaboradores em Avaliao em todos os estados do Pas e o estudo de metaavaliao dos ELB so incentivos para a formao de uma nova competncia e cultura avaliativa, indutora de mudanas na ateno bsica e no modelo assistencial, passos importantes para garantir a sustentabilidade da proposta e sua divulgao, como discutida neste nmero temtico da revista Cincia & Sade Coletiva da Abrasco.

Colaboradores
R Bodstein participou da definio da estrutura do artigo, da sua elaborao e da redao final. K Feliciano, VA Hortale e MC Leal participaram da elaborao do artigo e da sua redao final.

731
Cincia & Sade Coletiva, 11(3):725-731, 2006

Referncias
Contandriopoulos AP. Is the institutionalization of evaluation sufficient to guarantee its practice? Cad Sade Pblica 1999; 15(2):253-6. 2. Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over readymade. Cad Sade Pblica 1999; 15(2):229-59. 3. Hartz ZMA. Institucionalizar e qualificar a avaliao: outros desafios para a ateno bsica. Rev C S Col 2002; 7(3):419-21. 4. Almeida C, Braveman P, Gold M, Szwarcwald C, Ribeiro S, Miglionico A, et al. Methodological concerns and recommendations on policy consequences of the World Health Report 2000. Lancet 2001; 357 (9268):1692-7. 5. Viacava F, Almeida C, Caetano R, Fausto M, Macinko J, Martins M, et al. Uma metodologia de avaliao do desempenho do sistema de sade brasileiro. Rev C S Col 2004; 9(3):711-23. 6. Brasil. Ministrio da Sade. Projeto de Expanso e Consolidao do Sade da Famlia Proesf (Componente III) Termo de Referncia para o Sub-componente D Linha de Ao 3 Estudos de Linha de Base Desenvolvimento de Estudos de Linha de Base nos Municpios Selecionados para o Componente 1; 2004. [acessado 2005 Jan 25]. Disponvel em http://www.saude.gov.br. 7. Brasil. Ministrio da Sade. Secretaria de Ateno Sade. Departamento de Ateno Bsica. Coordenao de Acompanhamento e Avaliao. Disponvel em http://www.saude.gov.br/caadab. 8. Viana AL, Dal Poz MR. A reforma do sistema de sade no Brasil e o Programa de Sade da Famlia. Physis Rev Sade Col 1998; 8(2):11-48. 9. Brasil. Ministrio da Sade. Projeto de Expanso e Consolidao do Sade da Famlia Proesf; 2003 [acessado 2006 Mar 03]. Disponvel em http://www. saude.gov.br/proesf. 10. Instituto Brasileiro de Geografia e Estatstica. Pesquisa Nacional por Amostra de Domiclios: acesso e utilizao de servios de sade 2003. Rio de Janeiro: IBGE; 2005. 11. Szwarcwald CL, Viacava F, Vasconcellos MTL, Leal MC, Azevedo LO, Queiroz RSB, et al. Pesquisa Mundial de Sade 2003: O Brasil em nmeros. Revista Radis 2004; 23:14-33. 12. Macinko J, Almeida C, Oliveira E. Avaliao das caractersticas organizacionais dos servios de ateno bsica em Petrpolis: teste de uma metodologia. Rev Sade em Debate 2003; 65(27):243-56. 1. 13. Macinko J, Starfield B, Shi L. The contribuition of primary care systems to health outcomes within Organization for Economic Cooperation and Development (OECD) countries, 1970-1998. Health Serv Res 2003; 38:831-65. 14. Watson D, Broemeling AM, Reid RJ, Black C. A results-based logic model for primary health care. Vancouver: Centre for Health Services and Policy Research, University of British Columbia; 2004. 15. Weiss CH. Evaluation research: methods for assessing program effectiveness. Englewood Cliffs: Prentice Hall; 1972. 16. Patton MQ. Utilizationfocused evaluation. Beverly Hills: Sage, 1978. 17. Rootman I, Goodstadt M, Potvin L, Springett J. A framework for health promotion evaluation. In: Rootman I, Goodstadt M, Hyndan B, McQueen DV, Potvin L, Springett J, et al., organizadores. Evaluation in health promotion: principles and perspectives. Copenhagen: WHO Regional Office for Europe; 2001. (WHO Regional Publications, European Series 92). 18. Weiss CH. Research for policys sake: the enlightenment function of social research. Policy Research 1977; 3:531-45. 19. Rossi PH, Freeman HE. Evaluation: a systematic approach. Thousand Oaks: Sage; 1993. 20. Denis JL, Champagne F. Anlise da implantao. In: Hartz ZMA, organizador. Avaliao em sade: dos modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro: Fiocruz; 1997. p. 49-88. 21. Bodstein R. Ateno bsica na agenda da sade. Rev C S Col 2002; 7(3):401-12. 22. Shi L, Starfiel B, Xu J. Validating the adult primary care assessment tool. J Fam Pract 2001; 50(2):161-75. 23. Felisberto E. Monitoramento e avaliao na ateno bsica: novos horizontes. Rev Bra Sade MaternoInfantil 2004; 4(3):317-21. 24. Plyue P, Potvin L, Denis JL. Making public health programs last: conceptualizing sustainability. Eval Program Plann 2004; 27:121-133.

Artigo apresentado em 27/02/2006 Aprovado em 31/03/2006 Verso final apresentada em 17/04/2006