GUIA DE AVALIAO

Ficha tcnica
Ttulo: Guia de Avaliao Autores: Maria Manuela Afonso Mrio Ribeiro Edio: Gabinete de Avaliao e Auditoria Interna Instituto Portugus de Apoio ao Desenvolvimento Ministrio dos Negcios Estrangeiros 2 Edio: Janeiro de 2009 Contacto: Av. da Liberdade, 192, 1 1250-147 Lisboa Tel. (351) 21 317 67 00 Website: http://www.ipad.mne.gov.pt

Pgina 2 de 99

NDICE
Introduo............................................................................................................................................................ 4 A quem se destina este guia........................................................................................................................... 5 I Noes Bsicas.............................................................................................................................................. 7 1- Avaliao: definio e limites...................................................................................................................... 7 2 - A avaliao no ciclo do projecto ................................................................................................................ 8 3 O acompanhamento e a avaliao ........................................................................................................... 9 4 Finalidades e objectivos da avaliao .................................................................................................... 12 5 Critrios de avaliao.............................................................................................................................. 12 7 - Tipos de avaliao ................................................................................................................................... 14 8 Caractersticas de uma boa avaliao.................................................................................................... 18 9 tica/deontologia da avaliao ............................................................................................................... 21 II O processo de avaliao externa................................................................................................................ 25 1 - Planeamento da avaliao....................................................................................................................... 25 2 Elemento/grupo de acompanhamento.................................................................................................... 26 3 - Termos de Referncia (TdR) ................................................................................................................... 26 4 - Escolha dos avaliadores .......................................................................................................................... 27 5 - Plano de trabalho..................................................................................................................................... 29 6 - Fase documental ..................................................................................................................................... 32 7 - Trabalho de campo .................................................................................................................................. 34 8 - Relatrio final da avaliao...................................................................................................................... 35 9 - Publicao e disseminao ..................................................................................................................... 43 III A Auto-avaliao ........................................................................................................................................ 46 3.1 - Razes e objectivos.............................................................................................................................. 46 3.2 Quando se faz...................................................................................................................................... 47 3.3 Quem faz.............................................................................................................................................. 47 3.4 - Como se faz.......................................................................................................................................... 47 3.5 A quem se destinam os resultados ...................................................................................................... 48 IV Mtodos e tcnicas de avaliao............................................................................................................... 53 4.1 A Recolha de dados............................................................................................................................. 53 4.2 A anlise dos dados............................................................................................................................. 56 4.3 Tcnicas e ferramentas........................................................................................................................ 57 4.3.1 - Abordagem do quadro lgico ........................................................................................................ 58 4.3.2 rvore de problemas .................................................................................................................... 59 4.3.3 rvore de objectivos e de efeitos ................................................................................................. 62 4.3.4 rvore de decises ....................................................................................................................... 65 4.3.5 Entrevistas .................................................................................................................................... 67 4.3.6 Inquritos/questionrios (Survey) ................................................................................................. 71 4.3.7 Grupo de Discusso (Focus Group) ............................................................................................. 75 4.3.8 - Avaliao dos efeitos e dos impactos ........................................................................................... 78 4.3.9 Painel de peritos ........................................................................................................................... 80 4.3.10 - Anlise custo-benefcio e anlise custo-eficcia......................................................................... 81 4.3.11 Estudos de caso ......................................................................................................................... 83 4.3.12 Anlise SWOT ............................................................................................................................ 85 4.3.13 - Mtodos Participativos ................................................................................................................ 87 4.3.14 Anlise multicritrios................................................................................................................... 90 4.3.15 - Anlise social e cultural ............................................................................................................... 92 4.3.16 - Mtodos de avaliao rpida....................................................................................................... 94 Bibliografia ......................................................................................................................................................... 97

Pgina 3 de 99

Introduo
O sucesso das intervenes de desenvolvimento1 passa pela forma como as mesmas so acompanhadas e avaliadas. Os resultados da avaliao desempenham um papel primordial na tomada de decises no que se refere formulao de polticas, elaborao de estratgias, afectao de recursos e exemplaridade de certas prticas. As lies tiradas atravs da experincia permitem um acrscimo de eficcia e de eficincia da ajuda.

Para assegurar que a ajuda fornecida de forma eficaz e transparente, na linha das necessidades dos pases parceiros e na ptica da reduo da pobreza, a avaliao essencial na medida em que d conta do sucesso das intervenes e, ao mesmo tempo, permite que as lies aprendidas possam ser incorporadas nas actividades de acompanhamento de intervenes em execuo e na formulao e execuo de novas intervenes.

A avaliao permite no s dar conta dos resultados das actividades de cooperao e promover a transparncia como tambm prestar contas perante os contribuintes, para alm de permitir, ainda, responder s obrigaes perante a comunidade internacional do desenvolvimento. Os doadores tm a obrigao de prestar contas aos parceiros e opinio pblica relativamente s aces conduzidas e aos compromissos assumidos.

Numa ptica de gesto centrada nos resultados, a avaliao s til se as concluses e recomendaes produzidas constiturem um valor acrescentado. A existncia de informao credvel, pertinente e objectiva sobre os resultados das intervenes de desenvolvimento fundamental para os resultados da avaliao e para se saber o que produz bons e menos bons resultados e o que deve ser feito para os melhorar. As constataes, recomendaes e lies aprendidas podem, e devem, ser integradas no processo de tomada de decises nos seus diversos nveis (do poltico ao operacional).

O Instituto Portugus de Apoio ao Desenvolvimento (IPAD) , na cooperao portuguesa, o rgo central de coordenao da poltica de cooperao, competindo-lhe, dentro desta concepo Proceder identificao, anlise, acompanhamento e avaliao dos resultados da execuo, dos programas, projectos e aces de cooperao para o desenvolvimento, com vista a melhorar a racionalidade, eficcia e eficincia da ajuda2. O processo de avaliao compete ao Gabinete de

Instrumento de Ajuda utilizado por um parceiro (doador ou no) com vista promoo do desenvolvimento. Por exemplo: projectos, programas, conselho ou parecer sobre polticas, etc. 2 Art. 3, alnea h), Decreto-Lei n 120/2007, de 27 de Abril, DR 1 srie. Pgina 4 de 99

Avaliao e Auditoria Interna (GAAI)3 que deve, por isso, ser capaz de promover a avaliao da cooperao portuguesa e difundir/disseminar os resultados dessa experincia.

No documento Uma Viso Estratgica para a Cooperao Portuguesa assumida a importncia da avaliao no processo de tomada de deciso poltica e tcnica da Cooperao Portuguesa sendo urgente recuperar o tempo perdido. A avaliao deve ser entendida como um mecanismo transversal a toda a cooperao. assim fundamental criar uma cultura de avaliao e aumentar a nossa capacidade tcnica nesta rea, conseguindo nomeadamente acelerar procedimentos que permitam avaliar mais e melhor.4

A quem se destina este guia

A ausncia de documentos orientadores em lngua portuguesa sobre o papel e a importncia, bem como sobre as metodologias da avaliao na cooperao para o desenvolvimento, a par da ausncia de formao dos agentes da cooperao nesta rea, constituem importantes limitaes ao desenvolvimento de trabalhos neste mbito, dificultando o entendimento e o dilogo sobre a matria.

O presente guia foi elaborado para tentar responder s lacunas atrs referidas e contribuir para a criao de uma mais valia tcnica sobre a temtica, tentando sistematizar/organizar os principais aspectos (os mais pertinentes) da avaliao da cooperao. Destina-se a todos aqueles que trabalham em actividades de avaliao da Ajuda, quer dentro, quer fora do IPAD.

O guia tem como objectivo fornecer, a quem lida com esta rea, um conhecimento da terminologia, dos princpios, abordagens e metodologias da avaliao, de forma a permitir uma gesto eficaz do seu processo. Pretende, tambm, esclarecer os avaliadores externos contratados pelo IPAD sobre o que se consideram ser as boas prticas da avaliao e o que o IPAD espera deles. Procura, assim, responder necessidade de produzir avaliaes com as caractersticas atrs anunciadas, definir as regras a seguir bem como as normas e as exigncias fundamentais de uma avaliao til, transparente e credvel.

Os princpios e boas prticas da avaliao realados neste guia devem fazer parte quer das autoavaliaes, quer das avaliaes externas. Contudo, no inteno do guia tratar de todas as questes tcnicas que envolvem a avaliao. Por isso, as questes relativas recolha e anlise de

3 4

Art. 7, Portaria n 510/2007, de 30 de Abril, DR 1 srie. Uma Viso Estratgica para a Cooperao Portuguesa: pp. 54. Resoluo de Conselho de Ministros 196/2005, de 22 de Dezembro. Pgina 5 de 99

dados, por serem da responsabilidade dos avaliadores, so tratados de forma menos aprofundada, ainda que sejam includas algumas referncias bibliogrficas para o seu aprofundamento.

O guia est estruturado em 4 partes fundamentais: na primeira (captulo I) so apresentadas as noes bsicas da avaliao; na segunda descrito o processo subjacente a uma avaliao externa, o tipo de avaliao dominante na Cooperao Portuguesa; na terceira parte apresenta-se o processo de auto-avaliao e, na quarta, so descritos os principais mtodos e tcnicas de avaliao.

Este documento o resultado de um trabalho de pesquisa interno sobre a matria e, tambm, um reflexo da experincia e do caminho que entretanto foi percorrido no que diz respeito avaliao. Sintetiza o trabalho e a longa experincia desenvolvidos pelas agncias doadoras internacionais e a experincia recente da cooperao portuguesa em matria de avaliao de intervenes de desenvolvimento. No pretende ser um guia acabado mas antes um instrumento que ser gradualmente aperfeioado medida que o conhecimento e a prtica de avaliao da Cooperao Portuguesa se aprofundarem.

Pgina 6 de 99

I Noes Bsicas
1- Avaliao: definio e limites
Avaliao um termo genrico utilizado em todas as prticas de avaliao, mas tambm tem um significado especfico. Ele indica a relevncia, a eficcia, a eficincia, o impacto e a sustentabilidade de um projecto ou programa. uma procura sistemtica de resposta sobre as intervenes de desenvolvimento e pode ser realizada em diferentes momentos ao longo do ciclo do projecto. Pode enfatizar muitas questes mas, independentemente de cada questo, implica recolher, analisar, interpretar e disseminar informao.

A avaliao , normalmente, realizada aps a concluso de uma interveno de desenvolvimento, por pessoas externas mesma. Contudo, muitas agncias de cooperao fazem exerccios de avaliao a meio percurso para averiguar se os resultados das intervenes esto a ser os previstos ou se necessrio proceder a correces para que os objectivos iniciais possam ser alcanados.

De acordo com o CAD, a avaliao um processo to sistemtico e objectivo quanto possvel que consiste em apreciar um projecto, programa ou poltica em curso ou j concludo, a sua concepo, execuo e resultados. Destina-se a determinar a relevncia e grau de consecuo de objectivos, bem como a eficincia, eficcia, impacto e sustentabilidade em termos de desenvolvimento. Uma avaliao deve fornecer informaes credveis e teis, e permitir que as lies aprendidas sejam incorporadas no processo de deciso dos beneficirios e dos doadores5.

Uma distino que fundamental fazer, dados os equvocos frequentes, a que diz respeito s diferenas entre avaliao, auditoria e acompanhamento (quadro 1). No ponto 1.3 so abordadas de forma mais aprofundada as relaes entre avaliao e acompanhamento, dada a sua complementaridade e interaco.

Enquanto o acompanhamento/monitorizao pode explicar o que est a acontecer, a avaliao permite explicar porque que isso est a acontecer e, ainda, aprender e partilhar lies importantes.

OCDE, 1992, Princpios do CAD para uma Ajuda Eficaz: 156. Paris. Pgina 7 de 99

Quadro 1 Diferenas entre acompanhamento, auditoria e avaliao

Acompanhamento Frequncia/ tempo Peridico, regular. Contnuo, durante a implementao. Aco principal Avaliao Episdica, a meio percurso, no final. Ocasional, durante e/ou aps a implementao. Registo, superviso, Controlo da Apreciao, medio dos comparao com o plano. conformidade efeitos, atribuio de relativamente s normas. causalidades. Melhorar a eficcia interna, Garantir o respeito das Melhorar a eficcia externa, modificar o plano de normas, acabar com as os efeitos, o impacto da futura actividades ou a afectao prticas no conformes. programao. de recursos. Recolha de informao para determinar a relevncia, Recolha de informao para melhorar a tomada de eficcia, eficincia, impacto e decises sobre a gesto sustentabilidade de uma imediata das actividades que interveno de esto a ser acompanhadas. desenvolvimento. Informaes fornecidas Informaes de Informaes de regularmente pelo sistema acompanhamento da acompanhamento, estudos, de gesto. gesto. entrevistas, anlises, inquritos. Chefe do projecto, Autoridades da Autoridades que decidem responsvel da poltica. organizao ou sua sobre a realizao do projecto tutela. ou da poltica. Equipa responsvel pela Auditores especialistas e Avaliadores exteriores ao execuo do projecto ou da acreditados (internos ou projecto ao poltica (internos poltica. externos). ou externos organizao) com a participao, em certos casos, da equipa do projecto (auto-avaliao). Chefe do projecto, equipa de Autoridades da Autoridades que tm que execuo. Gestores internos. organizao ou sua decidir sobre a realizao do tutela. projecto ou da poltica. Grupo alargado de decisores. Pblico em geral, opinio pblica, contribuintes. Auditoria Episdica, anual ou final.

Objectivos

Fontes de informao

Entidade que encomenda Quem efectua

Principais / utilizadores/ destinatrios do relatrio

A auditoria assegura que a execuo do projecto se efectua dentro do respeito pelas regras e procedimentos da organizao. um controlo da legitimidade e da conformidade relativamente s normas de funcionamento definidas pela Lei, e pelos regulamentos, directivas, oramentos, circulares, notas internas, etc. A auditoria cobre parcialmente a avaliao na medida em que estuda a realizao de planos de trabalho propostos mas no se interessa nem pela pertinncia nem pelo impacto das intervenes.

2 - A avaliao no ciclo do projecto

Na vida de um projecto ou programa de cooperao para o desenvolvimento a avaliao assume diferentes formas, objectivos e funes, consoante o momento em que realizada, tornando-se necessrio clarific-las. Em funo da fase do ciclo do projecto fala-se em:
Pgina 8 de 99

 Apreciao (appraisal): quando se faz a anlise do projecto, antes de ser tomada a deciso sobre o seu financiamento. Este estudo de viabilidade e do mrito econmico do projecto/programa pode ser feito pelos servios da entidade financiadora, ou atravs do recurso a consultores externos, utilizando metodologias prprias que no se enquadram no actual guia. Acompanhamento/monitorizao (monitoring): quando se faz a apreciao contnua sobre a forma como os recursos esto a ser utilizados e o progresso das actividades, durante a implementao do projecto. Visa verificar se o projecto est a ser implementado de acordo com o planeado e, quando necessrio, faz recomendaes de correco. Esta tarefa normalmente desempenhada por quem est directamente envolvido na gesto do projecto, pela entidade financiadora e/ou executora, e pelos representantes locais da cooperao (Conselheiros/Adidos para a Cooperao, no caso portugus). Avaliao (evaluation): quando se faz uma apreciao no percurso (por exemplo, no final de uma determinada fase), no fim ou aps a concluso do projecto, sobre os efeitos e resultados do projecto ou programa, esperados ou no.

Os conceitos de apreciao, acompanhamento e avaliao devem, por isso, ser claramente separados, distinguindo-se, entre outras razes, pelo momento da sua realizao, como a figura ilustra. Figura 1 Avaliao no ciclo do projecto
Apreciao Acompanhamento Avaliao

---------------------- eixo temporal--------------------------------------------------------- Avaliao

ideia do projecto concepo formalizao; incio do projecto execuo do projecto fim do projecto

Quer a apreciao, quer o acompanhamento, so fundamentais para a avaliao na medida em que a forma como o projecto concebido e a qualidade da informao produzida durante a sua execuo, so a base para o seu xito. A avaliao pressupe a existncia de objectivos suficientemente precisos para poderem ser rigorosamente confrontados com os resultados. Um projecto mal elaborado ou uma deficiente/inexistente recolha de informao durante a vida do projecto colocam em causa a possibilidade de realizar uma avaliao com sucesso.

3 O acompanhamento e a avaliao
Embora sejam tarefas distintas, a ligao entre avaliao e acompanhamento muito estreita e complementar. O acompanhamento uma importante tarefa no ciclo do projecto e uma fonte chave de informao para a avaliao salientando, ao mesmo tempo, que as duas funes preenchem diferentes objectivos e no podem ser tratadas como se fossem sinnimos.
Pgina 9 de 99

O acompanhamento um termo que significa ver, descrever o que existe e captar o que realmente acontece. fundamentalmente um processo interno, realizado pelos responsveis pela execuo do projecto/programa e efectuado para apreciar o progresso em intervalos regulares na sua vida. Pode, tambm, ser um processo contnuo de recolha e anlise de informao para responder gesto imediata das actividades que esto a ser realizadas. Permite identificar a existncia de desfasamentos entre o nvel de execuo e o previsto e rapidamente adoptar medidas correctivas. Centra-se no estado de avano do projecto/programa e efectua o controle por comparao com o planeado. Os indicadores e os mtodos para verificar o progresso so normalmente includos na fase de concepo mas, para serem efectivos, necessitam de ser compreendidos e apropriados pela equipa e pelos detentores de interesse da interveno de desenvolvimento.

A avaliao um processo ulterior de identificao e reflexo sobre os efeitos do que foi feito e apreciao do seu valor. Preocupa-se com a relevncia, eficcia, eficincia, impacto e sustentabilidade do que foi feito. Mais espordica que o acompanhamento, facilitada pelas informaes e anlises do acompanhamento, mas utiliza fontes de informao suplementares. Parte do princpio que questes especficas que dizem respeito eficcia e ao impacto no so abordadas pelo acompanhamento. Alguns tipos de avaliao, particularmente a no percurso, a auto-avaliao e as avaliaes no final de fases, so muito prximas do acompanhamento. Cada vez mais se reconhece que as avaliaes ex-post e de impacto de certos tipos de intervenes de desenvolvimento centradas nas populaes, so muito difceis de realizar se o sistema de acompanhamento no tiver recolhido os dados de base necessrios. Reconhece-se tambm, de forma crescente, o valor das avaliaes participativas que combinam as competncias e os pontos de vista de todos os detentores de interesse nas intervenes a avaliar.

A problemtica da sustentabilidade e do impacto das intervenes vem colocar a questo sobre como que as actividades de acompanhamento e de avaliao so planeadas e implementadas. H uma relao ntima entre estas duas actividades. Quanto mais recursos so afectos ao acompanhamento, menos recursos so necessrios para as avaliaes tradicionais e maior nfase se coloca nos estudos de impacto. Da mesma forma, quanto melhores so os mtodos de gesto do ciclo do projecto, incluindo, claro, o acompanhamento, mais fcil a tarefa do avaliador, porque os dados fundamentais sobre a realizao dos objectivos e os dados para os indicadores de resultados foram recolhidos de forma rotineira.

Pgina 10 de 99

Acompanhamento Acompanhar olhar e ver, ouvir e escutar, constatar e anotar, clarificar e fazer o relatrio.

Questes a formular O que ?

Avaliao Avaliar basear-se em todo o processo da monitorizao mas avanar na reflexo sobre o que aconteceu, analisar os efeitos e, apreciar o valor global do que foi feito. A avaliao feita para que as pessoas envolvidas numa actividade possam reflectir sobre o que foi e o que no foi alcanado. Elas podem descobrir as potencialidades e fraquezas de um programa, os sucessos e fracassos, chegar a uma apreciao sobre se a actividade correspondeu ao custo e esforo envolvidos e aprender com a experincia para o trabalho futuro. A avaliao pode ser feita por pessoas exteriores que tm competncias especficas para apreciar a eficcia e eficincia de uma actividade. Tambm pode ser feita de forma participativa com os diversos detentores de interesse, com ou sem o envolvimento de especialistas externos.

O acompanhamento feito para assegurar que todas as pessoas que necessitam de ter conhecimento sobre uma interveno ou actividade de desenvolvimento so devidamente informadas. Tambm feito para que possam ser tomadas as melhores decises de gesto diria e possam ser prestadas contas de forma responsvel e rigorosa sobre a forma como os recursos e as oportunidades esto a ser usados.

Porqu?

Os que so responsveis pela realizao do Quem faz? trabalho precisam acompanhar o que fazem, ver se as coisas esto a ser executadas de acordo com o planeado ou se necessitam de ser ajustadas. Tambm precisam de ter registos adequados e relatrios para outras pessoas ou organizaes que necessitem saber o que est a acontecer e para quem tem responsabilidades superiores sobre o que est a ser feito. O acompanhamento pode ser feito de forma contnua ou com determinada periodicidade, para que qualquer problema ou oportunidade seja descoberto sem atraso e se tomem as decises acertadas para que as actividades produzam os objectivos estabelecidos. Quando?

A avaliao tradicionalmente feita no final de um projecto, para produzir um relatrio sobre se foi ou no um sucesso. Ela deve tambm ser feita durante a vida do projecto/programa, para apreender em profundidade como est a evoluir, em tempo til, para rectificar quaisquer problemas e aprender novas oportunidades. Uma vez que a avaliao faz apreciaes de valor ela no pode ser feita remotamente do exterior por peritos que no percebem os valores e as prioridades locais. Por isso, uma avaliao implica processos de incluso das pessoas envolvidas e afectadas pelas actividades em causa. H muitos mtodos que podem ser usados no trabalho de avaliao devendo ser equacionados de forma realista e com antecedncia, com planos quanto ao tempo e recursos que implicam.

O acompanhamento precisa de ser feito no local onde as actividades esto a ser executadas mas os resultados tambm precisam de ser transmitidos a outros nveis das organizaes afectadas, para que tenha amplas implicaes.

Onde?

O acompanhamento implica olhar, ouvir e aprender. Num projecto, actividades diversas requerem mtodos especficos e o processo de acompanhamento deve ser planeado cuidadosamente antes da interveno comear. O acompanhamento precisa de ter objectivos e canais de comunicao previamente acordados se ele pretende ser algo mais do que um mero procedimento de rotina. Deve ser definido desde o incio com realismo e clareza quanto s responsabilidades, volume de trabalho que envolve e resultados especficos que se espera que produza.
Fonte: Laurence Taylor 10/2001 / http://www.parcinfo.org

Como?

A avaliao deve ser feita para aprender bem Com que resultados? como para apreciar o valor do trabalho do passado. Deve traduzir-se numa contribuio decisiva para melhor planear o trabalho futuro de promoo do desenvolvimento e, tambm, prestar contas quanto s oportunidades e recursos usados no passado.

Mas, a relao inversa tambm existe. A avaliao pode dar contributos para o acompanhamento na medida em que os estudos prvios (baseline studies) fornecem informao de base
Pgina 11 de 99

insubstituvel para a gesto e acompanhamento das intervenes bem como para uma eventual avaliao. Um processo de avaliao promove ele prprio uma clarificao dos objectivos, melhora a comunicao, aumenta o conhecimento e lana as bases para as actividades de acompanhamento.

4 Finalidades e objectivos da avaliao

Os organismos pblicos devem prestar contas sobre a forma como utilizam os recursos escassos e devem ter como principal preocupao a utilizao eficaz e eficiente desses fundos. A avaliao constitui um instrumento de gesto que permite aprender lies com a experincia, incorporar essas lies na concepo de novas intervenes para atingir os resultados desejados e fornecer uma base para a responsabilizao dos agentes envolvidos e para a transparncia dos processos. A avaliao na cooperao portuguesa tem os seguintes objectivos centrais: Aprender lies compreender por que determinadas actividades de ajuda so mais ou menos bem sucedidas, de forma a melhorar o seu desempenho no futuro. As avaliaes permitem que a cooperao portuguesa e os seus parceiros aprendam com a prpria experincia, e incorporem os ensinamentos em futuras intervenes, melhorando por essa via a ajuda. Prestar contas fornecer uma base objectiva para a prestao de contas aos principais detentores de interesse: governos e parlamentos parceiros, sociedade civil, contribuintes, pessoas afectadas pelas intervenes. Prestar contas est sobretudo relacionado com a transparncia da utilizao dos recursos, face aos contribuintes e beneficirios. Mostrar resultados os resultados da avaliao podem dar um importante contributo para a afectao dos recursos destinados cooperao, tanto na fase do planeamento como na da tomada de decises e hierarquizao de prioridades, nomeadamente na definio do oramento da cooperao. necessrio criar mecanismos de fcil e rpida difuso dos resultados da avaliao para que os mesmos tenham utilidade. Estes resultados devem ser amplamente difundidos junto do grande pblico, contribuindo deste modo para a transparncia e credibilidade da cooperao. Aumentar o conhecimento a avaliao contribui para uma melhor compreenso do processo de desenvolvimento, aumenta o conhecimento sobre a Ajuda, as suas possibilidades e limitaes como instrumento de mudana econmica e social.

5 Critrios de avaliao
Os critrios bsicos de qualquer avaliao so: 1. Relevncia Medida segundo a qual os objectivos de uma interveno de desenvolvimento correspondem s expectativas dos beneficirios, s necessidades do pas, s prioridades
Pgina 12 de 99

globais, s polticas dos parceiros e dos doadores. Determina se as actividades e os resultados da interveno esto em conformidade com os programas estabelecidos e correspondem de forma adequada realizao dos objectivos e obteno dos resultados pretendidos. Os objectivos e as actividades esto adaptados ao problema a tratar? Os meios e os recursos (humanos e financeiros) so coerentes com os objectivos fixados? 2. Eficcia Medida segundo a qual os objectivos da interveno de desenvolvimento foram atingidos, ou se espera serem alcanados, tendo em considerao a sua importncia relativa. Mede em que medida a Ajuda atinge os seus objectivos. a relao entre os objectivos pretendidos e os resultados alcanados (implica que os objectivos tenham sido previamente definidos). Em que medida os resultados so devidos a esta interveno? 3. Eficincia Medida segundo a qual os recursos (fundos, peritos, tempo, etc.) so convertidos em resultados de forma mais econmica. um termo econmico que visa medir se a Ajuda utiliza os recursos menos caros para atingir um determinado objectivo. Mede a produtividade da interveno ela eficiente se conseguir atingir os seus objectivos ao menor custo. Os resultados obtidos tm correspondncia com os recursos mobilizados? 4. Impacto Efeitos a longo prazo, positivos e negativos, primrios e secundrios, induzidos por uma interveno de desenvolvimento, directa ou indirectamente, previstos ou no. Mede as consequncias da interveno, do ponto de vista tcnico, econmico, sociocultural, institucional e ambiental. Quais so as consequncias globais do projecto, programa ou poltica sobre o contexto em questo, tendo em conta os efeitos (esperados ou no) directos, indirectos, multiplicadores, de curto, mdio e longo prazos? 5. Sustentabilidade Continuao dos benefcios resultantes de uma interveno de desenvolvimento, aps a sua concluso. Probabilidade de os benefcios perdurarem a longo prazo. Situao em que as vantagens lquidas so susceptveis de resistir aos riscos ao longo do tempo. Visa saber em que medida os objectivos da Ajuda podem continuar a ser atingidos para alm do fim da mesma, isto , em que medida os grupos alvo podem e querem tomar a seu prprio cargo o prosseguimento da realizao dos objectivos dessa ajuda. Qual a probabilidade de os benefcios gerados se continuarem a fazer sentir depois de a interveno ter sido concluda? Para alm destes critrios, as avaliaes tendem a incluir outros critrios que passam pela governao, envolvimento do sector privado, participao, equidade e ambiente sustentvel. Com a reorientao das actividades de Ajuda, reforou-se a ateno prestada aos objectivos

Pgina 13 de 99

actualmente considerados primordiais: luta contra a pobreza, boa gesto dos assuntos pblicos (eleies, papel da sociedade civil, direitos humanos), gnero e ambiente.

7 - Tipos de avaliao
A classificao das avaliaes varia segundo diferentes critrios. Os principais aspectos que as diferenciam incluem:

7.1 Quem as realiza (diferencia entre avaliao independente e auto-avaliao) A avaliao independente ou externa6 realizada por avaliadores que no tiveram responsabilidade ou envolvimento nas actividades que esto a ser avaliadas. Os executores da interveno e os beneficirios podem tambm ser envolvidos no processo, mas o principal objectivo obter uma apreciao independente e dedicar-se, acima de tudo, s questes da prestao de contas e da identificao de lies com ampla aplicabilidade. Cada vez mais as avaliaes independentes, quer ao nvel do sector, quer ao nvel do pas, esto a ser desencadeadas conjuntamente pelos governos doadores e parceiros7. A auto-avaliao8, pelo contrrio, envolve os executores e os beneficirios que avaliam as suas prprias actividades. Centra-se nas lies aprendidas para melhorar as actividades/aces imediatas. 7.2 Quando ocorrem (consoante a fase em que se encontra a interveno de desenvolvimento meio percurso, no final ou ex-post) A avaliao no percurso envolve, normalmente, uma apreciao externa sobre se a interveno est a produzir os efeitos desejados e faz recomendaes de correco. Olha para os recursos para verificar se os resultados esto a ser alcanados.

A avaliao final olha de forma holstica para o que aconteceu como resultado da interveno e pergunta porqu? e como? para que as lies possam ser aprendidas.

A avaliao ex-post faz-se aps a interveno ter sido concluda. Deve ser feita alguns anos depois de concluda a interveno para analisar de forma mais objectiva os resultados alcanados, apreciando questes de impacto e de sustentabilidade a longo prazo. feita sobretudo para benefcio dos detentores de interesse externos, que no esto directamente envolvidos na gesto
6 7

O processo de avaliao externa tratado no captulo II. O CAD produziu um excelente guia sobre planeamento e implementao de avaliaes conjuntas com outros doadores e fez uma reviso da experincia em matria de avaliao de programas por pas. 8 A auto-avaliao tratada no captulo III. Pgina 14 de 99

da interveno, realando-se a aplicabilidade a aces futuras semelhantes ou a optimizao da afectao dos recursos.

Podemos, ainda neste contexto, falar em avaliaes formativas/informativas e avaliaes sumativas. As avaliaes de projectos em execuo so tambm referidas como avaliaes formativas na medida em que so realizadas, sobretudo, para benefcio dos que gerem o projecto, com a sua ampla participao e centradas na melhoria do seu trabalho. Servem para saber como esto a ser implementadas as intervenes e, se necessrio, introduzir correces na estratgia e/ou metodologia, de forma a serem alcanados os resultados pretendidos.

As avaliaes sumativas so efectuadas numa fase avanada da implementao de uma interveno de desenvolvimento, sobretudo no seu final ou aps a concluso, para analisar os resultados alcanados, aprender lies, prestar contas/promover a transparncia e disseminar ensinamentos.

7.3 Objecto da avaliao (da avaliao de projectos avaliao de outros instrumentos de ajuda)

Avaliao de projectos a abordagem tradicional, que se centra num nico projecto, em todos os aspectos com ele relacionados. Os resultados da avaliao podem ser muito importantes para a gesto de projectos, pelo que a avaliao a projectos-piloto tem uma importncia particular.

Avaliao de programas cobre a avaliao de diversos projectos interligados e inter-relacionados que contribuem para o mesmo objectivo global. A palavra programa tambm utilizada para outras formas de Ajuda, nomeadamente o apoio ao ajustamento estrutural, os programas regionais, a ajuda humanitria, programa sectorial, etc.

Avaliao de sector / sectorial avaliao da Ajuda a um determinado sector ou sub-sector, como a sade ou a agricultura. Tal como com as avaliaes temticas, cobre uma srie de projectos e programa pas. A avaliao a sectores diz respeito no s avaliao ao apoio sectorial a um pas (projectos que contribuem para o mesmo objectivo global), mas tambm avaliao conjunta de vrios programas dentro do mesmo sector (programas que tm diferentes objectivos globais, mas que se destinam ao mesmo sector). A tnica colocada nos aspectos positivos e negativos das diversas abordagens, modalidades e/ou estratgias para tratar os problemas sectoriais. Os critrios de avaliao utilizados so os habituais, ainda que possam existir algumas variaes em funo do nvel de anlise: em cada interveno de forma individual e no sector no seu todo.
Pgina 15 de 99

Avaliao temtica analisa questes transversais a diversas actividades, para alm do sector a que dizem respeito. Inclui vrios projectos ou programas semelhantes ou do mesmo tipo, normalmente em pases diferentes. Podem ser avaliaes que se centram em reas especficas e em tpicos transversais. Os elementos chave destas avaliaes so, habitualmente, quatro: erradicao da pobreza; gnero e desenvolvimento; sustentabilidade ambiental, e; fortalecimento institucional. Podem, ainda, incidir sobre outros aspectos como, por exemplo, a promoo do sector privado, o tratamento do HIV/SIDA, etc. As lies retiradas destas avaliaes tm a ver com a melhoria do fornecimento de Ajuda nestas reas no futuro e na identificao dos meios mais eficazes. A tnica colocada nos mesmos pontos da avaliao sectorial, mas centra-se num tema que pode incluir vrios sectores. Por exemplo, possvel avaliar o tratamento das consideraes de gnero num grupo de projectos que pertencem a diferentes sectores (sade, educao, etc.).

Avaliao de programa pas avaliao de todos os tipos de Ajuda (projecto e no-projecto) para um pas. A avaliao pas tem um nvel de agregao mais elevado e consistem na avaliao de todas as actividades de cooperao num determinado pas, num dado perodo de tempo (PIC, por exemplo). As concluses e recomendaes destas avaliaes podem ser particularmente teis nas fases de planeamento e programao da poltica de ajuda com um pas parceiro e apoiar a definio dos Programas Indicativos de Cooperao.

Avaliao sntese/metavaliao sntese das constataes de um certo nmero de avaliaes de projectos ou programas individuais.

Avaliao de polticas / estratgica avaliao de programas ou projectos agrupados que abordam problemas de determinada poltica ao nvel sectorial ou temtico. Visa facilitar a reformulao das polticas recomendando novas polticas ou a introduo de alteraes necessrias na poltica em vigor para alcanar os objectivos e os resultados sectoriais ou temticos. A tnica posta na pertinncia, no impacto das polticas sobre os beneficirios, directos ou indirectos: custos e vantagens; eficcia dos arranjos institucionais para aplicar as polticas ou controlar a sua aplicao.

A avaliao estratgica visa: aprofundar a compreenso de uma questo ou problema particular; limitar a margem de incerteza ligada a diversas maneiras possveis de tratar o problema em questo; ajudar os detentores de interesse a chegar a um acordo sobre decises em tempo til sobre as questes tratadas. Exemplo: avaliao das modalidades de co-financiamento.

Pgina 16 de 99

Avaliao de um instrumento de Ajuda avaliao, por exemplo, da cooperao tcnica9, da ajuda humanitria e de emergncia10 ou do apoio ao oramento.

Avaliao de processo avaliao de um processo ou procedimento de ajuda, como o concurso/seleco dos executores e o acompanhamento. Avaliao de projectos ou programas agrupados para apreciar a eficincia e a eficcia de uma modalidade ou de um determinado processo adoptado. Exemplo: avaliao da abordagem programa. Avaliao de impacto11 embora o impacto seja um dos 5 critrios fundamentais de qualquer avaliao, a avaliao centrada no impacto est a ganhar terreno na avaliao da cooperao para o desenvolvimento (com especial incidncia nas questes do ambiente, gnero e pobreza), tendo em considerao que muitas das crticas cooperao residem no facto de muitas intervenes terem falhado exactamente no alcanar dos seus objectivos de longo prazo.

A avaliao de impacto habitualmente realizada algum tempo aps a concluso da interveno e tem por objectivo determinar de uma forma geral se a Ajuda produziu os efeitos
9

A avaliao da cooperao tcnica no deve basear-se nas percepes de quem a fornece ou de quem a recebe directamente mas numa anlise das instituies, organizaes ou indivduos que so beneficirios desses recursos (o empregador no caso de um programa de formao, o utilizador da informao no caso de um projecto de investigao, a empresa ou organizao no caso de assessoria tcnica, etc.). Para emitir uma opinio sobre a cooperao tcnica pode ser conveniente fazer uma anlise custo-eficincia na medida em que difcil e dispendioso expressar os benefcios em unidades monetrias. H, ainda, que ter cuidado em no centrar a anlise nas prioridades do doador mas sim nas necessidades e polticas dos receptores. 10 A avaliao da ajuda de emergncia requer, pelas suas caractersticas, ateno particular. medida que os conflitos se prolongam e agudizam a linha que separa a ajuda humanitria da cooperao para o desenvolvimento dilui-se o que faz com que a sua avaliao se aproxime da avaliao a projectos. Por isso, h que fazer uma primeira distino quanto s caractersticas da aco a ser avaliada, entre as que se destinam a responder de forma imediata a uma catstrofe natural ou provocada pelo homem e as que devem ser entendidas como uma actividade de reconstruo e desenvolvimento, regresso de deslocados ou reintegrao de refugiados. Na avaliao da ajuda de emergncia a eficcia e eficincia esto relacionadas de forma estreita com as disposies de logstica que permitem que os bens e servios fornecidos chegam ao seu destinatrio ltimo. Por isso, deve considerar-se a quantidade fsica e a qualidade, os atrasos para a sua mobilizao, os mecanismos de transporte, armazenagem e distribuio, as possveis alternativas para a gesto dos bens e os custos de operao. Quanto pertinncia, ser prioritrio considerar se os bens e servios previstos foram adequados para as necessidades que se pretendia satisfazer e se foram entregues a tempo para prevenir uma extenso do conflito ou das suas consequncias perniciosas. Pode ser til uma anlise do contexto, com causas e principais caractersticas do conflito, bem como um estudo poltico das partes envolvidas. O impacto dever ser considerado no contexto da totalidade da ajuda prevista, tratando de definir o nvel de auto-suficincia que criou na populao receptora e os seus efeitos ambientais. Se existiram medidas de segurana excepcionais ou se foram includas foras militares nas operaes necessrio considerar os possveis efeitos no desejados da interveno. Na anlise ex-post da ajuda humanitria muito importante estudar os factores de desenvolvimento, sobretudo as polticas de apoio, institucionais, socioculturais e de gnero. Os factores ambientais, tecnolgicos e econmico-financeiros podem tambm s-lo, de acordo com as circunstncias, sobretudo na reabilitao ps-conflito. 11 Para um aprofundamento deste tipo de avaliao ver Banco Mundial: Avaliao do impacto dos projectos de desenvolvimento na pobreza. Pgina 17 de 99

esperados/desejados nas pessoas, lugares e instituies e se esses efeitos so atribuveis a essa Ajuda. Tambm permitem analisar as consequncias no previstas, quer positivas, quer negativas. de particular interesse saber se os benefcios chegaram aos pobres e que efeitos produziram no seu bem-estar.

7.4 Metodologias utilizadas Avaliao participativa Avaliao realizada com ou pelos principais detentores de interesse, normalmente os beneficirios do projecto.

Avaliao conjunta avaliao promovida por vrias agncias parceiras (doadores e/ou receptores). A realizao de avaliaes conjuntas com os parceiros possibilita a ambos partilhar as percepes sobre os efeitos e os problemas da cooperao e tambm permite uma mais fcil aprendizagem dos mtodos de avaliao bem como o desenvolvimento da capacidade de avaliao dos pases parceiros. As avaliaes realizadas com outros doadores12 so eficazes na medida em que permitem a ambos estudar mtodos de avaliao e fortalecer a colaborao, a complementaridade e a harmonizao.

Normalmente, as avaliaes conjuntas so realizadas nas intervenes co-financiadas por dois ou mais doadores. Na prtica, preciso ter em conta o facto de cada parte ter o seu prprio calendrio e mecanismos de financiamento pelo que os imperativos e procedimentos muitas vezes so difceis de conciliar.

As avaliaes conjuntas so necessrias no caso das organizaes multilaterais que beneficiam de apoios financeiros e tcnicos de vrios doadores.

8 Caractersticas de uma boa avaliao

O valor de uma avaliao est relacionado com a qualidade dos seus resultados. A qualidade de uma avaliao mede-se no apenas pelas suas concluses, lies aprendidas e recomendaes, mas tambm pela forma como o avaliador chegou a elas. A qualidade depende da produo de resultados credveis e fiveis adoptando procedimentos adaptados s circunstncias,

aprofundando a anlise dos factos e aplicando mtodos e tcnicas rigorosas.

Considera-se que uma avaliao boa pelo seu contributo para a tomada de decises esclarecidas e para a aprendizagem, pela difuso de dados fiveis, factuais e credveis.
12

Nos ltimos anos tem sido intensificada a realizao de avaliaes conjunta, estando em curso vrias no quadro da Rede de Avaliao do CAD/OCDE. A concluda mais recentemente foi a do Apoio ao Oramento. Pgina 18 de 99

A medida em que os detentores de interesse se revem nos resultados da avaliao permite saber se a avaliao foi bem realizada. Em princpio, se a sua participao em todas as fases da avaliao tiver sido grande, as recomendaes e as lies apreendidas sero frutferas.

Os padres de qualidade de qualquer avaliao devem ser aplicados em todas as fases do processo, desde os TdR s propostas metodolgicas e aos relatrios de avaliao, aspectos que so abordados no Captulo II.

Numa tentativa de uniformizar a qualidade das avaliaes, tm sido desenvolvidos esforos no quadro da Rede de Avaliao do CAD/OCDE. Um dos documentos mais recentes as Normas do CAD de qualidade da avaliao13 que identificam os pilares chave necessrios para um processo e um produto de avaliao de qualidade. As normas constituem um guia para as boas prticas o qual visa melhorar a qualidade das avaliaes das intervenes de desenvolvimento. Procuram contribuir para uma abordagem harmonizada da avaliao, em consonncia com os princpios da Declarao de Paris sobre Eficcia da Ajuda.14

8.1 Imparcialidade, objectividade e independncia

A avaliao deve ser imparcial e independente do processo de tomada de decises ao nvel poltico, do financiamento e da gesto da Ajuda. A imparcialidade e a objectividade contribuem para credibilizar a avaliao e os resultados da mesma e so conseguidas atravs do permanente respeito dos princpios de independncia, neutralidade, transparncia e justia durante todo o processo de avaliao.

A independncia d legitimidade avaliao e reduz o potencial de conflito de interesses que podem surgir, quer ao nvel dos decisores polticos, quer dos gestores e executores da Ajuda.

A imparcialidade e a independncia so conseguidas separando a funo avaliao das actividades de planeamento e gesto da Ajuda, o que pode ser conseguido atravs da criao de um servio responsvel pela avaliao.

13

14

http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_CAD.pdf Declarao de Paris sobre a Eficcia da ajuda: Apropriao, Harmonizao, Alinhamento, Resultados e Prestao de Contas Mtua. http://www.oecd.org/dataoecd/11/41/34428351.pdf Pgina 19 de 99

8.2 Credibilidade, transparncia e utilidade

A credibilidade da avaliao depende das competncias, da experincia e da independncia dos avaliadores bem como do grau de transparncia e abrangncia do processo de avaliao. A credibilidade requer que a avaliao relate quer os sucessos quer os fracassos. Os parceiros devem, por norma, participar amplamente na avaliao de forma a promover a credibilidade e o seu compromisso.

A transparncia do processo de avaliao crucial para a sua credibilidade e legitimidade. Para assegurar a transparncia, o processo de avaliao deve ser o mais aberto possvel, com ampla difuso dos resultados.

As avaliaes devem ser teis e reunir a informao necessria aos futuros utilizadores. Por isso, devem ser precisas e rigorosas: (i) identificando e transmitindo informaes vlidas sobre o essencial da interveno que est a ser avaliada e (ii) formulando recomendaes teis e pragmticas e apresentando as lies aprendidas decorrentes do processo de avaliao.

Mais do que estudos cientficos, devem ser estudos orientados para a prtica. As concluses das avaliaes devem, por isso, ser entendidas como relevantes e teis para o esforo da Cooperao Portuguesa de promoo do desenvolvimento dos pases parceiros. Devem ser apresentadas de uma forma clara e concisa e reflectir os diferentes interesses e necessidades das partes envolvidas na cooperao para o desenvolvimento. A sua fcil acessibilidade tambm crucial para a utilidade, pelo que o processo de disseminao no pode ser negligenciado.

As avaliaes devem ser calendarizadas tendo em considerao que devem estar disponveis no momento oportuno para o processo de tomada de decises e constituir valor acrescentado.

8.3 Satisfao das expectativas

As avaliaes devem identificar e transmitir informao vlida e segura sobre os factos que determinam o valor/mrito da interveno de desenvolvimento que est a ser avaliada, colocando a tnica nos objectivos e prioridades de interveno da Cooperao Portuguesa, tendo como pano de fundo os ODM e os objectivos do pas parceiro.

As avaliaes devem respeitar as exigncias expostas no plano de trabalho e no contrato. Devem aplicar as normas profissionais de acordo com as expectativas do IPAD, representar um valor acrescentado para a Cooperao Portuguesa e utilizar de forma sensata os recursos humanos, financeiros e materiais.
Pgina 20 de 99

9 tica/deontologia da avaliao
As avaliaes devem ser conduzidas de forma legal, tica e justa, velando pelo bem-estar de todos os que esto envolvidos nesse processo, bem como pelos que so afectados pelos seus resultados.

A deontologia da avaliao passa pela institucionalizao de normas de procedimentos entre as quais se destacam: 1. Um dispositivo tipo com uma distino entre a entidade que acompanha a avaliao e o avaliador que a deve realizar, de acordo com os TdR (ver Captulo II). 2. Um questionamento tipo que convide os avaliadores a analisar os resultados de uma interveno em termos de relevncia, eficcia, eficincia, impacto e sustentabilidade (ver ponto 1.6 deste captulo). 3. Um procedimento tipo elaborao dos Termos de Referncia, escolha do avaliador, acompanhamento dos trabalhos, recepo e discusso dos Relatrios, difuso dos resultados (ver Captulo II). 4. Uma metodologia tipo para o avaliador que vai realizar a avaliao, composta de tcnicas de recolha e anlise de informao, quer quantitativa quer qualitativa, bem como as utilizadas na rea das cincias sociais.

9.1 Princpios exigidos aos avaliadores

Todos os avaliadores devem aspirar a fornecer informaes e apreciaes pertinentes e conduzir o processo de avaliao com elevada qualidade.

Os avaliadores no so apenas responsveis perante o IPAD. So tambm responsveis perante as instituies, grupos e indivduos envolvidos, afectados ou interessados pela avaliao. A tica fundamental para dar credibilidade aos resultados da avaliao. Os seguintes padres ticos para avaliadores fazem parte daquilo que normalmente exigido pelos doadores internacionais:

1. Rigor na aplicao dos mtodos de investigao Fazer investigaes aprofundadas atravs de mtodos e tcnicas adequadas, respeitando as normas tcnicas com o maior rigor; Estabelecer a validade da informao atravs de medidas e fontes, nomeadamente os detentores de interesse, que oportuno utilizar no quadro da avaliao.

Pgina 21 de 99

2. Competncia Saber lidar com as pessoas e os processos, com papis claramente definidos; Velar para que a equipa de avaliao inclua pessoas que faam os estudos e possuam conhecimentos, competncias e experincia necessrias para conduzir a avaliao; Manter-se no interior dos limites da formao e da competncia profissionais; Esforar-se por melhorar constantemente as suas competncias metodolgicas e especializadas; Dominar as tcnicas de concepo da avaliao, de pesquisa e recolha e tratamento de dados e de redaco de relatrios; No fazer avaliaes/apreciaes de indivduos.

3. Integridade Fazer prova de honestidade quanto aos seus conhecimentos e competncias; Informar rapidamente o IPAD sobre qualquer conflito de interesses ou sobre qualquer risco de uma situao que no foi entendida como tal; Assegurar que a avaliao independente, imparcial e exacta; Fornecer os indicadores exactos sobre os mtodos, dados e resultados e velar para que ningum possa fornecer indicaes errneas; Identificar todas as mudanas produzidas no decurso da avaliao ou nas ligaes que se afastam do plano de trabalho, fornecendo as explicaes necessrias e informando o IPAD e os principais detentores de interesse; Informar o IPAD de todo e qualquer problema grave ou constatao importante que no tenha relao directa com o quadro de referncia; No divulgar ou distribuir os resultados da avaliao sem a autorizao prvia do IPAD. Os avaliadores tm um compromisso perante o pblico e os participantes bem como um acordo contratual com o IPAD. A responsabilidade pela distribuio do material publicado do IPAD ou das suas delegaes, ainda que os sumrios e snteses informais possam ser partilhados fora do IPAD.

4. Respeito Garantir o carcter confidencial da informao fornecida e o anonimato; Adoptar as estratgias necessrias para evitar que os avaliadores locais sejam vistos como crticos da sua sociedade; Aprender a conhecer as crenas, comportamentos e costumes das populaes dos pases beneficirios para poder manifestar o respeito desejado em matria de crenas, prticas
Pgina 22 de 99

religiosas, relaes interpessoais, etc. intruso cultural assim como com os valores internacionais relativamente a minorias e determinados grupos, como as mulheres; Encontrar o equilbrio desejvel entre a necessidade de satisfazer certas exigncias relativas gesto e a necessidade de recorrer a certas pessoas; Compreender que as pessoas esto habitualmente muito ocupadas e podem no querer ser envolvidas. Os avaliadores devem proporcionar o mximo de informao, minimizar pedidos de tempo e respeitar os direitos das pessoas privacidade; Respeitar os direitos das pessoas em fornecer informao confidencial e assegurar que informaes sensveis no possam ser identificadas segundo a fonte.

5. Responsabilidade (individual e da equipa) Produzir os documentos exigidos nos TdR; Apresentar os resultados/prestar contas sobre o progresso da avaliao; Fazer prova da prudncia e da honestidade em matria de decises financeiras; Todos os membros da equipa tm oportunidade de se dissociar de julgamentos e recomendaes particulares/individuais. Qualquer divergncia de opinio no resolvida dentro da equipa deve ser dada a conhecer no relatrio.

6. Imparcialidade e independncia As avaliaes devem ser equilibradas em termos de pontos fortes e fracos. No caso de haver diferentes pontos de vista entre as partes envolvidas eles devem ser incorporados na avaliao. Os avaliadores externos no podem ter qualquer envolvimento pessoal, directo ou indirecto, nas actividades das intervenes a avaliar. As entidades envolvidas na preparao ou implementao das actividades a serem avaliadas no so elegveis para a avaliao. Uma das funes das avaliaes externas melhorar a transparncia/ responsabilidade da prestao de contas, fornecendo uma base objectiva a partir da qual responsabiliza os principais detentores de interesse. Informaes adicionais: Acompanhamento e avaliao: http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/ http://www.unfpa.org/monitoring/toolkit.htm

Critrios de avaliao: http://www.oecd.org/document/22/0,2340,en_2649_34435_2086550_1_1_1_1,00.html

Pgina 23 de 99

Caractersticas de uma boa avaliao: http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_cad.pdf http://www.oecd.org/dataoecd/11/56/1902965.pdf

tica/Deontologia da avaliao: http://www.aes.asn.au/about/guidelines_for_the_ethical_conduct_of_evaluations.pdf http://www.eval.org/Publications/aea06.GPBrochure.pdf http://www.evaluationcanada.ca/site.cgi?s=5&ss=4&_lang=an

Pgina 24 de 99

II O processo de avaliao externa

O processo de avaliao pode variar de caso para caso e de acordo com o tipo de avaliao, mas h um procedimento comum para todas as avaliaes. O que se segue so as principais etapas do processo de programao, preparao e realizao de avaliaes externas, na cooperao portuguesa.

Ao GAAI/IPAD responsvel pelo planeamento, organizao e implementao das avaliaes. Sistematiza os resultados, dissemina as lies apreendidas e faz o seguimento da sua incorporao na prtica da cooperao. Os avaliadores externos so responsveis pelo contedo dessas avaliaes.

1 - Planeamento da avaliao
Existem dois nveis de planeamento. O primeiro diz respeito definio e aprovao de um plano plurianual de avaliaes. O segundo tem a ver com a operacionalizao de cada avaliao.

No nvel superior, h que identificar e seleccionar as intervenes de desenvolvimento a avaliar, com base nas informaes/consultas dos diferentes actores da Cooperao Portuguesa e da base de dados o que permite identificar as intervenes prioritrias e/ou aquelas que se encontram a necessitar de avaliao. O plano de avaliaes que daqui resulta aprovado pela Direco do IPAD.

A fase seguinte a da preparao/organizao de cada avaliao, tarefa que pode variar em tempo e complexidade, de acordo com a natureza da interveno em causa, mas que essencial para o sucesso da mesma.

Antes de elaborar os Termos de Referncia (TdR) fundamental dispor das seguintes informaes: 1. Perceber o objectivo da avaliao, ou seja, saber as razes porque a avaliao foi pedida; 2. Fazer o levantamento da informao disponvel e documentao relevante (a interveno, seu contexto, as hipteses de partida); 3. Identificar/definir as questes a que a avaliao dever responder (os critrios ou temas da avaliao); 4. Identificar os financiadores, os executores e os principais detentores de interesse da interveno;
Pgina 25 de 99

5. Definir o programa de trabalhos (calendrio e prazos a cumprir), e os recursos necessrios. Estudar, eventualmente, vrias opes para seleccionar a melhor proposta; 6. Identificar eventuais conhecimentos especializados exigidos.

2 Elemento/grupo de acompanhamento
Cada avaliao encomendada pelo IPAD deve ter um elemento de acompanhamento do GAAI. O papel deste elemento deve ser descrito nos TdR e explicado numa reunio equipa de avaliao. Para avaliaes mais complexas poder/dever constituir-se um grupo de acompanhamento, composto por pessoas directa ou indirectamente ligadas ao financiamento e/ou execuo da interveno de desenvolvimento. As boas prticas sugerem que o grupo de acompanhamento deve tambm incluir representantes dos principais detentores de interesse.

Quem acompanha a avaliao deve ter permanentemente em ateno que ela deve produzir dois resultados essenciais: 1. Identificao clara de um conjunto de apreciaes, constataes, lies aprendidas e recomendaes, bem fundamentadas na evidncia; 2. Informao til, factual, credvel e segura para apoiar os decisores ao nvel das polticas.

Por isso, este elemento/grupo de acompanhamento deve ajudar os avaliadores a manter o equilbrio nas suas constataes e apreciaes, desempenhar um papel importante na disseminao dos resultados e das lies e identificar formas de melhor incluir as recomendaes na cultura, sistema e prtica da Cooperao Portuguesa e das organizaes envolvidas. Para o efeito, promovem-se reunies iniciais para discutir, por exemplo, a documentao necessria, os mecanismos de acompanhamento e difuso dos resultados da avaliao.

O elemento/grupo de acompanhamento e o avaliador devem procurar desenvolver uma boa relao de trabalho de forma a estabelecer um dilogo adequado a uma boa comunicao interpessoal durante todo o processo de avaliao. Uma vez terminado o planeamento, as duas partes devem ter a mesma ideia sobre a forma como o trabalho ser feito, os respectivos papis, as tarefas a realizar e os prazos de apresentao dos documentos a produzir. Em qualquer das fases da avaliao, o elemento/grupo de acompanhamento deve ser posto ao corrente do estado de avano dos trabalhos e pode ser chamado a fornecer esclarecimentos.

3 - Termos de Referncia (TdR)

Os TdR expem as necessidades e os objectivos da Cooperao Portuguesa relativamente a cada avaliao, clarificando os detalhes e permitindo ao leitor visualizar claramente o seu quadro de
Pgina 26 de 99

referncia. Descrevem o que deve ser avaliado, a razo porque a avaliao encomendada e a forma como ela deve ser feita.

Ao estabelecerem os parmetros gerais e os elementos essenciais, os TdR do uma viso preliminar da avaliao e constituem o seu documento norteador, servindo para orientar todo o processo e para estabelecer um plano de trabalho.

A extenso dos TdR e o seu carcter mais ou menos detalhado pode variar, em funo da importncia e complexidade da avaliao, mas devem ser realistas acerca das apreciaes e concluses que os avaliadores podero consubstanciar com "evidncias claras". A experincia diz que dar ateno redobrada elaborao dos TdR essencial para o processo de avaliao decorrer de forma expedita e produzir trabalho de qualidade.

Ao GAAI/IPAD compete elaborar um draft dos TdR para cada avaliao programada, de acordo com os padres exigidos, incluindo um calendrio e um oramento indicativo de avaliao. Para o efeito, consulta os servios considerados relevantes e outros organismos com interesse directo, bem como as Delegaes locais da cooperao que os fazem circular para recolha de contributos pelos parceiros locais, antes de os finalizar. Os principais detentores de interesse, em Portugal e nos pases parceiros, devem concordar com o contedo dos TdR, os quais so posteriormente aprovados pela Direco do IPAD.

Os TdR incluem: Uma descrio da interveno a avaliar e o seu contexto; A enunciao dos motivos invocados para justificar a avaliao; Um resumo do alcance da avaliao e do seu interesse; Uma exposio de como a avaliao ser feita; Um calendrio e prazos; Um oramento indicativo.

Os TdR devem ter flexibilidade suficiente para que o avaliador possa decidir qual a melhor abordagem para recolher e analisar os dados.

4 - Escolha dos avaliadores

As avaliaes so, normalmente, confiadas a uma equipa de avaliadores e a qualidade da avaliao depende muito da competncia e composio dessa equipa. Como regra geral, as equipas devem conter formaes e qualificaes diversas, incluindo as seguintes caractersticas:
Pgina 27 de 99

Especialistas em reas que esto a ser avaliadas; Experincia em avaliao, particularmente em avaliao da cooperao para o desenvolvimento; Conhecimento do pas/regio; Conhecimentos e experincia em matria de desenvolvimento; Competncias interdisciplinares (sociais, econmicas, institucionais); Equilibrada em termos de gnero; Independncia, ou seja, no ser parte interessada e/ou directa ou indirectamente envolvida na interveno alvo de estudo; Familiaridade com a cooperao portuguesa; Elemento(s) do pas/instituio parceiro; Dimenso adequada ao trabalho a realizar.

A seleco de uma equipa com um lder experiente e competente particularmente importante. Ele o principal responsvel por uma avaliao que responda aos padres de qualidade exigidos e pela produo de relatrios de qualidade.

Quaisquer que sejam os conselhos e o acompanhamento exercido pelo GAAI/IPAD, se os avaliadores forem incapazes, por qualquer motivo que seja, de realizar as suas tarefas com o nvel profissional desejado, surgiro problemas. Por isso, essencial investir o tempo e a energia necessrios na seleco dos avaliadores. O IPAD privilegia o concurso para garantir a transparncia do processo, a equidade e a igualdade de oportunidades. O recrutamento dos consultores para realizar a avaliao feita com base na bolsa de avaliadores (que se encontra em permanente actualizao), seguindo os trmites normais de seleco e contratao a legislao que norteia este processo o Decreto-lei n. 18/2008, de 29 de Janeiro. O candidato escolhido aquele que, possuindo as qualificaes exigidas, oferece a melhor relao qualidade/preo ao IPAD.

A participao de avaliadores nacionais do pas parceiro na equipa de avaliao uma questo essencial. poltica do IPAD fazer com que, sempre que possvel, consultores locais integrem e trabalhem com a equipa de avaliao, facto que especificado nos TdR. Este envolvimento promove no s a qualidade e a credibilidade local das concluses e constataes da avaliao como contribui para o desenvolvimento de capacidades locais de avaliao. Contudo, isto no deve pr em causa a independncia da avaliao.

Pgina 28 de 99

Como se faz a seleco Em geral, os consultores propem uma equipa de avaliao e apresentam uma proposta de trabalho. O exame das candidaturas faz-se a partir da anlise das informaes que constam das suas propostas (que descrevem a experincia e os conhecimentos especializados da equipa, bem como os curricula das pessoas que a integram, em funo das exigncias especficas da avaliao) e do plano de trabalho detalhado, com base nos TdR (ver ponto 5).

A seleco do avaliador inclui essencialmente 5 fases: 1) escolha do modo de seleco, de acordo com o Decreto-lei n. 18/2008, de 29 de Janeiro; 2) abertura do processo; 3) seleco do candidato que oferece a melhor relao qualidade/preo; 4) informao aos candidatos sobre o resultado da seleco; 5) negociao e assinatura do contrato, com o avaliador escolhido. O estabelecimento da melhor relao qualidade/preo Como se escolhe o melhor candidato? Que qualidades o IPAD deve procurar?

A seleco dos avaliadores consiste em encontrar um avaliador competente, capaz de desempenhar a sua tarefa e de responder s expectativas do IPAD, ao mesmo tempo que oferece a melhor relao qualidade/preo. Quatro factores influenciam, normalmente, a escolha dos avaliadores: As expectativas dos responsveis pela seleco e a sua apreciao; O grau de satisfao das exigncias estabelecidas nos TdR; A formao e qualidade dos candidatos; O preo proposto.

Quando vrios candidatos obtm a classificao mais elevada, escolhida aquela que apresenta um menor custo. Se necessrio, a proposta de trabalho, o oramento e o calendrio so negociados com a equipa seleccionada, antes da assinatura do contrato, a qual encerra o processo de seleco.

5 - Plano de trabalho
O plano de trabalho preparado pelo avaliador e mais detalhado e preciso que os TdR. , normalmente, o primeiro documento produzido pelos avaliadores que, uma vez aprovado pelo IPAD, se torna o principal instrumento de gesto e de orientao da avaliao, em funo dos objectivos do IPAD em todas as etapas do processo. o documento base para a seleco da equipa de avaliao. Este documento deve dar uma descrio clara sobre o que a equipa vai fazer, como, quando e porqu.
Pgina 29 de 99

O plano de trabalho serve para: Dar uma viso global da interveno a avaliar; Descrever os objectivos do IPAD relativamente avaliao; Apresentar os membros da equipa de avaliao; Especificar os papis e responsabilidades de cada uma das partes; Expor a metodologia adoptada; Estabelecer as exigncias em matria de relatrios; Fixar um calendrio de trabalho com prazos precisos; Determinar o custo da avaliao.

Os TdR do IPAD fixam os objectivos e parmetros da avaliao. suposto o avaliador fazer o ponto de partida para estabelecer o que realizvel. Trata-se de chegar a acordo com o GAAI/IPAD sobre o plano de trabalho para que se alcancem os resultados previstos.

A avaliao inclui habitualmente uma visita ao pas parceiro para recolha de dados. As modalidades quanto s deslocaes a prever devem ser fixadas no momento do planeamento.

Aspectos a ter em considerao no momento da preparao do plano de trabalho: O plano de trabalho deve ser suficientemente detalhado para que a avaliao se faa com a clareza que convm e satisfaa as necessidades enunciadas; O plano de trabalho deve ser flexvel e adaptado situao favorecendo a inovao e a criatividade. Se aprovado, as alteraes ou desvios relativamente ao planeado devem ser acordados com o GAAI/IPAD; O avaliador encorajado a investir na concepo da avaliao para que o IPAD possa beneficiar do seu conhecimento e da sua experincia e para que a sua contribuio para o desenvolvimento do quadro de referncia se traduza num valor acrescentado; No momento de constituir a equipa de avaliao, necessrio ter em conta a capacidade dos candidatos de trabalhar em conjunto e no apenas a sua experincia e conhecimento individual. A equipa de avaliao deve possuir competncias tcnicas que a anlise de temas transversais pertinentes exige; Os resultados esperados da avaliao devem ser teis ao IPAD e atingveis no interior dos limites impostos pelas realidades operacionais e os prazos previstos. importante fixar objectivos realistas tendo em conta o contexto material e as dificuldades de trabalho inerentes aos pases em desenvolvimento;
Pgina 30 de 99

necessrio ter conscincia de que certos efeitos e impactos podem no se fazer sentir seno a longo prazo; O plano de trabalho deve dar conta da necessidade de determinar eventuais resultados imprevistos da interveno; Embora no haja um nmero de pginas padro para o plano de trabalho, o avaliador deve colocar a tnica na clareza, conciso e preciso.

Principais aspectos a tratar no plano de trabalho: Introduo e enquadramento Comea por descrever, de forma breve (uma ou duas pginas), a interveno a avaliar. Apresenta a estrutura da interveno e o contexto do pas em desenvolvimento, falando sumariamente dos objectivos esperados. Deve colocar a tnica nos objectivos e prioridades da cooperao portuguesa, nos resultados esperados (efeitos, impactos, etc.), na abrangncia, mencionando os beneficirios, na importncia da interveno e na participao dos detentores de interesse.

Objectivos da avaliao: porque se faz esta avaliao? O que que a Cooperao Portuguesa espera desta avaliao? De uma forma geral, trata-se de clarificar certos pontos abordados nos TdR. A tnica deve ser colocada: na anlise do progresso quanto aos resultados esperados e aos outros resultados no plano do desenvolvimento e factores de sucesso; nas questes em que o IPAD tem um interesse particular (reduo da pobreza, questes transversais, etc.); na importncia de extrair lies a partir da experincia; em qualquer outro elemento de informao relativamente interveno que o avaliador encarregue de produzir.

Equipa: papis e responsabilidades No plano de trabalho deve figurar o nome dos membros da equipa de avaliao e de quem tem a responsabilidade principal bem como, em termos gerais, a descrio das responsabilidades de cada um.

Metodologia O avaliador deve apresentar a metodologia de acordo com as exigncias e objectivos enunciados nos TdR. Trata-se de estabelecer a metodologia mais adaptada aos objectivos estabelecidos tendo em conta a informao disponvel, os prazos e os recursos destinados avaliao. Uma metodologia de avaliao credvel permite estabelecer uma relao directa entre os resultados e a interveno avaliada, e eliminar assim as outras explicaes possveis.
Pgina 31 de 99

Por isso, no plano de trabalho deve incluir-se: uma justificao sobre a metodologia a adoptar; o tipo de informao e respectivas fontes, os mtodos de recolha de dados e as tcnicas de anlise necessrias.

Calendrio e oramento O avaliador deve fixar um calendrio para os trabalhos propostos, com prazos precisos e determinar o custo da avaliao.

6 - Fase documental
Aps a seleco dos avaliadores h uma reunio com o GAAI/IPAD. O principal resultado desta reunio deve ser o acordo quanto s expectativas do IPAD relativamente avaliao e ao processo atravs do qual os avaliadores iro desenvolver os trabalhos e produzir o primeiro relatrio, o qual deve incluir um plano de trabalho para as fases seguintes, propor a abordagem metodolgica e a estratgia de disseminao. Sempre que necessrio, pode e deve encontrar-se com o elemento/grupo de acompanhamento para esclarecimentos e informao adicionais.

Os consultores iniciam o trabalho fazendo contactos directos com os Servios para a pesquisa documental, incluindo a recolha de todos os documentos relevantes, o dilogo e eventuais entrevistas (o GAAI/IPAD pode tambm ser solicitada). Entre as fontes teis destacam-se: a documentao e os dossiers da interveno; o arquivo do IPAD e/ou dos executores da interveno; as consultas (em pessoa, por telefone, fax, e-mail, etc.) ao pessoal da Cooperao Portuguesa e aos detentores de interesse que, em Portugal, possuam conhecimentos teis.

Em geral, o chefe da equipa de avaliao deve liderar este processo. O grau de participao dos outros elementos pode variar. Os avaliadores devem proceder a um exame detalhado de toda a informao til para dispor de todos os elementos que lhes permitam preparar o primeiro relatrio e o plano de trabalho para as fases seguintes. 6.1 - Produo do primeiro relatrio Todos os relatrios de avaliao da Cooperao Portuguesa devem ter um formato padro. So escritos em portugus claro e sem erros, em formato word, arial 10, com espao e meio, devendo ser entregues trs exemplares impressos e uma cpia em suporte magntico.

O mbito e detalhe deste primeiro relatrio devem ser identificado nos TdR e acordado na primeira reunio. Ambos podem variar de acordo com a dimenso e complexidade da avaliao.

Pgina 32 de 99

Os avaliadores so aconselhados a centrar o trabalho inicial na recolha de dados sobre o contexto geral e identificar em que medida esses dados j tm indicaes sobre o impacto e a eficcia. A sua apreciao o ponto de partida para identificar a que questes da avaliao provvel responder com os recursos disponveis. plausvel incluir, em forma de sntese, uma reviso do documento central do projecto/programa/poltica para a avaliao, entrevistas iniciais com entidades e Servios chave e uma anlise do material relevante de outros doadores e da comunidade de investigao.

Esta anlise da documentao antes da fase de trabalho de campo essencial. Ela permite aos avaliadores conhecer os diferentes aspectos da interveno ou da poltica e assim ser mais eficazes no momento da recolha de informao no terreno.

O relatrio deve ser apresentado para discusso e aprovao pelo IPAD. Nele esto includos os resultados desta primeira fase incluindo as concluses provisrias e a identificao das reas que necessitam de recolha de mais documentao e informao. Com base nisso a equipa elabora um plano detalhado para a fase de trabalho de campo e as propostas metodolgicas para as fases seguintes (trabalho de campo e relatrio final).

Este relatrio deve conter:

Ttulo Introduo Enquadramento no plano do desenvolvimento e da avaliao. O avaliador deve, tambm, fazer o ponto da situao sobre a literatura especializada nesta matria. Metodologia descrio dos indicadores de resultados que serviram para estabelecer em que medida os resultados esperados foram atingidos; das fontes de informao e dos mtodos e tcnicas aplicados para a recolha e tratamento dos dados. Resultados da fase documental partindo da descrio sobre a forma como os dados brutos foram transformados para dar respostas teis e vlidas aos objectivos da Cooperao Portuguesa, o avaliador transforma-os em elementos de prova credvel sobre a interveno e os seus resultados, e d uma primeira resposta s questes colocadas nos TdR. Faz uma apresentao preliminar das constataes, lies aprendidas e recomendaes. Plano de trabalho para as fases seguintes o primeiro relatrio inclui o planeamento e preparao do trabalho de campo e do relatrio final. O avaliador deve completar, tanto quanto possvel, o trabalho da fase documental e as anlises preliminares antes da visita ao terreno porque: Ter acesso a pessoas chave no pas por vezes difcil e o tempo que se vai utilizar com elas deve s-lo de forma produtiva; O tempo gasto no terreno caro. melhor criar uma equipa eficaz e identificar os problemas antes da visita ao terreno, quando a oportunidade de os resolver ainda possvel; Alguns informadores chave, especialmente das organizaes doadoras, podem ter-se mudado. Contact-los por vezes mais fcil a partir de Portugal do que no terreno e eles podem at identificar outros informadores chave; Pgina 33 de 99

O avaliador deve permitir aos principais detentores de interesse no terreno reagir s principais constataes e recomendaes antes do fim da visita. Isto s possvel se muita da preparao for feita antes da visita ao pas, para permitir tempo para analisar os dados e produzir concluses e recomendaes.

Anexos incluem os TdR, acrnimos, bibliografia, entidades consultadas, quadros e tabelas complementares, etc.

O GAAI/IPAD deve fazer circular este relatrio pelos actores envolvidos e, se possvel, por outros detentores de interesse, dentro e/ fora da Cooperao Portuguesa, para comentrios.

Uma vez discutido e aprovado, o primeiro relatrio deve constituir a base para comandar a avaliao at ao fim. O IPAD faz saber Delegao no terreno o que se espera que ela faa quanto a preparativos para a fase de trabalho de campo.

7 - Trabalho de campo
O trabalho de campo constitui a principal fase da avaliao. A equipa de avaliao deve assegurarse, junto do GAAI/IPAD, que o planeamento est completo e chegar a acordo com os que esto no terreno antes de partir.

Os consultores e o elemento de acompanhamento deslocam-se ao pas em causa, renem com a Delegao local e fazem as visitas de campo e outras pesquisas e reunies, no quadro do proposto no primeiro relatrio.

As questes especficas a serem respondidas durante esta fase, bem como os mtodos a utilizar, devem ter sido descritos no primeiro relatrio e aprovados pelo GAAI/IPAD. A experincia sugere que a anlise e discusso das constataes preliminares, aspectos e questes levantadas com os detentores de interesse locais devem ser discutidos com os mesmos no fim da visita. A equipa deve apresentar uma sntese do relatrio, incluindo as constataes, concluses e recomendaes preliminares, antes do fim da visita ao terreno, a qual serve de base para a discusso em workshop.

O tempo gasto nesta fase facilita, frequentemente, a aceitao local e a utilidade das recomendaes finais da avaliao. Da mesma forma, estas actividades so elementos chave da estratgia de disseminao de uma avaliao e muitas vezes so um frum no qual aspectos que so difceis de responder num documento publicado podem ser discutidos livremente por aqueles que tm mais oportunidade para responder e de forma eficaz aos mesmos.

Pgina 34 de 99

O GAAI/IPAD pode estar presente nestas sesses, quer para apreciar a qualidade da participao dos principais detentores de interesse na avaliao, quer para verificar o grau de aceitao das constataes e recomendaes.

8 - Relatrio final da avaliao

O Relatrio final define o valor acrescentado da avaliao. O valor acrescentado determinado pela(s): Anlise da interveno de desenvolvimento feita pelo avaliador (ou seja, as respostas s questes da avaliao e as concluses tiradas); Lies retiradas da experincia; Recomendaes, tendo em vista a melhoria de intervenes futuras.

O relatrio final serve, acima de tudo, para dar a conhecer Cooperao Portuguesa os resultados da avaliao. A informao fornecida deve responder de forma detalhada aos objectivos enunciados nos TdR e no plano de trabalho do avaliador e apresentar os resultados extrados das constataes feitas, na sequncia da recolha e anlise dos dados. O principal objectivo produzir resultados credveis e teis, de acordo com o exame que o avaliador fez da interveno em causa. O relatrio final deve ser breve e conciso, com apresentao clara e ajustada ao grupo alvo.

Depois da leitura do relatrio final, os leitores no devero ter dvidas quanto razo porque a avaliao foi feita, em que consistiu, quais os resultados e as recomendaes e lies tiradas para o futuro. Os resultados devem ser apresentados segundo uma ordem lgica credvel e basear-se em factos e concluses extradas dos dados recolhidos. O relatrio deve ter um bom padro de qualidade profissional quanto preciso, equilbrio, perspiccia e realismo, redaco clara e sem erros.

O avaliador prepara o relatrio segundo o formato proposto nos TdR, ainda que a estrutura possa oscilar em funo de circunstncias especficas. O relatrio deve incluir um sumrio executivo onde so apresentados os principais resultados da avaliao. Para facilitar a disseminao dos resultados, o sumrio executivo deve, tambm, ser apresentado em ingls.

A apresentao dos resultados num relatrio final reduz o risco de estes serem mal interpretados. Quando o relatrio escrito de forma clara e concisa e os grandes pontos so bem explicados, os resultados so melhor compreendidos e mais eficazes. Ao preparar o relatrio final os avaliadores devem ter em conta o facto de as diferentes audincias no possurem todas os mesmos conhecimentos e no necessitarem do mesmo tipo de informao. Os leitores cujo conhecimento
Pgina 35 de 99

tcnico limitado, por vezes mesmo inexistente, no devem ter dificuldade em compreender o relatrio.

Deve, tal como os restantes, ser escrito em portugus, de forma clara, concisa e sem erros, em formato word, arial 10, devendo ser entregues trs exemplares impressos e uma cpia em suporte magntico. A extenso do relatrio final, que oscila entre 35 e 85 pginas (sem contar com os anexos) varia de acordo com a complexidade e extenso da avaliao. Embora a qualidade nada tenha a ver com a extenso, os relatrios devem ser concisos na medida em que os leitores chave no tm muito tempo para dedicar leitura de relatrios longos.

Formular os resultados de uma avaliao no tarefa fcil. O avaliador chamado a olhar para todas as constataes feitas com o objectivo de avaliar os resultados de forma justa, objectiva e exacta, e decidir como enunciar as recomendaes. Os resultados so extrados da informao recolhida durante a avaliao. essencial que o exame seja exaustivo que as concluses sejam plenamente justificadas e o raciocnio seguido seja claramente exposto. A escolha de termos precisos evita equvocos e ms interpretaes.

A passagem dos dados brutos para as concluses deve seguir uma progresso lgica. O leitor deve poder estabelecer uma relao entre as principais concluses tiradas na apreciao global, as lies e as recomendaes, e as provas estabelecidas graas recolha e anlise da informao. O avaliador deve fazer especificamente meno a fontes de informao identificveis.

Os consultores apresentam um draft do relatrio final. Se a qualidade deste draft boa e respeita os TdR, o GAAI/IPAD faz circular o relatrio para comentrios pelos diferentes detentores de interesse e Delegao local para o fazer chegar aos parceiros locais. realizado um workshop de anlise e discusso do relatrio com o GAAI/IPAD e os detentores de interesse, sobre os resultados da avaliao. O draft do relatrio final , simultaneamente, enviado aos servios da cooperao no pas parceiro que o faz circular pelos detentores de interesse local para recolha de comentrios. Na sequncia deste trabalho, os consultores incorporam as sugestes que considerem relevantes e finalizam o Relatrio final apresentando-o ao GAAI/IPAD.

O relatrio final serve para: Melhorar as intervenes futuras, incorporando as lies e recomendaes; Credibilizar e assegurar o processo de transparncia na cooperao portuguesa;

Pgina 36 de 99

Enriquecer o conhecimento da Cooperao Portuguesa em geral, e do IPAD em particular, quanto eficcia e eficincia da cooperao, apoiando a tomada de decises ao nvel das polticas, estratgias e afectao de recursos;

Informar todos os detentores de interesse e outros actores da Cooperao Portuguesa sobre os resultados obtidos;

Dar a conhecer aos contribuintes e opinio pblica em geral os resultados da cooperao; Prestar contas perante os pases parceiros.

Assim, embora os relatrios se destinem, antes de mais, Cooperao Portuguesa, h outros pblicos-alvo entre os quais se incluem os: Beneficirios e Governos locais; Financiadores; ONGD; Contribuintes em geral; Outros doadores.

8.1 - Principais elementos do relatrio final O avaliador deve discutir com o GAAI/IPAD os aspectos que se espera fazerem parte do relatrio, para que a estrutura final seja adequada s necessidades. Contudo, h aspectos gerais que devero estar sempre presentes: Uma apreciao global que saliente os principais aspectos da interveno de desenvolvimento e responda s questes enunciadas nos TdR. Uma lista das recomendaes e das lies aprendidas. As concluses, lies aprendidas e recomendaes sero mais facilmente apreendidas e aplicadas se forem claras, concretas, contundentes e redigidas de forma simples. Entre as constataes, lies aprendidas e recomendaes15 deve haver uma relao intrnseca, pelo que poder ser til apresent-las em conjunto ou sequenciadas.

As recomendaes e as lies aprendidas devem ser relevantes, orientadas para os utilizadores visados e operacionalizveis no quadro das suas responsabilidades. As recomendaes so propostas operacionalizveis e as lies aprendidas so generalizaes das concluses, aplicveis para utilizao mais geral. Pgina 37 de 99

15

Principais elementos do relatrio final

Seco Sumrio executivo Introduo Contedo Sinopse do relatrio colocando a tnica nos pontos essenciais, concluses, lies aprendidas e recomendaes a) Objectivo do relatrio b) Alcance da avaliao a) Contexto, do ponto de vista do desenvolvimento b) Razo de ser e tema, objectivos, estrutura c) Realizao/fases chave d) Informaes sobre os resultados: acompanhamento, anlises e) Recursos a) Motivos, alcance e tema, objectivos b) Metodologia c) Composio da equipa Resposta dos avaliadores s questes colocadas nos TdR Exame global dos resultados, colocando a tnica nos resultados Enumerao devidamente argumentada das lies quanto : a) Execuo b) Cooperao para o desenvolvimento Enumerao devidamente argumentada, com identificao dos respectivos destinatrios a) Acrnimos b) TdR da avaliao c) Bibliografia d) Pessoas/entidades consultadas e) Etc.

Enquadramento

Perfil da avaliao Constataes Concluses Lies aprendidas Recomendaes

Anexos

1. Sumrio executivo O sumrio executivo d uma viso global de todos os aspectos importantes da avaliao, colocando a tnica nos resultados. muito provvel que este sumrio seja lido por mais pessoas do que o relatrio. Por isso, constitui um valor permanente da avaliao. Convm prepar-lo com muito cuidado. O leitor comum deve encontrar aqui a informao necessria para compreender o que esta avaliao permitiu aprender.

O tom adoptado pelo avaliador deve ser o mesmo do resto do relatrio. O sumrio no excede, normalmente, 3 a 5 pginas, pelo que as descries devem ser breves. Em regra deve conter: Introduo: objectivo do relatrio e alcance da avaliao Descrio muito breve do projecto / programa / sector avaliado (objectivo, perodo avaliado, volume de fundos, principais componentes, localizao geogrfica); Objectivo e foco da avaliao, como expresso nos TdR; Sntese das constataes, concluses, lies aprendidas e recomendaes da avaliao (que devem constituir a maior parte do sumrio executivo).

Pgina 38 de 99

2. Introduo Na introduo o avaliador expe o objectivo do relatrio e descreve de forma breve o alcance da interveno e da avaliao. No deve ultrapassar uma pgina.

3. Perfil da interveno 3.1. Contexto do ponto de vista do desenvolvimento O avaliador deve descrever os principais factores que influenciam o meio em que a interveno /foi realizada: Situao econmica local; Dimenses, influncias e factores sociais, culturais, geogrficos e polticos que considere importantes; Estado das infra-estruturas e da organizao no pas parceiro.

O avaliador pode optar por utilizar indicadores chave do desenvolvimento (ex. economia, educao, sade) para descrever o contexto.

3.2. A interveno de desenvolvimento Breve histria da interveno, mudanas na envolvente e seus efeitos na interveno, materializao de riscos e pressupostos, etc. O avaliador deve explicar a gnese da interveno e como que ela se enquadra nos objectivos da Cooperao Portuguesa, nomeadamente de reduo da pobreza nos pases parceiros, bem como na obteno dos seus objectivos prioritrios (satisfao das necessidades bsicas, igualdade de gnero, ambiente, etc.). Convm, tambm, explicar a razo de ser da interveno e em que aspectos colocada a tnica.

O avaliador deve descrever os objectivos, actividades planeadas e realizadas, resultados, efeitos e impactos esperados. Deve apresentar a estrutura organizacional referindo o papel do IPAD, dos parceiros e de outros doadores (se existirem) assim como identificar os principais detentores de interesse. Deve tambm indicar-se o financiamento total, mencionando as contribuies dos diversos parceiros.

3.3. Execuo/etapas chave Apresentao cronolgica das etapas chave e dos resultados obtidos.

Apresentao das constataes emanadas das actividades de acompanhamento e de eventuais avaliaes anteriores, anlise das intervenes, entrevistas especiais, etc.
Pgina 39 de 99

Como os casos variam, convm assinalar as lacunas ou obstculos que influenciaram os resultados da interveno.

4. Perfil da avaliao O avaliador deve explicar como respondeu aos objectivos expostos no plano de trabalho e nos TdR, que devem constituir anexos do relatrio final. As modificaes feitas durante a avaliao devem ser referidas.

4.1. Enquadramento Aqui so apresentados: Os factores que nortearam a deciso de proceder avaliao; Os parmetros de partida da avaliao; Alcance e objectivos; Resultados esperados.

4.2. Metodologia O avaliador deve descrever: As abordagens e mtodos utilizados na avaliao (o que foi feito, por quem, quando, onde e como) metodologias de recolha e anlise de dados utilizadas; Quais as questes (e sub-questes) a que a avaliao responde e a forma como se aplicou a metodologia para formular as respostas; A seleco dos indicadores de resultados; As fontes de informao, estabelecendo uma relao com cada um dos indicadores de resultados.

Convm apresentar as actividades segundo uma ordem lgica claramente definida, desde a recolha de dados at elaborao dos resultados. Devem, tambm, referir-se as limitaes da avaliao.

O avaliador deve fornecer uma descrio exacta e detalhada das restries mais importantes que a metodologia escolhida comporta. Nos casos em que houve mudanas deve fazer-se referncia das mesmas.

5. Constataes resultados da avaliao As constataes so afirmaes factuais sobre a avaliao que permitem verificar factos. O avaliador organiza um quadro sntese dos resultados da interveno respondendo s principais
Pgina 40 de 99

questes colocadas nos TdR ou descrevendo os resultados obtidos em funo dos resultados no plano do desenvolvimento. O leitor deve ver a relao entre os resultados e as observaes feitas a partir dos dados recolhidos e analisados. O avaliador deve fazer meno expressa das fontes de informao identificveis.

Este captulo , normalmente, o mais extenso do relatrio, podendo subdividir-se em vrias seces: Informao, anlises e resultados (findings) devem ser apresentados de forma clara em seces destinadas a cada um dos aspectos cobertos pela avaliao, como definido nos TdR; As concluses devem ser identificadas de forma clara e apoiadas pela evidncia e anlise apresentadas no relatrio; O grau de confiana com que as concluses podem ser delineadas deve ser explicitamente mencionado.

Neste captulo feita a anlise dos critrios gerais de avaliao e das questes especficas desta avaliao, bem como dos aspectos transversais.

6. Concluses As concluses so a sntese dos factores de sucesso e de fracasso da interveno avaliada, com uma ateno especial nos resultados e impacto, esperados ou no, e mais genericamente nos outros pontos fortes e fracos. Uma concluso ancora-se em dados e em anlises elaboradas a partir de uma cadeia transparente de argumentos.

O avaliador fornece uma explicao sumria dos resultados da interveno em relao aos objectivos enunciados na fase da sua planificao. No momento de decidir quais os resultados a pr em evidncia, a sua importncia deve constituir um factor determinante.

Quer as concluses, quer as recomendaes, devem ser concisas e de preferncia fazer referncia s diversas seces do relatrio a que as respectivas concluses e recomendaes se referem. As recomendaes devem ser relevantes, orientadas para os utilizadores visados e operacionalizveis no quadro das suas responsabilidades.

7. Lies aprendidas Por lies aprendidas entende-se as generalizaes baseadas na avaliao das experincias com projectos, programas ou polticas que permitem retirar ensinamentos de circunstncias especficas para situaes mais abrangentes. So generalizaes das concluses, aplicveis para utilizao
Pgina 41 de 99

mais geral. Frequentemente as lies sublinham os pontos fortes e fracos na preparao, concepo e execuo de intervenes que afectam o desempenho, os resultados e o impacto. Devem ser relevantes, orientadas para os utilizadores visados e operacionalizveis no quadro das suas responsabilidades.

Devem constituir um pequeno captulo sobre as lies de natureza geral que a avaliao produziu, isto , lies e experincias que podem ser importantes tambm para outros projectos e programas.

necessrio estar-se ciente de que uma lio aprendida num relatrio de avaliao no a mesma coisa que uma lio operacionalizada na tomada de deciso no futuro e a melhoria da tomada de decises no futuro deve ser o principal critrio para apreciar a qualidade de qualquer avaliao.

As observaes feitas pelo avaliador podem facilitar a elaborao de novas orientaes, estratgias e prticas. No momento de as enunciar, o avaliador deve adoptar uma perspectiva de no se limitar ao campo da avaliao em questo e utilizar o seu conhecimento e experincia para que a informao adquirida possa servir para fins gerais, de forma a produzir um valor acrescentado para a Cooperao Portuguesa.

Existem dois tipos de lies: As lies no plano do desenvolvimento, que visam atingir os resultados em matria de desenvolvimento, a melhoria das prticas da ajuda e o alcanar dos objectivos prioritrios da actuao da Cooperao Portuguesa; As lies do ponto de vista das operaes, relativas gesto, ao acompanhamento e administrao, que visam estabelecer um ambiente de trabalho favorvel e boas prticas de trabalho. Estas lies podem dizer respeito aos resultados, constituio e coordenao das equipas, aos sistemas de execuo, elaborao de relatrios, etc.

O avaliador deve centrar-se nas lies que tenham maiores hipteses de ser aplicadas noutras reas de actividade da cooperao, em vez de muitas lies que apenas so teis em certas circunstncias e que retomam as constataes. Normalmente, os avaliadores limitam-se a meia dzia de lies.

Pgina 42 de 99

8. Recomendaes As recomendaes so enunciados individuais que se baseiam nas observaes feitas, que indicam o que deve ser feito no futuro. Devem ser relevantes, orientadas para os utilizadores visados e operacionalizveis no quadro das suas responsabilidades. So propostas que tm por objectivo promover a eficcia, qualidade ou eficincia de uma interveno de desenvolvimento, reorientar os objectivos, e/ou redistribuir/reafectar recursos. As recomendaes devem estar relacionadas com as concluses.

Nesta seco o avaliador prope as melhorias a introduzir no futuro ou assinala os pontos que devem ser alvo de acompanhamento.

O avaliador deve explicar o que o levou a formular as recomendaes em causa, relacionando os elementos da informao recolhida durante a avaliao. Deve ter uma configurao normativa (o IPAD deve...., A Cooperao Portuguesa deve...).

O agrupamento das recomendaes por diferentes nveis e destinatrios facilita a sua aplicao.

9. Anexos Os anexos so indispensveis porque contribuem para enriquecer, ilustrar e valorizar o prprio relatrio. A informao complementar e que corre o risco de tornar a leitura do relatrio pouco fluida deve ser includa nos anexos. Normalmente contm: A lista de acrnimos Os TdR da avaliao A bibliografia e outras referncias A lista das pessoas e entidades consultadas A lista das pessoas entrevistadas, incluindo as instituies que elas representam e o cargo que ocupam Tabelas, diagramas, informao estatstica, etc. (facultativo).

Quando os anexos so muito extensos, so habitualmente publicados num documento separado.

9 - Publicao e disseminao
Uma avaliao cujos resultados no so usados tem pouco valor. Na concepo de uma avaliao deve ter-se em mente que o objectivo fornecer informao til aos envolvidos para melhorar os projectos/programas e para aprendizagem. Para tal, necessrio que os resultados sejam comunicados com clareza, com validade, e apropriados/adaptados s audincias para que elas
Pgina 43 de 99

possam fazer uso dessa informao. Uma estratgia de comunicao um ingrediente essencial na avaliao da cooperao para o desenvolvimento.

Ao investir nas avaliaes o IPAD tem a oportunidade de melhorar o resultado das intervenes de desenvolvimento da Cooperao Portuguesa. As avaliaes no so actividades pontuais isoladas. Em termos gerais e do ponto de vista operacional, elas podem ser teis pelo facto de procurarem as vantagens a longo prazo da nossa cooperao. O saber adquirido apoia os decisores e gestores da Ajuda a tomar decises esclarecidas e a encontrar solues para os problemas que se apresentam. Os ensinamentos tirados das avaliaes podem ter um valor estratgico no momento do estabelecimento das polticas, estratgias e prioridades da Cooperao Portuguesa. Os resultados das avaliaes podem igualmente beneficiar outros detentores de interesse (beneficirios locais, agentes de execuo, ministrios beneficirios, etc.).

A responsabilidade pela disseminao dentro do IPAD e da Cooperao Portuguesa compete ao GAAI. Os resultados da avaliao devem ser disseminados de forma eficaz, para que possam influenciar a futura tomada de decises. Os resultados permitem, tambm, aprofundar o conhecimento dos portugueses relativamente Ajuda Pblica ao Desenvolvimento. Por isso, a disseminao: Precisa de ser planeada desde o incio e includa nos TdR; Necessita de ser direccionada e definida para grupos especficos, devendo ter em ateno o tipo de audincia, adoptando os instrumentos mais adequados a cada auditrio.

Os relatrios de avaliao (ou pelo menos uma sntese) so apenas uma parte da estratgia de disseminao dos resultados. As constataes da avaliao precisam de ser disseminadas de forma ampla e aberta e o oramento da avaliao deve conter recursos suficientes para uma disseminao efectiva.

O processo de disseminao deve comear to cedo quanto possvel no decurso da avaliao, e no apenas no fim, de forma a encorajar a participao dos detentores de interesse e permitir que beneficiem dos resultados da mesma, no quadro das suas intervenes futuras.

O sumrio executivo e o relatrio final devem ser distribudos por todos os detentores de interesse. O GAAI/IPAD publica-os na Internet para o pblico em geral. Se necessrio, podero fazer-se sesses sobre os resultados da avaliao, que podem incluir os consultores, para disseminar e assimilar os ensinamentos e as recomendaes.

Pgina 44 de 99

Informaes adicionais: Normas e Directrizes: http://ec.europa.eu/europeaid/evaluation/methodology/index_en.htm http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_cad.pdf http://www.oecd.org/dataoecd/31/12/2755284.pdf http://www.oecd.org/dataoecd/63/50/2065863.pdf http://www.oecd.org/document/60/0,2340,en_21571361_34047972_31779580_1_1_1_1,00.htm l

Pgina 45 de 99

III A Auto-avaliao
3.1 - Razes e objectivos
No possvel promover avaliaes externas para todas as intervenes de desenvolvimento financiadas pela cooperao portuguesa. A poltica do IPAD a de adoptar uma abordagem mais integrada, deixando de se centrar na avaliao a projectos para se centrar num nvel mais elevado de avaliao de programas, sectores, pases e polticas, indo ao encontro das reformas das polticas nos parceiros, criao/reforo das capacidades, e ao aumento da eficcia e eficincia de toda a cooperao portuguesa. Alm disso, algumas avaliaes externas so demasiado dispendiosas relativamente ao custo global das intervenes e/ou relativamente aos benefcios potenciais que advm dos seus resultados.

Contudo, isto no significa que a avaliao de projectos e aces no seja importante. De facto, a avaliao deve constituir uma rotina da boa gesto, para avaliar a forma como so concebidas e implementadas as intervenes de desenvolvimento, tendo em vista torn-las mais eficazes e optimizar os seus resultados, fornecendo informao pertinente para uma gesto eficaz a todos os nveis e numa ptica da gesto centrada nos resultados.

Por outro lado, necessrio assegurar um acompanhamento mais completo de todas as actividades da nossa cooperao e a avaliao deve ser uma fase do ciclo do projecto tal como as restantes (programao, identificao, instruo, financiamento, implementao). Por isso, quando no possvel ou vivel proceder avaliao externa, deve optar-se pela avaliao interna ou pela auto-avaliao constituindo-se, assim, como um instrumento complementar de prestao de contas e de aprendizagem.

A avaliao tambm deve ser vista como um exerccio que promove a apropriao, sendo por isso importante que os diversos actores da cooperao faam e/ou participem em exerccios avaliao das intervenes de desenvolvimento que executam, em articulao, sempre que necessrio, com os servios de avaliao do IPAD.

A auto-avaliao no pretende alcanar os mesmos resultados que uma avaliao externa, mas ela um instrumento complementar que permite a aprendizagem e a reflexo, pelo maior nmero possvel de actores, sobre os resultados da cooperao para o desenvolvimento e, simultaneamente, contribui para a criao de uma cultura de avaliao. Ao tornar-se uma rotina comum a todos os actores da cooperao e ao impor-se como uma etapa normal no ciclo de vida
Pgina 46 de 99

das intervenes contribui para a prestao de contas e para a incorporao das boas prticas permitindo a correco das lacunas identificadas no sentido de se alcanarem os resultados pretendidos, em suma, para o aumento da eficcia da ajuda.

3.2 Quando se faz

A auto-avaliao deve ser feita anualmente, ou em momentos considerados de viragem/mudana/balano (para que os resultados possam dar um contributo decisivo para as fases seguintes), e no momento de concluso das intervenes de desenvolvimento.

3.3 Quem faz

Na auto-avaliao h uma coincidncia entre avaliador e avaliado, ou seja, quem faz a avaliao quem executa/acompanha a interveno de desenvolvimento. Ela pode ser feita por uma nica pessoa e, neste caso, esta deve ser a mais indicada: o gestor, chefe de equipa ou o responsvel pelo acompanhamento da interveno.

Contudo, muito se pode ganhar se ela for realizada com mais pessoas. A questo que se coloca quantas pessoas devem participar na auto-avaliao. Neste caso ningum deve ser forado a participar. Ainda que o grau de entusiasmo possa variar, importante que todos se sintam parte do processo e que se revejam nos resultados do mesmo.

3.4 - Como se faz

necessrio ter perfeitamente claro a partir de que ponto a auto-avaliao se vai fazer. Para simplificar o trabalho e facilitar o tratamento dos resultados so normalmente utilizadas fichas tipo para a avaliao interna. A resposta s questes da avaliao pressupe um exerccio de recolha e anlise de informao. O(s) tcnico(s) encarregue(s) de responder pode(m): Consultar os documentos do projecto/interveno para identificar e ter em considerao os recursos, resultados e objectivos previamente definidos; Fazer referncia aos documentos da contabilidade (oramento previsto, balanos, etc.); Apoiar-se nas fichas de acompanhamento; Comparar, do ponto de vista quantitativo e qualitativo, as aces da cooperao portuguesa e as de outros doadores no mesmo sector e/ou na mesma regio; Recolher as apreciaes/opinies dos responsveis locais e dos beneficirios directos, sobre essa interveno de desenvolvimento.

Pgina 47 de 99

Os relatrios de auto-avaliao do informao sobre os critrios tradicionais: eficcia, eficincia, relevncia, impacto e sustentabilidade de uma interveno de desenvolvimento e incluem as principais constataes, recomendaes e lies aprendidas. Analisam, ainda, questes importantes como a coordenao e a complementaridade. Constituem-se, pois, como instrumentos de aprendizagem e de aperfeioamento no qual os participantes so os prprios responsveis.

A auto-avaliao tem por base as percepes dos participantes. No h receitas universais. Cada auto-avaliao nica. A ficha que a seguir se apresenta constitui uma hiptese de trabalho que pode e deve ser adaptada a cada circunstncia especfica. Trata-se, sobretudo, de sugestes que mostram formas de encontrar uma metodologia adequada e um instrumento que pode estimular novas abordagens.

3.5 A quem se destinam os resultados

Os resultados da auto-avaliao devem ser enviados s entidades coordenadoras da cooperao portuguesa para que possam tomar decises mais esclarecidas. Contudo, eles devem servir, sobretudo quando se trata de uma auto-avaliao no percurso, para os servios que no terreno so responsveis pela gesto das intervenes procederem a reorientaes numa ptica da gesto centrada nos resultados. Informaes adicionais: http://www.fao.org/pbe/pbee/common/ecg/195/en/auto_evaluation_guide.pdf http://www.fao.org/sd/ppdirect/ppre0059.htm http://www.unhcr.org/cgi-bin/texis/vtx/research/opendoc.pdf?tbl=RESEARCH&id=429d7be52

Pgina 48 de 99

MODELO DE FICHA DE AUTO-AVALIAO DE UMA INTERVENO DE DESENVOLVIMENTO

Responsvel no IPAD Gestor no terreno Local de implementao Beneficirios

Descrio das aces realizadas desde o incio da interveno

AVALIAO DA INTERVENO DE DESENVOLVIMENTO

(Apreciao do seu valor em funo dos critrios utilizados na avaliao das polticas pblicas: relevncia, coerncia, eficcia, eficincia, viabilidade/sustentabilidade e impacto)

RELEVNCIA/PERTINNCIA
(Conformidade da interveno relativamente aos objectivos e resultados pretendidos) 1. A que prioridade do pas parceiro corresponde a interveno? 2. A que prioridade corresponde a interveno, no quadro do PIC/PAC? 3. H outras aces da cooperao portuguesa a serem desenvolvidas no quadro desta prioridade? Quais? 4. Em caso afirmativo da questo anterior, existe articulao entre elas? De que tipo? 5. Em que objectivo(s) de longo prazo do parceiro se enquadra a interveno? (por referncia ENRP* do pas em questo) (por referncia ao PIC/PAC do pas em questo)

* Estratgia Nacional de Reduo da Pobreza ou documento equivalente.

COERNCIA
(Grau de adequao entre os meios e os objectivos da interveno) 1. Com a experincia adquirida no decorrer da interveno e tendo em conta as condicionantes locais, at que ponto os meios em qualidade e quantidade afectos interveno foram os mais adequados para alcanar o objectivo previsto? 2. Como e por quem so asseguradas a direco e coordenao das diversas actividades da interveno? Essa coordenao permite a coerncia das aces? 3. Existe adequao entre as expectativas das partes? 4. A parceria foi satisfatria nas diferentes fases da interveno?

Pgina 49 de 99

COORDENAO E COMPLEMENTARIDADE
(Grau de articulao entre os parceiros do desenvolvimento e existncia de sinergias entre os mesmos) 1. H outros actores da cooperao para o desenvolvimento a intervir no mesmo sector? Quais? 2. A interveno coordenada com essas actuaes? Como? 3. H complementaridade, ou seja, cada parceiro concentra a sua actuao em reas especficas? Quais? 4. H articulao com as autoridades locais? A que nvel e como? 5. H partilha de competncias? A que nvel e como?

EFICCIA
(Relao entre objectivos pretendidos e resultados alcanados, ou seja, grau de realizao dos objectivos previstos) 1. Resultados pretendidos Relembrar como foram formulados os resultados pretendidos (indicadores de resultados): - Em termos qualitativos (criao ou consolidao de uma estrutura, valorizao profissional, reforo das capacidades, modificao de uma legislao,... - Em termos quantitativos (ex. n. de pessoas formadas, % de satisfao na populao alvo da interveno, etc.) Propor uma anlise qualitativa dos resultados obtidos at ao momento (indicadores de resultados - bens e servios fornecidos): Propor uma anlise quantitativa dos resultados obtidos at ao momento (podem mencionar-se aqui os montantes significativos que permitem medir os resultados da interveno) Comparar os resultados intermdios/finais com os resultados reais. Analisar os eventuais desvios (falta de cumprimento da parte portuguesa, do parceiro local, falta de pertinncia da interveno, falta de motivao, problemas de coerncia,...)

2. Resultados reais

3. Anlise dos eventuais desvios

4. A interveno teve efeitos imprevistos? Se sim, so positivos ou negativos? Analislos.

EFICINCIA
(Em que medida os recursos utilizados foram os mais adequados e econmicos para os objectivos a atingir) 1. Os montantes do IPAD efectivamente Explicar porque houve uma subutilizao das verbas ou, pelo despendidos correspondem ao previsto? contrrio, gastos excessivos. 2. Haveria outros meios, em quantidade e qualidade, mais adequados para alcanar o objectivo especfico? Se no, porqu? 3. Os outros co-financiadores cumpriram os seus compromissos financeiros? Se no, porqu? 4. As receitas eventuais da interveno (por exemplo propinas) corresponderam ao previsto? 5. Os resultados alcanados Indicar, se possvel, os ratios financeiros (ex. relao entre o correspondem aos montantes n. de pessoas formadas e as despesas globais para obter um despendidos pelo IPAD? custo mdio de formao) Pgina 50 de 99

VIABILIDADE/SUSTENTABILIDADE
(Capacidade de as actividades da interveno perdurarem e desenvolverem-se no tempo. Probabilidade de os benefcios perdurarem a longo prazo.) 1. As actividades geradas pela interveno terminaram ou continuam? Se continuam, de que forma, em que quadro e com que meios esto a ser realizadas? 2. H apropriao da interveno pelos beneficirios? Como? 3. O responsvel local pela cooperao portuguesa acompanhou a interveno? Como? Com que tipo de financiamento?

RESULTADOS OBTIDOS E IMPACTO

(Aquilo que uma interveno alcanou ou alcanar no curto e no mdio prazo. Caracterstica de uma interveno se traduzir em actividades reais. Influncias da interveno, para alm dos resultados pretendidos, noutros domnios ou noutro plano.) 1. Qual o estado de avano da interveno? As aces previstas foram realizadas? Quais as que foram anuladas ou atrasadas? Porqu? 2. O calendrio previsto foi respeitado? A que se deve imputar o eventual atraso? 3. Os recursos foram todos utilizados conforme o planeado? Se no, porqu? 4. A interveno susceptvel de ter, para alm dos seus efeitos imediatos, incidncia noutros domnios ou noutro plano? 5. Que imagem tem a interveno junto dos seus parceiros? 6. A interveno beneficia de boa visibilidade? Que estratgia de comunicao o responsvel local pela cooperao desenvolveu para dar a conhecer a interveno e valorizar, por essa via, a aco de Portugal?

CONCLUSES E CONSTATAES
Pontos fortes Pontos fracos Constrangimentos Destacar os aspectos previstos mais positivos e/ou os que tenham ultrapassado as expectativas Destacar os aspectos negativos, objectivos no alcanados, actividades no realizadas, etc. Destacar os aspectos que no permitiram alcanar os Objectivos Especficos e/ou as actividades previstas

LIES APRENDIDAS
(Generalizaes baseadas na avaliao das experincias da interveno que permitem retirar ensinamentos de circunstncias especficas para situaes mais abrangentes. Frequentemente as lies sublinham os pontos fortes e fracos na preparao, concepo e execuo da interveno que afectam o desempenho, os resultados e o impacto.)

Pgina 51 de 99

RECOMENDAES
(Propostas que tm por objectivo promover a eficcia, qualidade ou eficincia de uma interveno de desenvolvimento, reorientar os objectivos, e/ou redistribuir/reafectar recursos. As recomendaes devem estar relacionadas com as concluses.) 1. Com base na avaliao desta interveno e da sua anlise da situao local no sector em causa, diga quais so as aces que devem ser prioritariamente realizadas. Com que objectivos, meios e instrumento(s) da cooperao? 2. Outras observaes eventuais Referir outros aspectos considerados relevantes para a melhoria dos resultados da interveno.

INCORPORAO DAS RECOMENDAES / SEGUIMENTO

(Quadro a preencher pelo responsvel local pela cooperao ou pelo responsvel pelo acompanhamento da interveno)

ANEXOS
Qualquer documento produzido no pas parceiro (artigo de jornal, brochura, correio, ...) susceptvel de ilustrar ou autentificar as apreciaes formuladas na presente ficha deve se anexada.

Pgina 52 de 99

IV Mtodos e tcnicas de avaliao

Com a definio e aprovao do plano de trabalho16 claramente identificado o que os avaliadores vo fazer e o que se pretende alcanar. A partir da, o desafio para os avaliadores passa a ser recolher e analisar a informao a ser usada na formulao dos resultados da avaliao.

Cada questo da avaliao requer tcnicas particulares e pressupe um procedimento particular, no fim do qual se tero reunido os elementos necessrios construo de um raciocnio (argumentao) que permite exprimir uma apreciao vlida (ou convincente). O conjunto de procedimentos na avaliao composto por diversos instrumentos e tcnicas.

Neste captulo, que no pretende ser exaustivo, apresentam-se alguns mtodos de recolha de informao e instrumentos de avaliao. A sua elaborao baseou-se em outros manuais de avaliao disponveis, nomeadamente os do Banco Mundial e da EuropeAid.

4.1 A Recolha de dados

Para responder s questes da avaliao, a equipa recolhe dados j disponveis (dados secundrios) e utiliza mtodos de recolha de dados para obter novas informaes (dados primrios).

A recolha da informao inclui, normalmente, (i) anlise dos documentos e pesquisa de literatura; (ii) consulta/entrevistas com os tcnicos e dirigentes nos actores da cooperao em Portugal; e (iii) informao recolhida atravs da deslocao ao terreno quer atravs de observao directa, quer atravs de entrevistas, inquritos, sesses de focus group, etc.

Para evitar duplicao de esforos, os avaliadores devem comear por consultar a informao disponvel. Esta informao rpida de obter quando comparada com os dados primrios e pode ajudar a responder, em parte, a algumas questes da avaliao. Pode ser obtida nos dossiers de gesto e acompanhamento, em estudos e investigaes relativas rea em questo, atravs de fontes estatsticas publicadas e de relatrios de avaliao j realizadas. O recurso a esta

16

No plano de trabalho figuram: As principais fontes de informao escolhidas para apreciar os resultados; Os mtodos de recolha de dados; As tcnicas de anlise da informao. Pgina 53 de 99

informao ajuda o avaliador a adquirir uma perspectiva histrica e a esclarecer-se sobre a interveno a avaliar. Permite tambm conhecer os detentores de interesse.

A anlise da informao existente pode ser til para clarificar/refinar as questes de avaliao, identificar informadores para posterior entrevista, desenvolver protocolos/minutas/registo de entrevistas e determinar que dados importantes para a avaliao esto em falta e devem ser recolhidos pelos avaliadores.

Contudo, podem surgir dificuldades e problemas de fiabilidade. Se os dados no forem relevantes podem pr em causa a credibilidade da avaliao. Por outro lado, podem surgir problemas de: Acesso informao; Falta de cooperao por parte de quem detm a informao; Dados contraditrios, fornecidos por informadores diferentes; Distncia cultural; Ausncia ou fraqueza da informao pretendida.

Por isso, antes de os dados existentes serem usados deve ser dada particular ateno aos seguintes aspectos: Conceitos: os dados medem /reflectem o que se quer tratar? Dados em falta Preciso: as fontes e os mtodos de medio so fiveis? Idade: quando teve lugar a medio? Fiabilidade ao longo do tempo: as definies ou os mtodos de medio mudaram no perodo em anlise? Comparabilidade: as definies e os mtodos de medio so consistentes de um lugar para outro? Dados agregados: os dados esto agregados com outros? Desagregao: possvel separar dados em subcategorias ou subsectores mantendo uma base estatstica suficientemente grande?

Para resolver eventuais problemas, preciso estar-se atento na utilizao dos dados secundrios, recomendando-se: Sempre que possvel, devem ser usadas fontes mltiplas de evidncia como forma de validar a informao.

Pgina 54 de 99

Estar atento a interesses encobertos quando se usam dados secundrios. Os que so responsveis pela sua recolha podem ter razes para mostrar uma viso pessimista ou optimista.

Na medida em que contribui para a fiabilidade e validade dos dados recolhidos, a recolha normalizada facilita a reunio dos elementos de informao. O recurso a estes instrumentos de recolha de dados tais como guies de entrevistas e questionrios favorece a normalizao. Esta forma de proceder contribui para a fiabilidade e a validade dos dados porque se colocam questes tipo, que tm o efeito de normalizar a recolha no seu todo e permitir a reunio dos elementos de informao recolhidos.

Se se pretende obter resultados teis e credveis, importa escolher bons instrumentos, adapt-los s necessidades ou criar novos. Por vezes oportuno consultar relatrios de avaliao semelhantes para encontrar os instrumentos cuja validade e fiabilidade esto provados. No caso das avaliaes complexas, um estudo piloto destinado a verificar a clareza e legibilidade dos dados pode ser til.

Em funo da natureza da informao, podem utilizar-se tcnicas quantitativas ou qualitativas para a sua recolha: Tcnicas qualitativas tcnicas de recolha de informao cujos resultados so informaes que se exprimem em palavras, incluindo descries de situaes, eventos, pessoas, interaces e comportamentos observados. So tcnicas que se concentram nos sinais e smbolos que decifram a realidade tal como a v a prpria populao. So tcnicas interactivas em que se tem a oportunidade de rever os guies das entrevistas e formas de registo da observao medida que se realiza o estudo e vm luz novos factos. As tcnicas qualitativas mais utilizadas na avaliao de intervenes de desenvolvimento so as entrevistas a informadores chave, as entrevistas comunidade, os grupos de discusso e a observao participante. As tcnicas qualitativas so mais adequadas que as quantitativas para reunir informao sobre atitudes, motivaes, crenas, aspiraes, expectativas ou percepes. Tcnicas quantitativas tcnicas que recolhem informao que produz dados numricos. O mtodo mais amplamente utilizado para recolher dados quantitativos o inqurito estruturado. As tcnicas quantitativas so mais adequadas que as qualitativas para obter nmeros, taxas e percentagens e para recolher informao sobre factos e acontecimentos.

Para aprofundar a informao recolhida do processo de acompanhamento utiliza-se, normalmente, uma amostra. Por isso, a amostragem um conceito importante para vrias tcnicas no processo
Pgina 55 de 99

de avaliao. A amostragem no um instrumento em si mesmo mas usado com outros instrumentos muito til. A amostragem responde questo: quem se deve inquirir, entrevistar, incluir num grupo de discusso, etc. uma forma de estreitar / reduzir o n de possveis inquiridos para os tornar gerveis e econmicos.

Tambm aconselhado usar a triangulao. Isto significa que um conjunto de dados ou informaes confirmado por outro. A confirmao procurada atravs de vrias fontes que dizem a mesma coisa.

A recolha e anlise de dados devem responder s questes enunciadas no plano de trabalho do avaliador. No raro que problemas de indisponibilidade ou de mo-de-obra qualificada surjam no terreno, o que obriga o avaliador a encontrar outras solues. Entre os problemas susceptveis de surgir encontram-se: A recusa de reconhecer a existncia de dados; A ausncia de dados que permitam responder s questes; A falta de informao ou a sua m qualidade; Os problemas de validade ou fiabilidade; As informaes contraditrias; O carcter delicado de certas informaes difceis de divulgar; As provas sobre as faltas que foram cometidas.

Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/methods/mth_obs_en.htm http://www.unfpa.org/monitoring/toolkit/5data.pdf http://www.civicus.org/new/media/Monitoring%20and%20Evaluation.pdf http://learningstore.uwex.edu/pdf/G3658-4.pdf Observao directa http://learningstore.uwex.edu/pdf/G3658-5.PDF http://www.evalsed.info

Amostragem http://learningstore.uwex.edu/pdf/G3658-3.PDF

4.2 A anlise dos dados

A anlise dos dados pode assumir muitas formas desde a descrio bsica a anlises estatsticas mais complexas, em funo do tipo de dados e da complexidade das questes.
Pgina 56 de 99

A anlise um processo que transforma a informao detalhada em interpretaes, tendncias, e padres ou modelos compreensveis. O ponto de partida para a anlise muitas vezes pouco cientfico. um raciocnio intuitivo dos temas chave que saem do processo de recolha da informao. Quando se tm os temas chave possvel trabalhar a informao, estrutur-la e organiz-la. O passo seguinte escrever a anlise das constataes como uma base para alcanar concluses e fazer recomendaes. O processo o seguinte:
Determinar os indicadores chave para o processo de avaliao Recolher informao sobre os indicadores Desenvolver uma estrutura para a anlise, assente na compreenso intuitiva dos temas e preocupaes centrais, e onde se suspeita que h variaes relativamente ao desejado e/ou esperado Pegar na informao, organiz-la dentro dos temas e preocupaes Identificar padres, tendncias, possveis interpretaes Realar as constataes e concluses. Desenvolver possveis formas para o futuro (recomendaes) Fonte: CIVICUS

A equipa de avaliao identifica as principais constataes e progressivamente produz concluses provisrias. Neste ponto favorvel a abordagem de brainstorming. Esta uma anlise exploratria. Ambas, constataes e concluses provisrias, so depois partilhadas e submetidas crtica dos detentores de interesse mais importantes, at poderem ser confirmadas com base credvel e segura. Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/methods/mth_ana_en.htm http://www.civicus.org/new/media/Monitoring%20and%20Evaluation.pdf http://learningstore.uwex.edu/pdf/G3658-12.PDF http://learningstore.uwex.edu/pdf/G3658-6.pdf

4.3 Tcnicas e ferramentas

Praticamente todas as tcnicas das cincias econmicas e sociais so utilizadas na avaliao. Os inmeros mtodos podem coexistir na recolha e anlise da informao apesar das suas caractersticas diferentes. Acresce que a anlise da informao frequentemente usada como sinnimo de avaliao. Embora seja difcil fazer uma distino clara entre elas, a tnica colocada no facto de que a avaliao conduzida atravs da recolha e anlise da informao.
Pgina 57 de 99

Os mtodos que se seguem no pretendem ser exaustivos. Alguns so complementares, outros so alternativos. Uns tm uma aplicao ampla, outros so muito limitados a determinados aspectos. A escolha de qual o mais adequado a uma dada avaliao depende de uma srie de consideraes. necessrio escolher os mtodos que melhor se adeqem ao mbito e objectivos da avaliao bem como aos recursos disponveis. Uma das qualidades da equipa de avaliao ser capaz de identificar os procedimentos tcnicos que lhe permite chegar a concluses convincentes para cada uma das questes.

As informaes que se seguem referentes a cada mtodo pretendem apenas dar a conhecer as suas caractersticas principais. Para um conhecimento mais aprofundado e forma de implementao, aconselha-se a consulta da informao adicional.

4.3.1 - Abordagem do quadro lgico

Conceito /Definio: O quadro lgico ajuda a clarificar os objectivos de qualquer projecto, programa ou poltica. Contribui para a identificao das relaes de causalidade previstas a lgica do programa na cadeia recursos, actividades, produtos, resultados e efeitos. Conduz identificao de indicadores de desempenho em cada fase desta cadeia, bem como dos riscos que possam impedir o alcanar dos objectivos. O quadro lgico tambm um instrumento para atrair os parceiros na clarificao de objectivos e na concepo de actividades. Durante a implementao, o quadro lgico serve como instrumento til de anlise do progresso e para tomar medidas correctivas. Utilizao / Aplicao: Melhorar a qualidade da concepo dos projectos e programas, exigindo a especificao de objectivos claros, o uso de indicadores de desempenho e uma avaliao dos riscos. Resumir a concepo de actividades complexas. Ajudar a preparar planos operacionais pormenorizados. Fornecer uma base objectiva para a anlise, acompanhamento e avaliao das actividades.

Vantagens: Assegura que os responsveis pela tomada de decises formulem as perguntas fundamentais e analisem os pressupostos e riscos. Envolve as partes interessadas no processo de planeamento e acompanhamento.

Pgina 58 de 99

Quando utilizado de forma dinmica, um instrumento eficaz de gesto que permite orientar a execuo, o acompanhamento e a avaliao.

Limitaes: Se for utilizada com rigidez, impede a criatividade e a inovao. Se no for actualizado durante a implementao, pode converter-se num instrumento esttico que no reflecte a realidade. Muitas vezes requer actividades complementares de acompanhamento e de capacitao.

Informaes adicionais: http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BCBD707EDDD4 49885256F02006323BE/$file/me_portuguese.pdf http://www.ausaid.gov.au/ausguide/pdf/ausguideline3.3.pdf http://topics.developmentgateway.org/evaluation/rc/filedownload.do~itemId=1079480 http://lgausa.com/logframe_approach.htm http://www.sida.se/shared/jsp/download.jsp?f=SIDA1489en_web.pdf&a=2379 http://www.jica.go.jp/english/evaluation/guides/pdf/guideline02-01.pdf

4.3.2 rvore de problemas

Conceito /Definio: A anlise de problemas um meio de testar a validade dos objectivos de um projecto, programa ou estratgia. Como um programa visa resolver uma srie de problemas, a avaliao deve preocuparse com a validade da sua anlise. Por isso, os avaliadores devem testar: A validade do procedimento: como que os problemas foram identificados e classificados? A coerncia aparente da relao dos problemas: h relaes causais relevantes?

A equipa de avaliao pode apreciar a qualidade da anlise e a conformidade entre a anlise da situao e a estratgia (ou programa) adoptada. Utilizao / Aplicao: A rvore de problemas, enquanto construo de avaliao ex-post pode ser uma ferramenta para testar a coerncia e relevncia da anlise relativamente aos principais problemas contextuais. Pode ser utilizada nas avaliaes a uma regio ou pas porque o quadro lgico explicita a deciso de fornecer ajuda a uma regio ou pas num dado momento, identificando os objectivos

Pgina 59 de 99

dessa ajuda e os problemas a resolver. Como a avaliao reconstri a anlise feita, este tipo de instrumento particularmente importante para: Analisar os problemas explcitos includos na documentao a traduo da anlise numa rvore permite ao avaliador testar a coerncia da anlise e sua relevncia para os objectivos. Por isso, deve ser reconstruda a rvore de problemas. Analisar problemas no explcitos na documentao a anlise da situao facilita o estabelecimento de uma rvore de problemas, os quais devem ser resolvidos com a ajuda. Esta fase deve facilitar a reconstruo de um rvore de objectivos ou, no mnimo, validar o elaborado de acordo com a documentao. Vantagens: Apresentao dos problemas a rvore apresenta os vrios problemas e suas relaes com o problema central atravs de um sistema de ramos. Mostra as relaes lgicas entre eles ou, pelo contrrio, a lgica fraca dessas ligaes. Problema principal e problemas contextuais na anlise da situao, a rvore faz a distino entre os problemas relacionados com o contexto das actividades e os problemas a serem resolvidos pela estratgia e pelo planeamento. Como consequncia, a sua construo requer a nfase das prioridades da ajuda ao desenvolvimento e explica porque certos problemas so considerados to importantes na estratgia e outros no. Definio de objectivos a rvore de problemas permite ao avaliador: Mostrar os objectivos implcitos da estratgia (ou programa); Testar a validade dos objectivos expressos na estratgia e nos documentos de programao. Contribui para a organizao da avaliao volta da questo essencial, que sistematicamente colocada: em que medida os objectivos foram alcanados? Limitaes: Acesso informao a falta de dados ou a dificuldade de acesso informao pode diminuir a qualidade da anlise da situao. O avaliador deve, por isso, reflectir sobre as seguintes questes: A anlise suficientemente global e cobre os principais aspectos da situao? A informao actual, isto , baseada em dados suficientemente actualizados? A informao dinmica, isto , tem em conta as tendncias observadas e as mudanas de findo da sociedade? Qualidade da anlise A metodologia para a anlise no garante elevada qualidade dos dados, quer para a metodologia, quer para as fontes de informao, que so habitualmente
Pgina 60 de 99

mencionadas nos documentos de estratgia, programao e poltica. O avaliador deve pois sistematicamente alargar a apreciao para incluir as fontes de anlise desenvolvida nesses documentos. A metodologia usada, a natureza das principais fontes de informao e a identidade dos autores deve tambm ser mencionada. Problema principal / problema contextual a determinao das prioridades de cada problema resulta da sua classificao em duas categorias: problemas contextuais e problema principal. Duas questes devem ser resolvidas: A determinao destas prioridades est explicada? Os dados disponveis permitem ao avaliador apreciar a relevncia dessa explicao? Seleco do problema principal a seleco do problema principal, crucial para a construo da rvore, particularmente desafiadora quando os objectivos das actividades so gerais e abarcado todo o tipo de problemas ao nvel do pas (ou da regio) so consideradas. A documentao pode mostrar dois problemas principais que carecem de ligaes entre eles ou podem parecer insuficientes para a determinao de um nico problema central. Ilustrao tipo rvore a forma como se elabora uma rvore ilustra uma classificao que nem sempre reala a complexidade da situao e das interaces entre questes. Na realidade, a construo deste tipo de diagramas depende de convenes grficas como: No h ilustrao de interaces entre problemas na mesma coluna No h ilustrao de ligaes de feedback (os efeitos tornam-se causa e vice-versa) Vrias caixas podem ilustrar vrios problemas de causa nica. Conhecimento da situao no pas ou na regio a equipa de avaliao pode no ter o conhecimento suficiente do pas ou regio para apreciar a relevncia da anlise realizada ou a determinao da lgica estabelecida para o problema principal. Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/examples/exp_too_obj_two_en.pdf http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_dpm_en.htm http://ec.europa.eu/europeaid/qsm/documents/pcm_manual_2004_en.pdf http://ec.europa.eu/europeaid/reports/pcm_guidelines_2004_en.pdf http://www.unsiap.or.jp/completed_prog/workshop/ms/ms4/modules/ms4_m2p1.pdf http://www.who.int/ncd/vision2020_actionplan/documents/LFAguidelines.pdf

Pgina 61 de 99

4.3.3 rvore de objectivos e de efeitos

Conceito /Definio: A ajuda ao desenvolvimento (projectos, programas e estratgias) centra-se normalmente num objectivo a ser alcanado, ou num efeito pretendido. O objectivo expresso em termos de uma interveno, enquanto o impacto expresso em termos de consequncia da interveno.

Vrios glossrios de avaliao fornecem definies destes dois termos como, por exemplo, o Glossrio da OCDE: http://www.ipad.mne.gov.pt/images/stories/Avaliacao/gloosaval_port.pdf

Objectivo de desenvolvimento Impacto positivo esperado, em termos fsicos, financeiros, sociais, ambientais ou outros, por uma ou vrias intervenes de desenvolvimento, numa sociedade, grupo ou comunidade receptora. Impacto Efeitos a longo prazo, positivos e negativos, primrios e secundrios, induzidos por uma interveno de desenvolvimento, directa ou indirectamente, previstos ou no.

Quando a rvore usada como um instrumento estruturante os efeitos apresentados so os efeitos pretendidos com a ajuda. A rvore pode ser usado como um instrumento de anlise dos efeitos do programa. Os efeitos apresentados so os efeitos observados: na fase de planeamento, as metas so habitualmente expressas em termos de objectivos. Na fase de avaliao, os conceitos de objectivos e efeitos podem ser usados indistintamente.

Utilizao / Aplicao: As rvores de problemas so habitualmente usados como instrumento de organizao. Fornecem o quadro para a recolha da informao e a realizao das entrevistas em profundidade durante a apreciao do programa ou estratgia. Relacionam os efeitos directos e os impactos esperados pelo programa. A construo de diagramas deste tipo deve, por isso, constituir uma das primeiras tarefas da avaliao. A rvore de objectivos ilustra a classificao, desde o objectivo geral aos objectivos operacionais detalhados. A rvore de efeitos e impactos mostra a classificao dos resultados, efeitos e impactos do que foi pretendido com a implementao do sistema de objectivos.

Pgina 62 de 99

 No contexto da avaliao, as rvores so usados para reconstruir a lgica da cooperao com um pas. Esta lgica reconstruda poder ser expressa num ou mais rvores lgicos de efeitos. Antes de preparar a(s) rvore(s) de efeitos, a equipa ter de hierarquizar os objectivos da cooperao definidos e traduzi-los para os efeitos pretendidos. Estes efeitos constituem as caixas do(s) rvore(s). As rvores podem ser usadas: Em programas estabelecidos com base no quadro lgico neste caso o programa identifica claramente os vrios nveis de objectivos pretendidos pelo programa. O quadro lgico assim um ponto de referncia para a avaliao. A rvore de efeitos pode ser deduzido a partir do quadro lgico dos objectivos da interveno. O avaliador deve reproduzir a rvore de objectivos includa no programa ou, se esta no estiver disponvel, reconstru-la com a ajuda da primeira coluna do quadro lgico e, se necessrio, convert-lo numa rvore de efeitos. Em polticas e estratgias mais complexas a rvore de objectivos tambm pode ser usado na avaliao de projectos e programas cujo fundamento no explicitado num quadro lgico. Na prtica, os objectivos e efeitos pretendidos de polticas e estratgias complexas carecem muitas vezes de apresentao explcita e estrutura lgica, enquanto que a justificao para uma avaliao capaz de responder s seguintes questes: Os objectivos ou efeitos pretendidos da poltica ou estratgia foram alcanados? Em que medida esses objectivos ou efeitos pretendidos foram alcanados?

Para realizar a avaliao, o avaliador tem que determinar e hierarquizar os objectivos/efeitos da estratgia ou poltica. Neste contexto, uma rvore de objectivos combinado com um rvore de efeitos um instrumento eficaz para a reconstruo e apresentao do sistema de objectivos e/ou de efeitos.

Para programas estabelecidos a partir do quadro lgico, tal como em polticas e estratgias mais complexas, a construo de uma rvore de objectivos e de efeitos deve ser uma das primeiras tarefas do avaliador. A rvore orienta a primeira fase de recolha de informao e a compreenso das entrevistas, cujo objectivo desenvolver um conhecimento aprofundado da poltica ou programa que est a ser avaliado. Vantagens: Classificao lgica dos objectivos e dos efeitos a rvore ilustra explicitamente os objectivos/efeitos e suas vrias colunas, desde o objectivo global (mais ou menos a longo
Pgina 63 de 99

prazo) at s actividades que j foram implementadas ou o vo ser. Revela as ligaes lgicas entre objectivos/efeitos ou a sua ausncia. Definio das questes da avaliao atravs da rvore, o avaliador olha para as vrias questes que o ajudam a responder questo central: em que medida os objectivos definidos e os efeitos pretendidos foram alcanados? Apresentao da estratgia quando a rvore de objectivos bem estruturado e apresentado de forma clara, um instrumento educativo valioso que facilita a compreenso da estratgia. Limitaes: Uma simplificao da realidade enquanto grfico, a rvore uma representao simplificada da realidade e o seu valor educativo depende da seleco de um grau de simplificao sensato. Para evitar uma excessiva simplificao dos factos, o avaliador pode desenvolver sub-rvores centrados em partes especficas da rvore principal. Uma suposta coerncia a rvore estabelece uma ligao lgica entre um objectivo e outro pertencente linha abaixo, ou entre um efeito e outro da linha abaixo. Cada objectivo subordinado apresentado como dependendo logicamente de um nvel de efeitos mais elevado. O resultado da implementao das actividades ou calendarizadas pelo programa aparecem como um contributo para o objectivo principal/efeito e apoiam a coerncia dos objectivos e do sistema de efeitos.

As rvores de objectivos e de efeitos conciliam uma srie de escolhas. Cada objectivo ou efeito de uma dada linha alcanado atravs da implementao dos objectivos subordinados ou efeitos cuja seleco deve ser explicada. Na verdade, uma estratgia ou um programa raramente resolvem todo o mbito do objectivo global, limitando-se a escolhas para cada linha de objectivos ou efeitos. A menos que a avaliao possa encontrar uma explicao para as escolhas feitas na documentao estratgica, preciso dar uma resposta a vrias questes: Estas escolhas so a nica possibilidade? H objectivos mais relevantes para a linha X? Que factores externos conduziram a esta seleco? Que razes conduziram eliminao de certos objectivos? Se o avaliador no tiver em conta estas questes, a avaliao da relevncia e da coerncia de um programa ou estratgia pode ser superficial.

Pgina 64 de 99

Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_obj_som_en.htm http://ec.europa.eu/europeaid/reports/pcm_guidelines_2004_en.pdf http://www.who.int/ncd/vision2020_actionplan/documents/LFAguidelines.pdf

4.3.4 rvore de decises

Conceito /Definio: A rvore de decises mostra o processo durante o qual os objectivos estratgicos e as polticas globais de cooperao com os pases parceiros so convertidas em decises de cooperao a curto e mdio prazo.

Ilustra as sucessivas decises informais e oficiais, resultando na programao da ajuda ao desenvolvimento. Podem ser encontrados dois tipos de factores de deciso: Factores includos no processo de deciso, em que cada um selecciona objectivos, justificando os do nvel mais baixo. Factores externos que influenciam a tomada de deciso.

Utilizao / Aplicao: Durante a avaliao de estratgias, a rvore de decises permite ilustrar as escolhas. As estratgias e polticas de interveno definidas pelos doadores bi e multilaterais tm objectivos explcitos e implcitos. Os documentos que os apresentam contm habitualmente uma srie de objectivos mais ou menos organizados e entre os quais podem ser identificados um ou mais objectivos gerais, objectivos operacionais relativos a projectos de ajuda ao desenvolvimento e uma srie de objectivos intermdios a vrios nveis. Assim, os itens operacionais de um programa que dependem de um documento estratgico ou poltico, so suportados por um sistema de objectivos dado nesses documentos. Numa rvore de objectivos, a seleco de um objectivo hierarquicamente superior e a sua desagregao em vrios objectivos intermdios, at aos objectivos operacionais , muitas vezes, o resultado de escolhas no explcitas. A menos que as decises sejam julgadas arbitrrias, a seleco realizada pelos autores dos documentos estratgicos e de programao depende de vrios fontes: Recomendaes das instituies nacionais e supra-nacionais Anlise de acontecimentos/dados externos
Pgina 65 de 99

Intervenes de outros actores da cooperao Lies aprendidas em anteriores programas ou projectos. A rvore de decises ilustra o impacto desses fluxos de informao nas escolhas sucessivas (isto , a progressiva eliminao de opes alternativas) feitas pelos decisores. Na realidade, cada caixa da coluna central da rvore representa uma escolha (objectivos escolhidos e rejeitados) e as caixas de cada lado ilustram os fluxos de recursos que representam a justificao externa para essas escolhas.

Vantagens: Clarificao da estratgia a rvore reala: O leque de opes para o estabelecimento de um sistema de objectivos (objectivo global, escolha e rejeio de objectivos intermdios, etc.) Os acontecimentos externos que influenciam a tomada de deciso. Complementando a rvore de objectivos e a rvore de efeitos, a rvore de decises facilita a anlise da estratgia em termos de coerncia interna (sucesso lgica das escolhas) e relevncia externa (elementos contextuais e posio dos detentores de interesse).

Ilustrao dos principais parceiros da interveno e anlise dos 3C quando os termos de referncia de uma avaliao requerem uma anlise da parceria, o rvore usado para salientar a interveno dos principais parceiros (governos, pases e outros doadores) na estratgia definida, o estabelecimento de programa e a seleco dos projectos. A rvore pode desempenhar o mesmo papel para a anlise dos 3C (coerncia, coordenao e complementaridade).

Limitaes: Disponibilidade da informao a informao directa sobre os factores que influenciaram o processo de elaborao estratgica e de programao por vezes escassa nos documentos oficiais das estratgias e dos programas. Outros documentos pblicos, como as avaliaes, podem fornecer indicadores mas a informao que do limitada. A documentao restrita (estudos, notas, correspondncia) em princpio mais informativa, mas frequentemente no pode ser consultada ou o seu acesso difcil. A informao verbal tem as mesmas limitaes relativamente disponibilidade e acessibilidade. Incertezas sobre as relaes causais mesmo quando potencialmente so fornecidos elementos informativos (por exemplo, a interveno de outros doadores ou as prioridades do governo) as relaes causais entre as decises nem sempre so explcitas. Por vezes
Pgina 66 de 99

necessrio interpretar a informao, o que pode ser fonte de risco de erro, sobretudo nos casos em que vrias causas fundamentam a tomada de deciso.

Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_dcs_en.htm

4.3.5 Entrevistas
Conceito /Definio: A utilizao de entrevistas uma inevitabilidade na avaliao. uma ferramenta de recolha de informao e pontos de vista. Normalmente assumem a forma de discusso face a face entre o avaliador e o entrevistado. Tm como objectivo recolher informao especfica. So uma maneira flexvel e de baixo custo para obter informao. Utilizam o dilogo para obter e interpretar a informao. Permitem ao entrevistador seguir linhas de investigao interessantes e imprevistas e aos entrevistados decidir as coisas nas suas prprias palavras sem ser limitado a uma srie de respostas previamente determinadas. Tambm se chama inqurito informal ou entrevista informal.

As entrevistas envolvem o colocar questes especficas que visam recolher informao que permite medir os indicadores. As questes podem ser abertas ou fechadas (S/N). Utilizao / Aplicao: As entrevistas podem ser utilizadas com quase todos os envolvidos num projecto ou programa. Podem ser feitas directamente, por telefone, por e-mail ou por correio. As entrevistas podem ser usadas como tcnica de recolha de dados quantitativos, mas so, sobretudo, teis para dados qualitativos. Servem para recolher diferente tipo de informao, quer nas avaliaes formativas, quer nas sumativas: Factos e informaes para a verificao de factos; Opinies e perspectivas; Anlises; Sugestes; Reaco s hipteses e concluses dos avaliadores. Contudo, uma srie de entrevistas no suficiente para quantificar um evento, porque as respostas no so padronizadas. Esta a principal diferena entre entrevistas e
Pgina 67 de 99

questionrios/inquritos. A entrevista uma informao til para desenvolver hipteses e anlises. Pode salientar os objectivos e dinmica do programa, o raciocnio dos detentores de interesse e a organizao das vrias opinies e percepes do programa. Em funo do tipo de ferramenta de observao usado e da fase da avaliao, a entrevista pode ser usada em combinao com outros mtodos: Para testar as principais questes a tratar no incio da avaliao com o objectivo de preparar sesses de focus group Para ser o principal mtodo de observao, e se apoiado por um questionrio (se o contexto geral do pas o permitir) ou, por exemplo, por uma sesso de focus group de beneficirios.

Tipos de entrevistas
Em funo da fase da avaliao o tipo de entrevista pode variar.

Tipos de entrevistas adequadas para as vrias fases da avaliao

Fase avaliao Trabalho gabinete da de Tipo de entrevistas Entrevista preparatria Usada para definir a grelha de questes e a seleco de quem ir responder. Nesta fase, o guio da entrevista deve ser flexvel e ter como objectivo fazer salientar os tpicos sobre os quais a entrevista se baseia. A entrevista desenhada para recolher informao e pontos de vista. Vrios guies de entrevista devem ser definidos para corresponder s diferentes categorias de entrevistados e aos principais tpicos e questes. Entrevistas em profundidade para apresentar e investigar as questes, usada para recolher as reaces s constataes e anlises do avaliador. Nesta fase, o avaliador pode testar a relevncia e a exequibilidade das suas concluses. Contributo das entrevistas para a avaliao Fortalecer as bases para a escolha dos principais tpicos e questes e completa a grelha do questionrio.

Trabalho campo

de

Anlise e preparao das apreciaes

Recolhe informao sobre os objectivos e resultados do programa das pessoas responsveis pelo programa, executores, detentores de interesse e beneficirios Recolhe feedback dos entrevistados. D informao aprofundada e reformula velhas questes.

Fonte: CE

Podem identificar-se trs tipos fundamentais de entrevistas: 1. Entrevistas no estruturadas O entrevistado expressa-se livremente e pode discutir tpicos no planeados porque no h um conjunto de questes predeterminadas. O avaliador intervm apenas para introduzir e desenvolver questes relacionadas com os comentrios do entrevistado.

Pgina 68 de 99

Este tipo de entrevista particularmente interessante no incio de uma avaliao, para se ter uma ideia global do objecto de anlise e identificar as principais questes e tpicos.

2. Entrevistas semi-estruturadas As entrevistas semi-estruturadas so as mais utilizadas na avaliao, particularmente quando o avaliador tem um conhecimento suficiente sobre o objectivo e as principais questes a colocar durante a avaliao e, por isso, so alvo de mais ateno. Recolhem testemunhos dos entrevistados usando um guio da entrevista com questes abertas (quadro flexvel ou tpicos que resultam das questes da avaliao). O avaliador modifica o guio da entrevista com questes adicionais, de forma a aprofundar reas teis durante a entrevista.

Este tipo de entrevistas so mais teis quando se pretende recolher informao qualitativa complexa, isto , narrativas sobre como um determinado utilizador aplica ou dissemina (ou no) aquilo que est a ser utilizado.

As entrevistas qualitativas podem ser usadas como uma fase exploratria antes de elaborar questionrios quantitativos para ajudar a determinar as questes adequadas e as categorias. Inversamente, as entrevistas podem ser usadas aps terem sido analisados resultados de medidas mais padronizadas para aprofundar constataes inesperadas ou interessantes. O seu valor quando comparado com os inquritos que podem inquirir pessoas e ter uma ideia muito mais rica e clara dos seus pontos de vista do que no inquritos. 3. Entrevistas estruturadas O avaliador segue estritamente o guio da entrevista. Pergunta a diferentes entrevistados o mesmo conjunto de questes, na mesma ordem, e usando as mesmas palavras. O avaliador evita colocar ou desenvolver questes adicionais, e o entrevistado no tem oportunidade de se expressar livremente. As respostas a cada pergunta devem ser curtas. As entrevistas estruturadas no so muito utilizadas na avaliao. Contudo, podem ser usadas para classificar por categorias pontos de vista e informao sobre o impacto de um projecto ou programa. O avaliador pode tambm usar os resultados dessas entrevistas para elaborar um questionrio, com o objectivo de analisar o impacto do projecto/programa. Vantagens: um processo simples, rpido, flexvel e barato de recolher informao e, por isso, o seu uso inevitvel na avaliao;

Pgina 69 de 99

 Pode obter-se um grande nvel de detalhe, permitindo a discusso das questes em profundidade; Fornece informao aprofundada sobre os valores, factos e comportamentos dos entrevistados; um mtodo adequadas para um nmero limitado de entrevistados chave; essencial para desenvolver anlises e compreender a percepo dos detentores de interesse sobre o que est a ser avaliado; Permite fundir um grupo de elementos, produzindo assim um estudo relativamente exaustivo sobre um dado assunto; Uma entrevista bem conduzida pode dar ideias sobre os critrios dos mecanismos de implementao e as relaes causais peculiares de um programa e ajudar a identificar casos de sucesso ou fracasso bvios; Produz informao que pode ser facilmente comunicada na forma de caixa de exemplo num texto; Do ao entrevistador a certeza de que as suas questes so interpretadas como pretendido; As entrevistas individuais so, em certos casos, preferveis a outros mtodos tais como grupos de discusso, ou quando necessria uma apreciao. Tambm so boas para as populaes pouco escolarizadas. As entrevistas estruturadas podem substituir os questionrios no caso dos interlocutores com dificuldades em preench-los; Evita problemas de calendrio ao tentar marcar reunies com muitas pessoas; essencial para a anlise porque recolhe informao directamente no seu contexto. Assim, fornece um bom indicador do que motiva os detentores de interesse para agir, as suas vrias percepes dos objectivos do programa, problemas encontrados e resultados efectivos; um mtodo adequado quer para a avaliao de um projecto quer para avaliaes mais complexas, tais como avaliao pas ou sector, onde pode ser combinada com outros instrumentos. Limitaes: Se envolver um elevado nmero de entrevistados o seu custo em tempo e recursos torna-se significativo; A amostra de pessoas a entrevistar pode no ser representativa (pode nem sequer ter havido mtodo de amostragem) pelo que os resultados podem no ser generalizveis; Os benefcios das entrevistas dependem do conhecimento dos entrevistados e da sua colaborao para responder s questes. A informao pode ser distorcida devido escolha dos entrevistados;

Pgina 70 de 99

 Exige algumas competncias por parte do entrevistador, nomeadamente ter conhecimentos para planear, conduzir e interpretar uma entrevista; Uma entrevista individual tem em considerao factores individuais e situacionais tornando difcil delinear concluses gerais; As entrevistas individuais podem permitir uma identificao exaustiva de efeitos e causas possveis mas no podem ser usadas para medir impactos ou intensidade/valor da causa; No h anonimato e o entrevistador pode influenciar as respostas; A informao tem de ser testada e as entrevistas so normalmente combinadas com outros instrumentos analticos. Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_itw_en.htm http://hivinsite.ucsf.edu/InSite?page=cfren-15-sl-03&ss=xsl%2Fconf-sl&slide=1 http://learningstore.uwex.edu/pdf/G3658-2.PDF http://www.civicus.org/new/media/Monitoring%20and%20Evaluation.pdf http://www.evalsed.info http://www.idemplyee.id.tue.ne/ www.enterprise-impact.org.uk/word-files/Qual Methods-2-Section2.doc

4.3.6 Inquritos/questionrios (Survey)

Conceito /Definio: Os inquritos so um conjunto de questes escritas, usadas para recolher respostas escritas, as quais, quando analisadas, permitem medir os indicadores. So uma importante ferramenta para recolher dados quantitativos ou qualitativos, sobre o desempenho de uma interveno, junto de um determinado grupo, atravs de amostragem. So instrumentos de observao que quantifica e compara informao.

Os dados so recolhidos a partir de uma amostra da populao-alvo da avaliao. Quem responde no suposto responder questo essencial que est a ser investigada: num bom questionrio as questes derivam das questes da avaliao e so suficientemente bsicas para o inquirido responder.

Os questionrios combinam, frequentemente, itens estruturados e algumas questes abertas no final (para informao que mais multiforme e/ou precisa, mas menos acessvel para a anlise estatstica),
Pgina 71 de 99

H dois tipos de inquritos/questionrios: 1. Questionrios estruturados Os itens estruturados so questes em que os inquiridos tm que responder de forma especfica escolhendo num conjunto limitado de respostas predefinidas. O formato do questionrio desenhado para obter informao sobre factos, para saber se os inquiridos concordam com uma sugesto, para registar as suas opinies ou um conjunto de afirmaes, etc.

H duas diferenas entre este tipo de inqurito e a entrevista semi-estruturada: 1) Os inquritos estruturados pretendem produzir dados quantitativos; as respostas possveis para cada pergunta tm um conjunto limitado de opes cifradas para a anlise e apresentao dos dados estatsticos; 2) A cobertura do inqurito estruturado decidida e padronizada antes de as entrevistas se realizarem. 2. Questionrios abertos Nos questionrios abertos os inquiridos respondem a uma questo precisa e o entrevistador toma notas. Assim, o questionrio aberto semelhante s entrevistas estruturadas, na medida em que os itens abertos permitem uma variedade de abordagens e de profundidade na resposta.

Os questionrios podem poupar muito tempo e, se forem preenchidos pelos inquiridos, permitem inquirir muitas pessoas. Feito desta maneira d s pessoas um sentimento de anonimato e podem dizer coisas que no diriam a um entrevistador. Utilizao / Aplicao: O inqurito utilizado como instrumento de recolha de informao qualitativa ou quantitativa permitindo identificar necessidades e opinies, especialmente na avaliao ex-ante, e recolher informao sobre as mudanas esperadas ou aquelas que ocorreram na fase de implementao, sendo por isso utilizado nas avaliaes a meio percurso ou finais. O inqurito permite ainda: Fornecer dados de referncia para comparar o desempenho da estratgia, programa ou projecto; Comparar grupos diferentes num determinado momento; Comparar alteraes no mesmo grupo, ao longo do tempo; Comparar as mudanas reais com as metas estabelecidas e o desenho de um programa ou projecto;
Pgina 72 de 99

Descrever as condies de uma comunidade ou grupo concreto; Dar um contributo importante para uma avaliao formal dos efeitos de um programa ou projecto; Avaliar os nveis de pobreza como base para a preparao de estratgias de reduo da pobreza.

O avaliador pode sentir menos dificuldade na elaborao de um inqurito para a avaliao de um determinado projecto ou programa do que para a avaliao pas ou regio, onde o processo de identificao dos beneficirios e detentores de interesse reais pode ser difcil. Na avaliao os inquritos so tambm utilizados para apreciar o impacto das polticas e programas em vrias categorias de pessoas. O inqurito recolhe: Informao sobre a situao socioeconmica dos vrios grupos de pessoas, o que pode apoiara a definio de tipologias. Informao sobre as mudanas de situao e de prtica (dada pelos indicadores econmicos e sociais). Opinies, apreciaes e percepes sobre uma poltica ou programa (fornecidas pela apreciao de critrios precisos). Anlises relacionadas com as causas da mudana e com o impacto das polticas e programas sobre essas mudanas. A anlise comea com questes que suportam as hipteses preliminares. Vantagens: As concluses da amostra de pessoas entrevistadas podem aplicar-se a um grupo alvo mais amplo ou a toda a populao; Podem ser feitas estimativas quantitativas sobre a dimenso e distribuio dos efeitos; til quando a populao numerosa, porque permite ao avaliador inquirir um grande nmero de beneficirios; Permite ao avaliador trabalhar sobre uma populao alvo e sobre uma amostra limitada; Identifica os efeitos de programas e polticas.

Pgina 73 de 99

Vantagens e limitaes de alguns mtodos mais comuns de inquritos

Mtodo Inquritos face a face Vantagens Grande capacidade de localizar a populao alvo e obter uma amostra representativa Os inquritos extensos so melhor aceites Os entrevistadores podem pedir para clarificar as respostas Rpido Menos caro que o face a face Os entrevistadores podem pedir para clarificar respostas Inquritos longos so menos tolerados que os face a face Muito rpido O facilitador do workshop ou o formador podem motivar os participantes a responder, muitas vezes com boa representatividade dos resultados Menos caros que as entrevistas Menos intrusivas que as entrevistas. Quem responde pode faz-lo devagar Limitaes O custo por inqurito maior do que qualquer ouro mtodo e muito mais caro se a populao alvo estiver dispersa por vrios pases Possvel enviesamento das respostas por parte do entrevistador M reputao devido ao marketing telefnico Exige saber o nmero de telefone da amostra de inquiridos Pode haver enviesamento das respostas por parte dos inquiridos Normalmente limita-se avaliao de um determinado evento, por isso raramente aplicado em avaliaes mais amplas

Inquritos por telefone

Inquritos de feedback*

Demora mais tempo a obter resultados (vrias semanas) Auto-escolha e, por isso, enviesamento da amostra Inquritos Muito econmico e rpido Muitas pessoas no gostam de e-mails por e-mail no solicitados Nos PED o acesso ao e-mail por vezes Limitados a populaes alvo que tm melhor do que web bom acesso a e-mail. As taxas de resposta so normalmente altas (novidade do mtodo, no precisa de correio Auto-escolha e, por isso, enviesamento para enviar as respostas) da amostra Inquritos Baixo custo Limitado s pessoas que tm bom on-line acesso Internet Pode fazer escolha automtica de respostas tipo Auto-escolha e, por isso, enviesamento da amostra As taxas de resposta so habitualmente altas Deve ser assegurada a segurana para Podem ser combinados com um convite por evitar ataques pgina e-mail para responder ao inqurito on-line A identificao de quem responde pode ser um problema Alguns podem responder vrias vezes *inquritos distribudos no final de um workshop ou de uma aco de formao. Fonte: auto-evaluation guidelines; FAO. Inquritos por correio

Limitaes: A elaborao e anlise dos dados so processos muito lentos nos inquritos grandes, incluindo quando se dispe de computadores; Por vezes difcil de prever a taxa de resposta a baixa taxa de resposta uma das maiores preocupaes do inquiridor; Requer importantes recursos logsticos; Requer um grande nmero de pessoas para conduzir o inqurito e analisar os resultados; Requer dados prvios sobre a situao inicial; Pode apresentar dificuldades no processo de seleco de uma amostra representativa;
Pgina 74 de 99

Permite apenas uma descrio simplista da realidade; Com pessoas no alfabetizadas o questionrio tem de ser preenchido por outra pessoa, o que ocupa tempo e o qual pode ser limitado; Os questionrios tm de ser pilotados para assegurar que as questes so bem compreendidas; Se um questionrio complexo e precisa de anlise computacional preciso um perito para o elaborar; Apesar das vantagens (especialmente quando comparada com outros instrumentos de observao) as limitaes em termos de tempo, recursos financeiros e meios tcnicos podem limitar a sua utilizao na avaliao.

Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_qst_en.htm http://hivinsite.ucsf.edu/InSite?page=cfren-15-sl-04&ss=xsl%2Fconf-sl&slide=1 http://learningstore.uwex.edu/pdf/G3658-10.PDF http://learningstore.uwex.edu/pdf/G3658-11.PDF http://learningstore.uwex.edu/pdf/G3658-14.pdf http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BCBD707EDDD4 49885256F02006323BE/$file/me_portuguese.pdf http://www.evalsed.info http://www.fao.org/docs/eims/upload/215034/78491_en_auto_evaluation_guide.pdf http://www.statpac.com/surveys/ http://www4.worldbank.org/afr/stats/cwiq.cfm

4.3.7 Grupo de Discusso (Focus Group)

Conceito /Definio: O grupo de discusso pode ser definido como um grupo de indivduos interactivos que tm caractersticas em comum, que so reunidos por um facilitador que usa o grupo e a sua interaco como forma de recolher informao sobre determinado assunto. Um grupo deste tipo habitualmente constitudo por 6 a 10 pessoas. Se se pretende entrevistar mais pessoas atravs desta metodologia, o mais prtico fazer vrias sesses.

Os participantes discutem ideias, problemas, conhecimentos e experincias. Cada pessoa livre de comentar, criticar ou explicar com detalhe os pontos de vista expressos pelos outros oradores. Os participantes so seleccionados com base em critrios que variam de acordo com o objectivo
Pgina 75 de 99

da reunio. O moderador/facilitador guia a discusso, devendo ser flexvel mas focalizado, usando para o efeito um guio de entrevista cuidadosamente estruturado. As questes, pouco numerosas, centram-se, normalmente, em tpicos ou assuntos especficos.

A realizao destas sesses uma variao s entrevistas semi-estruturadas em que um conjunto de detentores de interesse entrevistado em grupo. Cada sesso dura cerca de 2 horas, podendo fazer-se vrias sesses. A sesso deve ser gravada ou, na sua impossibilidade, devem anotar-se as observaes e os comentrios. Utilizao / Aplicao: Na avaliao o grupo de discusso usado para: Recolher dados qualitativos e, muito raramente, informao quantitativa; Examinar anlises e perspectivas (os participantes interagem durante a sesso, o que facilita uma troca espontnea de pontos de vista); Facilitar a expresso colectiva da anlise, perspectivas e sugestes; Dar aos participantes ideias sobre as perspectivas de outros grupos e olhar para a diversidade de anlises desenvolvidas por diferentes grupos de detentores de interesse; Desenvolver e testar hipteses de trabalho no incio ou durante a avaliao; Desenvolver e testar concluses, recomendaes e sugestes com os detentores de interesse e beneficirios numa avaliao no percurso, ao nvel local e institucional.

No domnio da avaliao os grupos so usados para alcanar diferentes objectivos nas diferentes fases da avaliao e com vrios participantes. So particularmente teis na fase de trabalho de campo, nomeadamente na avaliao de intervenes que afectam uma grande variedade de parceiros locais e ONG.

Possibilita o envolvimento de: Quem pode fornecer informao sobre uma questo especfica; Grupos mltiplos; Indivduos novos ou desconhecidos.

Vantagens: Para alm de todas as vantagens das entrevistas individuais, permite rapidamente recolher pontos de vista de uma forma mais alargada e a de um leque mais diversificado de pessoas, do que nas entrevistas individuais;
Pgina 76 de 99

Fornece dados de forma rpida e a mais baixo custo que as entrevistas individuais e so mais fceis de organizar que os inquritos; uma forma til de recolha de opinies de uma amostra de um nmero significativo de pessoas; A dinmica de grupo pode ser positiva para os resultados; til para recolher informao e pontos de vista na fase de deslocao ao terreno junto dos detentores de interesse, executores e beneficirios, especialmente na anlise do impacto; um instrumento que facilita o estudo dos efeitos do programa este instrumento eficaz em termos de custo e tambm pode fornecer ao avaliador informao valiosa sobre os efeitos da poltica/programa em grupos de beneficirios ou detentores de interesse especficos. Tendo em considerao as anlises dos efeitos, o avaliador pode usar este instrumento para recolher opinies de grupos de interesse estratgico sobre o objectivo das polticas/programas sob avaliao.

Uma fonte de criatividade, se a dinmica do grupo for controlada o grupo de discusso facilita a expresso de pontos de vista divergentes dando oportunidade para: A anlise das reaces dos detentores de interesse a outras perspectivas Analisar a argumentao, percepes e anlises de cada grupo de detentores de interesse, atravs de exerccios que envolvem a confrontao e o debate.

Limitaes: Pode inibir a expresso de pontos de vista minoritrios entre o grupo e algumas pessoas podem influenciar outras a dizer uma coisa ou a ficar caladas sobre um determinado assunto e, por isso, no uma tcnica fivel para determinar um ponto de vista ou uma percepo verdadeiramente individual; Os participantes de um grupo de discusso no constituem uma amostra representativa e as constataes no podem ser estatisticamente interpretadas porque a informao recolhida qualitativa; A gravao e transcrio da sesso exigem equipamento adequado e pode consumir muito tempo; A informao difcil de analisar porque a conversa em reaco a comentrios de outros membros do grupo; O facilitador tem menos controlo sobre o grupo do que numa entrevista individual e o tempo pode ser perdido em questes irrelevantes para o assunto em anlise; O moderador precisa de estar muito bem treinado e os grupos so muito variados e pode ser difcil junt-los;
Pgina 77 de 99

Uma das principais dificuldades com os grupos de discusso (e outras formas de investigao qualitativa) a questo da dependncia do espectador: os resultados obtidos podem ser influenciados pelo moderador, colocando questes de validade;

Em certos contextos, organizar grupos de discusso pode ser difcil, devido delimitao do grupo beneficirio, localizao de difcil acesso e o encontrar de competncias nacionais e locais;

A expresso pblica pode ser limitada pela vontade poltica e social, ou prejudicada pela posio dos participantes no grupo; Preparao e organizao complexa antes da organizao do grupo de discusso o avaliador precisa, normalmente, de realizar anlises preliminares sobre grupos estratgicos que se formaram dentro dos vrios detentores de interesse. Nos pases em desenvolvimento quando a localizao fsica dos beneficirios dispersa, as sesses so difceis de organizar e consomem muito tempo. As autoridades locais podem ter dificuldade em indicar profissionais nacionais e locais para preparar e organizar estas sesses com o avaliador;

Afectao de tempo e custos (que podem facilmente crescer) realizar vrias sesses pode ser problemtico em termos de afectao de tempo e recursos especialmente devido: (i) preparao que consome muito tempo; (ii) pagamento aos participantes; custos de transporte; (iii) salrio do facilitador; (iv) processamento da informao, que frequentemente consome muito tempo.

Informao adicional: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_fcg_en.htm http://hivinsite.ucsf.edu/InSite?page=cfren-15-sl-02&ss=xsl%2Fconf-sl&slide=1 http://www.evalsed.info

4.3.8 - Avaliao dos efeitos e dos impactos

Conceito /Definio: A avaliao dos efeitos e dos impactos a identificao sistemtica das repercusses positivas ou negativas, deliberadas ou involuntrias nos indivduos, lugares, instituies e no ambiente, como consequncia de uma determinada actividade de desenvolvimento, por exemplo, um projecto ou programa. A avaliao dos efeitos e dos impactos ajuda a compreender melhor at que ponto as actividades atingem os pobres e quais foram os seus efeitos no bem-estar das pessoas.

Pgina 78 de 99

Utilizao / Aplicao: Medir os resultados e efeitos de uma actividade e distinguir entre estes e a influncia de outros factores externos. Ajudar a clarificar se os custos de uma actividade se justificam. Orientar as decises sobre a convenincia de aumentar, modificar ou eliminar projectos, programas ou polticas. Extrair lies para melhorar a concepo e gesto de actividades futuras. Comparar a eficcia de intervenes alternativas. Contribuir para uma melhor prestao de contas relativamente aos resultados.

Vantagens: Permite estimar a magnitude dos resultados e dos efeitos/impactos para os diferentes grupos demogrficos e regies ou ao longo do tempo. Fornece respostas a algumas das questes centrais do desenvolvimento: Estamos realmente a fazer alguma coisa? Quais os resultados no terreno? Como podemos fazer para melhor? A anlise e o rigor sistemticos podem dar aos gestores e responsveis maior confiana na tomada de deciso. Limitaes: Abordagem cara e morosa. menos eficaz quando as autoridades necessitam da informao com rapidez. difcil estabelecer um contrafactual vlido.

Informaes adicionais: http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BCBD707EDDD 449885256F02006323BE/$file/me_portuguese.pdf http://povlibrary.worldbank.org/files/12685_usersguide_hi_res.zip http://povlibrary.worldbank.org/files/12928_chapter5.pdf http://povlibrary.worldbank.org/files/4943_annex_c.pdf http://siteresources.worldbank.org/INTISPMA/Resources/handbook.pdf http://www.enterprise-impact.org.uk/pdf/QuantitativeMethods.pdf http://www.gefweb.org/MonitoringandEvaluation/MEOngoingEvaluations/documents/Ongoing_E vals-GEF_Impact_Eval.doc

Pgina 79 de 99

4.3.9 Painel de peritos

Conceito /Definio: um painel que inclui especialistas independentes reconhecidos em pelo menos uma das reas tratadas pelo objecto da avaliao. Recolhe a opinio de especialistas exteriores ao objecto da avaliao. usado: Para promover a partilha de lies aprendidas e boas prticas; Quando necessria a validao externa; Quando a diversidade de opinies visada em questes complexas; Quando h necessidade de recorrer a conhecimento especializado.

Com base num plano de trabalho preciso e replicvel, o painel chega a concluses e recomendaes atravs do consenso. Em funo da proposta do projecto, estas recomendaes dizem respeito implementao ou ao impacto do programa ou parte dele. Utilizao / Aplicao: O painel de peritos especialmente indicado nas avaliaes pas/regio podendo ser til em vrias situaes, tais como: Estudar reas muito especficas que exigem um elevado nvel de competncias; Estudar assuntos para os quais outros instrumentos so difceis de implementar a um custo aceitvel; Avaliar um mbito muito limitado; Em avaliaes complexas, ajudar os avaliadores nas suas concluses sobre um assunto.

Vantagens: O conhecimento dos peritos sobre o assunto a principal vantagem deste instrumento. Ele fomenta a: Reduo significativa de tempo; Reduo de custos; Credibilidade das concluses; Adaptabilidade a uma variedade de situaes encontradas na avaliao.

Limitaes: As limitaes deste instrumento, que devem ser minimizadas, resultam essencialmente de uma srie de riscos:
Pgina 80 de 99

Como o painel tem que chegar a concluses de consenso, a sua organizao tende a eliminar pontos de vista minoritrios e reduzir concluses; O ponto de vista de um perito dominante pode ser determinante dentro do painel.

Informao adicional: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/examples/lib_too_pan_one_en.pd f http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_pan_en.htm http://www.evalsed.com/downloads/sb2_expert_panels.doc http://www.evalsed.info

4.3.10 - Anlise custo-benefcio e anlise custo-eficcia

Conceito /Definio: A anlise custo-benefcio e a anlise custo-eficcia so instrumentos para determinar se os custos de uma actividade podem ou no ser justificados pelos resultados e efeitos produzidos. A anlise custo-benefcio identifica a forma economicamente mais eficiente de atingir um objectivo. Utiliza-se quando os resultados e custos de um projecto podem traduzir-se em unidades monetrias. Usa-se para comparar custos e benefcios. A anlise custo-eficcia estima os recursos em termos monetrios e os resultados em termos quantitativos no monetrios. Tem como finalidade determinar o grau de eficcia e eficincia relativo de alternativas distintas de um mesmo projecto ou de diferentes projectos que visam os mesmos objectivos; ou seja, uma anlise econmica e social de custo-benefcio, que quantifica benefcios sem os traduzir em termos monetrios. uma metodologia de anlise econmica que aprecia a eficcia de indicadores realando resultados e efeitos. No avalia o valor monetrio dos efeitos. Este tipo de anlise permite comparar os meios alternativos para alcanar os mesmos objectivos e seleccionar entre projectos ou actividades alternativos que atinjam os objectivos ao menor custo. Utilizao / Aplicao: Apoiar as decises sobre a afectao mais eficiente dos recursos; Identificar projectos que ofeream uma taxa de rendimento do investimento mais elevada.

Pgina 81 de 99

Na avaliao podem ser usadas para discutir a eficincia e a eficcia de um programa ou projecto. Compara polticas, programas ou projectos. Prope alternativas para identificar a mais adequada para alcanar um resultado ao mais baixo custo.

Nas avaliaes ex-ante apoiam a tomada de deciso. Nas avaliaes ex-post mede a eficincia econmica de uma interveno j realizada. Nas avaliaes no percurso serve para actualizar os efeitos ex-ante e dar ideias sobre que opes devem ser escolhidas para continuar a interveno.

Vantagens: So bons mtodos para calcular a eficincia de programas ou projectos; So instrumentos educativos e de comunicao que sintetizam os efeitos usando um nico indicador quantificvel; Visibilidade da eficcia da interveno; Instrumento de avaliao ex-ante simples e eficaz que compara diferentes medidas ou programas com objectivos idnticos; Torna explcitos os pressupostos econmicos que de outra forma poderiam continuar implcitos ou ignorados na fase da concepo; teis para convencer os responsveis pela tomada de deciso de que os benefcios justificam a actividade. Limitaes: Bastante tcnicos, exigindo a disponibilidade de recursos financeiros e humanos adequados. Como a anlise custo-eficcia se centram nos principais resultados directos de uma interveno se uma interveno produz resultados secundrios e/ou indirectos, o recurso a anlises deste tipo pode ser irrelevante ou contraproducente. Por isso, deve ser usada com cuidado nas avaliaes ex-post; Os dados necessrios para os clculos custo-benefcio podem no existir e os resultados previstos serem demasiado dependentes dos pressupostos assumidos; Os resultados tm de ser interpretados com cuidado, especialmente nos projectos em que os benefcios so difceis de quantificar.

Pgina 82 de 99

Informaes adicionais: http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BCBD707EDDD 449885256F02006323BE/$file/me_portuguese.pdf http://www.evalsed.info

4.3.11 Estudos de caso

Conceito /Definio: um mtodo de aprendizagem sobre uma situao complexa, que se baseia no entendimento integral da situao, a qual se obtm atravs da descrio e anlise, quer como conjunto, quer dentro do seu contexto.

O estudo de caso talvez o instrumento de avaliao mais diversificado, cujo objectivo e contedo pode apresentar uma grande variedade, sendo, por vezes, difcil para os especialistas ter a certeza se devem ou no optar por estudos de caso.

O estudo de caso pode incluir a anlise de documentos, de dados estatsticos ou dos dados de implementao do programa mas inclui, em particular, a observao directa de uma interveno e entrevistas com as pessoas directamente envolvidas na sua implementao e nos seus efeitos. Isto significa que o avaliador tem que fazer trabalho de campo e este aspecto um dos pontos fortes do estudo de caso. Utilizao / Aplicao: O estudo de caso um instrumento resistente para resolver situaes complexas, nomeadamente: Quando os dados quantitativos so escassos ou esto indisponveis; Quando a apreciao das questes porqu e como to importante, ou mais, do que a prpria anlise dos dados. Os estudos de caso podem ser usados em todos os tipos de avaliao (ex-ante, intermdia, expost). So particularmente utilizados quando o que est a ser avaliado inclui vrios projectos ou intervenes. Faz-se uma amostra dos estudos de caso para avaliar os resultados. Com uma utilizao muito variada, o estudo de caso um instrumento que pode ser usado em todas as fases do processo de avaliao: recolha de dados, observao, anlise e mesmo apreciao.
Pgina 83 de 99

Vantagens: A sua riqueza, possvel pela informao qualitativa detalhada. O contexto de implementao descrito com preciso e os dados qualitativos so mais fceis de compreender que a informao quantitativa; O seu uso relativamente livre, especialmente para avaliadores que j usaram tcnicas de entrevista, triangulao, observao e anlise de dados; A sua flexibilidade, fazendo adaptaes contnuas a vrias situaes possveis; A sua fase de implementao compatvel com a da avaliao pas/regio e pode ser muito curta em alguns casos; A oportunidade de obter e compreender informao a um nvel de profundidade suficientemente grande. Permite aos avaliadores familiarizar-se com a lgica da aco dos vrios actores; A sua acessibilidade. um dos poucos instrumentos no domnio dos no especialistas, permitindo-lhes compreender situaes complexas. Limitaes: Para alm das limitaes individuais inerentes a cada tipo de estudo de caso h uma srie de limitaes comuns como: Identificar os alvos adequados, na avaliao pas/regio, conduzindo a um risco de enviesamento na recolha ou tratamento da informao; Estabelecer fronteiras (por exemplo, uma zona geogrfica, dentro de uma populao, etc.) e lig-las aos problemas to amplos como os que so tratados numa avaliao pas (por exemplo, a luta contra a pobreza, desenvolvimento econmico, etc.); Determinar o nmero de casos que do uma base segura para generalizao; Generalizar temas que foram estudados a um nvel local; Assegurar que os dados estaro sempre disponveis aquando dos estudos de implementao, que se estendem por um perodo de tempo significativo; Fazer interpretao estatstica de dados, mesmo se existe uma fonte vlida em cada estudo; Custos do instrumento. Em muitos casos de avaliao pas/regio este instrumento deve ser limitado a avaliaes em que represente claramente um valor acrescentado; O risco de parcialidade, pelo facto de este instrumento se basear em apreciaes, mesmo tendo o maior cuidado na sua utilizao.

Pgina 84 de 99

Informaes adicionais: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_cas_en.htm http://www.evalsed.info/ www.enterprise-impact.org.uk/word-files/Qual Methods-2-Section2.doc

4.3.12 Anlise SWOT

Conceito /Definio: A anlise SWOT (pontos forte, pontos fracos, oportunidades e ameaas) um instrumento de anlise estratgica. Combina o estudo de pontos fortes e fracos de uma organizao, rea geogrfica ou sector com o estudo das oportunidades e ameaas ao seu ambiente. Como tal, instrumental na formulao de estratgias de desenvolvimento.

O objectivo da anlise ter em conta os factores internos e externos, maximizar o potencial de pontos fortes e oportunidades de desenvolvimento, minimizando simultaneamente o impacto dos pontos fracos e ameaas. A anlise SWOT habitualmente preparada atravs de reunies com os detentores de interesse ou peritos interessados na estratgia.

A anlise SWOT pertence ao grupo de instrumentos que estudam a relevncia e a coerncia possvel de determinados programas ou estratgias.

H vrios tipos de anlise SWOT. Os seus 4 elementos podem variar em funo das necessidades de anlise tais como apoiar o planeamento de mecanismos de desenvolvimento ou anlises de reas geogrficas, determinar e validar estratgias ou avaliaes ex-ante. Por isso, SWOT pode incluir os acrnimos: SWOL pontos fortes, pontos fracos, oportunidades e limitaes; SWPO sucessos, pontos fracos, potencialidades e obstculos; SWAP sucessos, fraquezas, metas, problemas; SOFT sucessos, oportunidades, fracassos, ameaas.

Para alm deste refinamento induzido pelos acrnimos, estas anlises partilham o mesmo objectivo e no se distinguem na metodologia. Utilizao / Aplicao: Pode ser usada para identificar possveis abordagens estratgicas. Embora originalmente desenhada para o planeamento, este instrumento pode ser usado na avaliao para assegurar que a estratgia implementada adequada situao descrita na anlise;
Pgina 85 de 99

 Descreve aspectos positivos e negativos e identifica os factores no ambiente que podem influenciar positiva ou negativamente os projectos reduzindo, assim, as incertezas e apoiando a melhoria da estratgia ou a sua apreciao; Na avaliao ex-ante apoia o planeamento estratgico e a elaborao dos programas pas. tambm til para a apreciao de projectos; Na avaliao no percurso aprecia a relevncia do que est a ser avaliado e, se necessrio, a sua coerncia; Na avaliao ex-post aprecia a relevncia e coerncia da estratgia ou do programa. A anlise SWOT mais importante se esta tarefa no foi realizada durante o desenvolvimento da estratgia ou do programa; Durante o processo de construo de uma metodologia de avaliao, o delinear de um rvore de problemas comparvel ao processo de determinao dos pontos fracos e ameaas na anlise SWOT. Por isso, este instrumento pode ser usado na fase de desenvolvimento da metodologia, para apreciar a relevncia da estratgia situao do pas que est a ser avaliado. Vantagens: Reala rapidamente a adequabilidade (ou no) de uma estratgia, em relao aos problemas e questes que suposto resolver; Quando combinada com a anlise estratgica de uma avaliao ex-ante, apoia a tomada de deciso e a incorporao de abordagens estratgicas na avaliao. Limitaes: Instrumento subjectivo as anlises fornecidas por grupos separados sobre um dado tpico podem diferir muito (os pontos fortes para uns podem ser pontos fracos para outros). Por isso, os consensos devem ser encontrados antes da concluso da anlise. A distino entre factores internos e externos pode, por vezes, ser difcil; Tal como noutros instrumentos que se traduzem numa matriz, a anlise SWOT considerada como simplista na abordagem; Instrumento moroso.

Informao adicional: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/examples/lib_too_swo_fiv_en.pdf http://ec.europa.eu/europeaid/evaluation/methodology/egeval/examples/lib_too_swo_for_en.pdf http://ec.europa.eu/europeaid/evaluation/methodology/egeval/examples/lib_too_swo_thr_fr.pdf

Pgina 86 de 99

 http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_swo_en.htm http://www.evalsed.info/

4.3.13 - Mtodos Participativos

Conceito /Definio: No existe uma nica definio de avaliao participativa. A ideia partilhada pela maior parte dos doadores que a avaliao participativa : (i) uma avaliao conduzida em conjunto por vrios detentores de interesse, incluindo os beneficirios locais; (ii) uma avaliao na qual uma grande variedade de detentores de interesse participam activamente em todo o processo, desde o planeamento da avaliao, a recolha e anlise de informao e planeamento de aces para melhorar a execuo. Contudo o nmero de detentores de interesse e o seu grau de participao varia de agncia para agncia e entre projectos.

Os mtodos participativos permitem a interveno activa na tomada de deciso por quem tem algo a ver com o projecto, programa ou estratgia; geram um sentimento de identificao com os resultados e recomendaes da avaliao e o empowerment.

A principal diferena entre a avaliao convencional e a avaliao participativa em termos de objectivos que a primeira coloca a tnica nos resultados da avaliao enquanto a outra reala o processo. Esta diferena resulta do facto de a avaliao convencional tender a usar os resultados da avaliao para determinar as necessidades da fase seguinte do projecto enquanto a avaliao participativa tende a promover a apropriao e o desenvolvimento de capacidades de gesto.

Comparao entre avaliao convencional e avaliao participativa

Avaliao convencional das agncias doadoras Assegurar a prestao de contas ao financiador Obter lies teis e conhecimento para melhorar o projecto Adquirir conhecimento e informao necessria para a tomada de decises da agncia doadora sobre se o projecto continua Contribuio para o conhecimento em cada rea nfase nas constataes da avaliao Avaliao participativa Desenvolver capacidade de gesto Promover a apropriao Reforar o feedback efectivo quer para quem implementa a ajuda quer para o receptor Aumentar a prestao de contas para ambos os lados

Objectivo da avaliao

Impacto da avaliao

Procura-se que os impactos sejam produzidos no s atravs das constataes da avaliao mas tambm atravs do processo de participao

Pgina 87 de 99

Meios de produo de impactos

Relatrio de avaliao Relatrios das reunies de avaliao Apresentao no site Base de dados dos resultados da avaliao Principais Cidado (contribuinte) pessoas/instituies Agncia doadora alvo da avaliao Instituies que implementam o projecto Tempo de Sobretudo quando o projecto termina ou implementao da ps-projecto. avaliao Tambm so realizadas avaliaes exante e a meio percurso. Perodo de avaliao A avaliao conduzida durante um perodo definido. Avaliador formada uma equipa de avaliao com peritos em cada rea, incluindo a avaliao. A equipa de avaliao seleccionada pela agncia doadora. Visa-se a neutralidade e a independncia. Resultados da avaliao Dependem das apreciaes do avaliador. Nmero de Limitado a um nmero reduzido, participantes da incluindo a equipa de avaliao da avaliao agncia doadora, autoridades competentes e pas receptor, etc. Critrios de avaliao

Para alm dos itens da lista ao lado, Workshop Dilogo Entrevistas

Pessoal do projecto Participantes no (beneficirios)

projecto

Os indicadores e os alvos so estabelecidos previamente pela agncia doadora e pelos avaliadores. A avaliao conduzida sob critrios limitados. Mtodos de avaliao Os avaliadores externos decidem os mtodos em funo dos detalhes da avaliao especificados pela agncia doadora. So frequentemente utilizados mtodos quantitativos. dedicado algum tempo a analisar os resultados depois do trabalho de campo, e s depois so apresentados os resultados. Consideraes para A nfase dada avaliao do avaliao "efeito" trazido pelo projecto. dada importncia objectividade cientfica e imparcialidade da avaliao. Quem paga a avaliao

Perodo durante o qual o projecto est a ser implementado. Quando o projecto continua aps a cooperao, a avaliao ex-post pode ser conduzida. A avaliao implementada continuamente como parte das actividades. O pessoal do projecto e os beneficirios so os avaliadores. As pessoas exteriores actuam como facilitadores. dada nfase autoapreciao e apreciao interna do projecto. A nfase colocada no consenso entre os detentores de interesse. O nmero de participantes varia em funo dos objectivos da avaliao, mas encorajada a participao de um elevado nmero de detentores de interesse, incluindo os beneficirios. Os critrios da avaliao so estabelecidos em conjunto pelos participantes na avaliao. Podem ser acrescentados novos critrios durante a realizao da avaliao. Determinados pelos participantes em funo das circunstncias. So utilizados sobretudo mtodos qualitativos (em conjunto com mtodos quantitativos) numa tentativa de ter uma viso global. Adopo de mtodos que no requerem tempo para anlise e apresentao de resultados.

A nfase colocada na anlise do "processo" que produziu "efeito". A nfase colocada no processo de participao e na construo de consensos. dada nfase ao feedback dos resultados da avaliao para os participantes da avaliao. As agncias doadoras que deram Os fundos provm de vrias fontes. fundos para o projecto do recursos para a avaliao.

Fonte: JICA, pp.16-17. Pgina 88 de 99

Utilizao / Aplicao: Conhecer as condies locais e as perspectivas e prioridades da populao local para formular intervenes mais satisfatrias e sustentveis; Identificar problemas e resolv-los durante a execuo; Avaliar um projecto, programa ou poltica; Fornecer conhecimentos tericos e prticos para dar mais meios populao pobre.

Instrumentos de participao mais utilizados na avaliao: 1. Anlise dos detentores de interesse o ponto de partida da maioria dos exerccios participativos. Usa-se para desenvolver um entendimento das relaes de poder, influncia e interesses das diversas pessoas envolvidas numa actividade e para determinar quem deve participar e quando. 2. Avaliao dos beneficirios implica uma consulta sistemtica aos beneficirios dos projectos e de outros detentores de interesse para identificar e definir iniciativas de desenvolvimento, detectar obstculos participao e trocar opinies para melhorar os servios e actividades. 3. Acompanhamento e avaliao de carcter participativos envolve a participao dos detentores de interesse a diferentes nveis, de forma conjunta, para identificar problemas, recolher e analisar informao e produzir recomendaes. 4. Avaliao rural participativa uma abordagem de planeamento que se centra na partilha de conhecimento entre as populaes locais, urbanas e rurais, e os estranhos comunidade. Permite aos gestores do desenvolvimento e populao local avaliar e planear intervenes adequadas de uma forma colaboradora, recorrendo frequentemente a tcnicas visuais para que as pessoas analfabetas possam participar. Vantagens: Examina as questes pertinentes atravs da participao dos principais actores no processo de concepo Estabelece parcerias e o controlo local dos projectos. Aumenta o conhecimento local, a capacidade de gesto e as qualificaes. D informao pontual e fivel para a tomada de decises da gesto.

Limitaes: Algumas vezes pouco objectivo; Moroso se os detentores de interesse forem envolvidos de forma significativa;
Pgina 89 de 99

Potencialidade para o domnio e uso indevido por parte de alguns detentores de interesse com o objectivo de maximizar os seus prprios interesses.

Informaes adicionais: http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BCBD707EDDD 449885256F02006323BE/$file/me_portuguese.pdf http://www.ids.ac.uk/ids/bookshop/briefs/brief12.html http://www.ids.ac.uk/ids/participe/research/pme.html http://www.jica.go.jp/english/evaluation/guides/pdf/guideline02-01.pdf http://www.worldbank.org/participation/partme.htm

4.3.14 Anlise multicritrios

Conceito /Definio: A anlise multicritrios orienta a tomada de decises com base num critrio comum. utilizada para facilitar a compreenso e a resoluo de questes na tomada de decises. realizada para fazer uma apreciao comparativa entre projectos ou medidas heterogneas. Pode, por isso, ser adequada para as avaliaes.

De acordo com os critrios seleccionados, a anlise ajuda os decisores a integrar, num quadro prospectivo ou retrospectivo, diferentes opinies sobre um projecto, de forma a formular uma apreciao.

Este instrumento requer a participao dos detentores de interesse (decisores, tcnicos, beneficirios, etc.) e fornece recomendaes e pareceres operacionais.

Os seus objectivos so sugerir uma soluo atravs da simplificao da questo, tendo em conta as preferncias dos detentores de interesse. Utilizao / Aplicao: A anlise multicritrios , sobretudo, um instrumento da avaliao ex-ante e particularmente usada para apreciar as escolhas estratgicas de interveno. Tambm pode ser usada como instrumento de negociao, apoiando os debates sobre as escolhas estratgicas.

Na avaliao ex-post a anlise multicritrios pode contribuir para a avaliao de um programa ou poltica atravs da apreciao dos seus impactos, relativamente a vrios critrios.
Pgina 90 de 99

Vantagens: Capacidade de simplificar situaes complexas; Permite encontrar a soluo em situaes complexas a sua maior vantagem a capacidade de simplificar situaes complexas. Na prtica, alm de um certo nmero de critrios, os decisores no podem ter em considerao a totalidade da informao na sua apreciao. A anlise multicritrios desmonta os componentes de situaes complexas e estrutura-os, para progressivamente encontrar uma soluo de forma transparente; um instrumento de negociao til para debate entre utilizadores; Metodologia acessvel as bases em que se escolhem os critrios e taxas de desempenho so evidentes, compreendidos e delineados pelo grupo encarregue da anlise. Deste modo, os principais detentores de interesse tm boa visibilidade quer sobre o processo quer sobre a evoluo das sucessivas decises; Metodologia racional a anlise multicritrios desenvolve uma abordagem homognea e simultnea de um leque de componentes durante a avaliao, a qual cria uma boa compreenso das vrias componentes para a anlise. Neste sentido, racionaliza o processo de deciso; Instrumento de negociao til para debates complexos devido s suas vantagens, a anlise multicritrios muitas vezes usada para resolver questes complexas e em situaes de conflito, como as do desenvolvimento regional e nacional. A simplicidade do processo facilita o debate e promove a comunicao entre os detentores de interesse. um instrumento de negociao til para debates entre utilizadores. Limitaes: Pr-requisitos a anlise s pode realizar-se quando os detentores de interesse concordam com uma srie mnima de pontos. Por exemplo, a anlise multicritrios dos objectivos operacionais de um programa s pode ser realizada se os detentores de interesse concordarem com o objectivo global e, se possvel, com o objectivo especfico do programa; Durao do debate as dificuldades prticas de escolher as actividades ou as variantes a serem estudadas, para determinar o critrio de comparao e produzir a grelha de apreciao, no devem ser subestimadas. Os debates organizados para estabelecer estes pontos cruciais podem por vezes ser muito longos e complicados; Disponibilidade dos dados a falta de dados fiveis sobre um perodo de tempo suficiente para organizar e validar as metodologias pode ser uma limitao; Factor tempo o perodo de tempo afecto anlise (e o seu custo) muitas vezes um factor limitador no contexto da avaliao. As anlises multicritrios assentam
Pgina 91 de 99

frequentemente em processos lentos e interactivos, que podem incluir perodos de negociao demorados; Aspecto tcnicos da metodologia a capacidade tcnica exigida para o uso efectivo desta metodologia evidente. Para alm de conhecimentos em aplicaes informticas, os avaliadores devem ter competncias em conceitos matemticos e metodologias de agregao de dados, para evitar concluses frgeis ou realizar anlises sem um processo estruturado; Subjectividade da anlise embora a anlise multicritrios racionalize a abordagem de problemas complexos, e tenha em conta dados objectivos e subjectivos, os seus opositores consideram-no um instrumento subjectivo; Dificuldades prticas na escolha das actividades ou das variveis a serem estruturadas, para determinar a comparao de critrios e para produzir grelhas classificadas. Informao adicional: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_cri_en.htm http://www.evalsed.info

4.3.15 - Anlise social e cultural

Conceito /Definio: Tem origem na sociologia e antropologia. Quando aplicada rea da avaliao, nomeadamente avaliao pas/regio, a anlise social e cultural ocupa-se com a sociedade numa perspectiva da sua estrutura e dinmica. Apresenta os elementos constitutivos da etnicidade, grupos sociais e religiosos, grupos de interesse e as caractersticas que suportam os valores comuns de uma sociedade, bem como as suas contradies internas.

A anlise social e cultural no se centra apenas em estruturas iniciais, mas tambm em factores que introduziram mudanas endgenas e exgenas na sociedade. Fornece a base para a compreenso do comportamento de sociedades relativamente cooperao para o

desenvolvimento (sociedade no seu todo, ou grupos dentro da sociedade).

Com esta abordagem a avaliao visa compreender como que as dinmicas dentro da sociedade, as hierarquias sociais, as relaes sociais assentes no gnero, as crenas religiosas e as percepes comuns sobre o trabalho, dinheiro, riqueza e pobreza influenciam a aceitao e implementao dos programas de cooperao.

Pgina 92 de 99

Utilizao / Aplicao: Analisar as mudanas sociais e os entraves ao desenvolvimento a anlise social e cultural deve ser um dos principais instrumentos para delinear estratgias e definir programas. Ela facilita a compreenso da capacidade da estrutura social para absorver e reforar a mudana induzida pela implementao das estratgias de desenvolvimento. Ao mesmo tempo, fornece os meios de identificao de constrangimentos que impediro essas mudanas. um processo dinmico, em contraste com a descrio esttica da sociedade. Apreciar as estratgias nacionais a anlise social e cultural importante na avaliao ex-ante porque permite uma compreenso das sociedades. O avaliador deve estabelecer um quadro scio-antropolgico que incorpore a estratgia de cooperao para o desenvolvimento. Esta estratgia e os programas da resultantes tero, provavelmente, maior ou menor sucesso em diferentes tipos de sociedade. O objectivo realar factores que favoream as estratgias introduzidas pelo processo de cooperao, e apresent-las aos gestores dos programas de cooperao que de outra forma podem ir contra caractersticas polticas, religiosas ou sociais especficas, hbitos culturais e grupos de interesse e, ao fazer isto, pr em risco o programa. Em todas as situaes as caractersticas sociais e culturais a ser estudadas devem ser as que influenciam as estratgias de cooperao para o desenvolvimento em situaes onde: As populaes alvo so a favor ou contra aces planeadas nestas estratgias; Os funcionrios locais responsveis pelos programas de cooperao permitem que toda a populao beneficie dos efeitos positivos da estratgia ou, pelo contrrio, centram-se num grupo de interesse especfico, casta ou comunidade. As crenas religiosas ou hierarquias sociais nas relaes sociais facilitam ou impedem as mudanas planeadas pela estratgia definida. Nas avaliaes no percurso e ex-post a utilizao da anlise social e cultural na avaliao exante no exclui a sua incluso nos outros tipos de avaliao. A avaliao no percurso pode usar este instrumento para apreciar a relevncia dos objectivos estratgicos e as prioridades dos programas. As avaliaes ex-post podem fazer uma comparao entre as constataes iniciais na anlise social e cultural e uma anlise de resultados dos programas implementados pela estratgia. Pode combinar-se com a anlise SWOT. Vantagens: Uma abordagem transversal a anlise social e cultural est na interseco de vrios instrumentos de avaliao. Desempenha um papel de mediao entre tpicos de apreciao e instrumentos de avaliao. Contribui para o estabelecimento de concluses da avaliao
Pgina 93 de 99

(relativas relevncia, coerncia, eficcia, eficincia e sustentabilidade) em especificidades e no realar de tendncias no sistema social em que a estratgia e os programas de cooperao so implementados; Nova nfase nas cincias sociais aplicadas ao desenvolvimento a anlise social e cultural traz novas perspectivas para aplicar as cincias sociais porque a sua utilizao est ainda no incio e as referncias so escassas. Limitaes: Uma metodologia que no questiona os objectivos estratgicos a primeira limitao inerente metodologia sugerida, que consiste em restringir o mbito da anlise social e cultural de acordo com os objectivos estratgicos. Quando a anlise realizada na fase de elaborao da estratgia, o seu mbito determinado pelos objectivos gerais da cooperao, os quais no se referem a pases especficos. Quando a anlise realizada na fase de avaliao da estratgia, o seu mbito relativo os objectivos das estratgias que est a ser avaliada. Neste caso, contudo, o risco de negligenciar indicadores que podem ter conduzido seleco de outro conjunto de objectivos substancial. Uma metodologia cuja implementao desafiadora este instrumento tem inerente uma dificuldade de implementao (mais do que uma limitao) que a rdua responsabilidade do avaliador relativa conduo da investigao. Para a abordagem geral, esta metodologia pode fornecer indicadores ao avaliador sobre as questes a tratar, as fontes de informao e a metodologia a usar na recolha e anlise dos dados. Contudo, para cada objectivo especfico de um pas, o avaliador ter de desconstruir o teor dos documentos de estratgia nacional e converter os temas da abordagem geral em sub-questes individuais. Por isso, o aconselhvel ter um especialista scio-antroplogo na equipa de avaliao.

Informao adicional: http://ec.europa.eu/europeaid/evaluation/methodology/egeval/tools/too_asa_en.htm

4.3.16 - Mtodos de avaliao rpida

Conceito /Definio: Alguns dos mtodos atrs referidos so tambm classificados como mtodos de avaliao rpida. So mtodos rpidos e de baixo custo para obter a opinio e os comentrios dos beneficirios e outros detentores de interesse, com o objectivo de responder s necessidades de informao dos responsveis pela tomada de deciso.

Pgina 94 de 99

So mtodos que utilizam uma amostra fivel e pequena, so de curta durao e analisam um grupo seleccionado de variveis e indicadores.

Mtodos de avaliao rpida 1. Observao directa: utilizao de um formulrio de observao detalhada para registar o que se v no local de implementao do projecto ou programa. A informao pode referir-se a actividades em curso, processos, debates, interaces sociais e resultados observveis. 2. Entrevistas a informadores chave: conjunto de perguntas abertas, formuladas a alguns indivduos seleccionados devido ao seu conhecimento e experincia num tema de interesse. As entrevistas so qualitativas, em profundidade e semi-estruturadas. Assentam em guias de entrevista nos quais se registam os temas ou perguntas. 3. Entrevista de grupos comunitrios: srie de perguntas e debates moderados numa reunio aberta a todos os membros da comunidade. O entrevistador segue um questionrio cuidadosamente preparado. 4. Debates em grupos de discusso: ver 4.3.7.

5. Painel de peritos: ver 4.3.9

6. Mini inquritos: questionrios estruturados com um nmero limitado de perguntas com respostas estruturadas que se aplica a 50-75 pessoas. A seleco dos inquiridos pode ser aleatria ou deliberada (entrevistas a determinados detentores de interesse). Ver 4.3.6. 7. Diagnstico rural rpido: mtodo que pode ser vistos como uma variao aos mtodos participativos. Desenvolvido nos anos 70, para a avaliao de projectos agrcolas, tornou-se uma alternativa aos mtodos morosos, onerosos e com grande recolha de dados. uma resposta insatisfao e s crticas aos pressupostos sobre a forma como eram feitos os primeiros trabalhos de desenvolvimento.

um processo semi-estruturado para recolher informao qualitativa e aprender rapidamente sobre uma comunidade e suas condies de vida. uma actividade sistemtica realizada por uma equipa multidisciplinar, com uma interaco da comunidade (mulheres e homens) e outros detentores de interesse para produzir informao e criar

Pgina 95 de 99

novas hipteses para o desenvolvimento rural. Tenta capacitar os actores ou detentores de interesse para a anlise da situao, para o planeamento e tambm para actuar.

8. Anlise SWAT: ver 4.3.12.

Utilizao / Aplicao: Dar informao rpida para a tomada de deciso, sobretudo relativamente a projectos e programas. D uma compreenso qualitativa das complexas mudanas socioeconmicas, as situaes sociais fortemente interactivas, ou os valores, motivaes e reaces dos detentores de interesse. D o contexto e interpretao para os dados quantitativos recolhidos atravs de mtodos mais formais. Vantagens: Custo baixo; Rapidez; Flexibilidade para explorar novas ideias.

Limitaes: Os resultados referem-se, normalmente, a comunidades ou localidades especficas, o que dificulta a sua generalizao; So menos vlidos, fiveis e credveis que os inquritos formais.

Informaes adicionais: http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BCBD707EDDD 449885256F02006323BE/$file/me_portuguese.pdf USAID. Performance Monitoring and Evaluation Tips, n.s 2, 4, 5 e 10. http://www.usaid.gov/pubs/usaid_eval/#02

Pgina 96 de 99

Bibliografia
BAMBERGER, M., 2000, Integrating quantitative and qualitative research in development projects, World Bank, Washington. BANCO MUNDIAL, 1999, Impact evaluation; a note on concepts and methods. http://ciatlibrary.ciat.cgiar.org/paper_pobreza/082.pdf BANCO MUNDIAL, 2000, Evaluating the impact of development projects on poverty a handbook for practitioners. http://siteresources.worldbank.org/INTISPMA/Resources/handbook.pdf BANCO MUNDIAL, 2001, International program for development evaluation training (IPDET) Modules 1 12. BANCO MUNDIAL, 2002, A users guide to poverty and social impact analysis. http://poverty2.forumone.com/files/12685_PSIA_Users_Guide_-_Complete__High_resolution_-_English_-_May_2003.pdf BANCO MUNDIAL, 2002, Understanding Impact evaluation. http://www1.worldbank.org/prem/poverty/impact/overview/intro.htm BANCO MUNDIAL, 2004, Monitorizao e Avaliao: Algumas Ferramentas, Mtodos e Abordagens: http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BCBD707ED DD449885256F02006323BE/$file/me_portuguese.pdf CAD/OCDE, 1992, Manual da ajuda ao desenvolvimento. Princpios do CAD para uma ajuda eficaz. Paris. CAD/OCDE, 1998, Review of DAC principles for evaluation development assistance. Paris, http://www.oecd.org/dataoecd/63/50/2065863.pdf CAD/OCDE, 1999, Guidance for Evaluating Humanitarian Assistance in Complex Emergencies. Paris. https://www.oecd.org/dataoecd/9/50/2667294.pdf CAD/OCDE, 2001, Evaluation feedback for effective learning and accountability, Paris. CAD/OCDE, 2002, Evaluation and aid effectiveness. Paris. CAD/OCDE, 2002, Glossrio da Avaliao e da Gesto Centrada nos Resultados, http://www.ipad.mne.gov.pt/images/stories/Avaliacao/gloosaval_port.pdf CAD/OCDE, 2006, Normas do CAD para a Qualidade da Avaliao, http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_CAD.pdf CARLSSON, J, et al, 1999, Are Evaluations Useful? Cases from Swedish Development Cooperation, SIDA Studies in evaluation 99/1, Estocolmo. CE, 1993, Manual da Gesto do Ciclo do Projecto, CEE, Bruxelas. CE, 1997, Analyse Financire et conomique des Projects de Dveloppement, Bruxelas. CE, 1997, Lvaluation des programmes de dpenses de LUE. Guide: valuation ex post et intermdiaire, CE, Luxemburgo. CIDA, 1999, Results-based management in CIDA: an introductory guide to the concepts and principles. CIDA, http://www.acdi-cida.gc.ca/CIDAWEB/acdicida.nsf/En/EMA-218132538PND CIDA, 2004, CIDA Evaluation Guide, http://www.acdicida.gc.ca/INET/IMAGES.NSF/vLUImages/Performancereview5/$file/English_E_guide.pdf CIDA, 2000/2002, How to Perform Evaluations A Ten-Part Series http://www.acdicida.gc.ca/CIDAWEB/acdicida.nsf/En/EMA-218131657-PG4 CIDA, 2004, Evaluation Guide http://www.acdicida.gc.ca/INET/IMAGES.NSF/vLUImages/Performancereview5/$file/English_E_guide. pdf CIP, 1995, Evaluation and Monitoring: the role of project evaluation and monitoring in Netherlands Bilateral Aid, Amsterdo. CIVICUS, 2002, Monitoring and Evaluation, http://www.civicus.org/new/media/Monitoring%20and%20Evaluation.pdf COOPERATION FRANAISE, 2001, Guide de lvaluation. Paris. DANIDA, 1998, Guidelines for Sector Programme Support, Danida, Copenhaga. DANIDA, 2006, Evaluation Guidelines, Danida, Copenhaga, http://www.um.dk/en/menu/DevelopmentPolicy/Evaluations/Guidelines/?wbc_purpose=basic
Pgina 97 de 99

DFID,

2005, Guidance on Evaluation and Review for DFID Staff, http://www.dfid.gov.uk/aboutdfid/performance/files/guidance-evaluation.pdf DGCID/MFA, 2005, Guide de lvaluation, http://www.diplomatie.gouv.fr/fr/IMG/pdf/guide_juin_2005.pdf ECHO, 1995, Operational Manual for the evaluation of humanitarian aid, ECHO, Bruxelas. ECHO, 1999, Manual for the evaluation of humanitarian aid, ECHO, Bruxelas. EuropeAid, 2006, Evaluation Methodology, http://ec.europa.eu/comm/europeaid/evaluation/intro_pages/methods.htm EVO, 1997, Evaluation: a management tool for improving project performance, Inter-American Development Bank, Evaluation Office, Washington. FREUDENTHAL, S., NARROWE, J., 1991, Baseline study handbook. Focus on field, SIDA, Estocolmo. GRET, 2001, valuer: Apprcier la qualit pour faciliter la dcision, http://www.gret.org/ressource/doc_scien/pdf/doc21.pdf GTZ, 2001, Guidelines for impact monitoring in economic and employment promotion projects with special reference to poverty reduction impacts. HEDRICH, T., BICKMAN, L., ROG, D., 1993, Applied research design. A practical Guide, Sage, Londres. ILO, 1996, Guide to the preparation of workplans, progress review and self-evaluation reports. ILO, 1997, Guidelines for the preparation of independent evaluations of ILO programmes and projects, Evaluation Unit (PROG/EVAL). IOB, 2003, Guidelines For IOB Evaluations, http://www.euforic.org/iob/docs/200501261625004158.pdf IPAD, 2007, Guia Comentado de Recursos sobre Avaliao na Internet, JICA, 2001, Participatory evaluation and international cooperation JICA, 2004, JICA Evaluation Handbook. Practical Methods for Evaluation, http://www.jica.go.jp/english/evaluation/guides/guideline.html KUSEK, J., RIST, R., 2004, Ten steps to a results-based monitoring and evaluation system. Banco Mundial, Washington. LIEBENTHAL, A., FEINSTEIN, O., INGRAM, G., 2004, Evaluation & Development. The Partnership dimension. World Bank Series on Evaluation and development, Volume 6, Transaction Publishers, Londres. MINISTERIO DE ASUNTOS EXTERIORES, 1998, Metodologia de avaluacin de la Cooperacin espaola. Madrid. http://www.mae.es/es/MenuPpal/Cooperacion+Internacional/Publicaciones+y+documentaci n/#sec5 MINISTERO degli AFFARI ESTERI, 2002, Manuale operativo di monitoraggio e valuatazione delle iniziative di Cooperazione allo Sviluppo, Cooperazion Italiana, Roma. http://www.esteri.it/eng/6_40_176.asp MOFA, 2003, Evaluation Guidelines, http://www.oecd.org/dataoecd/51/31/35141306.pdf PNUD, 1997, Suivi et valuation dans une perspective de rsultats. PNUD, 2002, Handbook on monitoring and evaluating for results. http://www.undp.org/eo/documents/HandBook/ME-HandBook.pdf POATE, D., 1997, Measuring & Managing Results: Lessons for Development Cooperation, PNUD/OESP, SIDA, Nova Iorque. SDC, 1996, Manual on self-evaluation, Berna. SDC, 1997, Monitoring keeping in touch with reality. Berna. SDC, 1999, Key questions and indicators. Berna. SDC, 2000, External evaluation Working instruments for planning, evaluation, monitoring and transference into action. Berna. SDC, 2002, Guidelines Evaluation & Controlling, http://162.23.39.120/dezaweb/ressources/resource_en_23568.pdf SIDA, 1994, Evaluation manual for SIDA. Estocolmo. TECHNOPOLIS FRANCE, 2002, The use of evaluation in the Commission Services Final report. UNFPA, 2001, Monitoring and Evaluation Toolkit for Programme Managers, http://www.unfpa.org/monitoring/toolkit.htm
Pgina 98 de 99

UNHCR, 2002, Real-time humanitarian evaluations some frequently asked questions, http://www.unhcr.org/cgi-bin/texis/vtx/research/opendoc.pdf?tbl=RESEARCH&id=3ce372204 UNICEF, 1995, Monitoring progress towards the goals of the World Summit for Children: a practical handbook for multiple-indicators surveys, http://www.emro.who.int/GFATM/guide/tools/mics/manual.pdf UNICEF, 2002, A UNICEF Guide for monitoring and evaluation, http://www.preval.org/documentos/00473.pdf UNIDO, 2002, Guidelines for the evaluation of projects and programmes, http://portals.wi.wur.nl/files/docs/ppme/_file_id=23848.pdf USAID, 2002, The role of evaluation in USAID, http://pdf.dec.org/pdf_docs/PNABY239.pdf WK KELLOGG FOUNDATION, 1998, Evaluation Handbook, http://www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf WORTHEN, B., SANDERS, J., FITZPATRICK, J., 1997, Program evaluation. Alternative approaches and practical guidelines, Second Edition, Addison Wesley Longman, Nova Iorque.

Pgina 99 de 99