TRIBUNAL DE CONTAS DA UNIÃO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspeções

MANUAL DE AUDITORIA DE DESEMPENHO

SAUDI/SEGECEX 1998

TRIBUNAL DE CONTAS DA UNIÃO Presidente: Ministro Homero Santos Vice-Presidente: Ministro Iram de Almeida Saraiva Ministros: Adhemar Paladini Ghisi Carlos Átila Álvares da Silva Marcos Vinicios Rodrigues Vilaça Humberto Guimarães Souto Bento José Bugarin Antonio Valmir Campelo Bezerra Auditores: José Antonio Barreto de Macedo Lincoln Magalhães da Rocha Benjamin Zymler Procurador-Geral: Walton Alencar Rodrigues Subprocuradores-Gerais: Jatir Batista da Cunha Lucas Rocha Furtado Paulo Soares Bugarin Procuradores: Maria Alzira Ferreira Marinus Eduardo Vries Marsico Ubaldo Alves Caldas Cristina Machado da Costa e Silva Comissão Permanente de Regimento: Ministro Adhemar Paladini Ghisi (Presidente) Ministro Humberto Guimarães Souto (Membro) Ministro Valmir Campelo (Membro) Auditor José Antonio Barreto de Macedo (Suplente) Comissão Permanente de Jurisprudência: Ministro Carlos Átila Álvares da Silva (Presidente) Ministro Marcos Vinicios Rodrigues Vilaça

TRIBUNAL DE CONTAS DA UNIÃO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspeções

MANUAL DE AUDITORIA DE DESEMPENHO

Brasília, abril de 1998.

Tribunal de Contas da União Internet: http://www.tcu.gov.br SAFS Lt. 01 CEP: 70.042-900 - Brasília (DF)

Secretário-Geral de Controle Externo: José Nagel Secretário de Auditoria e Inspeções: Cláudio Souza Castello Branco Diretor de Normas e Procedimentos de Auditoria e Programas de Governo: Paulo Roberto Pinheiro Dias Pereira Chefe do Serviço de Programas de Governo: Glória Maria Merola da Costa Bastos Analistas de Finanças e Controle Externo - Área de Controle Externo: Carlos Alexandre Amorim Rocha Carmen Pereira Rêgo Meireles

657.63 B823M

Brasil. Tribunal de Contas da União. Manual de auditoria de desempenho. -- Brasília : TCU, Secretaria de Auditoria e Inspeções, 1998. 78 p. 1. TCU - Manual de auditoria de desempenho (1998) I. Título.

Ficha Catalográfica elaborada pela Divisão de Documentação do TCU.

contendo os procedimentos operacionais e as estratégias metodológicas a serem utilizadas na realização de auditorias operacionais e avaliações de programa. O PRESIDENTE DO TRIBUNAL DE CONTAS DA UNIÃO. Aprova o Manual de Auditoria de Desempenho do Tribunal de Contas da União. Art. da Resolução Administrativa nº 72. de 28 de abril de 1998. resolve: Art. no uso de suas atribuições legais e regimentais e tendo em vista o disposto no artigo 2º. e no artigo 35 da Instrução Normativa nº 09. III. 1º Fica aprovado o Manual de Auditoria de Desempenho do Tribunal de Contas da União. de 16 de fevereiro de 1995. de 20 de março de 1986. 2º Esta Portaria entra em vigor na data de sua publicação.Tribunal de Contas da União Portaria nº 222. HOMERO SANTOS .

.

Sem abdicar das suas atribuições históricas de zelar pelo cumprimento das normas legais aplicáveis à boa prática administrativa. a atual gestão apresenta o Manual de Auditoria de Desempenho. vem sendo praticada por EFS de reconhecida competência técnica. infraestrutura. assim. não raras vezes. que integra e consolida os principais métodos empregados em avaliação de programa com os conhecimentos e práticas regularmente adotados pelo TCU nos trabalhos de auditoria operacional. contou com a colaboração de oito unidades técnico-executivas. Essa nova modalidade de controle. já na década de 80. desenvolvido pela Secretaria de Auditoria e Inspeções . A realidade tem sido farta em apresentar exemplos de ações da administração pública que. atividades. órgãos e entidades da administração pública. saúde. devem ser . programas. Ademais. inesperadamente. Em fevereiro de 1995. inaugurou-se uma nova dimensão na atuação desta Corte. não lograram modificar as condições sociais adversas da população. o Tribunal de Contas da União .SAUDI. projetos. exercendo um controle mais finalístico das ações de governo. eficiência e eficácia das ações desenvolvidas pela administração pública. as EFS têm procurado ampliar o seu campo de atuação. o National Audit Office (Reino Unido) e o Australian National Audit Office (Austrália). Em consonância com essa tendência internacional. o Office of the Auditor-General (Canadá).TCU. Para concluir. como o United States General Accounting Office (EUA). habitação e meio ambiente. denominada avaliação de programa. A maior flexibilidade e autonomia do gestor. defesa. produzido efeitos negativos. voltada para o desenvolvimento dos métodos necessários à avaliação do impacto junto à sociedade das funções.EFS. preconizadas por essas diretrizes. por iniciativa pioneira da gestão do Exmo. passou a praticar as chamadas auditorias operacionais. garantindo. é importante mencionar a ênfase dada ao controle de resultados pelas diretrizes que orientam a atual reforma e modernização do aparelho de Estado. Nessa linha. voltadas para a verificação dos princípios da economia. a continuidade do desenvolvimento técnico desta Corte. Esse manual. essas ações têm. receitas públicas. entre outros. embora cumprindo satisfatoriamente as metas previstas. com a implantação do Projeto de Capacitação em Avaliação de Programas Públicos. projetos e atividades governamentais. constituindo-se em traço comum a essas iniciativas a ênfase na avaliação dos resultados alcançados pelos programas. que testaram os métodos ali preconizados no âmbito de projetos-piloto que englobaram oito áreas temáticas distintas. quais sejam: trabalho. educação. Ministro Marcos Vinicios Rodrigues Vilaça.APRESENTAÇÃO A necessidade de tornar mais efetivas e transparentes as ações governamentais tem ensejado iniciativas inovadoras de trabalho no âmbito de atuação das Entidades de Fiscalização Superior .

das potencialidades e das limitações das ações governamentais. Homero Santos Presidente iv .MANUAL DE AUDITORIA DE DESEMPENHO acompanhadas por um modelo de controle voltado para o exame dos resultados.

53 2....2..........................41 2..........................4.....................................2............ Conclusão..................................7...............1.3..................................................................................................................................2.......................................................50 2..2.........3............. Delineamentos Não-Experimentais............................................3..........................4.............................6.......3.....................6............................................................3........2.............57 I............................................................................1.....1...................SUMÁRIO Página LISTA DE QUADROS............................3.....5............20 2................. Levantamento de Auditoria..................1...... Fontes de Informação.........................3...........3..................8.... Avaliação de Programa. Comentários do Gestor......................................... Questões de Auditoria..........2.......3...4.................1....................................................58 ..........50 2........................49 2............22 2.......2.................................42 2..........16 2...................4..................................2... Origem e Antecedentes........36 2..........5.............. Apêndices..... Elaboração do Plano de Levantamento de Auditoria..... Relatório........................................38 2.... Base Legal...................1.......vii LISTA DE SIGLAS. Informações Requeridas.......................11 1...3.....49 2..................... Diretrizes.............................1.................46 2.....2.......................11 1...............1..53 ANEXO I..........3.................................51 2.3..........................................................................1..52 2...2.......................................................2...............4........................viii INTRODUÇÃO..........................3...........2........24 2................ Limitações............................ Modelo de Insumo-Produto.....1........................................15 2....3............2..........................2.............. Utilização de Dados Existentes.2..................40 2....................................2............ Auditoria Operacional............................................................................................. Resumo........................................................................... Proposta de Encaminhamento........................ Estudo de Caso............... Capítulos sobre os Temas Principais....................................................................2............1........2................... Pesquisa..29 2..................... O Que a Análise Vai Permitir Dizer.......... Desenvolvimento dos Trabalhos de Campo......9 1.............................................................48 2...........2...................3..........2.........................................28 2................53 2................................................................................... Sumário..........57 I.3............................................................................. Introdução... Especificação dos Critérios de Auditoria..................................................4..3.................2............................. Preparação do Relatório de Levantamento de Auditoria..1...19 2........1.. Delineamentos Quase-Experimentais.......................3...............3..58 I.....................1.............15 2........1.45 2.....................................3............................ Planejamento.......................... ETAPAS DA AUDITORIA DE DESEMPENHO............................. Coleta de Dados sobre Desempenho......................... Estratégias Metodológicas................. Análise Preliminar do Objeto da Auditoria.........................3............8.................5................55 I.......................2.........................47 2...............3..................................................4..................2............................4........5...4......4........................11 2................................2...... Antecedentes Institucionais................................1.......... Métodos de Coleta de Dados..........................17 2..........................2......................... Plano de Auditoria Operacional/Avaliação de Programa.........................................15 2.47 2.........................................................1.. Teste-Piloto....................20 2......................................1..............32 2...........29 2...............................................2.........1............................................................6.........................................3......................................................................... Delineamento Experimental.25 2..........3..2...... Modelo de Condições Ambientes................................. DEFINIÇÕES E CONCEITOS...........51 2............1..........57 I...... Execução...26 2....................3....................................... Métodos de Análise de Dados.......3...1......2.............................. Modelo de Marco Lógico.34 2....7............

.............................................................3.....................................59 I..................................................58 I....................5.71 FOLHA DE SUGESTÕES.......................................................................61 I.......................................... Prioridades......1.................73 vi .................................... Características Operacionais..... Contexto Político-Social.......................................................................5......59 I...................67 BIBLIOGRAFIA.I.....58 I....................61 ANEXO II...........4........................................3 Acompanhamento...................3......................................5.............................................................2..................................................................................1 Recursos Humanos............2........5...................................................................................... Fatores Restritivos............................................................5......4................................60 I...... Características Sócio-Econômicas.....................................................6....................63 GLOSSÁRIO.................................. Funcionamento...........................................61 I.........2......4..........................................................................................................................4.................59 I......... Ambiente de Atuação....................... Recursos Físicos....................................... Objetivos e Metas......... População-Alvo...........61 I......60 I................. Recursos Financeiros..............60 I........................................................................................................................2.....2.....

...........................................39 Quadro 11: Diagrama do Delineamento “Séries Temporais sem Grupo de Controle”...........................................37 Quadro 8: Diagrama do Delineamento Experimental com Pós-Teste............................................................41 Quadro 13: Sinopse das Estratégias Metodológicas...............................LEPLAC.................................................................26 Quadro 6: Principais Critérios de Escolha Empregados em Estudo de Caso.........................................23 Quadro 5: O Problema e as Questões de Auditoria do Plano de Auditoria da 3ª SECEX no Programa de Levantamento da Plataforma Continental Brasileira .................................40 Quadro 12: Diagrama do Delineamento “Antes-e-Depois”...44 vii ...LISTA DE QUADROS Página Quadro 1: Exemplo do Modelo de Marco Lógico para um Projeto Hipotético de Perfuração de Poços com Água Potável em uma Zona Rural............................................................39 Quadro 10: Diagrama do Delineamento “Séries Temporais com Grupo de Controle”.............................................20 Quadro 4: Exemplo de Critério Aplicável às Auditorias de Sistemas Internos de Avaliação de Desempenho Institucional.18 Quadro 2: Exemplo do Modelo de Insumo-Produto para um Projeto Hipotético de Financiamento de Atividades de Capacitação Profissional................................................................................34 Quadro 7: Diagrama do Delineamento Experimental com Pré e Pós-Testes........19 Quadro 3: Exemplo do Modelo de Condições Ambientes para um Projeto Hipotético de Financiamento de Atividades de Capacitação Profissional..........................................................38 Quadro 9: Diagrama do Delineamento “Grupos Não-Equivalentes com Pré e Pós-Testes” ...............................

.....LISTA DE SIGLAS ANAO....International Congress of Supreme Audit Institutions INTOSAI....................................National Audit Office OAG...............Tribunal de Contas da União viii ........................................................................................Office of the Auditor-General of Canada SECEX.....Secretaria de Controle Externo (Unidade Técnica do TCU) TCU.........................................Banco Interamericano de Desenvolvimento EFS..............International Organization of Supreme Audit Institutions NAO...................................Entidade de Fiscalização Superior GAO...................................................................................................................Australian National Audit Office BID........United States General Accounting Office INCOSAI........

compreendendo as atividades de planejamento e de execução dos trabalhos. Na primeira fase. foram discutidos: os procedimentos analíticos necessários à adequada caracterização dos achados de auditoria. A matriz apresenta. instrumento de apoio metodológico desenvolvido pelo GAO. . como também as contribuições de profissionais desta Corte. A etapa de planejamento foi dividida em duas fases sucessivas e mereceu um tratamento abrangente e detalhado neste manual. Está dividido em dois capítulos: o primeiro dedicado à distinção conceitual entre auditoria operacional e avaliação de programa. tanto em avaliação de programa. bem como utilizem o material de apoio disponível sobre os métodos aqui preconizados. que os membros dessas equipes cumpram programa de treinamento específico. e a estrutura a ser adotada nos relatórios de auditoria de desempenho. modalidades de auditoria de desempenho. entre os quais o modelo de marco lógico. Contudo. o manual não é suficiente para dotar as equipes de auditoria de todos os conhecimentos necessários à realização dos trabalhos de auditoria de desempenho.INTRODUÇÃO O Manual de Auditoria de Desempenho integra e consolida os principais métodos empregados em avaliação de programa com os conhecimentos e práticas regularmente adotados pelo TCU nos trabalhos de auditoria operacional. é apresentada a matriz de planejamento. a necessidade de realização de teste-piloto sempre que a complexidade do trabalho e os custos envolvidos assim recomendarem. assim como os demais elementos que compõem o citado plano. sendo recomendável. denominada plano de auditoria operacional/avaliação de programa. são apresentados alguns métodos utilizados em avaliação de projetos. como em auditoria operacional. enquanto o segundo trata das etapas do desenvolvimento dos trabalhos de auditoria de desempenho. Na etapa de execução. bem como as orientações gerais sobre o seu conteúdo. denominada levantamento de auditoria. Na elaboração deste manual foram consideradas não apenas as melhores experiências internacionais sobre o tema. amplamente difundido pelas agências internacionais de desenvolvimento em atuação no Brasil. Na segunda fase. para a sua plena utilização. as estratégias metodológicas mais empregadas. de forma sucinta. como o BID e o Banco Mundial.

MANUAL DE AUDITORIA DE DESEMPENHO 10 .

Portanto. • o cumprimento das práticas recomendadas pela legislação para aquisição de bens e serviços. • o uso adequado dos recursos humanos. Com esse intuito.1. com base em indicadores de desempenho válidos e confiáveis. 1. ao tipo. Avaliação de Programa auditoria . deve-se abordar. à qualidade e aos preços. Ao se proceder a uma auditoria operacional. assim como dos órgãos e entidades jurisdicionadas ao Tribunal. • a existência de rotinas e procedimentos de trabalho documentados e atualizados. aspectos ligados à economicidade e à eficiência. instalações e equipamentos voltados para a produção e prestação de bens e serviços na proporção. à quantidade. DEFINIÇÕES E CONCEITOS A auditoria de desempenho consiste na avaliação sistemática dos programas. • a obediência aos dispositivos legais aplicáveis aos aspectos da economicidade. inclusive quanto aos seus resultados em termos de metas alcançadas. o foco da auditoria operacional é o processo de gestão nos seus múltiplos aspectos − de planejamento. são examinados os seguintes aspectos: • como os órgãos e entidades públicas adquirem. protegem e utilizam seus recursos. • o cumprimento das metas previstas. qualidade e prazos requeridos. destinados a monitorar. • a extensão do cumprimento das metas previstas pela administração ou legislação pertinente.2. A auditoria de desempenho abrange duas modalidade: a operacional e a avaliação de programa. • a guarda e manutenção dos bens móveis e imóveis. de organização. de procedimentos operacionais e de acompanhamento gerencial. entre outras questões: • a adequação da estrutura organizacional aos objetivos do órgão ou entidade. Auditoria Operacional O objetivo da auditoria operacional é examinar a ação governamental quanto aos aspectos da economicidade. eficiência e eficácia. eficiência e eficácia da gestão. 1. projetos e atividades governamentais. • as causas de práticas antieconômicas e ineficientes.1. • a existência de sistemas de controle adequados. • a adequação das aquisições no que se refere aos prazos.

MANUAL DE AUDITORIA DE DESEMPENHO O objetivo da avaliação de programa é examinar o impacto dos programas. projetos e atividades governamentais. No contexto deste manual. enquanto a avaliação de programa prioriza os efeitos produzidos pela intervenção governamental. É importante distinguir entre essas duas abordagens. a erradicação de doenças contagiosas. deve-se agregar à análise dimensões que permitam à equipe pronunciar-se. deve-se buscar as relações de causalidade subjacentes aos fenômenos observados. A avaliação de programa é. Mas nada dirá sobre se essas correções diminuirão a desnutrição. Portanto. o número de escolas construídas. intencionais ou não. a avaliação de programa busca apurar em que medida as ações implementadas lograram produzir os efeitos pretendidos pela administração. investiga-se o funcionamento dos programas. como. 1995. projeto ou atividade. além da eficiência operativa. mais ambiciosa em relação à análise dos objetivos e dos resultados da intervenção governamental. comparando metas previstas com metas realizadas. Um exemplo permite esclarecer o exposto. uma vez que o cumprimento de uma meta física ou a disponibilidade de um serviço pode ser uma condição necessária. por exemplo. o impacto da ação governamental deve ser entendido como o resultado líquido produzido por um programa. a qualidade dos serviços prestados pela administração ou a redução dos índices de acidentes no trânsito. ao proceder a uma avaliação de programa. Uma auditoria operacional em um programa de nutrição infantil procurará verificar o alcance das metas propostas. Segundo o Grupo de Trabalho sobre Avaliação de Programa da INTOSAI. Essa modalidade de auditoria de desempenho 12 . as modificações verificadas no objeto da ação que podem ser atribuídas única e exclusivamente àquelas modalidades de intervenção estatal. tanto negativos. 2). uma intervenção governamental específica pode provocar efeitos inesperados. Nas duas situações. Além do mais. por exemplo. sugerindo. No segundo. p. ou seja. a avaliação de programa procurará estabelecer em que medida o programa consegue melhorar a situação nutricional da população-alvo – se houve mudanças. portanto. projeto ou atividade. valendo-se de uma estratégia metodológica apropriada. de vacinas aplicadas. mas não suficiente para que determinado problema seja efetivamente resolvido ou para que determinada necessidade seja atendida. Por outro lado. em que medida os efeitos observados. o aumento da eficiência do programa mediante uma seleção mais adequada dos beneficiários e uma melhoria dos sistemas de aquisição. de verificar. de servidores treinados ou de estradas recuperadas em relação ao previsto nos planos de governo ou na legislação específica. Enquanto que a auditoria operacional verifica. foram causados por essa intervenção específica. sobre a redução da evasão escolar. No primeiro caso. uma avaliação de programa distingue-se de uma auditoria operacional porque permite responder a questões não abordadas por essa última (INTOSAI. a auditoria operacional focaliza o processo de gestão. distribuição e oferta de alimentos. a magnitude das mesmas e que segmentos da população-alvo foram afetados. Trata-se. o grau de cumprimento das metas. eventualmente. quanto positivos. Muitas vezes. via de regra. projetos e atividades e o cumprimento de metas quantificáveis. procurando identificar os efeitos atribuíveis exclusivamente ao programa. o efeito esperado pode não ocorrer ou ser insignificante.

e a consistência entre esses e as necessidades previamente identificadas. • a relação de causalidade entre efeitos observados e política proposta. necessariamente. • o cumprimento de dispositivos legais aplicáveis à sua natureza. destacam-se: • a sua concepção lógica. • a adequação e a relevância de seus objetivos. declarados ou não. A ênfase em um ou outro desses aspectos dependerá das questões específicas que se pretende abordar. Nesse sentido. desde que o rigor metodológico esteja sempre presente. pesquisa. • as conseqüências globais para a sociedade. uma avaliação de programa pode não tratar. • a existência de outras alternativas de ação. as informações produzidas em cada uma delas proporciona uma análise completa da atuação governamental. projetos e atividades. • os efeitos não incluídos explicitamente nos seus objetivos. Embora a auditoria operacional e a avaliação de programa possam ser realizadas de maneira independente. e os respectivos custos envolvidos (análise de custoefetividade). de todos os aspectos acima mencionados. tais como. Entre os aspectos a serem examinados. • os fatores inibidores do seu desempenho. consideradas ou não pela administração. tanto em relação aos aspectos operacionais como em relação ao impacto das ações implementadas. aos seus objetivos e à população-alvo. • a consistência entre as ações desenvolvidas e os objetivos estabelecidos. delineamento experimental e delineamentos quase-experimentais. 13 . mediante uma avaliação de programa em programas. • a qualidade dos impactos alcançados.DEFINIÇÕES E CONCEITOS utiliza estratégias metodológicas raramente empregadas em auditoria operacional. No entanto. as duas abordagens da auditoria de desempenho podem ser entendidas como complementares.

MANUAL DE AUDITORIA DE DESEMPENHO 14 .

Elaboração do Plano de Levantamento de Auditoria. em boa medida.1.1.1. por uma das duas modalidades de auditoria de desempenho: a auditoria operacional ou a avaliação de programa. Plano de Auditoria Operacional/Avaliação de Programa. a extensão e a estratégia metodológica a ser utilizada na auditoria. o levantamento deverá proporcionar uma visão integrada do objeto que será auditado.2.1. 2. • data para a apresentação do relatório de levantamento de auditoria. fornecendo elementos suficientes para que a equipe encarregada opte. 2. Execução. . • programação de visitas. O estabelecimento de boas relações com esses gestores é de suma importância.1. Levantamento de Auditoria. projeto.1. devem ser observadas as seguintes etapas: 2. Ademais.1 O levantamento de auditoria deve conter as seguintes etapas: 2.3. período do levantamento e custo estimado. 2. atividade. especificando a natureza do trabalho que será realizado. no final do levantamento. a equipe delimitará os objetivos. O contato inicial deve ser por telefone. 2. seguido de uma comunicação escrita. 2.2. a equipe deve elaborar o plano de levantamento de auditoria. Levantamento de Auditoria As auditorias de desempenho devem ser precedidas de um levantamento de auditoria em seu objeto (programa. composto pelos elementos a seguir discriminados: • tamanho da equipe.1. Especificação dos Critérios de Auditoria. 2. • estratégia de coleta e análise de dados. órgão ou entidade). Elaboração do Plano de Levantamento de Auditoria No início do trabalho. 1 Neste manual.2. 2. Preparação do Relatório de Levantamento de Auditoria. • pauta de temas que serão debatidos com os gestores do objeto da auditoria. da cuidadosa organização dos contatos com os gestores do objeto da auditoria. Análise Preliminar do Objeto da Auditoria.1.1. os termos “auditoria” e “auditoria de desempenho” serão tratados como equivalentes.5. O levantamento de auditoria visa determinar se um trabalho proposto é exeqüível e relevante.3.1. 2. baseada nessa visão.4. Convém frisar que o êxito do levantamento depende. Coleta de Dados sobre Desempenho. ETAPAS DA AUDITORIA DE DESEMPENHO Para a realização de auditorias de desempenho. Caso esses requisitos sejam atendidos.

previsível ou imprevisível).MANUAL DE AUDITORIA DE DESEMPENHO Na elaboração do plano de levantamento de auditoria. atividade. Há três tipos de modelos que podem ser empregados: 2. informações como2: • os objetivos (gerais ou parciais.2. diretrizes internas e manuais operacionais. no que couber. • missão declarada. Essas informações podem advir das fontes discriminadas abaixo. • pronunciamentos feitos e decisões tomadas pelas autoridades competentes. pela escassez de recursos ou pela necessidade de cooperar com outras entidades). permitindo que a equipe identifique questões que mereçam ser examinadas mais detalhadamente. • as ações desenvolvidas. O Anexo I (“Orientação Geral para a Análise Preliminar do Objeto da Auditoria”) contém uma relação mais extensa.1. a equipe deve buscar. documentado e compreendido em profundidade os aspectos centrais do programa.1. as disposições constantes nas demais seções do presente capítulo. as quais tratam da elaboração do plano de auditoria operacional/avaliação de programa e do desenvolvimento e documentação dos trabalhos de campo. planos estratégicos e relatórios de gestão. das informações que devem ser coletadas acerca do objeto da auditoria. • organogramas. acerca do objeto. os procedimentos e recursos empregados. Compete ao Coordenador da equipe assegurar que o trabalho tenha sido planejado corretamente e que os demais membros da equipe e os gestores do objeto da auditoria estejam suficientemente informados acerca do propósito do levantamento. 16 2 . • as partes interessadas (reais ou em potencial) e as características do ambiente externo (dinâmico ou estático. • as restrições enfrentadas (imposições legais e limitações impostas pela concorrência. dependendo da extensão do trabalho). • sistemas de informações gerenciais. 2. ainda que não exaustiva. Modelo de Marco Lógico. projeto. os bens e serviços ofertados e os benefícios proporcionados. Os dados coletados devem ser organizados em modelos explicativos para facilitar a síntese e a visualização da dinâmica das principais relações.1.2. as metas fixadas. • entrevistas com os gestores e especialistas. órgão ou entidade auditada. os clientes atendidos. Com esse intuito. a equipe deve observar. pela tecnologia. • relatórios internos e externos de auditoria e de avaliação de desempenho institucional. • as linhas de subordinação e de assessoramento previstas e sua relação com as atividades desenvolvidas. entre outras: • legislação pertinente. Compete ao Coordenador da equipe assegurar que os demais membros da equipe tenham investigado. Análise Preliminar do Objeto da Auditoria A análise preliminar do objeto da auditoria visa compreender como esse objeto está estruturado.

2. obtém-se algo semelhante ao mostrado no próximo quadro.ETAPAS DA AUDITORIA DE DESEMPENHO 2. podem proporcionar os dados necessários ao planejamento do trabalho que será executado. disposta em ordem crescente. os Modelos de Insumo-Produto e de Condições Ambientes. A realização dos objetivos de cada nível é uma condição necessária para o atingimento do nível subseqüente.1.2. A estrutura exposta acima representa uma hierarquia de objetivos. • finalidades: benefícios almejados (impacto da atuação do objeto da auditoria). Dispondo-se a hierarquia em ordem decrescente. O Modelo de Marco Lógico facilita a avaliação do desempenho do objeto da auditoria. Modelo de Marco Lógico Esse modelo visa retratar como estão logicamente estruturadas as atividades desenvolvidas pelo objeto da auditoria.3. Modelo de Condições Ambientes. órgãos e entidades como conjuntos estruturados de processos organizacionais que devem atingir tanto objetivos finais.2. O dois últimos modelos são menos complexos que o primeiro. respondendo questões como: • Os objetivos fixados guardam uma nítida relação com a finalidade última do objeto da auditoria. pois a aplicação integral do Modelo de Marco Lógico pressupõe a existência de sistemas de informações gerenciais completos. empregados em conjunto. Para isso. Modelo de Insumo-Produto. atividades. bem como definem precisamente os bens e serviços que serão ofertados e a clientela que será beneficiada? • Os objetivos de cada nível hierárquico mantêm relações de causalidade plausíveis? • O impacto (ou benefícios) buscado é claro e mensurável? Para obter respostas objetivas para as questões relacionadas acima.1. discriminando-se os objetivos de cada nível hierárquico e sua relação com os objetivos do nível imediatamente superior.1. • componentes: bens e serviços ofertados (metas fixadas). programas. Esses objetivos podem ser estruturados como indicado a seguir: • atividades: tarefas que devem ser executadas para que os componentes sejam obtidos.2.2. como objetivos intermediários. Como esses sistemas nem sempre estão disponíveis. • propósitos: resultados diretos associados ao uso dos componentes. projetos. 2. 17 .1. o Modelo de Marco Lógico trata as funções. é definida a sua hierarquia de responsabilidades.

ministrar o programa de capacitação para os servidores recrutados. Caso opte pela presente abordagem. é importante que seja obtida a opinião dos gestores encarregados acerca da estrutura em questão. • indicar as fontes que contêm dados sobre os indicadores. mobilizar os trabalhadores do local. melhor capacitação dos servidores da área de saúde. perfurar os poços selecionados. • Fonte: BID. • identificar os fatores exógenos (pressupostos) que podem afetar o objeto da auditoria em cada nível. 2º componente: preparar um programa de capacitação na área de saúde. 16. Além de hierarquizar os processos organizacionais. que devem ser expressos em termos quantitativos. 18 . Componentes: • • extensão do acesso à água potável à 60% da população local.MANUAL DE AUDITORIA DE DESEMPENHO Quadro 1: Exemplo do Modelo de Marco Lógico para um Projeto Hipotético de Perfuração de Poços com Água Potável em uma Zona Rural Finalidade: Redução da incidência de enfermidades causadas pelo consumo de água não-potável. Propósito: Adoção de práticas higiênicas pela população beneficiada. a equipe encarregada do levantamento de auditoria deverá apurar se os fatores tratados nos parágrafos anteriores foram contemplados na etapa de planejamento das ações desenvolvidas pelo objeto da auditoria. qualitativos e temporais. p. 199-. O modo como essas ações estão logicamente estruturadas pode ser obtido a partir dos relatórios internos de auditoria e de avaliação de desempenho institucional. Atividades: ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ • 1º componente: selecionar locais para a perfuração de poços. os Modelos de Marco Lógico devem: • definir indicadores práticos. avaliando os riscos existentes e formulando ações alternativas. como esses documentos podem estar incompletos ou defasados. Contudo. mensuráveis e independentes para cada nível. objetivos. recrutar servidores da área de saúde.

eficiência. Fonte: ANAO. da efetividade do objeto da auditoria. • quantidad e de pessoas treinadas.1. melhores serão as chances de êxito das auditorias voltadas para a avaliação da efetividade das ações governamentais (avaliações de programa). as equipes devem optar pela verificação dos aspectos ligados à economicidade. • os benefícios desejados (escala de preferências). • avaliação das aplicações. quanto maior for essa consistência. 2. A versão mais simples do presente modelo é ilustrada pelo quadro abaixo.ETAPAS DA AUDITORIA DE DESEMPENHO Colhidos os dados necessários. Quadro 2: Exemplo do Modelo de Insumo-Produto para um Projeto Hipotético de Financiamento de Atividades de Capacitação Profissional INSUMOS • requisiçõ es de financiamento.2. a identificação dos principais processos permite que a equipe apure o controle que os gestores têm sobre esses processos. também. eficácia e. 58. a equipe deverá emitir juízo sobre a consistência do sistema de planejamento existente. Modelo de Insumo-Produto Esse modelo procura exprimir como o objeto da auditoria desenvolve as suas atividades. • a demanda existente para os produtos gerados. Ademais. físicos e financeiros exigidos (insumos). • os possíveis indicadores de desempenho. Convém notar que. O Modelo de Insumo-Produto facilita os trabalhos de análise acerca dos aspectos da economicidade. o qual dispõe os quatro primeiros elementos indicados acima.2. 1992. Na falta de informações gerenciais precisas. p. • distribuiç ão de fundos. PROCESSOS • promoção do programa. • monitora mento do desempenho PRODUTOS • quantidad e de atividades financiadas. identificando: • as informações e os recursos humanos. • recursos usados na apreciação das requisições. • os bens e serviços ofertados (produtos). • os processos de transformação dos insumos em produtos. • os benefícios proporcionados (impacto). à eficiência e à eficácia das ações há pouco citadas (auditorias operacionais). 19 . BENEFÍCIOS • quantidad e de pessoas treinadas que obtiveram emprego ou treinamento adicional ao qual não teriam acesso de outra forma.

eficácia e efetividade do objeto da auditoria. convém frisar que a equipe deve. associações profissionais. • o caráter heterogêneo dos resultados alcançados. • os efeitos de fatores exógenos. fornecedores. etc. tais como: • a definição de objetivos obscuros. 59.) que influenciam as atividades desenvolvidas pelo objeto da auditoria. além de identificar as partes envolvidas.MANUAL DE AUDITORIA DE DESEMPENHO 2. • a presença e a subjetividade inerente aos indicadores de desempenho qualitativos. como indicado no parágrafo anterior. eficiência. competidores. 1992. ocupando uma posição central no levantamento de auditoria.3. • o uso freqüente de indicadores múltiplos e inter-relacionados. identificando as partes envolvidas na consecução de um programa hipotético. qualificar as relações existentes entre elas. Coleta de Dados sobre Desempenho Os dados sobre desempenho são fundamentais para a avaliação dos aspectos da economicidade. Modelo de Condições Ambientes Esse modelo identifica os fatores internos e externos (clientes. Quadro 3: Exemplo do Modelo de Condições Ambientes para um Projeto Hipotético de Financiamento de Atividades de Capacitação Profissional E p g d re mre a o s T in n o re a d s P mto s d ro o re e T in mn s re a e to Cp c ç o a a ita ã P fis io a ro s n l Ó ãs rg o C rre to o la s Ó ã rg o Fonte: ANAO.1. embora a sua obtenção enfrente diversas dificuldades. indicando se são ou não estáveis. autoridades diversas.2.3. p. O modelo deve exibir as interações e inter-relações existentes entre os vários grupos de interessados. 20 . dificultando a identificação dos resultados diretos da atuação do objeto da auditoria. O diagrama simplificado mostrado abaixo ilustra o modelo em questão. F a c dr in n ia o 2. sindicatos.1. Contudo. complexas ou concorrentes.

recursos naturais e fornecedores estratégicos) são preservados? • Os resultados obtidos são monitorados e comparados com os resultados esperados. convém que. padrões. planos e organogramas compreensíveis? • Os recursos foram usados de modo econômico e eficiente? • A posição financeira do objeto da auditoria é controlada e registrada adequadamente? • Em que medida os objetivos fixados foram atingidos sem que fossem gerados efeitos colaterais desfavoráveis? • Os bens e serviços ofertados atendem às expectativas da clientela? • Os gestores apuraram o nível de satisfação da clientela? • O objeto da auditoria tem sido capaz de se adaptar às mudanças na concorrência. zelando para que as atividades sejam executadas com economicidade. eficiência. a equipe deve apurar o seguinte: • Os procedimentos de coleta de dados sobre desempenho são suficientes e adequados? • Os indicadores de desempenho usados são válidos. o comprometimento e a iniciativa profissionais. no padrão tecnológico. bem como a satisfação no trabalho? • Os recursos-chave do objeto da auditoria (pessoal. tomando-se decisões com base nas observações feitas? • Os gestores estabeleceram sistemas efetivos de auditoria e de avaliação internas. equipamentos. quem será beneficiado e o motivo do benefício? • Os gestores avaliaram a extensão.ETAPAS DA AUDITORIA DE DESEMPENHO Dessa forma. eficácia e efetividade? 21 . patentes. o desempenho dos gestores do objeto da auditoria seja avaliado com base nas características indicadas abaixo: • Está claro para os gestores o fundamento legal de suas atividades? • Os gestores definiram objetivos compatíveis com a mensuração de impactos e determinaram o que será proporcionado. a natureza e a atualidade da demanda pelos bens e serviços ofertados? • Os gestores estudaram ações alternativas? • As atividades executadas e o esforço despendido são oportunos e consistentes com os objetivos perseguidos? • O objeto da auditoria possui objetivos. nas expectativas dos beneficiários e em outros fatores externos? • A política de recursos humanos tem estimulado o desenvolvimento. quando aplicável. completos e justificáveis à luz da relação custo-benefício? • Os indicadores de desempenho são parte integrante do processo de tomada de decisões? Adicionalmente.

p. • delimitação da extensão da auditoria. por sua vez. Esses critérios podem ser conceituados como os “.” (GAO. O quadro a seguir exibido ilustra a relação que deve haver entre os critérios de auditoria e os indicadores que lhe dão substância. isso exige a realização de todas as etapas do levantamento de auditoria. é possível que a equipe já possua os elementos exigidos para que seja definida a exeqüibilidade e a relevância de uma auditoria. a sua extensão e a estratégia metodológica a ser empregada. tornando palpáveis os seus objetivos. • fixação de parâmetros balizadores das conclusões e recomendações da auditoria.4. a equipe pode dispensar a presente etapa e partir para a especificação dos critérios de auditoria e a preparação do relatório de levantamento de auditoria.. de um lado. a qual ater-se-á às questões com maior probabilidade de proporcionar conclusões significativas. exceto para as que tratam de questões descritivas. facilitando a comunicação entre os membros da equipe. indicando como obter evidências significativas.MANUAL DE AUDITORIA DE DESEMPENHO As características relacionadas acima devem servir como base para a delimitação da extensão da auditoria. 22 . 67) Os critérios de auditoria são fixados no decorrer do levantamento. Nesse caso. ao final do qual devem estar suficientemente precisos e detalhados para que possam desempenhar os papéis descritos abaixo na auditoria que será executada: • definição de um arcabouço conceitual básico. 1994b. respeitado o orçamento preestabelecido. de outro. 2. Especificação dos Critérios de Auditoria Os critérios de auditoria são essenciais para todo tipo de auditoria.1. • orientação da coleta de dados..padrões utilizados para determinar se uma dada condição satisfaz ou supera o esperado. Compete ao Coordenador da equipe. os gestores do objeto da auditoria. bem como os seus objetivos. Em geral. os demais integrantes do TCU e. Naturalmente. os indicadores devem poder ser medidos objetivamente. Contudo. bem como entre essa e. zelar para que os objetivos da auditoria sejam fixados à luz dos dados disponíveis sobre desempenho. A equipe deve empregar o tempo e o esforço estritamente necessários para concluir se um trabalho proposto deve ou não ser executado.

Medidas: • o nível de confiança dos dados sobre desempenho deve ser explicitado. Os critérios de auditoria variam conforme os objetivos do trabalho proposto. • os planos de ação resultantes das decisões tomadas devem ser elaborados tempestivamente. Medidas: • resumos das decisões tomadas e das ações programadas devem ser incorporadas ao plano estratégico geral do objeto da auditoria. Medidas: • os usuários finais devem receber cópias dos relatórios em tempo hábil para a tomada de decisões. • os relatórios de avaliação de desempenho devem estar disponíveis sempre que as autoridades competentes se reunirem para tomar decisões acerca do objeto da auditoria. Os relatórios de auditorias de desempenho já realizadas. p. 2º Índice: A consistência e a periodicidade dos relatórios de avaliação de desempenho institucional devem atender às necessidades dos tomadores de decisões. 77-8. 1º Índice: As avaliações de desempenho institucional devem ter um formato útil para os tomadores de decisões. 23 . • os dados sobre desempenho devem. • os dados sobre desempenho devem ter um formato que facilite a identificação de mudanças em tendências. podem fornecer indicações valiosas sobre quais critérios podem ser usados em dada situação. assim como em fatores internos e externos. • os dados sobre desempenho devem ser disponibilizados para os sistemas de controle interno e externo. no que couber. ser incorporados aos planos de ação. Fonte: ANAO. no que couber. no país ou no exterior.ETAPAS DA AUDITORIA DE DESEMPENHO Quadro 4: Exemplo de Critério Aplicável às Auditorias de Sistemas Internos de Avaliação de Desempenho Institucional Critério: As avaliações internas de desempenho institucional devem ser parte integrante do processo de tomada de decisões. • os dados sobre desempenho devem ser analisados e sintetizados tendo em vista as necessidades dos usuários finais. 3º Índice: Cada unidade do objeto da auditoria deve. manter as demais unidades informadas acerca do seu desempenho. 1992.

MANUAL DE AUDITORIA DE DESEMPENHO

Outras fontes podem ser encontradas na legislação pertinente, nas normas internas do objeto da auditoria, nas informações prestadas pelos gestores e no desempenho observado no passado ou em situações similares. Ademais, como esses critérios balizarão as conclusões da auditoria, os gestores devem ser consultados acerca da sua pertinência.3 Compete ao Coordenador da equipe zelar para que sejam fixados critérios apropriados para as diversas dimensões do objeto da auditoria. 2.1.5. Preparação do Relatório de Levantamento de Auditoria No final do levantamento de auditoria, a equipe deve preparar um relatório, que será submetido à aprovação do Ministro-Relator responsável. O relatório deve sintetizar os dados coletados e as conclusões alcançadas, indicando se o trabalho proposto é ou não exeqüível e relevante e recomendando ou não a sua execução. Na hipótese de ser recomendado o prosseguimento da auditoria, a equipe deve propor um plano de auditoria operacional ou um plano de avaliação de programa, conforme a modalidade de auditoria de desempenho mais adequada ao objeto do trabalho, como indicado na próxima seção. Formalmente, os relatórios de levantamento de auditoria devem obedecer à estrutura indicada abaixo, semelhante à estrutura dos relatórios de auditoria de desempenho (vide item 2.3.3)4: • Sumário; • Resumo; • Introdução; • Capítulos sobre os Temas Principais; • Comentários do Gestor; • Conclusão; • Proposta de Encaminhamento; • Apêndices; • Plano de Auditoria Operacional/Avaliação de Programa, quando couber. Na “Introdução”, a equipe discorrerá sobre as características do trabalho e do objeto da auditoria, quais sejam: • características do trabalho: ⇒ decisão que determinou a realização do levantamento; ⇒ motivos da decisão (significância dos valores geridos, das ações empreendidas ou de outros fatores ligados ao desempenho do objeto da auditoria); ⇒ deficiências e falhas referentes ao desempenho constantes de contas prestadas ou de auditorias e inspeções realizadas no passado próximo; ⇒ equipe encarregada (discriminação de seus membros e das unidades nas quais estão lotados) e período de realização; ⇒ extensão e estratégia do levantamento e período examinado;

Ainda sobre os contatos com os gestores do objeto da auditoria, é oportuno destacar que esses contatos deverão ser regulares, permitindo, entre outras coisas, conferir a exatidão de dados obtidos a partir de outras fontes e apurar a versão dos gestores acerca das evidências levantadas. 4 Os tópicos não tratados nos próximos parágrafos deverão obedecer às especificações constantes do item ora indicado. 24
3

ETAPAS DA AUDITORIA DE DESEMPENHO

características do objeto da auditoria: ⇒ identificação do objeto da auditoria (denominação, natureza jurídica, endereço, código do SIAFI, quando couber, e rol de responsáveis); ⇒ estrutura, finalidade, principais atividades e ambiente no qual está inserido; ⇒ legislação pertinente e diretrizes governamentais aplicáveis; ⇒ sistemas de controle e indicadores de desempenho existentes; ⇒ processo de tomada de decisões e recursos humanos, físicos e financeiros utilizados.

Nos capítulos sobre os temas principais, a equipe identificará os possíveis critérios de auditoria e os comparará com as condições observadas ao longo do levantamento. Outros aspectos que devem ser considerados: a confiabilidade do sistema de controle, a solidez do sistema de informações gerenciais e a consistência das linhas de subordinação hierárquica. No tópico “Comentários do Gestor”, por sua vez, a equipe analisará os comentários da gerência acerca do conteúdo do relatório de levantamento de auditoria. Baseada na comparação e nas análises feitas acima, a “Proposta de Encaminhamento” conterá a recomendação acerca da execução do trabalho de auditoria. Esse tópico pode, ainda, conter outras recomendações que mereçam ser levadas ao conhecimento do Ministro-Relator. Dessa forma, o próprio relatório de levantamento de auditoria pode suscitar determinações por parte deste Tribunal. Esse procedimento será especialmente útil quando a equipe concluir que a auditoria proposta não deve ser realizada em face de deficiências apuradas ao longo do levantamento. Nesse caso, a ação fiscalizadora do TCU terá como produto final o relatório de levantamento de auditoria. Compete ao Coordenador da equipe assegurar que o relatório de levantamento de auditoria contenha todas as informações necessárias à correta e oportuna deliberação por parte das autoridades responsáveis. 2.2. Plano de Auditoria Operacional/Avaliação de Programa O plano de auditoria operacional ou de avaliação de programa compreende a identificação das questões que serão investigadas e dos métodos que serão empregados na coleta e análise dos dados, assim como dos meios necessários para implementá-los. Portanto, deve constar desse plano um cronograma das atividades a serem desenvolvidas, com indicação dos prazos e da composição da equipe, além da estimativa dos custos envolvidos. No intuito de facilitar a elaboração conceitual do trabalho e as decisões sobre a estratégia metodológica a ser empregada, a equipe deve utilizar a Matriz de Planejamento de Auditoria (vide Anexo II). Essa matriz dispõe, linearmente, todos os elementos-chave do planejamento de um trabalho de auditoria. Esses elementos serão tratados ao longo desta seção, procurando-se contextualizá-los em relação à auditoria operacional e à avaliação de programa. Os seguintes elementos compõem a Matriz de Planejamento de Auditoria: 2.2.1. Questões de Auditoria; 2.2.2. Informações Requeridas;
25

MANUAL DE AUDITORIA DE DESEMPENHO

2.2.3. 2.2.4. 2.2.5. 2.2.6. 2.2.7. 2.2.8.

Fontes de Informação; Estratégias Metodológicas; Métodos de Coleta de Dados; Métodos de Análise de Dados; Limitações; O Que a Análise Vai Permitir Dizer.

2.2.1. Questões de Auditoria Com base em uma visão orgânica e integrada do objeto auditado, propiciada pelo levantamento de auditoria, assim como nas diferenças entre os critérios definidos e as condições observadas pela equipe, deve-se especificar o problema que será focalizado pela auditoria. Uma vez que na maior parte dos casos as solicitações de auditoria são formuladas de maneira genérica ou muito abrangente, o trabalho da equipe consistirá em definir o escopo e expressar de forma clara e objetiva o problema que norteará todo o esforço de concepção e execução da auditoria, usando para isso as informações obtidas na fase de levantamento. Vencida a etapa descrita acima, a equipe deve elaborar as questões de auditoria, que permitirão investigar o problema formulado. Quando as questões abordarem aspectos voltados para a economicidade, eficiência ou eficácia da iniciativa governamental, tratar-se-á de uma auditoria operacional, enquanto que questões voltadas para o aspecto da efetividade serão examinadas no contexto de uma avaliação de programa. Nesse sentido, as equipes poderão deparar-se com quatro situações: • questões ligadas à economicidade, à eficiência e à eficácia: realização de uma auditoria operacional; • questões ligadas à efetividade: realização de uma avaliação de programa; • questões interdependentes ligadas tanto à efetividade, como à economicidade, à eficiência e a eficácia: realização de uma avaliação de programa; • questões ligadas tanto à efetividade, como à economicidade, à eficiência e à eficácia, mas autônomas: realização de uma avaliação de programa ou de uma auditoria operacional, conforme a relevância das conclusões que poderão ser extraídas de cada modalidade de auditoria. Portanto, as questões formuladas pela equipe serão o ponto de partida de uma auditoria operacional ou de uma avaliação de programa e orientarão todo o trabalho de investigação. O próximo quadro ilustra a relação entre problema e questões de auditoria. Quadro 5: O Problema e as Questões de Auditoria do Plano de Auditoria da 3ª SECEX no Programa de Levantamento da Plataforma Continental Brasileira - LEPLAC
Problema: O Brasil, ao assinar a “Convenção das Nações Unidas sobre o Direito do Mar”, sujeitou-se ao seu cumprimento. Nesse sentido, surgiu a preocupação, por parte dos administradores, de se utilizar técnicas aceitáveis pela comunidade internacional para a efetivação de todo o levantamento geomorfológico no prazo estipulado, tendo em vista a possibilidade de aumento da plataforma
26

ETAPAS DA AUDITORIA DE DESEMPENHO

continental. Questões de Auditoria: 1ª Com que segurança se pode afirmar que as técnicas utilizadas serão aceitas pelos organismos internacionais? 2ª Até que ponto se pode dizer que a utilização das técnicas adotadas permitirá a conclusão do levantamento no prazo estipulado?
Fonte: 3ª SECEX, 1997, p. 34.

Muitas vezes, para que se possa examinar uma questão de auditoria, deve-se subdividi-la em subquestões, que serão tratadas de per si. Ou seja, cada subquestão dará origem a uma matriz de planejamento específica. Ao formular as questões e, quando necessário, as subquestões de auditoria, a equipe estará, ao mesmo tempo, estabelecendo com clareza o foco de sua investigação e os limites e dimensões que deverão ser observados durante a execução dos trabalhos. Nesse sentido, a adequada formulação das questões de auditoria é fundamental para o sucesso da auditoria operacional ou da avaliação de programa, uma vez que terá implicações nas decisões quanto aos tipos de dados que serão coletados, à forma de coleta que será empregada, às análises que serão efetuadas e às conclusões que possivelmente serão obtidas. Na elaboração das questões de auditoria, deve-se levar em conta os seguintes aspectos: • • • • clareza e especificidade; uso de termos que possam ser definidos e mensurados; viabilidade investigativa (possibilidade de ser respondida); articulação e coerência (o conjunto das questões elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado).

Na sua formulação, deve-se observar o seguinte procedimento (GAO, 1991, p. 11-4): 1º - considerar o maior número possível de questões potenciais e os métodos pelos quais essas questões podem ser equacionadas, mesmo que não pareçam, a princípio, plausíveis ou exeqüíveis; 2º - confrontar as questões potenciais com os recursos disponíveis para a realização da auditoria, definidos em termos de custo, prazos de execução e pessoal alocado. Esse procedimento permite verificar quais questões podem efetivamente ser respondidas, considerando o grau de dificuldade envolvido e os recursos demandados. Os critérios para a escolha de determinada questão ou para sua exclusão são a factibilidade da estratégia metodológica requerida para respondê-la de forma satisfatória e a relevância das conclusões que poderão ser alcançadas. Embora as etapas do processo de planejamento sejam apresentadas seqüencialmente, a definição das questões de auditoria e a escolha das estratégias
27

Por esse motivo. • analítica: informações geradas a partir de outras evidências. p. Pode-se considerar. definindo indicadores apropriados. as observações diretas devem ser feitas por. devendo ser sustentadas por evidências documentais. de forma a fortalecer as conclusões finais. é indispensável para que se possa medir o alcance dos objetivos perseguidos pela administração. podendo ser representados por fotografias. será necessário identificar as informações requeridas para respondê-las e suas respectivas fontes. 1992. os termos-chave empregados na questão de auditoria devem ser definidos e suas dimensões ou variáveis identificadas. de preferência acompanhados de representantes do auditado. 28 . comparações ou sínteses. não são provas conclusivas. eventos ou condições materiais existentes. Informações Requeridas Após formuladas as questões de auditoria e os seus desdobramentos (as subquestões). gráficos ou outras representações pictográficas.4). Caso a equipe considere necessário. Para se determinar o tipo de informação que se pretende obter na coleta de dados. normalmente obtidas em entrevistas. obtidas a partir da observação de pessoas. no mínimo. A tarefa de traduzir conceitos abstratos em variáveis mensuráveis. gestores ou membros da equipe técnica encarregada. mapas. Da mesma forma. dois membros da equipe de auditoria. sempre que constituírem elementos críticos para o alcance dos objetivos da auditoria.2. entre outras variáveis.MANUAL DE AUDITORIA DE DESEMPENHO metodológicas apropriadas acontecem simultaneamente. deve-se tentar obter do mesmo a confirmação formal das suas declarações em um resumo ou minuta da entrevista. devem ser corroboradas. 2. As informações coletadas e usadas para suportar os achados de auditoria operacional ou de avaliação de programa são consideradas evidências e podem assumir as seguintes formas (ANAO. os mais empregados em trabalhos de auditoria). As evidências físicas.2. Por exemplo. bem como com especialistas.2. confrontando-se cada questão com as possíveis estratégias metodológicas (vide item 2. 110-3): • física: dados coletados a partir da observação direta. deve-se definir o que se entende por “melhoria do nível de ensino”. É recomendável o uso de mais de um tipo de evidência. as evidências orais. ao formular uma questão envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do nível de ensino. identificando-se as dimensões envolvidas nesse conceito. deve-se preparar uma descrição detalhada das condições observadas e solicitar a anuência formal do representante do auditado. o número de aprovações por série ou a redução da evasão escolar. • oral: declarações geralmente obtidas em entrevistas ou pesquisas com usuários ou beneficiários da iniciativa governamental. • documental: dados registrados em papel ou meio magnético (em geral. Nos casos em que as declarações do entrevistado forem críticas para a auditoria e não for possível obter documentação comprobatória. geralmente envolvendo cálculos.

sempre que possível. etc. não garante que ele esteja sendo empregado pelo auditado. entrevistas realizadas diretamente com os beneficiários de um programa ou registros e anotações originários de uma visita da equipe às instalações de um projeto.3): • • • • a forma de coleta pode não ter sido adequada. normas ou procedimentos. p.3. Algumas vezes. As fontes secundárias são aquelas que foram coletadas e sistematizadas por outros. 3. comprometendo a confiabilidade de todo o seu testemunho. por exemplo. em papel ou em meio magnético.4. 1994a. os dados podem não representar as variáveis selecionadas para análise. do conhecimento. As fontes primárias são aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados.2): • • • • registros administrativos. por sua vez. 2. 29 . como memorandos. da sua credibilidade. o que. os dados podem ter sofrido manipulação. da especialização e da idoneidade do entrevistado. os controles internos podem não ser confiáveis. influirá na confiabilidade das conclusões do trabalho. Estratégias Metodológicas Neste ponto da elaboração do plano de auditoria operacional/avaliação de programa. 1994a. os demonstrativos contábeis − dependerá do regular funcionamento desse sistema. a equipe de auditoria deve especificar a estratégia metodológica a ser adotada. É importante considerar que a estratégia metodológica está diretamente relacionada com a qualidade técnica das evidências que podem ser obtidas. Cabe acrescentar que a confiabilidade das evidências documentais fornecidas pelo sistema de controle do órgão auditado − por exemplo. a resposta do entrevistado a uma pergunta específica pode revelar ambigüidade. 2. deve ser analisada em relação ao objetivo da auditoria. 3. a existência de um manual de procedimentos. contaminando outros elementos do depoimento e.2. Em resumo. legislação. documentos oficiais. os métodos de investigação requeridos pelas questões ou subquestões formuladas. por si só. p. ou seja. por sua vez. ou seja. Por exemplo. como. Fontes de Informação As fontes de informação podem ser primárias ou secundárias. estudos e pesquisas existentes. Os principais problemas ligados à utilização de dados secundários são os seguintes (GAO. dessa forma.2. ofícios. os depoimentos e outros registros considerados críticos para a auditoria devem ser corroborados por evidências documentais. Nesse sentido. por exemplo (GAO.ETAPAS DA AUDITORIA DE DESEMPENHO A confiabilidade e a relevância da evidência oral são funções da posição. A relevância da prova documental.

A partir do presente item. factíveis e adequados à matéria sob exame. registros. causa e efeito. tratadas. os termos “programa” e “objeto da auditoria” serão tratados como equivalentes. c) Causa: As razões do mau ou bom desempenho observado. deve incluir no plano de auditoria operacional os critérios a serem adotados. Nas questões ligadas à economicidade. • normas ou padrões estabelecidos. atividades. b) Condição: A situação verificada após a implementação do programa e a situação que provavelmente seria verificada sem essa implementação. a definição da estratégia metodológica deve levar em conta os seguintes aspectos: • comparações entre condição e critério. projetos. no caso de uma auditoria operacional. à eficiência e à eficácia.17): a) Critério: O padrão ou indicador usado para determinar se o programa 5 atinge. b) Condição: A situação existente.12-2. a equipe deve cuidar para que sejam razoáveis. d) Efeito: As reais conseqüências da diferença constatada pela auditoria entre condição e critério. Ademais. por regulamento ou pela administração. ao selecionar os critérios. os elementos citados acima podem ser assim definidos (GAO. Conseqüentemente. instalações ou áreas geográficas selecionadas). O critério provê o contexto para se compreender os resultados da auditoria. 2. Alguns exemplos de critérios: • objetivos ou metas fixados por lei. os elementos identificados anteriormente podem ser assim definidos: a) Critério: A natureza ou magnitude do impacto esperado com a implementação do programa. • período da observação (ex. 30 5 . identificada e documentada durante os trabalhos. • desempenho de instituições similares. • escopo do estudo (ex. • desempenho anterior. em geral tratadas no âmbito de uma auditoria operacional. Nas questões ligadas à efetividade. indicando programas.: número de pessoas. nacionais ou estrangeiras. condição. sempre que for possível.: as observações serão coletadas em determinado ponto ou período no tempo ou em várias ocasiões diferentes). excede ou está aquém do desempenho esperado. A equipe. cada questão de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusões ou achados de auditoria: critério. p. portanto. no âmbito de uma avaliação de programa.MANUAL DE AUDITORIA DE DESEMPENHO Qualquer que seja a estratégia metodológica a ser adotada. • opiniões de especialistas. órgãos e entidades governamentais. 1994a.

o escopo e o período em que serão realizadas as observações também devem ser especificados. para cada subquestão a ser examinada deve-se estabelecer uma estratégia metodológica específica. a investigação deve ser planejada de forma a eliminar ou controlar fatores exógenos que podem estar influenciando os resultados observados (eliminação de interpretações alternativas). positivas ou negativas. é quase sempre necessário comparar observações sobre beneficiários ou clientes do programa auditado com observações sobre pessoas não afetadas pelo programa em questão. mediante evidências plausíveis. nas condições reais que podem ser identificadas e atribuídas ao programa. Trata-se. Examinada as questões de auditoria à luz dos elementos definidos acima. é responsável pelos efeitos constatados. Convém relembrar que cada subquestão deve ser tratada de per si. d) Efeito: As mudanças. A suposição fundamental é que o programa é responsável pelas mudanças observadas.ETAPAS DA AUDITORIA DE DESEMPENHO c) Causa: O programa que está sendo avaliado. além do programa. a equipe deve decidir sobre a estratégia metodológica mais adequada para responder cada questão. 31 . Naturalmente. assim. no caso de uma avaliação de programa. Por conseguinte. Ou seja. isto é. da diferença entre a situação observada após a implementação do programa e a situação que provavelmente seria observada sem essa implementação. A estratégia metodológica escolhida buscará assegurar. que nenhum outro fator.

análise concomitante à coleta de dados. 1990. O terceiro (ampla descrição e análise) envolve o emprego de descrições densas. Utilização de Dados Existentes.4.4.2. comparando dados de diferentes tipos de fontes por meio do método denominado “triangulação” (vide item 2. o OAG (EFS do Canadá). 2.2.2.1.2. tornando impossível isolar os efeitos das variáveis sob estudo. como o GAO (EFS dos EUA). a análise é ampla. É a estratégia metodológica mais amplamente utilizada pelas EFS com maior tradição em auditorias de desempenho. 2. não-utilização de amostragem probabilística. Porém. As principais características do estudo de caso são: • • • • mais adequado para responder a questões normativas e descritivas8.4. os estudos de caso são freqüentemente complementados por outras estratégias metodológicas.4. provenientes de várias fontes. Segundo o GAO: “Um estudo de caso é um método para conhecer uma situação complexa. esse método apresenta algumas limitações. na língua inglesa.2. o NAO (EFS do Reino Unido) e o ANAO (EFS da Austrália). Estudo de Caso O estudo de caso pode ser empregado tanto em uma auditoria operacional. Delineamentos Quase-Experimentais. p. Ademais.2. Os grifos indicam os elementos-chave da definição. Experimentos de Campo. Pesquisa6. considerada como um todo e no seu contexto.4. baseado em uma compreensão abrangente da situação. uso preferencial da abordagem qualitativa na coleta e análise de dados. 2. como a pesquisa e a utilização de dados existentes. do que está acontecendo e do porquê. obtida a partir da ampla descrição e análise da mesma. a mais completa possível.2.2.6).4. 2.” [grifos nossos]7 (GAO. O segundo (compreensão abrangente) indica que os estudos de caso visam obter uma representação.MANUAL DE AUDITORIA DE DESEMPENHO As estratégias metodológicas mais utilizadas são: 2. como em uma avaliação de programa.5.1. Nos trabalhos desenvolvidos por essas EFS.4. particularmente de observações diretas.14) O primeiro elemento (situação complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influências podem interagir não-linearmente. além de outras. ou seja. Estudo de Caso.3. 2. 8 Exemplo de questão normativa: O programa está atingindo as metas previstas? Exemplo de questão descritiva: Como funciona o programa? 32 6 7 . quais sejam: “Survey”. de informações ricas e completas.

geralmente em várias localidades e de forma normativa. Efeitos do programa: examina relações de causalidade. quando se pretende tirar conclusões para o programa como um todo. c) Caso crítico: examina uma situação especialmente relevante ou serve como um teste-crítico para afirmações feitas acerca do programa. em geral. normativa ou de causa-e-efeito. • não permite generalizações das conclusões alcançadas para todo programa. Freqüentemente.2. Entretanto. Os critérios de escolha são variados e estão relacionados ao tipo de questão que se pretende responder. d) e) Implementação de programa: investiga operações. exceto quando o número de casos ou situações for suficientemente grande e diversificado.6). Exploratório: também tem caráter descritivo. 9 Exemplo de questão de causa-e-efeito ou de impacto: Os efeitos observados podem ser atribuídos ao programa? 33 . 31-52): a) b) Ilustrativo: tem caráter descritivo e objetiva acrescentar exemplos reais e detalhados a outras informações sobre o programa. Com base em suas possíveis aplicações. porém é mais voltado para a geração de hipóteses que serão investigadas posteriormente. deve-se trabalhar com um número maior de casos. geralmente envolvendo o exame de vários casos e utilizando métodos de análise de dados próprios de estudos de caráter qualitativo (vide item 2. f) Cumulativo: reúne descobertas provenientes de vários estudos de caso para responder a uma questão de auditoria. • pode ter custo elevado e necessitar de muito tempo para sua implementação. trabalha-se com um ou poucos casos. o propósito do estudo deve guiar a escolha dos casos.ETAPAS DA AUDITORIA DE DESEMPENHO • não é usado. para responder a perguntas de causa-e-efeito ou de impacto9. esse método pode ser classificado da seguinte maneira (GAO. Uma vez que o emprego de amostragem probabilística geralmente não é factível. seja descritiva. de forma a refletir a variabilidade operacional do programa. A seleção dos casos a serem estudados é um aspecto crítico em estudo de caso. O quadro mostrado a seguir relaciona os principais critérios de seleção de casos. 1990. p.

23. contudo a amostra selecionada não precisa ser representativa. • permite formular hipóteses para serem testadas em estudos de maior amplitude. • evidencia os aspectos fortes e fracos da operacionalização do programa em exame.2. Nota: (a) o critério probabilístico escolhe casos aleatoriamente. Pesquisa 34 . • utilização de entrevistas não-estruturadas ou estruturada com perguntas abertas e observação direta. o que está acontecendo e por quê? O que está acontecendo no programa como um todo. o que está acontecendo e por quê? Em uma situação especialmente relevante.2. As principais vantagens do estudo de caso podem ser assim resumidas: • permite uma análise detalhada do programa em exame. p. e por quê? Caso Típico Interesse especial Probabilidade (a) Fonte: GAO. 2. como se comporta o programa e por quê? Em uma situação típica.4. 1990. • utilização de múltiplas fontes de dados. Em estudo de caso.MANUAL DE AUDITORIA DE DESEMPENHO Quadro 6: Principais Critérios de Escolha Empregados em Estudo de Caso CRITÉRIOS DE SELEÇÃO QUESTÕES QUE PODEM SER RESPONDIDAS Na situação selecionada por facilitar a coleta de dados. o que está acontecendo e por quê? Conveniência Finalidade Casos extremos Melhores casos Piores casos Agrupamento Caso Representativo O que está acontecendo nos extremos? O que explica tais diferenças? Que circunstâncias são responsáveis pela eficácia do programa? Por que o funcionando? programa não está Como diferentes tipos de programas se comparam entre si? Em situações escolhidas para representar importantes variações. a coleta de informações tem as seguintes características: • ênfase no aspecto qualitativo da informação. ainda que sejam coletados dados quantitativos.

• permite o tratamento de dados disponíveis. Nesse sentido. Como método estruturado de coleta de dados. dessa forma. p. a coleta uniforme de dados é fundamental para viabilizar o tratamento estatístico das informações coletadas. • estabelecer relações causais em situações particulares. • permite a generalização para a população de achados ou conclusões obtidas a partir de uma amostra. Na realização de uma pesquisa. Em geral. NAO. erros de mensuração resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausência. são utilizadas 10 A pesquisa que tem como objeto todos os membros de uma população é denominada censo. a amostra deve refletir as características da população-alvo. OAG e outras EFS. a pesquisa é uma estratégia metodológica que permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais. típicas dessa última estratégia. na amostra selecionada. 10 Para garantir essa generalização. Qualquer deficiência do método amostral utilizado deve ser levado em conta na interpretação dos resultados da pesquisa e ser devidamente relatado. Essa estratégia é muito empregada nas auditorias de desempenho realizadas pelo GAO. é utilizada em conjunto com estudos de caso como suporte para as análises de caráter qualitativo. 35 . a pesquisa é utilizada na realização de estudos exploratórios na fase de levantamento de auditoria.ETAPAS DA AUDITORIA DE DESEMPENHO Amplamente aplicada em avaliação de programa e em auditoria operacional. Ademais. Freqüentemente.33): • erro amostral: se uma amostra é muito pequena. • erros não-amostrais: baixa taxa de resposta. • conhecer opiniões e pontos-de-vista dos beneficiários ou dos executores do programa. a sua utilização permite: • obter informações descritivas de uma população ampla. há uma grande chance de que não reflita as características da população da qual foi extraída (métodos estatísticos podem ser utilizados para estimar o tamanho da amostra e. como métodos de pesquisa e técnicas de amostragem e de elaboração de formulário de coleta de dados. Por isso. entre outras. As vantagens dessa estratégia podem ser assim resumidas: • permite obter dados uniformes de uma grande quantidade de elementos pesquisados. • permite o exame de programas que envolvam muitos órgãos e entidades. As desvantagens normalmente apontadas são a longa duração das pesquisas e a necessidade de conhecimentos em áreas específicas. de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa). 3. • permite a comparação com programas similares desenvolvidos por outros órgãos ou entidades. 1994a. são consideradas fontes potenciais de erros (GAO. controlar o presente tipo de erro). como aos resultados esperados. a pesquisa visa generalizar para toda a população informações obtidas a partir de uma amostra. mas ainda não tratados.

que será exposto ao programa. No segundo caso é possível conhecer a dinâmica temporal do programa avaliado e aferir mudanças em fatos. Essa estratégia é empregada quando se pretende identificar uma relação de causalidade ou. atitudes e opiniões. O exame de registros administrativos e a observação direta são meios alternativos de coleta de dados. quando se quer saber se um projeto de qualificação profissional de fato aumenta as chances de inserção no mercado de trabalho aos trabalhadores desempregados. portanto. seus resultados líquidos. identificando. amplamente utilizados nas pesquisas das áreas médica e agrícola. assim. no caso de uma avaliação de programa. a estratégia mais adequada para responder às questões de impacto ou de causa-e-efeito. • o grupo de controle. Essas entrevistas podem ser aplicadas face-a-face ou por telefone. etc.2. Delineamento Experimental O delineamento experimental é uma estratégia metodológica que visa testar hipóteses. pois permite controlar os efeitos não atribuíveis ao programa. para verificar se um programa é a causa de determinado efeito. que não será exposto. pode-se ter: • corte temporal11: o levantamento de informações é feito em um único ponto no tempo.4.): • o grupo experimental ou de tratamento. quando se deseja verificar a relação causal entre as variáveis do domínio do programa e os efeitos observados.3. Também é possível verificar se dois fatores aparentemente relacionados mantém relações de causa-e-efeito.MANUAL DE AUDITORIA DE DESEMPENHO entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionários enviados pelo correio. na língua inglesa. hospitais. Em relação ao momento de realização da pesquisa. 2. Em um delineamento experimental. 36 11 . escolas. • painel: o levantamento de informações é feito em dois ou mais pontos. A sua concepção básica corresponde aos experimentos realizados em laboratório. “Cross-section”. Por exemplo. O delineamento experimental é considerado. selecionam-se dois grupos de unidades de pesquisa (pessoas.

O: teste de mensuração. Isso visa fortalecer o vínculo causal. para ser considerado um experimento em sentido estrito. T. Isto é. No caso da avaliação de um projeto de qualificação profissional. o pesquisador deve se assegurar de que cada grupo manterá a mesma composição ao longo do experimento. L.ETAPAS DA AUDITORIA DE DESEMPENHO As diferenças observadas nos resultados obtidos por esses grupos. p. Em relação aos momentos nos quais as variáveis selecionadas são mensuradas. ainda. requer que as unidades de pesquisa. os experimentos podem adotar pré e pós-testes ou apenas pós-testes. Notação: R: designação randômica. em ambos os grupos. de 1966. p. MORRIS (1987. 55). X: programa ou tratamento. O procedimento exposto acima. essa notação foi concebida por D. a mensuração é realizada antes e depois da implementação do programa ou apenas depois. duas características definem os experimento em sentido estrito: • existência de grupo de controle. com algumas qualificações. 56. que.12 12 Conforme C. Convém notar. sejam selecionadas de forma randômica ou aleatória. • designação randômica de unidades de pesquisa para os grupos de tratamento e de controle. Esquematicamente. Isto é. C. 37 . garantindo que a maioria dos fatores não manipulados pelo programa e que poderiam influenciar os seus resultados está uniformemente distribuída entre os dois grupos. apenas os efeitos do programa explicariam as diferenças observadas. poderão ser atribuídas à presença do programa. 1987. Dessa forma. Stanley. a fim de preservar a integridade do experimento. qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo. T. Campbell & J. FITZ-GIBBON & L. as duas opções correspondem aos diagramas mostrados abaixo. a seleção randômica faria com que características individuais que podem aumentar ou diminuir a possibilidade de obtenção de um novo emprego fossem uniformemente distribuídas pelos grupos de tratamento e de controle. Quadro 7: Diagrama do Delineamento Experimental com Pré e PósTestes GRUPOS DE TRATAMENTO DE CONTROLE PERÍODOS DE MENSURAÇÃO pré R R O O X pós O O Fonte: FITZ-GIBBON & MORRIS. Logo. na obra Experimental and quasi-experimental designs for research.

Por essa razão. Para minimizar esse problema. Notação: R: designação randômica. Delineamentos Quase-Experimentais A realização do delineamento experimental envolve dificuldades de ordem tanto prática. Mesmo assim.4. em geral. mais ambíguas serão as conclusões alcançadas. 38 . Assim. o que. • séries temporais com grupo de controle. essa estratégia deve ser conhecida pelas equipes. 2.MANUAL DE AUDITORIA DE DESEMPENHO Quadro 8: Diagrama do Delineamento Experimental com Pós-Teste GRUPOS DE TRATAMENTO DE CONTROLE PERÍODOS DE MENSURAÇÃO pós R R X O O Fonte: FITZ-GIBBON & MORRIS. assegurando validade interna às interpretações. p. validade externa à investigação. pois funciona como uma referência crítica para avaliar a fragilidade potencial das inferências causais apontadas pelas outras estratégias. destinado a verificar as diferenças preexistentes e.2.4. ou seja. Os delineamentos quase-experimentais mais citados são: • grupos não-equivalentes com pré e pós-testes. O: teste de mensuração. enquanto o segundo tem como objetivo a generalização dos resultados amostrais para toda a população. assegurando. admite-se que dificilmente pode ser aplicado por instituições de controle externo. é essencial aplicar um préteste. tratados no subitem anterior. As estratégias utilizadas nesses casos são menos robustas do que os experimentos de campo. os grupos de comparação são selecionados com base na disponibilidade e na oportunidade. Para se garantir a equivalência entre os grupos. dessa forma. mas na qual há grupos de controle disponíveis. uma vez que a seleção randômica requer que as equipes de auditoria controlem o processo de seleção dos participantes do programa auditado. Existem muitas situações em que não é possível recorrer à randomização.: excluir do programa um grupo de beneficiários em potencial para que operem como grupo de controle). Em que pese ser o delineamento experimental a estratégia mais rigorosa no trato de questões que envolvem inferência causal. 1987. 57. X: programa ou tratamento. Quanto maiores forem as diferenças iniciais entre os grupos de tratamento e de controle. • séries temporais sem grupo de controle. é uma prerrogativa de seu gestor. como ética (ex. deve-se selecionar grupos que sejam tão equivalentes quanto possível. O primeiro procedimento visa fortalecer a inferência causal. A designação randômica para os grupos de tratamento e de controle não se confunde com a técnica de amostragem aleatória. portanto. grupos que possam ser comparados. permitir a interpretação e o controle dos resultados do estudo. foram desenvolvidas estratégias metodológicas alternativas.

o pré-teste é essencial para verificar se. p. conseqüentemente. os grupos de controle e de tratamento são comparáveis. Quadro 9: Diagrama do Delineamento “Grupos Não-Equivalentes com Pré e Pós-Testes” GRUPOS DE TRATAMENTO DE CONTROLE Fonte: FITZ-GIBBON & MORRIS. o enorme volume de dados a serem analisados. Linha Pontilhada: designação não-randômica dos grupos. Notação: X: programa ou tratamento. PERÍODOS DE MENSURAÇÃO pré O O X pós O O No segundo caso (séries temporais com grupo de controle). um dos programas operará como grupo de controle. p. Na hipótese de a equipe de auditoria querer comparar dois programas. A limitação desse modelo é que a seleção dos grupos pressupõe o conhecimento de todas as variáveis relevantes que podem influenciar o resultado do programa. inicialmente. Comparativamente.ETAPAS DA AUDITORIA DE DESEMPENHO No primeiro caso (grupos não-equivalentes com pré e pós-testes). o delineamento tem as mesmas características de um delineamento experimental. enquanto que o outro operará como grupo de tratamento. ou seja. por ser capaz de controlar a maior parte das ameaças à validade interna. O: teste de mensuração. realiza-se uma série de mensurações antes e depois da implementação do programa. 1987. Nesse caso. 39 . por sua vez. 61. Linha Pontilhada: designação não-randômica dos grupos. Notação: X: programa ou tratamento. O: teste de mensuração. o que. O diagrama desse delineamento consta do quadro abaixo. é o objetivo da investigação. exceto pelo fato de que os grupos não são equivalentes. Essa opção é adequada quando se deseja obter uma perspectiva de longo prazo do programa. 1987. O diagrama para esse delineamento está indicado a seguir. esse delineamento é considerado mais eficaz que o anterior. 58. Quadro 10: Diagrama do Delineamento “Séries Temporais com Grupo de Controle” GRUPOS 1 PERÍODOS DE MENSURAÇÃO 2 O O 3 O O X 4 O O 5 O O 6 O O O O DE TRATAMENTO DE CONTROLE Fonte: FITZ-GIBBON & MORRIS. os grupos não foram formados por designação randômica. Um fator negativo que deve ser considerado é o grande número de mensurações a serem realizadas e.

Quadro 11: Diagrama do Delineamento “Séries Temporais sem Grupo de Controle” GRUPO 1 PERÍODOS DE MENSURAÇÃO 2 O 3 O X 4 O 5 O 6 O O DE TRATAMENTO Notação: X: programa ou tratamento. O: teste de mensuração. os delineamentos não-experimentais mais comumente empregados são: • antes-e-depois. p.4. mas devem possuir as mesmas características (séries temporais de grupos sucessivos). não sendo possível. ou seja. apresentam problemas consideráveis quando o objetivo é estabelecer um juízo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuídos. se teve ou não impacto sobre a população. portanto. 1987. estudos dessa natureza oferecem valiosas informações sobre o programa. Assim. isto é. esses delineamentos devem ser adotados em conjunto com outras estratégias metodológicas. • somente depois com grupo de comparação. pode-se verificar se o programa. • somente depois. Quando a coleta de dados é executada adequadamente. Nesse caso. a cada mensuração. as mensurações podem ser realizadas de dois modos diferentes: • com as mesmas unidades de pesquisa (séries temporais longitudinais). a fragilidade do delineamento reside no fato de que não há controle sobre variáveis externas ao programa ou variáveis de contexto.2. • com o mesmo tipo de unidades de pesquisa. isto é. em intervalos regulares de tempo. Delineamentos Não-Experimentais Muitas vezes é impossível utilizar até mesmo delineamentos quaseexperimentais. isolar os efeitos legitimamente imputáveis ao programa. provocou qualquer alteração nas tendências observadas. Entretanto. com o mesmo grupo de unidades de pesquisa.5. Independentemente da série temporal ter ou não um grupo de controle. ao ser implementado. 58. as mudanças observadas podem ter sido causadas por variáveis não associadas ao programa.MANUAL DE AUDITORIA DE DESEMPENHO No terceiro caso (séries temporais sem grupo de controle). O próximo quadro contém o diagrama do presente delineamento. Dispondo-se graficamente os dados obtidos. quando se tratar de uma avaliação de programa. 2. 40 . as unidades de pesquisa podem não ser as mesmas. Fonte: FITZ-GIBBON & MORRIS. antes e depois da implementação do programa. A fragilidade inerente a esses delineamentos é o fato de que não há controle sobre explicações alternativas. a mensuração é realizada. Nesse caso.

como no caso do delineamento quase-experimental. Uma vez que nesse caso não é possível dispor de dados de um préteste. realizando duas medições. deve-se buscar o maior número possível de informações. uma vez que os beneficiários tendem a distorcer informações sobre seu passado. usando testes estatísticos. cujos participantes devem ser tão similares aos beneficiários do programa a ser avaliado quanto possível. O diagrama correspondente consta do quadro abaixo.6. torna-se especialmente difícil distinguir as diferenças preexistentes dos efeitos do programa. No último caso. é importante considerar que dados retrospectivos nem sempre são confiáveis.ETAPAS DA AUDITORIA DE DESEMPENHO A característica do delineamento do tipo antes-e-depois é trabalhar apenas com a população-alvo do programa. O: teste de mensuração. 1987. 41 . Quadro 12: Diagrama do Delineamento “Antes-e-Depois” GRUPO DE TRATAMENTO Fonte: FITZ-GIBBON & MORRIS. p. Notação: X: programa ou tratamento.2. Utilização de Dados Existentes As estratégias metodológicas analisadas até aqui trataram.5). é possível saber para que tipo de unidade o programa parece funcionar melhor ou pior. O terceiro tipo (somente depois com grupo de comparação) é basicamente a versão anterior fortalecida com informações de um grupo de comparação. deve-se considerar a possibilidade de que sejam utilizados dados já existentes (vide item 2. Nessa situação. Só é recomendável utilizá-lo nos casos em que for possível reconstituir a situação dos beneficiários antes do programa. uma antes e outra após a implementação do programa. valendo-se de estudos anteriores ou de entrevistas com os participantes. além de uma descrição detalhada do programa. normalmente procurando manter coerência com a situação presente. quase sempre.62. • verificação da correlação entre as características individuais e os resultados observados. 2.4. da obtenção de dados novos pela equipe de auditoria.2. Outra maneira de minimizar a fragilidade do presente delineamento é separar as informações por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes características. Uma vez que a coleta de dados é um procedimento caro e demorado. Dessa forma. de suas características operacionais e das suas bases teóricas. PERÍODOS DE MENSURAÇÃO pré O X pós O Uma vez que há apenas um grupo a ser monitorado. dois tipos de tratamento estatístico podem ser utilizados: • comparação dos resultados médios de várias categorias. O segundo tipo de delineamento não-experimental (somente depois) é ainda mais limitado que o anterior e consiste em realizar apenas uma medição após a implementação do programa.

Entre as vantagens de um instrumento estruturado de coleta de dados. as perguntas abordam questões delicadas ou complexas que precisam ser esclarecidas.38): • • • • o entrevistado deve ser identificado. 2. primeiramente.MANUAL DE AUDITORIA DE DESEMPENHO As fontes de dados disponíveis. a reação do entrevistado deve ser observada. Métodos de Coleta de Dados Uma vez definida a estratégia metodológica a ser empregada. 3. p. As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionários enviados pelo correio. possibilita a generalização das conclusões. 3. essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos. 1994a. deve-se considerar. o entrevistado apresenta baixo nível educacional. permite análise estatística. • a ordem das perguntas deve ser controlada. Os métodos mais utilizados são: entrevista. p. As desvantagens normalmente apontadas são (GAO. possibilita a comparação das respostas. 1994a. considerações de caráter administrativo podem sugerir o uso de questionários enviados pelo correio. devem ter sido identificados no levantamento de auditoria. p. • é difícil garantir o rigor das informações prestadas. 1994a. questionário enviado pelo correio. no caso de amostras aleatórias. O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstâncias relacionadas a seguir (GAO. os quais apresentam as seguintes vantagens (GAO.37): • são demorados o desenvolvimento e o pré-teste. Contudo. • requer conhecimento especializado. Dependendo da questão a ser investigada. 3.36): • • • • atinge um maior número de pessoas.38): 42 . a conveniência de que sejam utilizados instrumentos que obedeçam ou não a um padrão pré-elaborado (estruturado). Para concluir.5. sejam pesquisas realizadas anteriormente. sejam sistemas gerenciais existentes. deve-se especificar na Matriz de Planejamento de Auditoria o método de coleta de dados que será adotado. observação direta e utilização de dados secundários. p. 1994a. 3. Ao se optar por um método de coleta de dados. destacam-se as seguintes (GAO. é fundamental levar em conta que qualquer problema relativo à utilização desses dados e às suas possíveis limitações deve constar como ressalva às conclusões finais do relatório de auditoria.2.

por sua vez. p. As vantagens desse método podem ser assim resumidas (PATTON. A observação direta. A observação direta é muito empregada em avaliações de programa do tipo qualitativo. a utilização de dados secundários.ETAPAS DA AUDITORIA DE DESEMPENHO • baixo custo. p. • traz para a análise as percepções do próprio observador. O observador treinado deve ser capaz de conferir exatidão. Entre as questões a serem levantadas. • permite que o observador forme impressões que extrapolem o que é possível registrar. ao serem confrontadas com as percepções dos entrevistados. 72-4): • permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa. bem como capacidade de concentração e percepção seletiva. destacam-se as seguintes (ANAO. • pode captar aspectos do programa sobre os quais os participantes não desejam falar numa entrevista. como estudos de caso. e que podem auxiliar na compreensão do programa e dos seus participantes. de dados que foram coletados para outros propósitos. isto é. as impressões e opiniões do observador dependerão menos de percepções prévias sobre o programa). 103): • Que tipo de dado está disponível? Ele se adapta à questão que se pretende investigar? • Os dados estão completos e o período de abrangência é suficiente para a análise? • De que forma o dado está armazenado? Quais as limitações relativas à forma dos dados e quais as dificuldades existentes para a sua obtenção? • Que atividades de coleta são realizadas regularmente? Foi realizada coleta de dados com objetivo específico? • Há outras fontes relevantes de dados para o tema a ser investigado? O relacionamento existente entre os métodos de coleta de dados tratados acima e as estratégias metodológicas consta do quadro mostrado a seguir. mesmo nas mais detalhadas anotações de campo. • permite que o observador use a abordagem indutiva (ao testemunhar os fatos. • não há necessidade de deslocamento de pessoal. principalmente em estudos antropológicos. fornecem uma visão mais completa do programa estudado. 1992. • pode-se obter informação de uma amostra numerosa e dispersa. • não há necessidade de entrevistadores e de treinamento. Fonte valiosa de informações tanto em auditoria operacional. como em avaliação de programa. por ser um tema delicado ou embaraçoso. 1987. por exemplo. requer cuidados especiais por parte da equipe de auditoria. validade e confiabilidade às informações coletadas. é um método bastante empregado em investigação científica. rotineiramente envolvidos com o programa. técnicas de anotação de campo. • permite que um observador treinado perceba aspectos que escapam aos participantes. esse método requer treinamento e preparação específica em. que. Por fim. 43 .

probabilístico. • somente depois. • probabilístico ou não. ⇒ interesse especial. • teste.Quadro 13: Sinopse das Estratégias Metodológicas ESTRATÉGIA METODOLÓGICA TIPOLOGIA • • MÉTODO DE SELEÇÃO DA AMOSTRA conveniência. Utilização de Dados Existentes − • probabilístico ou não. ⇒ piores casos. • somente depois com grupo de comparação. • grupos não-equivalentes com pré e pós-testes. ⇒ casos típicos. Delineamentos Quase-Experimentais • probabilístico ou não. • entrevista. • efeitos do programa. • dados secundários. • teste. • questionário enviado pelo correio. . Delineamentos Não-Experimentais • probabilístico ou não. ⇒ agrupamento. ⇒ melhores casos. • exploratório. • com pré e pós-testes. • questionário enviado pelo correio. • com pós-teste. • séries temporais sem grupo de controle. • dados secundários. • questionário enviado pelo correio. • séries temporais com grupo de controle. • • Pesquisa Delineamento Experimental • questionário enviado pelo correio. • cumulativo. • • corte temporal. probabilístico. • questionário enviado pelo correio. • dados secundários. finalidade: ⇒ casos extremos. • teste. ⇒ casos representativos. • implementação do programa. • observação direta. MÉTODO DE COLETA DE DADOS Estudo de Caso • ilustrativo. • antes-e-depois. • dados secundários. painel. • caso crítico.

como estudos de caso. portanto.6. com os recursos da informática. para sumariar informações ou contar a freqüência de determinados itens de análise. No caso de questionários enviados pelo correio ou entrevistas estruturadas. à medida que a auditoria progride. como relatórios. pode-se codificar as categorias de análise e dar tratamento estatístico ao material coletado. a equipe depara-se com uma grande quantidade de informações. anotações de campo ou material impresso. Os requisitos mínimos para a criação de categorias passíveis de codificação estão relacionados abaixo (GAO. Nessa situação. 12): • as categorias devem ser completas. A descrição do método em questão é parte fundamental do plano de auditoria operacional/avaliação de programa e deve. ou complexos. o método é refinado. intuição e experiência da equipe de auditoria para que seja identificado o que é relevante e significativo nas informações coletadas. criadas a partir da identificação de temas. de tal forma que todas as informações consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas. estudos de caso ou pesquisas. 45 . A essência da análise de conteúdo é a especificação de categorias de análise. as quais devem ser sistematizadas para que seu conteúdo possa ser interpretado. Embora a análise de conteúdo seja muito empregada em estudos de caráter qualitativo. define-se uma primeira versão na fase de planejamento e. Os métodos utilizados para organizar as informações coletadas variam de acordo com os procedimentos adotados na coleta de dados. Podem ser desenvolvidos formatos simples. para dar conta de tendências ou variações sutis nas informações coletadas. ou seja. A informação contida no texto é então organizada com base nas categorias preestabelecidas. Geralmente. que consiste em um conjunto de procedimentos empregados para organizar a informação em um formato padronizado. 1989. o método que deve ser adotado é a análise de conteúdo.2. nenhum item de análise pode ser classificado em mais de uma categoria. isto é. No caso de entrevistas abertas. essas tarefas foram muito facilitadas. como em termos de representação gráfica. Esse procedimento não segue um padrão rígido e depende da criatividade. • as categorias devem ser mutuamente exclusivas. Atualmente. tanto em termos de cálculo. o método de análise de dados é um procedimento interativo. permitindo realizar inferências com base nas características do material escrito ou registrado. pode-se gerar uma base de dados e dar tratamento estatístico às informações coletadas.ETAPAS DA AUDITORIA DE DESEMPENHO 2. constar da Matriz de Planejamento de Auditoria. padrões ou variáveis relacionadas à questão de auditoria. Métodos de Análise de Dados Entenda-se por método de análise de dados o modo como são organizados os dados coletados e as relações que se pretende estabelecer entre as variáveis selecionadas para responder às questões de auditoria. p.

as exceções que confirmam a regra e que ajudam a esclarecer os limites da interpretação principal. d) Caso negativo: relacionado ao item anterior. melhor se 46 . que deve despender.7. reforça-se a confiança na interpretação originalmente formulada. • utilizar múltiplos métodos de pesquisa para estudar a mesma questão. • utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados. 155-64): a) Triangulação: uso de diferentes métodos de pesquisa e/ou de coleta de dados para estudar a mesma questão. apresentação gráfica de dados. tabulação de freqüências de diferentes eventos. A efetividade dos procedimentos tratados acima apóia-se firmemente na honestidade intelectual do investigador. 2. trata-se de identificar as situações que não seguem a tendência central.2. a equipe de auditoria deve especificar as limitações inerentes à estratégia metodológica adotada. na busca de casos negativos ou de evidências que dêem sustentação às hipóteses alternativas. Limitações Nesse elemento da Matriz de Planejamento. mas apenas aquela que. Quanto à estratégia metodológica. • utilizar teorias diferentes para interpretar os dados coletados. ordenação cronológica dos dados para análise de séries temporais e tabulações complexas para checar relações). às características das informações que se pretende coletar e às condições operacionais de realização dos trabalhos. quais sejam (PATTON. deve-se buscar interpretações alternativas. b) Técnicas específicas para o tratamento de dados envolvendo múltiplas situações (matriz de categorias. podendo assumir as formas a seguir indicadas: • coletar dados de diferentes fontes sobre a mesma questão. p. ou seja. o mesmo esforço empregado na construção da interpretação principal. 1987.MANUAL DE AUDITORIA DE DESEMPENHO Ainda sobre estudos de caráter qualitativo. caso não sejam encontradas evidências substantivas que sustentem essas interpretações. deve-se considerar que não há uma estratégia ótima ou ideal. dadas as circunstâncias. c) Interpretações alternativas: uma vez formulada uma interpretação a partir das principais relações identificadas na análise. são utilizados mais alguns métodos de análise de dados. com o objetivo de fortalecer as conclusões finais.

Esses esclarecimentos são necessários para que se tenha noção. do que se pode esperar do esforço que será empreendido pela equipe e dos recursos que serão alocados no desenvolvimento do trabalho. como L. J. Nesse sentido. refutar tais interpretações. esse critério para avaliar a qualidade de um trabalho tem sido questionado por outros estudiosos. O propósito dessa informação é restabelecer o objeto inicial da questão de auditoria. assim como a qualidade do relatório final.3.13 Sob esse aspecto. consideram qualitativamente superiores os estudos que utilizem estratégias metodológicas que permitam ao investigador fazer uma afirmação de natureza causal. naturalmente. esclarecer precisamente quais conclusões ou resultados pretende-se alcançar com a estratégia metodológica adotada. ao se optar por uma estratégia metodológica. devem ser citadas as limitações de ordem operacional.ETAPAS DA AUDITORIA DE DESEMPENHO adapta à questão que se pretende investigar. embora um delineamento experimental tenha prestígio. Contudo. baseado no plano de auditoria operacional/avaliação de programa discutido na seção anterior. Raizen e A. como G. 47 . é fundamental que a equipe de auditoria tenha pleno conhecimento das suas responsabilidades e dos objetivos do trabalho. isto é. Execução A etapa seguinte da auditoria de desempenho envolve o desenvolvimento dos trabalhos de campo. é indispensável apontar as limitações que lhe são inerentes.2. é importante mencionar que tipo de problema espera-se encontrar. como em relação à sua qualidade e confiabilidade. deve-se registrar. que consideram que um bom estudo deve ser tecnicamente adequado e útil. podem comprometer o resultado final dos trabalhos. Assim. envolvendo a disponibilidade de recursos humanos e/ou materiais. Cronbach e C. Essa perspectiva é reforçada pela constatação de que não é essencial evitar todas as possíveis ameaças à validade. simetria e poder explicativo. os quais. condicionado pelas limitações previamente identificadas. p. Vide L. Fairweather. O Que a Análise Vai Permitir Dizer Esse elemento da Matriz de Planejamento de Auditoria está intrinsecamente relacionado com o anterior. se será possível fazer afirmações conclusivas sobre o objeto da auditoria. É mais eficaz controlar apenas as fontes de erro prováveis em dada situação. a equipe de auditoria deve estar atenta às interpretações alternativas que a estratégia metodológica empregada deixa em aberto e deve buscar. S. Assim. seja do ponto de vista do poder explicativo. tanto em relação à dificuldade de acesso aos dados. CRONBACH (1983. 22-30) para uma discussão sobre esse tema. 2. por meio da análise. seja em relação às possibilidades de generalização dos resultados do estudo. Weiss.8. por exemplo: se as conclusões alcançadas permitirão responder integralmente às questões de auditoria. Para garantir o bom andamento dos trabalhos de campo. o papel do coordenador da equipe é fundamental na distribuição de tarefas e no 13 Alguns autores. Rossi. Ademais. e se as conclusões limitar-se-ão aos casos examinados ou se será possível generalizá-las. de alguma forma. em oposição à análise do tipo correlacional. o delineamento quase-experimental possui a virtude insuperável da factibilidade. já na fase de planejamento. 2. H. ou seja. J. e a elaboração do relatório final. pois o que se espera obter da análise está. W. Quanto às informações que se pretende utilizar na análise.

muitas vezes. conforme o esquema lógico proposto no item 2.1.MANUAL DE AUDITORIA DE DESEMPENHO acompanhamento dos trabalhos. o plano de auditoria operacional/avaliação de programa é específico para cada auditoria. a análise pode estender-se até a fase do relatório. previamente selecionados e identificados pela equipe. as evidências coletadas são comparadas com os critérios de auditoria. Uma vez caracterizado o achado de auditoria. Nas auditorias operacionais. As diferenças observadas constituem os achados de auditoria. Em geral. a análise deve concentrar-se na busca de evidências acerca dos efeitos provocados pela implantação do programa examinado. processos antieconômicos. 2. cabe ao coordenador manter com a equipe reuniões periódicas. deve-se proceder à verificação dos efeitos e à identificação das causas do desempenho observado. podendo ser revisto e adaptado à medida que se desenvolvem os trabalhos de campo. já na fase de planejamento. assegurem que os efeitos observados foram efetivamente provocados pelo programa (causa). decisões inadequadas ou descompromisso com a qualidade do bem ou serviço oferecido. Por outro lado. É importante lembrar que. ao contrário de um plano de auditoria de conformidade. nas quais serão discutidos os problemas surgidos durante os trabalhos de campo e as adaptações que se fizerem necessárias na Matriz de Planejamento. No caso de. sempre que possível. em função da complexidade do tema e de evidências supervenientes. a situação constatada após a implantação do programa (condição) deve ser comparada com o impacto esperado (critério). O efeito associado a um achado de auditoria. Desenvolvimento dos Trabalhos de Campo A identificação dos achados de auditoria e dos efeitos correspondentes tem início. Nesse sentido. por exemplo. podendo ser modificada de maneira a assegurar que os objetivos da auditoria sejam alcançados e que as evidências apropriadas sejam obtidas. então. O efeito deve demonstrar 48 . deve ser mensurado.3.2. As evidências identificadas no levantamento de auditoria (achados em potencial) são. como ausência de controle. os efeitos qualitativos também devem ser mencionados. que permite à equipe visualizar o encadeamento lógico do trabalho. Nas avaliações de programa. Nesse sentido. quando então a equipe deve chegar a uma decisão final sobre os achados apurados. esses procedimentos só são concluídos no final do trabalho de campo. a Matriz de Planejamento de Auditoria deve ser considerada um instrumento dinâmico. Entretanto. que segue um padrão razoavelmente estável e consistente. Já os efeitos decorrentes de procedimentos ineficientes. Outro aspecto fundamental na análise de questões de impacto refere-se à busca de evidências plausíveis que. Portanto.4. recursos ociosos ou gerenciamento deficiente podem ser dimensionados em termos de descumprimento de prazos e de desperdício de recursos físicos. aquisições mal planejadas ou equipamentos improdutivos. os efeitos podem ser estimados em valores monetários. ao serem selecionadas as questões que serão investigadas. ao eliminarem interpretações alternativas. examinadas mais detalhadamente durante os trabalhos de campo.

ETAPAS DA AUDITORIA DE DESEMPENHO a necessidade de ação corretiva e pode ter ocorrido no passado. que deve ser apreciado pelo Ministro-Relator. A causa de um achado de auditoria é a base para as recomendações. Portanto. a equipe deve escolher para a realização do piloto um local ou aspecto do objeto da auditoria que apresente dificuldades potenciais para a condução dos trabalhos. em muitos casos. estar ocorrendo no momento da auditoria ou vir a ocorrer no futuro. 2. permitindo que a equipe antecipe os problemas que poderão ser enfrentados. 2. e não os meios para alcançá-los. ainda.3. a equipe deve identificar aquela que. Além disso. os dados coletados permitirão ajustar o tamanho da amostra e certificar que a estratégia metodológica selecionada oferecerá uma resposta conclusiva à questão de auditoria. As recomendações que visem à melhoria do desempenho administrativo ou operacional são o aspecto mais importante das auditorias de desempenho. As dificuldades de quantificar os benefícios potenciais variam segundo o tipo de benefício. é fundamental que a equipe dispense à sua preparação o cuidado e o empenho necessários para que o resultado final atinja o padrão de qualidade técnica desejado. Essa estimativa reforçará a necessidade de mudança nos procedimentos administrativos ou operacionais. especificando. o valor agregado e os benefícios advindos da auditoria de desempenho. Relatório O relatório de auditoria de desempenho é o produto final do trabalho da equipe. após ter sido analisado pelas instâncias administrativas competentes. Nesse sentido. Caso haja múltiplas causas para um mesmo achado. a realização do teste-piloto não só se justifica como é altamente recomendável no caso de auditorias de grande complexidade e custos elevados. a equipe deve estimar a economia líquida de recursos decorrente da sua implementação. Conquanto os aperfeiçoamentos requeridos. Entretanto. Deve-se considerar. não é suficiente declarar que a gestão de determinado programa requer aperfeiçoamentos. os impactos financeiros podem ser estimados com razoável segurança. Portanto. as premissas iniciais acerca do funcionamento do objeto auditado e a qualidade e confiabilidade dos dados.3. constituam o foco das recomendações. Nesse caso. A fim de obter um quadro representativo. a complexidade do objeto da auditoria e a falta de informações precisas a seu respeito podem comprometer o resultado de uma auditoria de desempenho. para a seguir desenvolvê-la de forma 49 . a equipe deve considerar a conveniência de realizar um testepiloto que permita checar a estratégia metodológica proposta.3. recomenda-se iniciar cada tópico ou parágrafo do relatório com a idéia principal. a possibilidade da causa identificada estar fora do controle do auditado. se modificada. devendo-se indicar alternativas a serem consideradas. pode prevenir situações similares. fazendo com que o foco das recomendações transcenda o objeto da auditoria. Teste-Piloto Muitas vezes. pois reduz as incertezas e aumenta as chances de que o trabalho desenvolvido alcance o nível de qualidade desejado com o menor custo possível.2. convém indicar que aspectos devem ser examinados pelo gestor na busca de soluções. Portanto. dessa maneira. Ao formular recomendações.

2. O relatório de auditoria de desempenho deve ter a seguinte estrutura: 2. A finalidade do resumo é dar ao leitor uma visão concisa do tema investigado. glossários. Cabe mencionar.3.6. principais resultados e recomendações.7. com cada capítulo podendo ser visto isoladamente. Proposta de Encaminhamento. um todo integrado. o sumário deve mostrar que as informações estão logicamente encadeadas. evitando-se o uso excessivo de adjetivações e de orações intercaladas. que os apêndices.3. a escolha dos títulos dos capítulos e seções que compõem o relatório deve ser feita de maneira a fornecer uma indicação clara do assunto tratado. 2. Resumo O resumo é uma breve descrição dos elementos-chave do relatório. 50 .3.3.5.1. Ademais. 2. se assim decidir o Ministro-Relator. 2. Portanto. dos principais achados ou problemas identificados e das recomendações pertinentes.3.3. tabelas. Conclusão.3. 2. o qual deve permitir ao leitor ter uma visão geral do conteúdo do relatório. Trata-se.3. Quando o uso de termos técnicos for imprescindível. contendo. facilitando a localização de assuntos do seu interesse ao indicar as páginas correspondentes.3.3. 2.1. bem como de jargões ou termos técnicos que dificultem a compreensão do texto. de um texto com as características de um resumo executivo. Capítulos sobre os Temas Principais.3. 2. Apêndices.3.3.8. no seu conjunto. quais sejam: objetivo e escopo da auditoria.3. por exemplo.3. gráficos. Resumo. 2.2. ilustrações e demais documentos ou informações necessárias à formulação dos argumentos e das conclusões do relatório. mas formando.4. o qual poderá ter ampla divulgação.3.3. Sumário Toda atenção deve ser dispensada à elaboração do sumário do relatório. eles devem ser explicados. Introdução. ainda.MANUAL DE AUDITORIA DE DESEMPENHO lógica e coerente. Comentários do Gestor. conseqüentemente.3. também devem estar referenciados no sumário.3.3.3. 2.2. Sumário.

Por fim. Tratando-se de uma auditoria operacional.4. se os achados e conclusões basearem-se no exame de uma amostra. Ao descrever os objetivos e o escopo da auditoria. Outra 51 . Introdução A introdução deve incluir os antecedentes. a relação entre o universo e as unidades efetivamente auditadas. Capítulos sobre os Temas Principais Os capítulos que comporão o relatório podem ser organizados de diversas maneiras. sempre que a equipe julgar conveniente. esses métodos devem ser devidamente detalhados. quando for o caso. devem ser enunciados claramente para que se possa avaliar os resultados alcançados pelo trabalho. Ademais.3. é fundamental indicar os procedimentos adotados para estabelecer os critérios de auditoria. fazer uma descrição suficientemente detalhada do objeto auditado que permita ao leitor compreender a sua relevância e as suas principais características. também devem ser mencionadas as limitações impostas ao trabalho de auditoria associadas à confiabilidade ou à dificuldade na obtenção de dados.3. a) Antecedentes Ao tratar dos antecedentes. Convém. outras fiscalizações feitas no objeto em questão recentemente. Uma delas é tratar cada questão de auditoria em um capítulo específico. Da mesma forma. ainda. especificando. os locais visitados e o período abrangido pela auditoria. devem ser mencionados os aspectos específicos que não foram abordados pela auditoria. ao mesmo tempo. objetivos. Também devem ser identificadas as organizações. os sistemas ou os aspectos que foram auditados.3. b) Objetivos e Escopo da Auditoria Os objetivos da auditoria. a equipe deve informar a técnica de amostragem utilizada e justificar a sua escolha. descrevendo o modo como foram utilizados. Sempre que forem utilizados métodos estatísticos ou outras abordagens quantitativas de análise de dados. as instituições. definindo os limites do trabalho desenvolvido e especificando os temas.ETAPAS DA AUDITORIA DE DESEMPENHO 2. 2. a equipe está. explicitados pelas questões de auditoria.3. assim como as limitações relacionadas ao próprio escopo do trabalho. Ao informar o escopo da auditoria. os métodos empregados na coleta de evidências e na definição de achados e recomendações. a equipe de auditoria deve especificar a natureza do objeto da auditoria e mencionar. para evitar ambigüidades. c) Estratégia Metodológica A equipe deve informar as estratégias metodológicas e os métodos de coleta e análise de dados empregadas.3. quando for o caso. escopo e estratégia metodológica da auditoria. a equipe deve mencionar a abrangência do trabalho.

A resposta recebida será analisada pela equipe e registrada em capítulo próprio do relatório final. os assuntos da mesma natureza devem ser agrupados e apresentados em uma seqüência lógica. de acordo com a complexidade do tema tratado.5. encerrando-se com as recomendações pertinentes. As causas de desempenhos fracos eventualmente observados devem ser apontadas. serem prolixos ou repetitivos. os capítulos devem estar ordenados de forma a facilitar a leitura e compreensão dos temas abordados. a) Introdução Cada capítulo deve ter uma breve descrição do assunto a ser tratado. a título de introdução. Para tanto. Havendo necessidade de maior detalhamento. é recomendável que a equipe encaminhe aos gestores uma versão preliminar das principais conclusões da auditoria. b) Apresentação dos Achados e Recomendações O restante do capítulo é dedicado à exploração detalhada dos pontos apresentados na introdução. achados e recomendações devem ser sustentados por evidências. Sempre que possível. contendo as principais idéias. 2. bem como aquelas que estão fora do controle ou da influência do gestor. Da mesma forma. O excesso de informação ou detalhe deve ser evitado. É imprescindível que se faça distinção entre fatos e opiniões. geográfica ou funcional do objeto da auditoria.MANUAL DE AUDITORIA DE DESEMPENHO alternativa é estruturar os capítulos segundo uma seqüência lógica baseada na organização administrativa.3. conclusões ou achados que serão desenvolvidos mais detalhadamente nos parágrafos subseqüentes. indicando-se aquelas ligadas à operacionalização ou à concepção do objeto da auditoria. Esse encaminhamento deve ser feito por intermédio de documento oficial. é necessário incluir uma análise das evidências empregadas para estabelecer as causas.3. Seja qual for o critério adotado. 52 . deve-se utilizar o apêndice. Comentários do Gestor A fim de permitir que os gestores possam agregar comentários que julguem pertinentes para a melhor compreensão das questões abordadas no relatório. quando for o caso. sem. no entanto. Os capítulos devem ser desenvolvidos de maneira a permitir ao leitor acompanhar a lógica dos argumentos e das justificativas que sustentam os achados. procurando-se manter um equilíbrio entre a concisão e a clareza. a ser respondido em prazo considerado conveniente pela equipe.

53 .3. de maneira a se obter um quadro compreensível dos principais achados e das recomendações cabíveis.3. da qual constarão a síntese das recomendações formuladas e.3.3.3. Por fim. mas que não façam parte dos objetivos da auditoria. os efeitos potenciais nos custos e no desempenho do objeto auditado. quando for o caso.3. A equipe deve indicar as seções dos capítulos que tratam dos achados e recomendações que sustentam a proposta encaminhada. Proposta de Encaminhamento Com base nos achados e recomendações apresentados no relatório. sempre que possível. a equipe deve incluir no relatório quaisquer temas ou questões que considere relevantes. a seu juízo. as determinações que. incluindo o exame do impacto dos problemas identificados e de como tais recomendações podem gerar melhorias. a equipe deve formular a proposta de encaminhamento.8. quantificando. 2.7. Conclusão Esse tópico tem por objetivo oferecer uma visão global e sintética dos aspectos tratados em cada capítulo. devem ser incluídos quaisquer detalhamentos necessários ao entendimento e sustentação dos argumentos apresentados cuja inserção no texto principal prejudicaria o fluxo da exposição. quando for o caso. 2.6. Apêndices Nesse tópico. que a equipe adote uma abordagem positiva. para que sejam examinados oportunamente.ETAPAS DA AUDITORIA DE DESEMPENHO 2. deveriam ser referendadas pelo Tribunal. É recomendável. reconhecendo as dificuldades enfrentadas pelo gestor e destacando as iniciativas importantes por ele empreendidas para melhorar o desempenho e superar as deficiências apontadas. A factibilidade das recomendações feitas deve ser objeto de uma análise criteriosa por parte da equipe de auditoria.

MANUAL DE AUDITORIA DE DESEMPENHO 54 .

ANEXO I ORIENTAÇÃO GERAL PARA A ANÁLISE PRELIMINAR DO OBJETO DA AUDITORIA .

.

entidades. órgãos. programas. identificar o escopo. à base teórica. − propostas conflitantes. I. projetos e atividades governamentais que atuam na mesma área.1. Origem e Antecedentes I. geralmente. − aspectos do projeto de lei que prevaleceram. que poderão ser obtidas na Comissão Parlamentar encarregada. projetos e atividades governamentais. − aspectos do projeto de lei que foram abandonados ou modificados. Naturalmente. a relação apresentada abaixo não pretende esgotar todos os possíveis aspectos dos órgãos. permitem identificar aspectos críticos ou pontos de estrangulamento que têm sido ou serão enfrentados. por exemplo. As informações relativas à fase de discussão do projeto de lei. Identificar: • • • • data de criação. • avaliações anteriores: − iniciativa. denominações anteriores. − executor. Ademais. à luz do tempo e dos recursos disponíveis.ORIENTAÇÃO GERAL PARA A ANÁLISE PRELIMINAR DO OBJETO DA AUDITORIA Este anexo visa auxiliar as equipes de auditoria na identificação das informações mais relevantes para a análise preliminar do objeto auditado. Antecedentes Institucionais As informações sobre a trajetória institucional do objeto da auditoria. I. Identificar: • legislação específica: − órgão ou partido que teve a iniciativa da lei. − aspectos avaliados. decidir sobre a extensão e o nível de detalhamento dos dados que serão coletados. os objetivos gerais.1. situandoo no âmbito das prioridades governamentais. que poderão subsidiar as análises da equipe em relação. cujas peculiaridades devem ser cuidadosamente estudadas por cada equipe. podem apontar concepções divergentes sobre o objeto auditado. origem e evolução dos recursos.1. .2. programas. Base Legal A base legal que deu origem ao objeto da auditoria e regulamenta sua operação é fonte primária de informação e permite. as fontes de recursos e demais características formais do objeto. entidades. − principais conclusões. caberá às equipes.1. às possíveis alternativas operacionais ou à factibilidade dos objetivos propostos.

Identificar: • estudo prévio que deu suporte à criação do objeto auditado. I. • grau de conscientização da equipe em relação às diretrizes (explícitas ou implícitas). − população-alvo.2.MANUAL DE AUDITORIA DE DESEMPENHO − efeitos inesperados. I. Identificar: • princípios ou doutrinas presentes na criação do objeto da auditoria. Prioridades. deve fixar medidas de desempenho que permitam a sua avaliação sistemática. • mudanças significativas no objeto auditado: − objetivos. Planejamento I. pareceres técnicos ou opiniões de especialistas: necessidades específicas apontadas. a sua clara identificação é um estágio fundamental da etapa de levantamento. Portanto. • modo como o tempo é alocado entre os objetivos. I. • factibilidade das metas e objetivos.2. • situação no contexto das prioridades governamentais. • objetivos explicitados: objetivos relacionados às ações desenvolvidas (o que será realizado). Objetivos e Metas As ações desenvolvidas pelo objeto auditado devem estar logicamente relacionadas com as suas metas e objetivos. objetivos relacionados aos resultados pretendidos (efeitos sobre a população-alvo).2. relação entre as prioridades apontadas e as metas e objetivos fixados.3 Acompanhamento O monitoramento do objeto da auditoria.1. Diretrizes As ações implementadas pelo objeto da auditoria devem guardar consistência com as bases teóricas e com os valores que fundamentaram a sua criação. • metas e objetivos mais importantes. 58 − − − − . • diretrizes declaradas. para melhor compreender as relações de causa e efeito subentendidas na concepção do objeto auditado. • pesquisas. Mesmo que não possam ser identificadas na documentação do objeto.2. • diretrizes implícitas. − metas. − abrangência. Os parâmetros de desempenho devem refletir adequadamente os objetivos gerais do objeto auditado e servir de base para as decisões da gerência.2. é importante que elas sejam obtidas junto aos gestores e à equipe técnica encarregada. • análises de custo-benefício ou custo-efetividade que deram suporte à decisão de implementação do objeto. atividade precípua da gerência.

− dos executores. p. − da comunidade em geral. Contexto Político-Social O contexto político-social da atuação do objeto auditado é uma fonte importante de informações para se entender o seu funcionamento. outras formas de medir o desempenho.4. “Embora tais informações dificilmente apareçam em um documento formal de avaliação. somente um avaliador ingênuo não daria atenção ao contexto político − agindo sob seu próprio risco e arriscando comprometer a avaliação.3.ORIENTAÇÃO GERAL PARA A ANÁLISE PRELIMINAR DO OBJETO DA AUDITORIA Verificar: • • • • unidades de medida de desempenho usadas regularmente. nível de desempenho considerado adequado para cada meta ou ação. adequação das unidades de medida de desempenho aos objetivos. programas. • impacto na mídia. I. População-Alvo Quando for o caso. 28). grupos ou organizações que criticam as ações do objeto auditado: − principais críticas. Identificar: • • • • • clientela do objeto auditado. 59 . • grupos ou organizações que apoiam as ações do objeto da auditoria: − motivações e intenções envolvidas. Ambiente de Atuação I. • canais de comunicação entre o objeto da auditoria e outras instâncias organizacionais: − internas. • principais focos de resistência às ações do objeto da auditoria por parte: − dos gestores. diferenças significativas entre participantes e não-participantes. projetos e atividades governamentais que possam ser usados em comparações.4. • indivíduos. características da clientela associadas ao impacto do objeto da auditoria.” (KING.1. grupos não afetados ou afetados por outros órgãos. • grupos de interesse que agem no ambiente do objeto auditado: − influências sobre o seu desenvolvimento. − da população-alvo. Identificar: • estudos feitos por terceiros. 1997. entidades. I. deve-se obter uma descrição detalhada da população-alvo do objeto da auditoria. critérios de seleção dos beneficiários.

governamentais.4. • características sócio-econômicas dessas regiões. Características Operacionais A descrição dos insumos e do funcionamento do objeto auditado é uma tarefa básica da etapa de levantamento. − funções técnicas. • atividades de treinamento.5. projetos e atividades 60 . inclusive culturais. essencial para se compreender como as ações estão sendo desenvolvidas e para se aferir o grau de eficiência e economia dos gestores.1 Recursos Humanos Identificar: • responsáveis pela execução dos serviços. • existência de quadro próprio. • dificuldades de ordem pessoal ou institucional que dificultam a comunicação no âmbito do objeto auditado. I. • dificuldades de preenchimento de funções específicas. entidades.2. de direção e de suporte. • grau de motivação e engajamento do pessoal. • procedimentos de seleção de pessoal. I.5. • composição do quadro de pessoal em termos de: − formação acadêmica e profissional. • taxa de rotatividade. • diferenças relevantes entre essas regiões. I. − faixas salariais. Características Sócio-Econômicas As diferenças regionais podem operacionalização de órgãos. Identificar: • em que regiões o objeto da auditoria foi implementado.MANUAL DE AUDITORIA DE DESEMPENHO − externas. explicar variações significativas na programas.

implantação e operação. − outros meios. I. • desdobramento das ações no tempo e no espaço (variações regionais). Fatores Restritivos A qualidade técnica de uma auditoria não deve ser medida apenas pela sua capacidade em responder conclusivamente a questões do tipo causa e efeito. Descrever: • situação financeira. Recursos Físicos Descrever: • características das instalações físicas. • custos de desenvolvimento. Recursos Financeiros Identificar: • principais itens de custo.. 61 . a qualidade técnica de um estudo ou método pode ser determinada pela comparação entre o que foi realizado e o que era possível realizar.5. − aos objetivos do objeto da auditoria.5. Funcionamento Descrever: • ações desenvolvidas. I. • equipamentos disponíveis. 8) Verificar: • acessibilidade das informações sobre o objeto da auditoria: − base de dados computadorizada. • situação da gestão. Verificar: • adequação dos recursos disponíveis em relação: − à clientela.4.5..” (GAO. 1991. I. em outras palavras: “.6.2. − arquivos centralizados no gestor/coordenador. Uma boa auditoria levará em conta as limitações existentes.ORIENTAÇÃO GERAL PARA A ANÁLISE PRELIMINAR DO OBJETO DA AUDITORIA I. − arquivos descentralizados. Identificar: • ciclos mensais ou anuais que afetam as ações do objeto auditado.3. p. • indicadores de custo unitário e/ou custo per capita: − base de cálculo.

MANUAL DE AUDITORIA DE DESEMPENHO • procedimentos e rotinas de coleta de dados empregados. 62 . • política relativa às informações confidenciais e ao acesso às pessoas. • disponibilidade de recursos humanos. • disponibilidade de grupos ou indivíduos relevantes para a obtenção de informações. físicos e financeiros. registros e locais relacionados com o objeto auditado. • prazos estimados de execução.

ANEXO II MODELO DE MATRIZ DE PLANEJAMENTO DE AUDITORIA .

.

• delinea mento experimental. • dado s secundários. • área geográfica. • delinea mentos quaseexperimentais. . de acordo com o levantamento de auditoria previamente realizado. • ques tionário enviado pelo correio. as técnicas amostrais a serem utilizadas: • estudo de caso. • delineamentos nãoexperimentais. • à qualidade das informações. • às condições operacionais de realização do trabalho. Identificar as informações necessárias para responder a questão de períod auditoria. quais sejam: • estatí stica descritiva. MÉTODOS DE ANÁLISE DE DADOS Especificar as técnicas a serem utilizadas na análise de dados. • outras . QUESTÃO DE AUDITORIA Especificar os termos-chave e o escopo da questão: INFORMAÇÕES REQUERIDAS FONTES DE INFORMAÇÃO Identificar as fontes de cada item de informação. • anális e de conteúdo. LIMITAÇÕES Especificar as limitações relativas: • à estratégia metodológica adotada. MÉTODOS DE ESTRATÉGIAS OBTENÇÃO DE METODOLÓGICAS DADOS Especificar as comparações a serem feitas. • pesqui sa. quais sejam: • entre vistas (estruturadas ou nãoestruturadas).MODELO DE MATRIZ DE PLANEJAMENTO DE AUDITORIA PROBLEMA: Enunciar de forma clara e resumida o aspecto a ser enfocado pela auditoria. • utilizaç ão de dados existentes. • anális e qualitativa. • popul ação-alvo. Especificar os métodos de coleta a serem empregados. O QUE A ANÁLISE VAI PERMITIR DIZER Esclarecer precisamente que conclusões ou resultados podem ser alcançados a partir da estratégia metodológica adotada. • obse rvação direta. • o de abrangência.

.

ram  P  TP = T em p o P laja d o paa O b teM P . que permite gerar um determinado produto (bens e serviços). sem comprometimento dos padrões de qualidade. TR onde:  E c = E ficá c ia . independentemente dos custos implicados. Atividade: ação. Dado Quantitativo: informação expressa na forma de números. Abordagem Quantitativa: refere-se ao uso de métodos estatísticos para identificar e explicar padrões de comportamento ou relações entre as variáveis.  M = M e ta P ro g a d a . se Ec < 1. TP .  iz l  M R = M eta R eaa d a . em geral repetitiva. quando um deles muda. . Eficácia: grau de alcance das metas programadas em um determinado período de tempo. se Ec = 1. Correlação: interdependência entre dois conjuntos de variáveis. Dado Qualitativo: informação expressa na forma de palavras. tal que. Efetividade: relação entre os resultados (impactos observados) e os objetivos (impactos esperados). M P . o outro muda na mesma direção (correlação positiva) ou em direção oposta (correlação negativa).  liz O r  TR = T e m p o U tia d o paa r b teM R .GLOSSÁRIO Abordagem Qualitativa: refere-se ao uso de métodos próprios à antropologia cultural e à etnografia. eficaz. estendendo-se por tempo indeterminado. 14 A validade das conclusões dependerá da validade dos dados de programação que servirem de parâmetro. pode ser representada pela seguinte relação: MR Ec = MP TR TP = M R . eficácia superior à prevista. que têm como característica a construção de uma visão holística do tema ou fenômeno investigado a partir de entrevistas em profundidade e observação direta. Economicidade: minimização dos custos dos recursos utilizados na consecução de uma atividade. ineficaz. ne r r  Conclusões: 14 • • • se Ec > 1.

ineficiente. onde:  C = C u s t o lR e a . O resultado expressa o custo de uma unidade de produto final em um dado período de tempo. Pode ser representada pela seguinte relação: MR Ef = MP TR . Entrevista Não-Estruturada: tipo de entrevista menos formal que a entrevista estruturada. Entrevista Estruturada: tipo de entrevista na qual as perguntas são predeterminadas. Projeto: empreendimento planejado que consiste num conjunto de ações interrelacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um orçamento e de um período de tempo dados. c i CP  = E c . possuam as mesmas características de programação. seguindo um roteiro preestabelecido. C P M P . eficiência superior à prevista. documentais e analíticas. Evidências: informações obtidas durante a auditoria no intuito de documentar os achados e de respaldar as opiniões e conclusões da equipe. somente serão comparáveis iniciativas que. se Ef < 1.MANUAL DE AUDITORIA DE DESEMPENHO Eficiência: relação entre os produtos (bens e serviços) gerados por uma atividade e os custos dos insumos empregados em um determinado período de tempo. pode-se estabelecer o grau de eficiência relativa de um programa. Mensuração: procedimento utilizado para associar um número a um determinado evento. . C R  E f = E f i c i êan. se Ef = 1. olfato e audição) para obter informações. geralmente elaborada utilizando-se perguntas abertas. R CR  C = C u s t o gPr a o a d o . podendo ser classificadas como físicas. Analogamente ao conceito de eficácia. esse tipo de entrevista proporciona respostas comparáveis entre si. 68 . além dos objetivos. Observação Direta: método de coleta de dados no qual o pesquisador utiliza os próprios sentidos (tato. C R TP . visão. Pergunta Aberta: não há alternativa de resposta predeterminada. rm  P Conclusões: • • • se Ef > 1. eficiente. permitindo ao entrevistador explorar um assunto mais amplamente. C P = M R . de tal forma que as diferenças observadas reflitam diferenças entre os respondentes e não no modo como as perguntas foram formuladas. Nesse caso. aplicada a pessoas selecionadas. TR . TP . orais. projeto ou atividade comparando-o com as metas e custos programados ou com dados de outras iniciativas que perseguem os mesmos objetivos. Pergunta Fechada: as alternativas de resposta são predeterminadas. Programa: conjunto de projetos e atividades que concorrem para os mesmos objetivos.

Resultados Líquidos ou Impacto: são as alterações no objeto da ação governamental que podem ser atribuídas única e exclusivamente ao programa.GLOSSÁRIO Questionário Enviado pelo Correio: método de coleta de dados composto de uma série ordenada de perguntas fechadas enviadas pelo correio. dos resultados obtidos pelo programa. os recursos alocados. o contexto de operação. portanto. o desempenho alcançado. em comparação com o desempenho esperado. visam estabelecer relações de causalidade passíveis de serem comprovadas com uma determinada margem de segurança. Validade Externa: extensão na qual as conclusões de um estudo podem ser aplicadas a pessoas. bem como identificar resultados não esperados. examinando as origens e a história do programa. Questões de Causa-e-Efeito ou de Impacto: questões que visam constatar em que medida os resultados observados podem ser atribuídos exclusivamente ao programa. o que pode ser obtido por meio da aplicação do delineamento experimental ou de suas adaptações. contextos ou épocas que não tenham sido objeto da investigação. modificado ou aprimorado. 69 . os objetivos estabelecidos. Validade Interna: extensão na qual um estudo é capaz de estabelecer uma relação de causa-e-efeito. isso exige a eliminação dos efeitos externos. Questões Descritivas: questões voltadas para a descrição detalhada das condições específicas de implementação do programa. a identificação de problemas potenciais e as áreas nas quais o programa pode ser ampliado. Questões Normativas: questões voltadas para a verificação. conforme previsto em lei específica ou instrumento próprio de planejamento.

MANUAL DE AUDITORIA DE DESEMPENHO 70 .

p. Lee J. 2. 98-123.l. Content analysis: a methodology for structuring and analyzing written material. Marco lógico para el diseño y conceptualización de proyectos. : s. ed. (1994b). Newbury Park : Sage. KING. Designing evaluations. How to design a program evaluation. How to assess program implementation. Quasi-experimental studies: effects of television. (1983). Rolando (1994). Draft summary report presented during the XV Incosai. Englewood Cliffs : Prentice-Hall. Washington. ed. GAO (1989). Avaliação de Projetos Sociais. (1991). Peter. Washington. Carol Taylor. Ernesto. COOK. __________ (1990). Newbury Park : Sage. COHEN. Case study evaluations. In: OSKAMP. Working Group on Programme Evaluation. Lynn Lyons (1987). ROSSI. MORRIS. p. Stuart (Ed.). Designing evaluations of educational and social programs. [S. Brasília. Relatório de auditoria operacional no programa de levantamento da plataforma continental brasileira (LEPLAC) e no programa de avaliação do potencial sustentável de recursos vivos na zona econômica exclusiva (REVIZEE). FITZ-GIBBON. FRANCO. Government auditing standards: 1994 revision. Englewood Cliffs : Prentice-Hall.BIBLIOGRAFIA 3ª SECEX (1997). Donald (198-). Mimeografado. Michael Quinn (1987).]. Cairo. Applied social psychology. ANAO (1992). Thomas (198-). How to use qualitative methods in evaluation. Jean A. 2. Performance auditing. BID (199-). Washington. __________ INTOSAI (1995). CAMPBELL. San Francisco : Jossey-Bass. Applied social psychology. Approach and methodology selection workshop: instructor manual. Stuart (Ed. Washington. PATTON. __________ __________ (1994a). Mimeografado. . Washington. Canberra. 124146. Evaluation research: Sesame Street.n. In: OSKAMP. Newbury Park : Sage.). Petrópolis : Vozes CRONBACH. et alii (1987).

MANUAL DE AUDITORIA DE DESEMPENHO SCRIVEN. (1972). WEISS. 4. Evaluation research: methods of assessing program effectiveness. Newbury Park : Sage. ed. Carol H. Evaluation thesaurus. 72 . Michael (1991). Englewood Cliffs : Prentice-Hall.

Sugestões sobre este manual também podem ser enviadas das seguintes formas: E-mail: saudi@tcu.FOLHA DE SUGESTÕES O TCU preocupa-se com o constante aperfeiçoamento da qualidade de seus manuais e orientações. O questionário a seguir refere-se especificamente ao Manual de Auditoria de Desempenho.TCU SAUDI/DINOP Setor de Administração Federal Sul .DF CEP: 70042-900 . buscando. Será muito útil para o TCU se o leitor deste manual puder dispor de alguns minutos para responder às perguntas constantes no referido questionário e enviá-lo pelos Correios (não é preciso selar. para isso.Lote 01 Brasília . ouvir a valiosa opinião do público-alvo dos referidos trabalhos.br Fax: (061) 316-7538 Fone: (061) 316-7379 Endereço: Tribunal de Contas da União . pois o porte será pago pelo TCU). distribuído a partir de março de 1998.gov.

MANUAL DE AUDITORIA DE DESEMPENHO 74 .

comentários e sugestões para o aprimoramento da qualidade do Manual de Auditoria de Desempenho. Marque com um “X” a opção que melhor representa o seu julgamento. a seguir. Como você obteve o Manual de Auditoria de Desempenho?  Solicitou diretamente ao TCU  Download pela Internet  Outros [especificar] ________________ 7. Apresente. favor preencher o quadro anexo. Que partes do Manual de Auditoria de Desempenho você leu?  Todo  Capítulo I [todo ou parte]  Capítulo II [todo ou parte] 4. Em que esfera do governo você trabalha?  Federal  Estadual ou DF 2. Desde já agradecemos a sua colaboração. Leia com atenção cada indicador e escolha o ponto da escala que melhor descreve a sua opinião sobre o Manual de Auditoria de Desempenho.Tribunal de Contas da União Secretaria de Auditorias e Inspeções QUESTIONÁRIO DE AVALIAÇÃO FINALIDADE Este questionário de avaliação tem por objetivo obter a opinião dos leitores sobre o Manual de Auditoria de Desempenho. Como você tomou conhecimento do Manual de Auditoria de Desempenho?  Quando recebeu  Pela Internet  Divulgação interna do TCU  Pela imprensa  Por mensagem do SIAFI  Outros [especificar] _______________________ 6. Em que órgão você trabalha?  Poder Legislativo  Poder Executivo  Poder Judiciário  Controle Interno  Municipal  Outro [especificar] ________________ 3. No caso de sugestões para alteração/supressão/aditamento de itens de verificação. . responda às questões abaixo assinalando com um “X” a alternativa mais adequada. Por favor. Concorda integralmente 5 Concorda 4 5       Indiferente 3 4       Discorda 2 3       Discorda integralmente 1 2       1       O manual é: Fácil de ser lido Fácil de ser entendido Lógico Sucinto Completo Útil 5. com vistas ao seu aperfeiçoamento. 1.

.

Nº do item Proposta de alteração.Tribunal de Contas da União Secretaria de Auditorias e Inspeções QUADRO DE SUGESTÕES FINALIDADE Este quadro de sugestões tem por objetivo obter a opinião dos leitores sobre o Manual de Auditoria de Desempenho. supressão ou aditamento Fundamentação . com vistas ao seu aperfeiçoamento.

PTR/BSB 880/92 UP-AC/TCU DR/BSB CARTA .RESPOSTA NÃO É NECESSÁRIO SELAR O SELO SERÁ PAGO POR TRIBUNAL DE CONTAS DA UNIÃO BRASÍLIA-DF 70099-999 .

de Aud.UNIDADES DA SECRETARIA-GERAL DE CONTROLE EXTERNO DO TRIBUNAL DE CONTAS DA UNIÃO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspeções Div. e Prog. e Transf. Constitucionais Secretaria de Informática Secretaria de Planej. e Proc. de Contas do Gov.. de Nor. de Governo Serviço de Programas de Governo Sec. Organização e Métodos 1ª Secretaria de Controle Externo 2ª Secretaria de Controle Externo 3ª Secretaria de Controle Externo 4ª Secretaria de Controle Externo 5ª Secretaria de Controle Externo 6ª Secretaria de Controle Externo 7ª Secretaria de Controle Externo 8ª Secretaria de Controle Externo 9ª Secretaria de Controle Externo 10ª Secretaria de Controle Externo Secretaria de Controle Externo/AC Secretaria de Controle Externo/AL Secretaria de Controle Externo/AP Secretaria de Controle Externo/AM Secretaria de Controle Externo/BA Secretaria de Controle Externo/CE Secretaria de Controle Externo/ES Secretaria de Controle Externo/GO Secretaria de Controle Externo/MA Secretaria de Controle Externo/MT Secretaria de Controle Externo/MS Secretaria de Controle Externo/MG Secretaria de Controle Externo/PA Secretaria de Controle Externo/PB Secretaria de Controle Externo/PR Secretaria de Controle Externo/PE Secretaria de Controle Externo/PI Secretaria de Controle Externo/RJ Secretaria de Controle Externo/RN Secretaria de Controle Externo/RS Secretaria de Controle Externo/RO Secretaria de Controle Externo/RR Secretaria de Controle Externo/SC Secretaria de Controle Externo/SP Secretaria de Controle Externo/SE Secretaria de Controle Externo/TO José Nagel Cláudio Souza Castello Branco Paulo Roberto Pinheiro Dias Pereira Glória Maria Merola da Costa Bastos Carlos Nivan Maia Antonio Quintino Rosa Mauro Giacobbo José Moacir Cardoso da Costa Evaldo Rui Rocha Sônia Lúcia Imbuzeiro Marília Zinn Salvucci Francisco Carlos Ribeiro de Almeida Antonio Newton Soares de Matos Cláudio Sarian Altounian Eduardo Duailibe Murici Jorge Pereira de Macedo Rosângela Paniago Curado Fleury Dion Carvalho Gomes de Sá Edmilson Monteiro Batista Carlos Martins dos Santos Helena Montenegro Valente Paulo Pereira Teles Paulo Nogueira de Medeiros Hamilton Caputo Delfino Silva Neusa Casado Martins Araújo Osmir da Silva Freire Luiz Guilherme da Boamorte Silveira João Andrade de Alencar Élsio Jeová dos Santos José Márcio Paulino Murta Raimundo Nonato Soares Araújo Maria José Menezes Ildê Ramos Rodrigues Theodoro José Maria Araújo Lima José Augusto Pôrto Neto Marcos Valério de Araújo Antonio José Martins de Almeida Raimundo Nonato Coutinho Rainério Rodrigues Leite Rafael Blanco Muniz Eloi Carnovali Clímaco Romualdo de Carvalho Jacques Silva de Sousa .

Sign up to vote on this title
UsefulNot useful