Blaine R. Worthen SET eer ed Jody L. Fitzpatrick a AVALIAGAO DE pippeiomsibadal Concepcoes e Praticas [aeOR CMR crm a uence errs RT Recon Mette nee tie DO DSTO erences rn ent na CR oer te Oran ee ern Se CR eT nto Pe attire oe avaliagao que estabelecemos em nossas agdes esta baseada em seu Cn esc keane eat ae AUT presidente do Instituto Ayrton Senna CENCE eRe eae ne Se TR Oe Se ee Cauca CT TU ROE ORCC Ue Renae ON OOM MTL Be LN Ae Re RRA CO Ta Cece een nce meen het Rant Seon Re eesti 1 occ EMM Ce Ee MS OCR CSCIC Re COM eRe Meng Re Tomi ENC Ee OAC MC DORSET Coo me eT om on DOS eee OMe Mec ame are Pre omar OR Tee EI een Cee Ro eo ae ome nt OR Ce ne aera tt CELT eee ee Ome A OTT Seem ere eT eet ea Co factiveis ¢ precisas. Leitura imprescindivel a todos que desejam se SO Or ENC OR on Oar DO rn Digitalizado com CamScaniSUMARIO Apresentagio da edigao brasileira 15 Uma palavra de Viviane Senna 19 Preficio ... 21 PARTE UM - INTRODUCAO A AVALIACAO 31 CAPITULO 1 © OBJETIVO, OS USOS E AS DISTINCOES CONCEITUAIS BASICOS DA AVALIACAO 33 Uma breve definigao de avaliagac 35 Avaliagio formal versus avaliagio informal 36 Distingao entre o propésito, os usos ¢ as atividades essenciais da avaliagio .. 38 Duas distingdes basicas na avaliagio . 45 A importancia da avaliagio — e suas limitagoes 56 Exercicios de aplicagéo... 58 Sugestoes de leitura .. 58 CAPITULO 2 AS ORIGENS DA MODERNA AVALIACAO DE PROGRAMA‘ 59 A histéria ¢ a influéncia da avaliagio na sociedade: da Idade da Pedra até 1965 60 Exercicios de aplicagd 70 Sugestoes de leitura 7 Digitalizado com CamScanna Avallacao de Programas CAP{TULO 3 AVANCOS E TENDENCIAS RECENTES NA AVALIAGAO .. Avaliagio de programas: tendéncias em trés décadas de uma profissio em fase de amadurecimento: ‘Tendéncias recentes com influéncias na avaliagio de programas Exercicios de aplicaséo Sugestoes de leitura PARTE DOIS - DIFERENTES ABORDAGENS DA. AVALIACAO DE PROGRAMAS CAPITULO 4 DIFERENTES VISOES DA AVALIAGAO ... As diversas concepgdes de avaliagio de programas Origens das diferentes vis6es da avaliagao .. Diferencas filoséficas e ideolégicas Formasio e preferéncias metodolégicas. As diferentes metéforas da avaliagio .. Respostas a necessidades diferentes Consideragdes praticas Temas entre as variagoes.. Proposta de classificagio das abordagens da avaliacio . Exerctcios de aplicagao... Sugestoes de leitura...... CAPITULO 5 AVALIAGOES CENTRADAS EM OBJETIVOS.... Os criadores das abordagens centradas em objetivos e suas contribuigées Como as abordagens centradas em objetivos tém sido usadas Vantagens ¢ limitagdes d Exerctcios de aplicagdo.. Sugestoes de leitura ... 1 abordagem centrada em objetivos Digitalizado com CamScann 73 74 91 96 96 97 . 103 107 111 120 122 . 123 . 124 . 124 129 . 130 . 139 . 142 147 148sumério CAPITULO 6 AVALIAGOES CENTRADAS NA. ADMINISTRAGAO .. Os criadotes das avaliagdes centradas na administragao ¢ suas contribuigées ~ 152 Como as avaliacées centradas na administracao tém sido usadas ... 158 Pontos fortes ¢limitages da avaliacio centrada na administracio.... 159 Exercicios de aplicardo... . 162 Sugestoes de leitura .... 163 CAPITULO 7 AVALIAGOES CENTRADAS NOS CONSUMIDORES Os criadores das avaliagdes centradas nos consumidores e suas contribuigGes .. 166 Como as avaliagdes centradas nos consumidores tém sido usadas .. 170 Pontos fortes ¢ limitagdes das avaliagées centradas nos consumidores. 175 . 176 Exercitios de aplicasao.... Sugestoes de leitura ... CAPITULO 8 AVALIACOES CENTRADAS EM ESPECIALISTAS . Os ctiadores das avaliagdes centradas em especialistas ¢ suas contribuig6es ... . 181 me as abordagens centradas em especialistas tém sido usadas... 193 Pontos fortes ¢limitagdes dus abordagens centradas em especialistas.. 195 as de aplicagao 199 Sugestoes de leitura CAPITULO 9 AVALIACOES CENTRADAS EM ADVERSARIOS 201 Os criadores da bordagens suas contribui . 203 Digitalizado com CamScann, Avaliacao de Programas Como as avaliagées centradas em adversarios tém sido usadas Pontos fortes ¢ limitagées das abordagens centradas em adversérios Exercicios de aplicagéo. Sugestoes de leitura . CAPITULO 10 AVALIAGOES CENTRADAS NOS PARTICIPANTES... Os criadores da avaliagao centrada nos participantes ¢ suas contribuicoes .... Como as abordagens centradas nos participantes tém sido usadas Pontos fortes e limitagoes das abordagens centradas nos Participantes Exercitios de aplicagao Sugestées de leitura | CAPITULO 11 DIFERENTES ABORDAGENS DA AVALIAGAO: UM RESUMO E ANALISE COMPARATIVA ....- 245 Ressalvas sobre as diferentes abordagens da avaliagio 246 Contribuigdes das diferentes abordagens da avaliacio . 253 Anilise comparativa das caracteristicas das diferentes abordagens da avaliacio... oe Usos ecléticos das diferentes abordagens da avaliag a Implicagses praticas das diferentes abordagens da avaliacio 261 Exercicos de apliaga Sugestoes de leitura oo PARTE TRES ~ ORIENTACOES PRATICAS PARA O PLANEJAMENTO DE AVALIAGOES .... Introdugio a0 estudo de cas0 .. Digitalizado com CamScannsumério a CAPITULO 12 CLAREZA AO DEMANDAR UMA AVALIACAO E DEFINIR SUAS RESPONSABILIDADES .. . 269 270 Condigées nas quais os estudos avaliatérios so inadequados «ne 275 Como saber quando uma avaliagio € apropriada: estimativa de avaliabilidade A escolha do avaliador... Como selecionar um avaliador externo Aplicagao ao estudo de caso... Exercitios de aplicagao Entenda as razées que dio inicio a uma avaliagai 279 284 290 293 299 Diretrizes relevantes para a avaliagao Sugesties de leitura . CAPITULO 13 DEFINIGAO DE LIMITES E ANALISE DO CONTEXTO DA AVALIAGAO.... . 301 Como identificar os possiveis piblicos de uma avaliagi0 srnnnnn Descrigao do. objeto do estudo avaliatério: definigio dos limites... 305 Anilise de recursos e capacidades que podem ser necessirios a uma avaliagio Anilise do contexto politico da avaliasi0. Variagées provocadas pela abordagem da avaliagio que esta sendo usada.. A decisio de continuar ou encerrar uma avaliagao Aplicagéo ao estudo de caso. Exercicios de aplicagio.... Diretrizes relevantes para a avaliagd Sugestoes de leitura .... CAPITULO 14 IDENTIFICAGAO E SELEGAO DE PERGUNTAS E CRITERIOS DE AVALIACAO...... Identificagio das fontes apropriadas de perguntas ¢ critério a fase divergente Digitalizado com CamScann“40 Avaliacdo de Programas Selegio de perguntas, critérios e questes a ser tratados: a fase convergente .. Manter a flexibilidade durante a avaliacao: permitir 0 surgimento de novas perguntas, critérios e padroes . Aplicasio ao estudo de cas Exercicios de aplicagao.. Diretrizes relevantes para a avaliaséo Sugestoes de leitura .. 365 366 . 371 CAPITULO 15 COMO PLANEJAR A FORMA DE. CONDUZIR UMA AVALIAGAO.... Identificagio dos métodos de planejamento ¢ coleta de dados ...... 375 Especificacéo da forma de conduzir a avaliagao: 0 plano de gestio aavaliagio . 393 Como fazer acordos e contratos de avaliagao.. Aplicagéo ao estudo de cas. Exercicios de aplicagao.. 421 Diretrizes relevantes para a avaliagdo Sugestées de leitura PARTE QUATRO ~ ORIENTAGOES PRATICAS PARA FAZER E USAR AVALIACOES CAPITULO 16 OS ASPECTOS POLITICOS, ETICOS E INTERPESSOAIS DA AVALIACAO .. Como estabelecer ¢ manter uma boa comunicagio entre avaliadores e interessados .. Compreensio das possiveis distorcdes resultantes dos or ¢ das relagdes interpessoais, valores pessoais do a 1 financeiras ¢ organizacionais com outras pessoas wwe 43 Diretrizes éticas: consideragdes, questdes ¢ responsabilidades 441 de avaliadores ¢ clientes Como lidar com pressdes ¢ problemas politicos na avaliag Aplicagao ao estudo de caso... Digitalizado com CamScannsumérlo "- Exercicios de aplicasao.. 464 Diretrizes relevantes para a avaliagao . 464 Sugestoes de leitura . 465 CAPITULO 17 COLETA, ANALISE E INTERPRETACAO DE INFORMAGOES QUANTITATIVAS.. Métodos quantitativos qualitativos .. Planejamento e organizacao da coleta de informagées Propostas de coleta de informagées causais ¢ descritivas Métodos comuns para a coleta de informagées quantitativas Amostragem... Anilise dos custos .. Anilise das informagées quantitativas Aplicagia ao estudo de caso... Exercicios de aplicagao Diretrizes relevantes para a avaliagéo Sugestoes de leitura .. 472 480 CAPITULO 18 COLETA, ANALISE E INTERPRETACAO DE INFORMACOES QUALITATIVAS .. 512 532 538 542 550 551 552 Métodos de coleta de informacées qualitativas Anilise de informagées qualitativas... A combinacio de métodos qualitativos e quantitativos Aplicasio ao estudo de cas Exercicios de aplicagao Diretrizes relevantes para a avaliasio. Sugestoes de leitura . CAPITULO 19 APRESENTAGAO DO RELATORIO E USO DAS INFORMAGOES DA AVALIACAO » 554 555 556 Finalidades dos relatorios de avaliaga Identificagao de publicos dos relatérios de avali: Adaptasio dos relatérios a seu(s) piiblico(s) .. Digitalizado com CamsScanna Avallacao de Programas Definigao das datas de entrega dos relatério 559 Ingredientes importantes de um bom relatério escrito . 562 Sugestdes para apresentar informagées em relatérios de avaliagio por escrito 569 Consideragées humanas ¢ humanitarias durante o preparo de um relatério das descobertas da avaliagio .. 577 Sugestdes para bons relatorios orais. 581 Uma lista de verificagao para bons relatérios de avaliaga 582 O uso dos relatérios de avaliagio 583 Aplicagiio ao estudo de caso... 588 Exercitios de aplicagao... ~ 591 Diretrizes relevantes para a avaliagao 591 Sugestoes de leitura .. CAPITULO 20 COMO AVALIAR AVALIACOES O conceito e a histéria da meta-avaliagao As ditetrizes do Joint Committee para a avaliagio de programas Resumo das Diretrizes para a avaliacéo de programas Principios orientadores da AEA. para os profissionais da avaliagio O papel do meta-avaliador Algumas orientagdes gerais para fazer uma meta-avaliagio A necessidade de mais meta-avaliagdes Aplicaséo ao estudo de caso... Exercicios de aplicaga Diretrizes relevantes para a avaliagao Sugestées de leitura . 597 601 612 612 617 . 617 PARTE CINCO ~ AMBIENTES EMERGENTES E FUTUROS PARA A AVALIAGAO DE PROGRAMAS ... CAPITULO 21 A REALIZAGAO DE ESTUDOS AVALIATORIOS MULTICENTRICO! Finalidades ¢ caracteristic: ‘as das avaliagdes multicéntei Digitalizado com CamScannsumério 3. Avaliagio multicéntrica (MSE) .. Avaliagio local de miltiplos locais.. . 626 Avaliagio de conjuntos de programas Outras abordagens da avaliagio multicéntrica Exercicios de aplicagéo. Sugestoes de leitura .. CAPITULO 22 COMO CONDUZIR AVALIACOES PARA RENOVACAO E TREINAMENTO ORGANIZACIONAL NOS SETORES EMPRESARIAIS E SEM FINS LUCRATIVOS..... 649 Avaliagao no setor sem fins lucrativos Avaliagio de programas de treinamento Avaliacio de pessoal . Outros métodos de aferigéo no ambiente empresarial . 651 655 660 663 672 . 672 Exercitios de aplicagao Sugestoes de leitura . CAPITULO 23 © FUTURO DA AVALIACAO ..... © faturo da avaliagao ... . As pedras no caminho da avaliacio 682 Conclusio 683 684 685 Exerctcio de aplicagio Sugesties de leitura APENDICE — ALGUMAS AREAS GERAIS DE COMPETENCIA IMPORTANTES PARA A AVALIAGAO EDUCACIONAL .. GLOSSARIO.... REFE) ENCIAS BIBLIOGRAFICAS Digitalizado com CamScannO OBJETIVO, OS USOS E AS DISTINCOES CONCEITUAIS BASICOS DA AVALIACAO PERGUNTAS ORIENTADORAS _ Como a avaliagio serve a sociedade? Por que é importante? ~. Quantas formas diferentes vocé conhece para definir avaliagio? Qual delas prefere © por qué? . Qual é a diferenga entre avaliagdo formal e informal? . Qual é 0 principal objetivo da avaliagao? Que usos a avaliagio pode ter? Dé alguns exemplos. 5. O que é um objeto de avaliagio? Dé alguns exemplos de objetos importantes de avaliago em educagio, no comércio e na industria, nas éreas de satide e no siste- ve AY ma de justiga. 6. Cite alguns usos formais da avaliagao. Que usos vocé considera legitimos? E ilegitimos? Quais sio as principais diferencas entre avaliagdes formativas somativas? - Que limitages da avaliagio os usuarios devem ter em mente? en Os desafios que nossa sociedade vai enfrentar no século XXI serio enormes, Poucos deles séo realmente novos. A maioria era evidente nos anos 1980 ¢, em particular, nos anos 1990, quando os problemas atuais da sociedade passaram a ficar mais ébvios. Nos Estados Unidos ¢ em muitos outros paises, os setores piiblicos ¢ sem fins lucrativos estio todos lutando com questées complexas como educar as ctiangas para o século XI, reduzir o analfabetismo funcional, fortalecer a familia, qualificar empregados versiteis e reduzir o crime, 0 abuso de drogas, os maus-tratos as mulheres ¢ is criangas ¢ a gravidez na adolescéncia. Cada nova década parece aumentar a lista de desafios & medida que a sociedade e os problemas que enfrenta tornam-se cada vez mais complexos. A medida que aumenta a preocupagio da sociedade com esses problemas gene- ralizados ¢ desconcertantes, aumentam também seus esforgos para resolvé-los. Digitalizado com CamScannAvaliacd0 de Programa, Jocais, regionais ¢ nacionais, langaram uma verdadeira frota de programas com o objetivo de identificare eliminar as eausas oculta desses prol mnas, Programas especificos considerados ineficazes foram arquivados ou descr. dos, em geral para ser substituidos por um novo programa destinado a ataar 9 problema de forma diferente ~¢, assim se espera, mais eficaz Nos tltimos anos, a escassez de recursos ¢ os déficits orcamentitios aumentaram ainda mais os desafios, pois 0s funcionérios dos érgios piblicos e do setor sem fins Jucrativos tiveram de lutar para manter seus programas mais promissores & tona ligua, Cada vez mas, os legisladores e os administradores de programas tim de fazer opgies dificeis, sendo obrigados a cancelar alguns programas ou partes deles para dispor de fundos suficientes para langar ou dar continuidade a outros. Para fazer essas opges com inteligéncia, os legisladores precisam de informa- gées pertinentes a respeito da eficicia relativa de cada programa, Que programas estio dando certo? Quais deles nio esto? Quais sio os custos e beneficios relatos de cada um deles? Da mesma forma, o administrador de cada programa precisa saber o grau de eficiéncia de cada parte de seu programa. Seri que algumas partes estio dando uma contribuigdo maior que outras? O que pode ser feito para melho- rar as partes do programa que nio estio dando a contribuigio esperada? Seri que sou é neces Ongios coletivos, todos os aspectos do planejamento do programa mostraram-se efetivo: sirio planejar melhor? Que adaptagdes aumentariam a eficiéncia do programa? Responder a essas perguntas € a principal tarefa da avaliagio de programas. Es Principal tarefa deste livro é apresentar a avaliagdo e o papel vital que ela desemP nha em praticamente todos os setores da vida moderna. Mas, antes de aliment esperangas de convencer vocé de que uma boa avaliagao é parte essencial de bor programas, precisamos ajudé-lo a entender ao menos os conceitos bisicos deco ‘uma das seguintes areas: Como nés — ¢ outros ~ definimos avaliagio. Quais sio as diferengas entre avalingao formal ¢ informal. O objetivo bisico ~ e os vitrios usos ~ da avaliagio formal. A distingio entre avaliagio formativa e somativa, A importincia ¢ as limitagdes da avalia \Gilo, __ Seria preciso um livro inteiro para discutir exaustivamente todas e888 #7 nao spent um capitulo de um texto introdutério. Neste capitulo fazemes ap uma dis an ae ‘0 sucinta de cada um desses tépicos para orienti-lo em relagio* e ‘Itos ¢ js ecessiri a . 0 istingSes necessirios a0 entendimento do contetido dos proximos Digitalizado com CamScann35° Parte um = Introducéo a Avalla¢ao UMA BREVE DEFINICAO DE AVALIACAO Na segéo anterior, 0 leitor perspicaz deve ter notado que o termo avaliagéo foi usado em sentido bem amplo, sem outra definigao além daquela implicita no con- texto. Mas o restante deste capitulo poderia criar confusio se nao pardssemos um pouco para definir 0 termo com mais exatidao. Parece no ser dificil definir avaliagao intuitivamente. Por exemplo: uma defi- nigo tipica de dicionério diria que “avaliar é determinar ou estabelecer 0 valor de; examinar ¢ julgar”. Parece bem claro, nao parece? No entanto, entre os avaliadores profissionais, nao hé uma definigéo com a qual todos concordem em relagéo ao sentido exato do termo avaliagao. E uma palavra que tem sido usada por varios tedricos da avaliacao para se referir a um grande mimero de fendmenos distintos. Entre as varias definigées conhecidas de avaliagao, a maioria prefere a proposta por Scriven (1967), que definiu avaliagio como “julgar o valor ou mérito de alguma coisa”, Infelizmente, a literatura da avaliagao foi bombardeada por outras definigdes que consideramos menos titeis. Por exemplo: alguns autores equiparam avaliacdo com pesquisa ou mensuragéo. Outros a definem como a estimativa da extensio em que objetivos especificos foram alcangados. Para alguns, avaliagéo é sinénimo de juizo profissional e se reduz a ele. Outros equiparam avaliagio com auditoria ou diversas variantes do controle de qualidade. E hé ainda quem defina avaliago como © ato de coletar e apresentar informasées que possibilitem as pessoas que tomam decisdes atuar de forma mais inteligente. E assim por diante. Nos préximos capitulos, vamos discutir diferentes vis6es da avaliagio e como essas concepsoes diferentes levam a tipos variadissimos de estudos de avaliagio. Nosso ob- jetivo aqui é apenas definir a palavra sucintamente para ajudar os leitores a compreen- der o que queremos dizer quando usamos o termo “avaliagio” ao longo deste livro. Uma definicao verbal simples Falando nos termos mais simples que é possivel empregar, acreditamos que avalia- s80 6 a determinagio do valor ou mérito de um objeto de avaligao (seja 0 que for que estiver sendo avaliado). Uma definigio mais extensa ditia que avaliagio é iden- tificagao, esclarecimento ¢ aplicagao de critérios defensiveis para determinat o valor (valor ou mérito), a qualidade, a uilidade, a eficécia ou a importineia do objeto avaliado em relagio a esses critérios. A avaliagio usa métodos de pesquisa e julgamento, entre os quai: 1) determi- nagao de padroes para julgar a qualidade e concluir se esses padrées devem ser Digitalizado com CamScann= “e Avalide Progam, relativos ou absolutos; 2) coleta de informagoes relevantes; e a aplicasio dos pa. dides para determina valor, qualidade, tlidade,efcécia ou importinci. Lon recomendagées cuja meta € otimizar 0 objeto de avaliagio em telagio a seu(s) propésito(s) futuro(s). a. . ; ; Ao definir avaliagio, devemos também distingui-la de “pesquisa avalintri termo popularizado entre o final dos anos 1960 e 0 inicio dos anos 1970, do com o livro de Suchman de 1967, Evaluative research [Pesquisa Desde entao, muitos cientistas sociais adotaram esse uso para diferenci: avaliarao, que véem como qualquer avalia¢o que empregue uma met gorosa do campo das ciéncias sociais, de avaliasio, , comecan- avaliatéria) at pesquisa de todologia que usam para descrever estima- tivas realizadas com outros métodos (por exemplo, Rossi, 1982). Ao longo detolo este texto, vamos usar 0 termo mais comum e mais simples, avaliagdo, todas as avaliagées independentemente de sua metodologia. Vamos discutir rapidamente a questio de quanto a definigao de avaliagio é Produto do que a pessoa acredita ser 0 propésito da avaliagdo, Mas precisamos dis- tinguir antes entre os estudos de avaliacao sistemiticos, ~¢@ avaliagio muito mais informal, vida cotidiana, para designar formais — 0 foco deste liv sem método mesmo, que faz parte de nosst AVALIACAO FORMAL VERSUS AVALIACAO INFORMAL Avaliasio no € um conceito novo. Com relacio ao aspecto de “examinare julgts . » age . Fi i oa dcterminar o valor’, a prtica da avaliagio sem ice precedew muito sua init ot izes temontam aos primérdios da histéria humana, O homem de Neand 5 . . a ‘i Praticou-a ao determinar que tipos de madeira se prestavam 4 confecgio das mel ‘es langas, asim como os patriarcas ahados para suas filhas ou os pequen donaram seus arcos curtos ( Observaram que 0 atco lo “ is ade Persas ao selecionar os pretendentes mai we . ‘ . = ‘0s proprietirios rurais da Inglaterra, fea estas) ¢ adotaram o arco longo do Pais de 2 : madut gO conseguia fazer uma flecha atravessar 4 2 mais resistente e podia atira Embora nenhum relatori tenha sido desenterrado avaliaram os méritos do a SO os fortaleceria n, curtos, ‘ #65 fechas, enquanto a bests atrava soment UN © de avalingio formal sobre “comparagbes ent™e nt dos arquivos da Inglaterra, é claro que sets iia #0 longo com relagio a seus objetivos, concluind® ee erras com a Franca, Desse modo, abandonaram seus cits 5 exercl melhoraram o arco longo do Pais de Gales, ¢ © sn Ano S¢ invenciveis durante as gu aperfeicoaram ¢ ingleses mostraram., maior parte da Guerra dos Ce! Digitalizado com CamScann37+ Parte um ~ Introducao Avallacao Por outro lado, os arqueiros franceses fizeram uma répida experiéncia com 0 arco longo e depois voltaram ao curto, a besta — continuaram perdendo baralhas. Esses so os perigos de uma avaliagio errada! Infelizmente, 0 julgamento equivocal do que evou a Fransa a pesistr no uso de uma arma inferior representa um tipo de avaliagao informal que se repetiu intimeras vezes ao longo da Histéria. Pense no presidente de um comité para livros didaticos estaduais que recomen- da o uso de um livro sem preciso factual e sem sensibilidade cultural porque tem “llustragées lindas’. Pense também na assistente social que julga melhor deixar uma crianga corrertiscos de receber maus-tratos em casa porque sua decisio depende de ‘uma avaliagao extremamente informal dos riscos e beneficios relativos a essa alter- nativa, No policial que resolve efetuar uma priséo por vagabundagem fazendo uma avaliagéo no ato, embora a mais informal possivel. © mesmo tem de fazer o exec- tivo que reage 3 insubordinago de um funciondrio comunicando-lhe sua demissio. ‘Todos sio, a seu. modo, avaliadores envolvidos com algum tipo de avaliagio, Os grupos também fazem avaliagdes informais. Um comit Zoneamento urbano pode votar pela reurbanizagio de determinado bairro sem con- sultar os moradores afetados, sem examinar o impacto econémico ou social e sem considerar possiveis cursos de aco alternativos — ¢ educada pela qual a proposta de rezoneamento foi feita. A Camara de Vereadores de uma cidade pode impor um toque de recolh ler para os jovens mesmo que nao haja provas irrefutaveis de que essa politica reduza ou previna de fato o erime juve- nil. A diretoria de uma grande empresa pode adotar 0 “pagamento por desempe- no” como forma de incentivar a produtividade dos funcionaios sem perceber que 0 plano talver saia pela culatra porque a cooperasio ¢ a colaboracdo entre os empre- sados ¢fator essencial em seu ramo. A diretoria estadual de ensino superior pode basear seu mandato na imposigio de um calendario comum a todas as universidades Pilicas devido a conversas com um punhado de reitores ¢ dretores de faculdade sem investigar o impacto de uma decisio como essa no corpo docente, funcionérios em outros afetados pela decisio, Esses exemplos lembram que ava julgamentos defeituosos. ses corretas, ité de planejamento e tudo por causa da forma marcante nos alunos, iagées descuidadas resultam muitas vezes em Mas a avaliagio informal também pode resultar em deci. sibias mesmo. Embora nio tenha procedimentos sistematicos nem ovidencias coletadas formalmente, a avaliagio informal nfo ocorre no vacuo, Ae- Periéncia, o instinto, a generalizagio ¢ 0 raciocinio podem, todos eles, influenciar 0 resultado das avaliagGes informais, e qualquer desses fatores, ou todos les, pode ser ‘base de bons julgamentos. Quando nao é posstvel fizer estudos formais de avalia~ 540, aavaliagdo informal realizada por pessoas inteligentes, experientes ¢ justas pode Ser muito til. Seria pouco realista pensar que um individuo, um grupo ou uma Digitalizado com CamScann‘38 ~valiagao de Programas associagdo pudessem avaliar formalmente tudo o que fazem. Muitas vezes a infor. malidade é a tinica abordagem pratica (ao escolher uma entrada para 0 cardipio de um jantar, s6 0 individuo mais compulsivo do mundo faria entrevistas com donog de restaurantes para coletar dados que orientassem sua escolha). A avaliacao, portanto, € uma forma basica de comportamento humano. As vezes € completa, estruturada ¢ formal. Mais freqiientemente € subjetiva. A avaliacio informal ocorre sempre que uma pessoa opta por uma entre varias alternativas exis- tentes sem antes ter coletado evidéncia formal do mérito relativo dessas alternativas, Esse tipo informal de avaliagio — escolhas baseadas em percepgées extremamente sib- jetivas da melhor alternativa — nao é objeto de interesse deste livro. Nosso foco esté na ‘avaliagio mais formal, estruturada e publica, em que as opgdes se baseiam em esforgos sistematicos para definir critérios explcitos e obter informagées acuradas sobre as alternativas (possibilitando com isso a determinagao do valor real das alternativas). | | | | | | DISTINGAO ENTRE O PROPOSITO, OS USOS E AS ATIVIDADES ESSENCIAIS DA AVALIACAO Dissemos antes que a maneira pela qual uma pessoa define avaliagao deriva daquilo que entende por seu propésito bisico. Discutimos esse tépico com um pouco mais de profundidade nesta seco na tentativa de separar o objetivo basico da avaliagao de: 1) 0s usos que se pode fazer dela; e 2) as atividades necessdrias para fazer uma avaliagio Objetivos da avaliacao Assim como nem todos os avaliadores concordam com uma definigio final, su'0%" zada, de avaliagio, também nao ha unanimidade sobre o que acreditam ser ° obje- tivo da avaliagdo. Coerentemente com nossa primeira definigao de avaliasa0, gered" tamos que seu objetivo bisico é produzir julgamentos do valor do que qvet esteja sendo avaliado, Muitos sos diferentes podem ser feitos desses juizos 4€ vhs como diseutiremos em breve, mas em todos os casos o abjetiv central do aoa = acio riot : a vy (da avaliasl? t6rio” € 0 mesmo: determinar o mérito ou valor de alguma coisa (da avallts : : s com ad projeto, do programa ou de uma parte dele). Essa visio tem paralelos co™ jicionit™ Na rea da Avaliagdo, costuma-se usar 0 termo avuliativa, Como cle nto consta dos ) definindo-se como neologismo, preferimos usar o termo avaliatiri, (N Digitalizado com CamScannParte um ~ Introducao a Avaliacao 39+ Scriven (1967), que foi um dos primeiros a esbocar o objetivo da avaliagio formal. Em seu artigo seminal “A metodologia da avaliagao”, ele nota que a avaliagio de- sempenha muitos papéis, mas que tem uma tinica meta: determinar 0 valor ou mérito de qualquer coisa que esteja sendo avaliada. Faz a distingio de que a meta da avaliagdo é dar respostas a perguntas avaliatorias significativas que sio apresentadas, 20 passo que os papéis da avaliasZo se referem as maneiras pelas quais essas respostas slo usadas, (Seus conceitos de meta e papéis da avaliagio equivalem ao que preferi- mos chamar de propésito e usos da avaliacao.) Segundo Scriven (1967), a meta da avaliagio esté relacionada a questées de valor, requer juizos de valor ou mérito € & conceitualmente distinta de seus papéis. Scriven faz a distingo da seguinte forma: Em termos de metas, podemos dizer que a avaliagao tenta responder certos tipos de pergunta sobre certas entidades, As entidades sio os varios (...)instrumentos (processos, pessoal, procedimentos, programas ete.). Os tipos de pergunta incluem questées a respeito da forma como esse instru- mento atua (com relasio a tais ¢ tais critérios) e se um instrumento serd melhor que outro. Que méritos ou problemas esse instrumento tem? O uso desse instrumento vale seu custo? (...) Mas os papéis que a avaliagdo tem em determinado (...) contexto podem variar enormemente; ela pode fazer parte de uma (...) atividade de treinamento, do proceso de definigio de um curriculo, de um experi- mento de campo (...) de (...) um programa de treinamento de executivos, de uma prisio, de uma sala de aula (pp. 40-41). Nas décadas que se passaram desde essa distingio original entre o objetivo bisico (meta) da avaliagao ¢ seus diversos usos (papéis), Scriven (1980, 1991a, 1991b) ela- borou muito sua visio, mas sem abandoné-la, Embora tenha acrescentado mais recen- temente que “a avaliacio diz respeito & importincia, ¢ nio s6 20 mérito ¢ valor” (1994, p. 380), ele continua apresentando sélidos argumentos filoséficos ¢ dizendo que a avaliagdo de um objeto qualquer (como um plano de marketing, um curriculo escolar ou um local de tratamento ¢ residéncia de usuarios de drogas) é feita para identificar e aplicar critérios defensaveis para determinar seu valor, mérito ou qualidade. Essa visio do objetivo bisico da avalingio é a mais adotada por avaliadores de peso que trabalham no campo da educagio, tendo sido incorporada as Diretrizes* + Escolhemos diretriz como tradugio de standards ¢ assim o faremos ao longo do texto. (N. E.) Digitalizado com CamScannis Avallacao de Programas para a Avaliagio de Programas, desenvolvidos pelo Comité Conjunto para Dirt. zes da Avaliagio Educacional (1994). Embora essa visio seja aceita por muitos, outros colegas bem articulados afirmaram que a avaliagio tem varios objetivos, Por exemplo: Talmage (1982) nota que “trés objetivos parecem os mais freqiientes nas definigdes de avaliagio: 1) fazer julgamentos do valor de um programa; 2) ajudar os responsiveis pela tomada de decisdes a definir suas politicas; ¢ 3) assumir uma fungio politica” (p. 594). Talmage observa também que, embora esses objetivos nio sejam mutuamente exclusivos, séo claramente diferentes. De maneira geral nao discordamos da andlise de Talmage, mas gostariamos de um ponto de partida. Para nés, 0 primeiro objetivo que ela vé na avaliagao ~ fazer julgamentos do valor de um programa ~ ¢ 0 objetivo da avaliacdo. Inversamente, os outros objetivos nfo descrevem 0 que a avaliacao é, e sim dois de seus usos mais comuns. Ter essa visio nfo requer um questionamento de nossa parte nem minimiza 08 usos importantes que a avaliago tem na tomada de decisées ¢ nas atividades politicas. Mas, embora isso vincule intimamente o objetivo da avaliagao com o con- texto de tomada de decisées em que a avaliacao é tipicamente usada, nao reduz 0 objetivo da avaliasdo somente a processos de tomada de decisao. A discussio que Talmage faz dos “objetivos” politicos da avaliacao (“usos”, diia- mos nés) chama a atengdo para outra questo intrigante que os avaliadores levanta- ram: a avaliagdo € uma atividade cientifica ou um: ambas. Bascia-se nos métodos das ciéncias (embor tempo que € usada para grande nimero de fun esse t6pico no capitulo 16), Antes de encerrar esta seso, Prestigio (como Shadish, 1994; a atividade politica? A resposta é ra nao exclusivamente) a0 mesmo ges politicas (discutimos melhor Gostariamos de dizer que alguns avaliadores d¢ Fetterman, 1994) acham que tanto a definigio ‘© mais amplos do que os propostos aqui. Como aS A ver com o que os avaliadores fazem — isto é, 38 'm ser um avaliador -, 8 Secdes, » Vamos discutir suas visoes Atividades essenclais a0s avalladores Profissionais ; " ‘ Shadish (1994) afirmou (ue a definisto de avaliagao deve abranger mais q valoracao cientifica”, ampliando-a Para incluir outras ativid ; a as ativid que a Jacles ¢ priticas vit avaliador, como providenciar para ; ., 10 providenciar para awaliagio seja usada e fazer recomendaso® Digitalizado com CamScannParte um - Introducao & Avaliacao a: com 0 objetivo de melhorar um programa. Aplaudimos a prioridade que ele di a essas atividades criticas mesmo que evitemos chamé-las de avaliago. Notamos que muito do que os cirurgides fazem (estudar relatérios de pesquisa sobre novas técni- cas cinirgicas, apresentar monografias em conferéncias de profissionais ou escolher novos equipamentos cinirgicos, por exemplo) nao é realmente cirurgia, embora isso niio queira dizer que essasatividades sejam pouco importantes. Da mesma forma, os avaliadores profissionais podem comercializar seus servigos, negociar contratos de avaliagdo e ajudar a cotejar e reunir relat6rios impressos na tiltima hora sem chamar cessas atividades de avaliagio. Na verdade, grande parte do que os avaliadores fazem nao é avaliagao, embora seja essencial para sua pritica profissional. Usos e objetos da avaliacao Fetterman (1994) também propés expandir a definiglo ¢ 0 objetivo da avaliagao para incluir 0 uso de conceitos e técnicas de avaliagio para empoderar (emancipar, Iiberar ou esclarecer) aqueles cujos programas so avalindos. Para nés, essas sfo ugestées importantes sobre usos valiosos que a avaliagao pode ter, e nao exemplos aque definem avaliagio ou seu objetivo central. Por mais relevantes que sejam esses sos cruciais da avaliagio, sua importancia nfo aumentard se os chamarmos de avaliagio. | Talvez essa questio fique clara se examinarmos alguns dos muitos usos que tém sido feitos da avaliagio formal. Uma lista exaustiva nao € possivel aqui, pois ocuparia todo o espago deste livro e mais ainda. Apresentamos apenas alguns exemplos re- presentativos dos usos da avaliagdo em setores escolhidos da sociedade: Exemplos do uso da avaliacao na educacao 1. Empoderar os professores para que tenham mais a dizer sobre a distribuigao dos orgamentos escolares. Julgar a qualidade dos curriculos escolares em Areas especificas. Dar crédito a escolas que satisfagam padrdes oficiais minimos. Determinar 0 valor do programa antivioléncia de uma escola de ensino médio. ‘Atender as demandas de relatrio sobre a eficiéncia dos programas escolares dos érgios externos de financiamento que os sustentam, yaey Digitalizado com CamScann: Avallacao dle Programa, 42 Exemplos do uso da avaliacdo em outros setores publicos 1, Decidir se um programa de desenvolvimento urbano vai ou no ser implementa, 2. Determinar o valor de um programa de qualificagao profissional. 3. Decidit se & necessirio modificar as politicas de aluguel de programas de mora- dia de baixo custo. 4, Melhorar um programa de treinamento de voluntérios na area de satide, 5. Determinar o impacto de um programa de redugo de penas prisionais sobre 2 reincidéncia. Exemplos do uso da avaliacao no comércio e na industria 1, Melhorar um produto comercial. 2, Julgar a eficiéncia de um programa de treinamento empresarial. 3. Avaliar novas iniciativas administrativas (como trabalho de equipe, participacio do empregado na tomada de decisdes, tratamento médico no local e em horitio comercial, marketing, agdes afirmativas), - Wdentificar a contribuigao de programas especificos para os lucros da empress. - Determinar a visio que o piiblico tem da responsabilidade ambiental da emprest. Talvez seja necessério fazer um comentério adicional sobre o uso da avaliagio 2 comércio € na industria. Os avaliadores que tém pouca familiaridade com © setor Privado as vezes nao sabem que a avaliago do quadro de funcionirios nao €0 inico poe avaliasao em ambientes comerciais e industriais, Talvez seja porque tem svaliagao”esteve ausente das descrigées de muitas atividades e programas empres" tse Fedsnande examinados, sto claramente avaliatdtios. Analisdas mais de ne Quali ai® Ptladas de garantia de qualidade, controle de qualidade, Gesto nee (GQT) ou Methoria Constante da Qualidade (MCQ) set mos esse 14 —- Caracteristicas da avaliagio de projetos. No eas i indstrig usm mais extensamente. Por enquanto, basta dizer que 0 com 8 conceitos de avaliagio para muitas finalidades. oe Me da avaliagao tem aplicasao geral. Como deve estar sbvio ests st" a avalingao mes! forma em outea 4 que € aplicada — avaliaglo pode sey sos ag . is Sio claramente transferiveis se alguém quiser wiliee ls HVT enti © uso da avaliagio pode continua o mesmo, mas 86 su i ‘ : 5 . Ise sto € 0 objeto da avaliagdio — varia muito, Por co™ ont" “7 : grat | sada para melborar um produto comercial, um pros Digitalizado com CamScanrParte um - Introducao a Avaliacdo 43 - nitério de treinamento ou a forma de julgar 0 desempenho dos alunos de um distri- to educacional, Pode ser usada para melhorar a capacidade organizacional da Xerox Corporation, da Fundagio E.F. Lilly, da Secretaria de Educagio de Minnesota ou da Secretaria de Servigos & Familia de Utah. A avaliagio pode ser usada para empoderar pais e mies do Programa de Educagao de Migrantes do condado de San Juan, 0 Servigo Postal dos Estados Unidos, empregados do Barclays Bank da Inglaterra ou residentes do centro de Los Angeles. A avaliago pode ser usada para dar informardes ‘para a tomada de decstes relativas a programas em centros vocacionais de educasio, clinicas comunitatias de satide mental, escolas de Medicina das universidades ou escritétios de extensio cooperativa dos municipios. Exemplos desse tipo podem multiplicar-se a0 infinito, mas os apresentados acima devem bastar para o que con- sideramos importante. Uma palavrinha sobre os objetos dos estudos de avaliagdo formal. Como a dis- cussiio que acabamos de fazer provavelmente deixou claro, os estudos de avaliagio formal devem ser feitos para responder perguntas sobre grande ntimero de entida- des diferentes, que designamos pelos termos objetos da avaliagdo. O objeto da avaliagio é qualquer coisa que esteja sendo avalinda. Como muitas disciplinas, a avaliagio de- senvolveu © préprio jargio técnico. Por exemplo: em inglés, o termo evaluand cos- uma ser usado para designar o objeto da avaliagio, a menos que se trate de uma pessoa, que entio é um evaluee (Scriven, 19912). Embora seja preferivel usar uma linguagem precisa, no vemos necessidade de nova terminologia quando os termos familiares sio mais que suficientes. Assim, exceto quando aparecerem em material citado, nao vamos mais usar evaluand nem gvaluee, optando por nos referir a ambos como “objetos” da avaliagao. Em alguns casos, tantasavaliagdes sio feitas sobre o mesmo tipo de objeto que desse fato nasceram sugestbes de técnicas consideradas particularmente iteis na avaliagio de algo desse tipo especiico. Um exemplo seria a proposta de Kirkpatrick (1983) de avaiar as atividades de treinamento, Em diversas dreas, a preocupagio com a forma de avalar dficientemente categorias amplas de objetos levou a0 desenvolvimento de numerosas subsreas dentro do campo da avaliasio, como avaliagio de produtos, avalingio do quadro de funcionirios, avaliagio de programas, anise das politicas e avaliagio do desempenho. "Antes de encerrar a discussio dos usos ¢ objetos da avaliagfo, gostariamos de ob- servar também que os usos da avaliagao nao se limitam a dar informagées. No capitulo 12 discutimos outros usos da avaliagdo além de fornecer informasdes, como o feito salutar que resulta muitas vezes do mero fato de as pessoas saberem que suas ativida- des podem ser avaliadas(andlogo ao comportamento dos motoristas que disigem nas Digitalizado com CamScann+44 Avallacao de Programa, estradas quando seguem um guarda estadual). Mas 0 uso da avaliagio para outs finalidades além de dar informagées - embora seja legitimo — nao tem nada a ver com © mau uso das avaliagdes com informacées incorretas. Danos causados pelo mau uso da avaliacao De vez em quando, uma “avaliagio” mal concebida ou mal executada produz infor- magoes que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas, Embora essas ocorréncias sejam raras, podem causar problemas graves. Como geral- mente tém ar de respeitabilidade, essas pseudo-avaliacées no costumam ser questio- nadas, ¢ 0 resultado é que decisdes importantes sobre programas e servigos essenciais baseiam-se inadvertidamente em informagées falaciosas. Um exemplo deve bastar para mostrar os danos que podem ser causados quando essa forma de mau uso da avaliacio se manifesta. Nos Estados Unidos, a Comissio Nacional de Exceléncia em Educagio foi cria- da no inicio da década de 1980 para investigar a visio publica muito difundida de que havia algo muito errado no sistema educacional norte-americano. A mensagem essencial do relatério puiblico da comissio (1983), intitulado A nation at rik: the imperative for educational reform (Uma nasao em perigo: 0 imperativo da reform edit cionall, foi um ataque contundente as escolas, concluindo que haviam fracassado dt forma téo completa na educagao dos cidadios que © préprio futuro dos Estados Unidos como nagio e como povo estava ameagado, Esse relatorio gerou um passatempo nacional nos Estados Unidos — atacar ° ensino ~ que continua na midia atual, embora ultimamente talvez o tom estejt © tornando menos estridente. Mas os norte-americanos foram bombardeados dur" te bem mais de uma década com histérias de jornais a respeito do estado deploritl da educagio nos Estados Unidos, enquanto matétias impressionantes dos jo™ Sobre a superioridade das escolas do Japio (e de muitos outros ppafses) penetravam nos larese na cabesa dos norte-americanos, O impacto desse estudo supostiment® “avaliatério” foi enorme. Suas conclusées fizeram muitos edueadores em pico si correndo em busca da solugio para os problemas hotrendos que o relatério cits”? nas escolas dos Estados Unidos, Indmeras mudangas de currfeulo em inimes escolas tornaram-se tentativas de cortigir os problemas citados no relatério. m”™ at risk. As conclusoes desse relatério foram alardeadas com tanto estrépito que # baram se incrustando na estrutura de crengas da grande maioria do piblico ne" americano, inclusive nos educadores, Digitalizado com CamScannParte um - Introducao a Avallacao a5 Felizmente, nem todos acreditaram nas profecias pessimistas da Comissiio Na- cional. Gerald Bracey (1995) publicou uma série de cinco relatérios anuais sobre “a situagio do ensino piiblico”, nos quais atacou o “mito” de que as escolas ¢ os alunos norte-americanos sio inferiores. Atacou especificamente a declaragiio do relatério A nation at risk de que o desempenho dos alunos norte-americanos seria ruim em Comparagiio com seus congéneres asidticos ¢ europeus. Levantou dividas sobre a validade do trabalho da Comissio Nacional. No entanto, a magnitude dos danos causados pelas conclusdes da Comissio Nacional sé ficou inteiramente clara depois da publicagiio recente da obra de Berliner ¢ Biddle (1995), The manufactured crisis [A crise fabricada], em que os autores exami- nam a “evidéncia do r rio” a respeito do “estado lamentivel” das escolas norte- americanas. Concluem que o relatério “fez muitas declaragdes sobre os ‘fracassos’ do ensino norte- mericano, sobre a maneira pela qual esses ‘fracassos’ eram confirma- dos pela ‘evidéncia’ ¢ a mancira pela qual isso lesaria a nagio de forma inevitivel (infelizmente, nenhuma das supostas ‘evidéncias’ apareceu realmente em A nation at risk, © esse trabalho também nio fez citagdes para dizer aos norte-americanos onde essa ‘evidéncia’ poderia ser encontrada)” (p. 3), Berliner ¢ Biddle notam que as declaragées desse relatério tio citado sio uma combinagio de afirmagées sem pro- vas, mitos ¢ meias verdades. Felizmente, esse fato agora parece estar vazando até para a midia e parece possivel haver uma mudanca profunda na maré da opinio publica, que até agora esteve ameagando as escolas dos Estados Unidos (Gough, 1996). Oespago nao nos permite rastrear o dano inestimivel feito pelo relatério A nation at risk, tendencioso na maior parte. Essas pseudo-avaliagdes podem corroer a confianga que os legisladores ¢ administradores de programas tém na utilidade da avaliagio. Esse mau uso flagrante e fanfarrio de uma suposta evidéncia da avaliago pode fazer muito no senti- do de erodira promessa que aavaliagio genuina fiz de melhoria de programas ¢ priticas da frea educacional ~¢ de outras. Para tornar-se ttil, a avaliagio deve ser usada correta e sensatamente. Nao um pensamento profundo, reconhecemos, mas um pensamento que as vezes parece escapar até mesmo de mesas-redondas de especialistas experientes erespei- tados. As vezes, esses problemas nascem da incapacidade de perceber duas distingdes sim- ‘aGilo que vamos discutir na préxima seco. ples, masimportantes, da aval DUAS DISTINCOES BASICAS NA AVALIACAO Os tebricos de mais prestigio da dren da avaliagio diferem muito na visto do que é avaliagio ¢ de que forma deve ser feita. Vamos discutir essas diferengas com certa Digitalizado com CamScann“a6 Avallacao de Programas profundidade na Parte 2. Mas, apesar das diferencas entre essas perspectivas, exis. tem alguns conceitos e distingdes comuns a respeito dos quais parece haver relativa. mente pouca controvérsia (no que todos concordem quanto a sua importincia oy utilidade, e sim quanto ao que sio e como podem ser diferenciados). Essas nogies, embora elementares, tém-se mostrado decisivas em termos de moldar a visio queas pessoas tém da avaliagio, Nesta seco, vamos discutir duas distinges basicas naérea da avaliagio e também a forma como se aplicam aos estudos de avaliagio. Avaliacao formativa e somativa Scriven (1967) distinguiu primeiro o papel formativo e o papel somativo da avalia- a0. Desde entao, os termos passaram a ser quase universalmente aceitos no campo. | Embora na pritica as distingoes entre esses dois tipos de avaliagio possam mostra: | S¢ pouco claras, seria bom resumir as principais diferengas notadas por Scriven, ‘mesmo correndo o risco de simplificar demais, A avaliagio formativa € feita para dar informagées avaliatérias & equipe de Programa, informasies titeis para a melhoria do programa. Seguem-se trés exemplos: j 1. Durante a criagao de um curriculo inovador de alfabetizacio e lingua patria do ensino fundamental, a avaliagao formativa envolveria 0 exame do conterido por ‘specialists em leitura, testes-piloto com pequeno niimero de criangas, tests & campo com niimero maior de cri diante. Cada passo resultaria e criando o curriculo, que podetiarn ses necessarias, iangas e professores de vitias escolas ¢ assim pot m feedback imediato para aqueles que estivest™ entiio usar as informagdes para fazer as f° 2. Durante a implementagio de um pro ‘numa empresa, uma avaliagio format onganizacionais para determinar que rama de gestio de qualidade total (GQ?) iva comecaria estudando o climaea cultus a " Aspectos desse clima facilitariam a imple” mmenrasto da GOT e quais deles riariam barteias ao avite, A medida 2° Programa se desdobrasse, uma avaliagio formativa examinaria as intero grupos de GOT, as questoes que eles 3 ee sun : Preferem discutir, os métodos que 8 a aceitagao de suas recomendagées, Ei sas inf, spat sas informagdes poderiam ser ustdi8P e $ empregados, a estruturagio dos gel as questées a ser tratadas, 3. A avaliagio formativa de um programa de longo aleance com o objetivo & “| pliar a vacinasdo de bebés ¢ criangas em idade pré-escolar poderia - Digitalizado com CamScannOR etm Parte um - Introducao a Avallacao a7: 1) determinando que metas do programa nfo estio sendo atingidas no nivel desejado; € 2) estabelecendo depois de que forma o processo de realizagio desses objetivos poderia melhorar. Por exemplo: os avaliadores poderiam examinar as caracteristicas das criangas que tém menos probabilidade de vacinar-se (custo provivel, localizagio do estabelecimento onde se faria a vacinagio, medo ou ig- norincia a respeito da vacinagio etc.). De posse dessa informasio, a equipe do programa poderia entio modificar o programa existente com base na melhor compreensio do grupo-alvo e de suas necessidades. ‘A avaliagio somativa realiza-se ¢ torna-se publica para dar aos responséveis pela tomada de decisées do programa e aos consumidores potenciais julgamentos do valor ou mérito do programa em relacio a critérios importantes, como se pode ver na amplificasio dos trés exemplos anteriores: 1. Depois que o pacote do curriculo de alfabetizagio e lingua pitria estivesse pron- to, poderia ser feita uma avaliago somativa para determinar, com uma amostra nacional de escolas de ensino fundamental, professores ¢ alunos tipicos, o grau de eficicia do pacote na melhoria da capacidade dos alunos para ler, na atitude em relagao 4 leitura ¢ coisas do género. As conclusdes da avaliagio somativa orien- tariam depois as decisdes sobre a continuidade do programa na(s) escola(s) onde foi implementado, bem como sobre sua disponibilidade para outras escolas po- tencialmente interessadas no novo curriculo. 2. Para decidir se o programa de GQT deve continuar, o diretor da empresa pode pedir a0 avaliador que determine o grau em que a GQT aumentou a produtivi- dade da empresa ¢ 0 moral dos empregados. 3, Para determinar se um novo programa de vacinagio em larga es divel numa comunidade que nao foi atendi scala é imprescin- anteriormente por um programa desse tipo, poderia ser feita uma avaliagio das necessidades existentes, Poderiam aduas questées: 1) hi niimero suficiente de ser coletados dados para responder criangas sem vacinagio que requeira a implementa ato o piblic lo do programa; ¢ 2) um ~alvo des programa desse tipo atrairin de velmente nio seriam vacinadas sem 0 program jo (eriangas que pro a)? Se as respostas a ambas a perguntas forem negativas, 08 administradores da érea de sade que pediram 0 estudo poderio concluir corretamente que as necessidlades nao sao suficientes para a implementagio do programa, tomando assim uma decisio son ativa para encerrar toda a atividade de planejamento de vacinasio em larga evcala, Digitalizado com CamScannag Avallacdo de Programas Note-se que os puiblicos e usos da avaliacao formativa da somativa sio muity diferentes, Na avaliagao formativa, 0 publico é a equipe do Programa — €M Nossos exemplos, os responsaveis pela criagao do curriculo de alfabetizagio © estudo da lingua patria, pela implementagao do programa de GQT ou do planejamento eda implementagdo do programa de vacinagio em larga escala. Os pitblicos da avaliagio somativa sio consumidores potenciais (alunos, professores, empregados, adminis. tradores ou autoridades dos érgios de satide que poderiam adotar o programa), fontes de financiamento (contribuintes ou érgio financiador) supervisores e ou- tras autotidades, bem como a equipe do programa. A avaliaciio formativa leva (ou deveria levar) a decis6es sobre o desenvolvimento do programa (inclusive modifica- io, revisio ¢ coisas do género). A avaliagao somativa leva a decisées relativas & con- tinuidade do programa, a seu encerramento, a sua ampliagio, adogao etc, Deve estar claro que tanto a avaliagio formativa quanto a somativa sio essen por causa das decises necessérias durante os estdgios de desenvolvimento de um programa para melhori-Io e fortalecé-lo e ~ repetindo -, depois que se estabilizou, para julgar seu valor final ou determinar scu futuro. Infelizmente, um niimero muito grande de érgios faz apenas a avaliagZo somativa de seus programas. Isso é ‘uma pena, pois o proceso de desenvolvimento, sem a avaliagio formativa, ¢ incom pleto ¢ ineficiente. Considere-se 0 absurdo de criar um novo modelo de aviio ¢ submeté-lo 4 um teste de véo “somativo” antes de testd-lo no tunel aerodinamico “formativo”. Os programas de “testes de voo” também podem ser dispendiosos, prit~ cipalmente quando nao se tem a menor idéia de sua probabilidade de éxito. ‘ Deixar de utilizar a avaliasio formativa é indicio de miopia, pois os dados toca dc ae a ei eS dutivas. A avaliagio feita somente eae ee a ama f qui pode simplesmente chegar tarde demais Para trazer algum proveito. Parece 1% seus questionérios afirmou usar a avaliagio formativa, Embora as avaliagdes formativas sejam feitas mai, ion oo ian ‘am feitas mais freqtientemente nos pri ros estagios da criagio de um programa ¢ as avaliagdes somativas seam fits mais freqiientemente em seus tiltimos estigios, como esses dois termos sugere™ seria u™ erro pensar que se limitam a essas fases. Mas a énfase relativa na valigito format J - Digitalizado com CamScannParte um - Introducao a Avaliacdo 49 ena somativa muda ao longo da vida de um programa, como sugere a Figura 1.1, embora esse conceito generalizado obviamente nao se encaixe com preciso na evo- lugio de nenhum programa em particular. Dois fatores de peso que influenciam a utilidade da avaliagio formativa sio 0 controle e a hora certa de fazé-la. Se as sugestdes de melhoria devem ser implementadas, é importante que 0 estudo formativo colete dados das variveis sobre as quais os administradores do programa tém algum controle. Além disso, as informagdes que chegam a esses administradores tarde demais para ser usadas na melhoria do programa sio obviamente intteis. A tentativa de distinguir a avaliagao formativa da avaliagao somativa em varias dimensées é apresentada na Figura 1.2. Como no caso da maioria das distingdes conceituais, as avaliagdes formativas e somativas nem sempre sio tao faceis de dis- tinguir na pratica quanto parecem nestas paginas. Scriven (1991a) reconhece que as duas esto profundamente entrelagadas na pritica. Por exemplo: quando um pro- grama continua depois de um estudo de avaliagio somativa, os resultados desse estudo podem ser usados tanto para uma avaliagio somativa quanto, mais tarde, para uma avaliagio formativa. Na pritica, a linha diviséria entre a avaliagio formativa ¢ somativa costuma ser pouco nitida. O préprio Scriven (1986) sugeriu uma razio pela qual elas as vezes se misturam, notando que, quando os programas tém muitos componentes, as avaliagées somativas que resultam para substituir 05 componentes fracos desempenham papel formativo na melhoria do programa como um todo. Figura 1.1 Relacdo entre a avallacdo formativa e a somativa durante a vida de um pro- grama Avaliagdo formativa Enfase retativa ‘Avaliagdo somativa Vida do programa ~ Digitalizado com CamScann+ a en ‘Avaliacdo de Programas Figura 1.2 Diferencas entre avallacao formativa e avallacdo somativa ‘Avaliagéo formativa Avaliagéo somativa Objetivo Determinar valor ou qualidade. Determinar valor ou qualidade. Uso ‘Melhorar 0 programa. ‘Tomar decisdes sobre 0 futuro do ‘programa ou sobre sua adogdo. Piiblico | Administradores e equipe do Administradores e/ou consumidores programa. ppolenciais ou 61g financiador. Quem faz Basicamente avaliadores Avaliadores externos com 0 apoio, internos com o apoio de ‘em certos casos, de avaliadores intermos. avaliadores externos. Principais caracteristicas Gera informagées para que Gera informagées para que a equipe a equipe do programa ‘do programa possa decidir por sua ‘possa methoré-lo. ccontinuidade ou os consumidores por sua adogio. Foco Que intormagées so Que evidéncia é necessaria necessarias? Quando? para as principals decisées? ‘Otjetivo da coleta de dados Diagnéstico. ‘Tomada de decisées. Medidas As vezes intormais. \Validas e confidveis. Freqitncia da colela de dados _Freqiene No treqiente, ‘Tamanho da amostra Em geral pequeno. Em geral grande. Perguntas feltas: ‘O que tem funcionado? © que ‘Quais foram os resuitados? = precisa ser melhorado? Como ‘Quem paricipou? Em que condigbes? pode sermehorado? (Com que treinamenio? Quanto custou? Todas as avaliagoes sio formativas ou somativas? Virios outros avaliador® sugeriram que a dicotomia de Scriven (1967) nao é suficientemente ampla pa abranger todas as formas de avaliagio, Por exemplo: Misanchuk (1978) nio de rou a sugerir que a avaliago somativa de Scriven precisaria ser acompanhada & uma avaliago confirmadora posterior, feita apés a implementagio do program} em andamento durante certo Periodo, para ver se sua eficiéncia se preserv com? passagem do tempo. Chen (1996) propos recentemente que a dicotomia format” somativa de Scriven nao compreende como deveria todos os tipos bisicos de al sf. Oferece uma tipologia que abrange fungbes da avaliagto e estigios do pros que considera negligenciados por aquele autor, Scriven (1996) afirma que aripole de Chen é desnecessiria © que a dicotomia formativa-somativa acomoda Pet Digitalizado com CamScannParte um - Introducdo a Avallacdo s1 + mente todas as fungées ¢ estigios do programa propostos por Chen, mas mergulhar mais profundamente nessa questo esta além do alcance deste texto introdutério. Os interessados em mais detalhes devem ler com atengio a descrigo mais completa que Chen faz de Scriven ¢ das diferencas entre cles. Sera suficiente dizer que a disting’o formativa-somativa nao s6 serviu bem a seus propésitos no campo como também tem sido um rico criadouro para a semeadura de muitos refinamentos € ampliagdes que ainda podem mostrar-se frutiferos na area. ‘A distingio entre avaliagio formativa e somativa ¢ relevante para outra diferen- ciagio importante, a distingao entre avaliagZo interna e externa. Avaliacao interna e externa Esses dois adjetivos — interna e externa — distinguem as avaliagées realizadas pela equipe do programa e aquelas feitas por gente de fora. Um programa experimental de um ano na area de educagio, realizado nas escolas publicas de San Francisco, pode ser avaliado por um membro do distrito educacional (avaliagdo interna) ou por uma equipe de visita ao local nomeada pela Diretoria Estadual de Educagio da California (avaliagdo externa). Uma grande instituigio da area da satide, que atua em seis cidades, pode ter um membro na equipe de cada estabelecimento para avaliar a utilidade do treinamento de médicos residentes locais que vio exercer ati- vidades profissionais (interna). © Estado pode também mandar uma equipe exa- minar o programa de treinamento profissional (externa). Parece simples, nao ¢ mesmo? E geralmente é. Mas suponha que a instituigo de satide mande uma equipe da sede central para avaliar o programa em seis diferen- tes estabelecimentos, Trata-se de uma avalia¢do interna ou externa? Escreva sua . Na verdade, a resposta certa é “ambas”, pois uma resposta aqui: avaliagio desse tipo € claramente externa do ponto de vista daqueles que se encon- tram em cada um dos estabelecimentos, mas é claramente interna do ponto de vista dos administradores centrais, que nomearam sua equipe para avaliar essas partes das atividades. Hi vantagens e desvantagens dbvias tanto nas fungées da avaliagZo interna quanto da externa. E praticamente certo que uma pessoa que faz a avaliagio interna conhe~ ce melhor o programa do que um estranho, mas também pode estar tio envolvida com ele que nao consegue ser inteiramente objetiva, Raramente ha muitas razdes para questionar a objetividade de quem faz uma avaliagio externa (a menos que se descubra que tem interesse pessoal no caso), ¢ essa perspectiva imparcial talvez seja Digitalizado com CamScanntse Avallacdo de Programas seu recurso mais valioso, Inversamente, é dificil para alguém de fora conhecer tig bem o programa quanto alguém da equipe. Note-se que, quando dizemos “tig bem’, referimo-nos apenas & quantidade, ¢ nio 4 qualidade. Ha muitos avaliadores es do programa que nio perce- chave forem captadas por um internos tio envolvidos com detalhes insignis bem diversas variiveis criticas. Se essas informagoi avaliador extemno, como ais vezes acontece, este podeni saber muito menos sobre ¢ todo do programa, mas detectani muito melhor o que ¢ importante. Por outro lado, fidades de dispor de informagses © avaliador interno tem muito mais probabi contextuais importantes (como a doenga grave do marido da diretora, que afeta negativamente o trabalho dela), o que temperaria as recomendagdes da avaliagio, Saber quem financia uma avaliagio ¢ a quem o avalindor tem de prestar contas determina em grande parte a dependéncia financeira ¢ administrativa desse avalia- igo supde que a independéncia dor. A maioria dos autores que escrevem sobre avali financeira e administrativa dos profissionais em relagio a um programa em ger aumenta a credibilidade do estudo, com o que concordamos. Além disso, acredita-se ha décadas que os avaliadores externos que sio selecio- nados por seus conhecimentos especializados tornam maior a credibilidade das ava liagdes. Concordamos (mas nos apressamos a acrescentar que, quando os avaiadores extemnos sio escolhidos por outras razdes - amizade, antigos vinculos afetivos, gr tidao por antigos favores etc, ~) todas as probabilidades de aumento de credibilida- de caem por terra). os . noe eae mis Crests, a objetividade ea credibilidade Pouco melhores que as de seus colegas que equipe. Mas o maior problema do avaliador ex ficou rico por causa de um contrato de q se quisermos fazer outros trabalhos par boas ou mas noticias sobre sua menin; terno, diz ele, é que “ninguém nun valiagio (..) temos de ter clientes satistei> ra eles ( tt £85 (x), E 0 que sate mais cle “ t-dos-olhos? Cert Hiadores et" nos [podem ter] conflitos diretos de interesse” (p, 84), °C) aeae Essas observasies s6 toc: las ve i am de eve algu ies ] rvagses mas das antagens ébvias das avaliagdes internas ¢ externas, ne Digitalizado com CamScanrParte um - Introducdo a Avallacso 53: Possiveis combinacdes de papéis Essas dimensdes das avaliagdes formativas ¢ somativas podem ser combinadas com as dimensdes das avaliagdes intemnas e externas para formar a matriz de dois por dois mostrada na Figura 1.3. Os papéis mais comuns da avaliagio sio indicados pelas células 1 e 4 da matriz. A avaliacao formativa € feita muito freqientemente por um avaliador interno, e h4 méritos claros numa abordagem desse tipo. Seu conhecimen- to do programa € de grande valor, e a possivel falta de objetividade nio é nem de longe o problema que seria numa avaliacao somativa. As avaliagdes somativas prova- velmente sio feitas com mais freqiéncia por avaliadores externos. E dificil, por exemplo, saber quanta credibilidade atribuir a uma avaliago da Ford Motor Company que conclui que determinado automével Ford € muito melhor que seus concorren- tes da mesma faixa de prego. A credibilidade atribuida a uma avaliagio somativa interna do programa (célula 3) pode nao ser maior. Na maioria das empresas, a avaliagio somativa em geral € feita por um avaliador ou érgio externo. Mas hi duas situagdes em que alterariamos dramaticamente esta tltima afirmagio. Primeiro, em certos casos, simplesmente no ha possibilidade de o programa conseguir esse tipo de ajuda externa por causa de restrigées financeiras ou por falta de pessoal compe- tente disposto a fazer o trabalho. Nesse caso, a avaliagdo somativa se enfraquece pela falta de um ponto de vista externo, mas seria possivel manter uma aparéncia de objetividade e credibilidade escolhendo a pessoa que vai fazer a avaliagio somativa interna entre aquelas que estio a alguma distancia do desenvolvimento efetivo do programa ou produto avaliado. Figura 1.3 Combinacao dos papéis da avallacao INTERNA EXTERNA 1 2 FORMATIVA Formativa Formativa interna extema 3 4 ‘SOMATIVA Somativa Somativa interna, exterma Digitalizado com CamScannAvallacao de Programas Suponha-se, por exemplo, que uma escola de ensino fundamental de um gran- de (em termos geogréficos, no em termos orgamentirios) distrito rural precise da avaliagio somativa de um programa inovador do ensino de lingua ¢ cultura frances, feita por alguém de fora do distrito. Como grande parte do programa € oral seria dificil encaixota-lo e despacha-lo para ser examinado. Todos na escola sio entusias- tas fervorosos ou adversirios amargos do programa, de modo que nao hi como fazer uma avaliagio interna que nao seja tendenciosa. Nesse contexto, achamos muito melhor obter uma avaliagio somativa “quase externa” do que nenhuma. Por “quase externa” entendemos que a pessoa deve fazer a avaliagio de forma a maximizar sua extemnalidade”, Por que nao pedir ao diretor de outra escola do distrito para avaliar o programa em troca de ajuda num trabalho importante para a segunda escol? Embora ainda seja interno em relagio ao distrito, esse diretor seria externo & escola ¢, por isso, quase externo, Se a avaliagio fosse pedida com énfase muito grande para que o avaliador quase externo falasse sobre “as coisas tal como sto", sem ser condes- cendente ¢ sem que nenhum ponto fraco fosse ignorado, haveria bons motivos part suspeitar que muitas das vantagens de uma avaliaio somativa genuinamente exter na pudessem fazer-se presentes. Se alguém ainda se preocupasse com o fato de 0 avaliador ser do mesmo distrito ¢ por isso distorcer os resultados, talvez.o diretor de uum distrito vizinho, ou de uma escola ndo muito distante das fronteiras do distri, pudesse fazer uma avaliagio genuinamente externa. Sejam quais forem os disposit- vos conceituais escolhidos, é importante lembrar a existéncia de um continuum qut vai do externo eS interno. E uma questdo de grau, ¢ nao de branco ou preto. . aa lasers qual poderanos baixar um pouco a guarda em rela ee aes : Cae Sear ne] avaliagGes interras f ieee ecard se aa lade de avaliagio interna (e seus wali Sea inca a respeito de suas conclusoes. Esst 3 muitas formas, mas o fator Preponderante é que os avaliado- res internos ficam isolados e protegidos das conseatiénci ue peisreeamtan ens ar tees - iéncias do descontentamento a bencqando pr telecast ase et erase ea sobre os programas daisies podem er prea ne a inteépid pode pasar a exconder ess com paar dee cae o maior cuidado (sto 6 usando faxes com mentapee ee en mee sorte se conseguir fazer esse departamento ae : ee hes cot bg departamento, mas sem nenhum tipo de qualificagio”), ee Felizmente, hi grande nimero de érgios que estruturam seu departament? & avaliagio interna para ter 0 maximo de independéncia (e evitar ‘qos avaliadores Digitalizado com CamScannParte um ~ Introducao a Avallacao 55° fiquem na posigfo insustentivel de avaliar programas criados pelo chefe ou por colegas muito préximos), Quanto maior a instituigo, tanto mais isolada fica sua equipe de avaliagdo ¢ tanto menos pressdes ou problemas podem ser criados por relagées sociais hierirquicas ou intimas. Na verdade, a unidade (e sua fungdo) pode até perder muito de suas caracteristicas internas e parecer-se mais com uma unidade de avaliacio externa nela incrustada (se esse non sequitur for permitido), livre para fazer avaliagdes de toda a instituicao se for necessario. No nivel do governo federal dos Estados Unidos, os Offices of the Inspectors General [Gabinetes dos Inspetores Gerais], embora certamente nio sejam apoliticos, talvez sejam os que mais se aproximam dessa definigio. No setor privado, a “Univer- sidade do Documento”, da Xerox Corporation, é um bom exemplo, com numerosos programas de treinamento implementados ¢ a unidade de avaliagio interna, que Ihes da apoio por meio de criticas dirigidas (e As vezes muito contundentes) a esses cursos de treinamento, Nota-se muito pouco do medo das repercussdes tipicas que ocorrem com os avaliadores de uma instituigdo obrigados a avaliar programas da propria instituisio, Voltando a Figura 1.3, um papel muito importante ~ 0 de avaliador formativo externo (célula 2) - é quase inteiramente negligenciado na maioria das avaliagoes de programa, Como jé foi sugerido antes, o avaliador interno pode ter muitas perspecti- vas e pontos cegos em comum com a equipe de outro programa e, por isso, deixar de ado até a possibilidade de levantar questoes negativas sobre o programa, O avaliador externo, que nio tem grande familiaridade com o programa nem com seu contexto, encontra chance muito menor de ser influenciado por percepsées aprioristicas de seu valor basico. Isso nio ¢ 0 mesmo que dizer que esse avaliador tem predisposigio para considerar o programa ineficiente, Sua orientagio nao deve ser positiva nem negativa. Deve ser neutra, sem sofrer influéncia de relagdes intimas com 0 programa nem com seus concorrentes. Em esséncia, 0 avaliador formativo externo introduz o olhar frio ¢ rigoroso da realidade na avaliagao num estégio relativamente inicial - de certa forma, uma prévia do que um avaliador somativo pode dizer. O frescor dessa perspectiva externa é importante e pode evitar o desastre que ocorre freqiientemente quando a equipe do programa seleciona semiconscientemente critérios e varidveis que acredita irfio provar o éxito de seu programa para acabar com um drgio externo (um érgio do governo ou uma equipe de visita ao local em que esse programa esti sendo implementado) € depois recomenda seu encerramento com uma avaliaglo somativa = ue gira em torno de outras variveis ou cttérios ~ que conclui sero programa inefi- caz. A abertura desse ponto de vista permite ao avaliador formativo externo ver ques~ Digitalizado com CamScannaa Avallaco de Programas tes ignoradas pelos avaliadores internos, Além disso, o avaliador externo pode mos- trar-se titil a0 avaliador interno por sugerir métodos adicionais de coleta de dados ais praticiveis ou mais efetivos em termos de custos para esse avaliador interno usar, ‘A prudéncia aconselharia 0 uso de um avaliador externo como parte de toda avaliagio formativa, Scriven (1972), embora reconhecendo a utilidade da avaliagio formativa intema, também defendeu essa visio dizendo que “agora me parece que um produtor ou avaliador da equipe que quer uma boa avaliagio formativa tem de usar alguns avaliadores externos para obté-la” (p. 2). A IMPORTANCIA DA AVALIACAO — E SUAS LIMITACOES Dados os muitos usos formativos e somativos que tem, parece quase axiomitico afirmar que a avaliagio nao é apenas valiosa mas também essencial para qual- quer sistema ou sociedade eficiente. Scriven (1991b) expressou-se bem a esse respeito: O proceso de avaliagio disciplinada permeia todas as freas do pensa- mento ¢ da pritica (...). Encontra-se em resenhas de livros académicos, nos procedimentos de controle de qualidade da engenharia, nos ditlogos socraticos, na critica social e moral, na matemitica e nas opiniées dadas Pelos tribunais de apelagio (...). E 0 proceso cujo dever é a determinagio sistemética ¢ objetiva de mérito, ; Propriedade ou valor. Sem esse processo, nao hé como distinguir 0 que tem valor do que nao tem (p. 4). Scriven também fala da importancia da avaliagio em termos pragmatico (P10 dutos e servigos de ma qualidade custam vidas e sade, destroem a qualidade de Vida ¢ desperdigam recursos daqueles que nao podem se dar a esse !uxo"), termos éticos (“a avaliagao dirige a energia para onde ela é mais necessaria e endoss 2 forma nova ¢ melhor’ quando ela é de fato melhor que a forma tradicional ~¢ recomend a forma tradicional quando ela é melhor que a nova forma high-t«» em termos intelectuais (“refina os instrumentos mentais") ¢ em termos pest! C*proporciona a tinica base da auto-estima justificada”) (p. 43). Talvez. por es motivos a avaliagio tenha sido cada vez mais usada como instrumento de reat” so de metas das empresas ¢ dos drgios do governo em nivel local, regional m8” nal ¢ internacional. Digitalizado com CamScannparte um - Introducdo a Avallacdo . Limitacdes potencials da avallacao jade da ava A utili todos os males de noss © levou algumas pe sociedade, Mas, so: as a consideri-la uma panacéia para zinha, a avaliagio no tem condigdes de resolver todos os problemas da sociedade, Um dos maiores erros dos avaliadores & prometer resultados que nfo podem ser alcancados, Até mesmo fervorosos defenso- res da avaliagio sio obrigndos a admitir que muitos estudos de avaliagio niio cons guem levara melhorias significativas dos programas que julgam, Por qué? Em parte de graves inadequagdes de conceituaga éuma questi e realiza io de muitas avalia-~ des. E também uma questio de compreender mal outros fatores que afetam 0 uso das informagdes da avaliagdio mesmo em estudos que tém boas definigdes conceituais € sio bem conduzidos. Além disso, tanto os avaliadores quanto seus clientes podem ter sido limitados pela tendéncia infeliz de ver a avaliagio como uma série de estu- dos separados entre si em vez de consider-Ia um sistema continuo de auto-renovagio. A existéncia de avaliagdes mal planejadas, mal executadas ou impropriamente ignoradas deve nos surpreender: esses fracassos ocorrem em todos os campos da atividade humana, O verdadeiro problema é sua freqiiéncia e magnitude. Muitas avaliagdes-chave foram tio decepcionantes ou tiveram tio poco impacto que até alguns defensores da avaliago mostraram reserva quanto & possibilidade de a avalia sao estar & altura de seu elevado potencial. Na verdade, a menos que as priticas de avaliagio melhorem significativamente nos pr6ximos anos, seu potencial pode nun- a se realizar. Isso nio precisa acontecer, Este livro pretende ajudar os avaliadores ~ © aqueles que usam seu trabalho ~ a melhorar a pritica ¢ a utilidade da avalingio. ___ Hi um problema paralelo quando aqueles que precisam da avaliagio supdem ingenuamente que basta tocar um empreendimento com sua varinha de condio Para corrigir todas as disfungdes e inadequagdes, Embora a aval iio possa ser imen- Samente dil, éem geral contraproducente que os avaliadores ou aqueles que depen dem de seu trabalho proponham aavaliagio como o tiltimo recurso de todo proble- Ima ou, na verdade, de qualquer tipo de solugio porque a avaliagio em s luma solugao ~ embora possa sugeri-la, A avaliagio serve fortes fracos, destacar o que é bom e expor defeitos, mas Bir problemas, pois esse & o papel da administra Podem usar as conclusdes da avaliagfo como instrumento de ajuda n A avaliagao tem ui papel a cumprir no sentido de esclarecer seus consumidores © pode ser usada para muit nio cria ara identificar pontos pode, sozinha, corri- (0 © de outtos responsiveis, que O. proce . ; i an- outras coisas. Mas é somente uma entre muitas influeny las voltadas para a melhor s instituigdes impor das politicas, priticas e decisd Digitalizado com CamScannAvallacao de Programas +58 EXERCICIOS DE APLICACAO Faca uma lista dos tipos de estudos avaliatérios realizados por unt instituigio aoe re guewood conhece, notanio.em cada exemplo se 0 avaliador em inter wo a instituigio. Determine se cada um dos estudos citados era formativn ‘ou somativo ¢ se o estudo foi fortalecido pela presenga de alguém com uma relagio oposta (interna/externa) & instituigio que fezo estudo, . Procure lembrar-se de algum estudo avaliat6rio formal cuja realizado vocé acom- panhou (se nunca viu nenhum, procure um relatério de avalingio por esctita), Tdentifique trés aspectos que a diferenciam da avaliagio informal. Depois faga uma lista de dez avaliagées informais que vocé realizou até o dia de hoje. (Masé claro que voct fez isso!) . Discuta o potencial e as limitagdes da avaliagao de programas, Identifique algu- mas coisas que a avaliagio pode ¢ niio pode fazer pelos programas de sua dea - Dentro de sua instituigio (se vocé for um estudante universitirio, poderi esco- Ther sua universidade), identifique vitios objetos de avaliagio que acredita ser apropriados para estudo. Em cada estudo, identifique: a) 0 uso que o estudo de avaliagio pode ter; ¢ b) 0 objetivo bisico da avaliagio. » SUGESTOES DE LEITURA Sugerimos que vocé leia todo 0 contetido de Evaluation practice, 15(3), uma edisie especial dedicada a “Evaluation: speci review of the past, preview of the future” {‘Avalit 0; evisho do passado, previsio do futuro”) inclusive os artigos de virios tesricos® Sees de peso da area da avaiagio, Se vocétiver de escolher entre 0s ane | Lineal, pete deleraTntrodusio” de Smith, nem o artigos de Hous, Ret nt Sent, Me aebeame Shas ia também os textos de Seven eBisi™® Metaucs (1991). “Beyond formative and summative evaluation io Mm ost, MW, Puurs, D.C, (orgs.). Evaluation and oe “a monty (Dp 19-64) Ninetietb Yearbook of the National sea SHAD We Rat Chicago: National Society forthe Study of ilu d "R. (1994), “Need-based evaluation: What do you nee! KO" Bood evaluation?”, In: Evaluation practice, 15(3), pp 347-358. n co do Digitalizado com CamScannDIFERENTES VISOES DA AVALIACAO PERGUNTAS ORIENTADORAS 1. Por que ha tantas abordagens diferentes da avaliagao? 2, Quais sio as diferencas entre objetivistas ¢ subjetivistas em sua abordagem da avaliagio? 3. Por que é importante conhecer a teoria da avaliago, tal como refletida nas dife- rentes maneiras de aborda-la? 4. Vocé acha que seria bom defender métodos quantitativos de avaliagdo em detri- mento dos métodos qualitativos ou vice-versa? Por que sim? E por que nao? 5. Que questées priticas contribuem para a diversidade das abordagens da avaliaga jovens, a avaliagao en- Como muitos outros campos e disciplinas emergentes, 1 escre~ frenta controvérsias em torno de suas definig6es ¢ ideologias. Os autores qu vem sobre avaliasio diferem muito em sua visio do que ela sea. E aqueles que fazem estudos avaliatrios trazem para seu trabalho concepgdes diferentes do que devem fer. Durante a rs tka década,quasesessenta propots diferentes relats & forma segundo a qual a avaliagio deve ser feita surgiram e entraram em circulasi0. Estas diversas prescrigoes ~ chamadas hoje de modelos de avaliasio ~ si0 implementadas com graus variados de fidlidade. Para complica ainda mais a co $5, algumas avaligdesafo planejadas sem mengfo consciente a nenhur quadro de referencias conceituais, resultando por isso, quando bem-sucedidas, em mais uma abordagem da avaliagio, Essa proliferagio de modelos de avaliago fez surgi faltdor, que fica confuso sobre qual seria o melhor model jbo Proposta vem com seus pressupostos intrinsecos SSPE ae lt como deve srt Flas enfatizam aspects ins io, dependendo das prioridades e preeréncias dl seus) autores) Pons um dilema dificil para © Jo para seus objetivos. a respeito da ava Digitalizado com CamScanrAvallagao aa de Programs, chegam com meticulosas instrugdes passo-a-passo que os. avaliadores possam seguir e menos ainda sio titeis em circunstiincias € ambientes além daqueles em ue foram criadas. Em resumo, poucns das prescrig6es de avaliagio propostas sio ficeis para avaliador seguir, ; ; [As vitias abordagens propostas pelos avaliadores sfo 0 contetido do campo avaliagio, Mas esse conteido nfo apresenta uma imagem clara e singular. Tent compreender a avaliagio de programas lendo 0s virios comentitios e presergées doy tedricos da avaliagio & como tentar descobrir o que é um elefante tentando int relatos de varios anatomistas cegos. A literatura da avaliagao € fragmentada e muits vezes destina-se mais aos colegas tedricos do que aos praticantes. Os praticantes atarefados no podem ser acusndos por no despender o tempo necessirio & inter pretasio e consolidagio desses pedacos disparatados do saber de seu campo, Nio vamos resolver inteiramente esse problema neste livro. Mas este capitulo os seguintes (do capitulo 5 ao 11) vio esclarecer as varias alternativas tteis para five avaliagio. Talvez. no fim saibamos o suficiente sobre o elefante para reconhecé- quando o virmos. AS DIVERSAS CONCEPCOES DE AVALIACAO DE PROGRAMAS Os diversos “modelos” de avaliagio que surgiram desde 1965 vio de presi abrangentes a simples listas de verificagdo, Esses modelos influenciaram muito Praticas atuais. Alguns autores optam por uma abordagem sistémica, vendo 3" lissdo como um processo de identificagio e coleta de informagées para ude te isd ne siond mada de decisdes. Outros véem a avaliagio como sinénimo de jutzo profiss em que a visio da tas ( qualidade de um programa baseia-se nas opinides dos ¢s a “ a 08 dados ¢ crtérios usados para fazer esses jutzos sejam cla0s, ene gundo out . . le cot aaa escola de pensamento, a avaliagio € vista como o process® ea ados do desempenho com obje enquan? inda vé scan tivos claramente especificados, at ainda vé a avaliagio como o equivale jadosat™ nite & pesquisa experimental cuid o * O fatodeess oe o quale as tides nto perm ser reamente cham de *moe08 SUNT gt Fiver deteya nt” discuido em outea obra (Worthen, 1977) neste lve fie et ‘models reflete 0 uso cortiqueito no campo daavaliaglo. Acbat TT umn termo mais Mexia, descreve nyt, Me fazer ues Ny pata fete van dena ne versa arias prpostas de Fe i refer As abordagens como “wupostes oe resolvido esse problema a content Digitalizado com CamScannort a ~oferentes Avordagens da Avallacdo de Programas 105 + controlada sobre programas educacionals ou wociia de Peso. Outros ainda concen- tram-se na importincia da investigagao naturalista ou insistem que o pluralismo dos ales sj reconhecido, acomodado e preservado © que os envolvidos coms entidade que esti sendo avaliada desempenhem o papel principal na determinagao dos ramos do esto avaiaério, Alguns autores propdem que as avaliag6es sejam estruturadas de acordo com paradigmas de investi todo quea oposite planejada~ tanto os prs quanto os contras~ aga pare delae E com isso mal tocamos na lista das alternativas atuais. Os varios modelos sio construidos de acordo com concey fentes ~ ¢ muitas vezes conflitantes — igagbes criminais ou legais de psdes e definicoes dife- € o resultado € que os praticantes endendo do modelo que seguem, ‘agio: da avaliagio, ‘io levados a tomar direges muito diversas, dep Vamos considerar um exemplo da érea da educ Sea avaliagio fosse vista essencialmente como sin6nimo de juizo profissional, 0 valor de um curriculo seria estimado pelos especialistas (tal como julgado pelo Cliente da avaiagio) que observaram o curriculo em ago, examinaram os mate- “ido currculo ou reuniram de outea forma qualquer quantidade suiciere & informagées para embasa ses julgamentos, A avaliagio fosse vis Penho do aluno ¢ og a ta como uma comparagio entre os indicadores do desem- objetivos, seriam estabelecidos objetivos comportamentais comportamentos relevantes do aluno seriam medidos de Sse partimetro, usando-se instrumentos padronizados ou criados * (note que, segundo essa concepgio, nio hi uma estimativa do. etivos em si), Para 6 curticulo © os acordo com ¢ “elo avalindo valor dos obj Usando una abordagem centrada na tomada de decisdes, 0 avaliador, trabalhan- <2 tntinamente com a pessoa que toma as decisdes, coletaria informagdes sufi ies Sobre as vantagens e desvantagens relativas le cada altesnativa para julgar ‘Wal seria « melhor. Mas, embor valor de cada i ecisées possa julgar 0 it pessoa que toma as decisdes possa july: alternativa, a avalia Wo per se deve ser uma fungio conjunta, , SE Hossa definigio de avaliagio apresentada antes (ver o capitulo 1) oa oa © avaliador de curriculo identificaria primeiro os objetivos do curriculo ¢ sepals, “atndo dados obtidos com os grupos de referencia apropriados, determinaria os bjetivos, assim como os a eis do curriculo, Depois jatcrais identiticdvei P 6 dados dlor julgatia o valor do panein anaisados ¢ interpretadlos, o aval New 9 ks do Currig glo a viduo ou grupo “stticulo e (habitualnente) faria uma recomendagio ao indi Ponsivel pelas decisdes finais, Digitalizado com CamScannAvalia ee 40 de Programs, E bvio que a forma de ver a avaliagio tem impacto direto sobre o tiny de atividade avaliatéria realizada, quer a avaliagio seja de um curriculo, quee de un programa de treinamento de uma grande empresa, quer de um programa gover. mental para dar assisténcia a donas-de-casa obrigadas a deixar o lar, ORIGENS DAS DIFERENTES VISOES DA AVALIACAO A diversidade das abordagens da avaliagio dlescritas nesta segio surgi dos tps variados de conhecimento e visio de mundo de seus autores, que resultaram em diferentes orientagdesfilosoficas, predilegdes metodoldgicas e preferéncias pitas, Essas diversas predisposiges levaram os autores das v ias abordagens da avaliagio- € seus adeptos ~ a propor concepgdes, métodos de coleta de dados e anilise e téeni- cas interpretativas muito diferentes. Assim, as diferengas ente as abordagens di avaliagio podem ser diretamente atribuidas a seus Proponentes, € nao a visbes dis tintas da natureza Baker e Niemi (1996) sugerem que exis Brande parte do pensamento sobre avali mensuragio; 3) anilise sistémica; ¢ 4) abord: 8 experimentagio ¢ da avaliagto, fem quatro fontes distintas nas qua ia: 1) experimentagio; 2) lagens interpretativas, Esses autores véem igo de pesquisa experimental das ciénchs . um uso completo dessa tradigio, como aleatorizagio, atengio —— as unidades de anilise e testes estatisticos, A mensuragio é descrita com? eee bressupde que o uso de um mecanismo de medida compo Programa. A anilise ae {We constituirio a evidéncia da efeividade de " des séties de vaidvee aves é definida como o exame das inter-relagées de ies administradores a tomar deciege er oeess0s complexos, Feito para ea S¥0 :05 da lost homens defensiveis. As abordagens interpret ger interpretagoee deen tte de teorasinterpettvas do conheciment Emboraconcordenas s itlgamentos holisticos de programas compen a Ale todas essas quatro fontes tenham influenciado a! ratura da avali ; - orden vn amente nao se encontram todas na mesma aaa Ietoolgis alternativas deccleme na vers apenas um dos animes itnsomae ts Fegistro de observagdes a respeito de uma estetégnongunizacional de coeng nn eo mide. A anise siti tomad; lhont om: ee eae i ade decisoes da inet ier io se base’ iagio, ‘dagens interpretativas” slo, rage pretagio de dados empiricos. A mens” 1 entidade Coleta e uso de informagées empiricas part Me “iGlo. Acreditamos que uma maneira mas fet Digitalizado com CamScann| parte dols = piferentes Abordagens da Avallacao de Programas 107 - compreender as origens das diferentes conceituagdes da avaliagao é examinar as dis- tingoes entre crengas filosdficas ¢ ideolégicas, preferéncias metodolégicas ¢ opgoes iticas de seus autores (¢ adeptos) derivadas da experiéncia prévia. Coletivamente, priuica ' . . dimensdes abrangem a maior parte do que consideramos 0s fatores impor- essis tantes que contribuiram para a criago das diferentes escolas do pensamento avaliat6rio. DIFERENCAS FILOSOFICAS E IDEOLOGICAS Nio existe uma filosofia univoca da avaliaglo, assim como nio existe uma Gnica flosofin da ciéncia aceita universalmente, E talvez essa falta nfo nos tenha feito tao inal assim: afinal, a avaliagio parece estar passando razoavelmente bem sem ela. A falta de uma filosofia orientadora nao impediu extensos discursos nem debates a respito dos pressupostosfilosdficos sobre epistemologia e valor. Na verdade, as diferentes abordagens que procuram definir valor ou mérito sio as grandes respon- siveis pela diversidade de pontos de vista sobre avaliago de programas. Epistemologia objetivista e subjetivista House (1980, 1983a, 1983b) falou muito bem sobre as diferentes filosofias do saber ou formas de estabelecer a verdade (epistemologia) e como elas afetam a escolha de uma abordagem da avaliagio, Classificou as abordagens da avaliagio em das categorias: objetivismo e subjetivismo. objetivismo requer que as informacées da avaliagio sejam “cientificamente objtivas, isto é, que usem téenicas de coleta e andlise dos dados que déem resulta- dos reproduziveise veificdveis por outras pessoas razoaveis ¢ competentes que usem asmesmas téenicas, Nesse sentido, os procedimentos da avaliagio sio “externalizados’, existindo fora do avaliador de uma forma explicada claramente que pode ser reproduzida por outros e que daré resultados semelhantes de uma avaliagfo a outra, O objetivismo deriva em grande parte da tradigio do empirismo nas ciéncins sociais, O subjetivismo baseia suas pretensées & legitimidade “mais num apelo a expe- riéncia do que a0 método cientifico. © saber € concebido como algo ticito em sua maior parte em vez de explicito” (House, 1980, p. 252). A validade de uma avalia- so subjetivista depend da relevancia da formagio e das qualificagées do avaliados, bem como da clareza de suas percepgdes. Nesse sentido, os procedimentos da avalia- Digitalizado com CamScann+ 108 Avallacdo de Programas cao sio“nteralizados’ existndo prinipalmente no avaliador em formas qu ni sio explicitamente compreendidas nem reproduziveis por outros. © objetivismo predominou entre as ciéncias socizis € a pesquisa educaiong durante décadas, ao menos até os anos 1980. Mas tem havido muitas criticas mais recentes & epistemologia objetivista, assim como ao dominio do positivismo ligico nas ciéncias sociais e educacionais. Campbell (1984) afirma que “ha vinte anos, 0 ava a filosofia da ciéncia (...) Hoje a tendéncia se inverteu positivismo légico domin: da ciéncia na filosofia, sociologia e outras discipli- completamente entre os tedricos nas. O positivismo légico foi rejeitado quase que universalmente” (p27). Seven (1984) afitma que todo e qualquer resquicio positivista deve ser climinado da av- tiagao, Bailey (1992) diz que os métodos positivistas tradicionais nfo devem sera abordagem preferida para avaliar programas do setor piblico. E Guba e Lincoln (1981) questionam a “infliblidade” do paradigma de investigagio hipotético-de- dutivo por causa de suas limitagées 20 lidar com fendmenos complexos,intrativos, em ambientes dinimicos e sépticos do mundo real. Embora menos radical e con- lusivo em sua eritica, House (1980) considera 0 objetivismo desatento a propria credibilidade, pressupondo que tem validade por causa de sua metodologia ¢, Por iss0, 96 tem crédito para aqueles que valorizam esse tipo de metodologia. Obsers quais seus também que o objetivismo disfarga valores e preconceitos ocultos dos s ¢ instr” adeptos podem nio ter consciéncia, pois até mesmo a escolha de técnica mentos de coleta de dados nao & neutra em termos de valores, um pressupos? aparentemente considerado ponto pacifico pelos avaliadores objetivistas. Para se contrapor 20 dominio objetivista sobre as metodologias da avaliagio, criticas a0 objetvismo tém sido extremas, No entanto, osubjetivismo no tem 5? i icado com menos radicalismo, principalmente por aqueles que véem seus proce dimentos como “anticientificos”e, por isso, de valor duvidoso. Os exiticos (Con? Boruch & Cordray) observam que a avaliagio subjetvista leva frequentemen® * conclusées diferentes ¢ as vezes contraditérias que dificultam a coneilias#0 porave aquilo que leva as conclusées fica muito obscurecido por procedimentos 4° * i dor impossiveis de reproduzir. Da mesma forma, House (1980) diz. que! Os criticos da epistemologia fenomenolégica notam que costum® | ver confusio sobre quais serio as pessoas cujas percepsdes do 9°? o mum devem ser consideradas a base da compreensio. Além diss quan julgamos a compreensio do senso comum a base da investigas#" serd “ no reconstruimos apenas ideologias, preconceitos ¢ crengas fals0s ques Digitalizado com CamScannparte dols - Diferentes Abordagens da Avallacdo de Programas 109 « existem, sejam quais forem? Como distinguir determinantes e regularida- des causais, a forga da epistemologia positivista, de crengas percebidas? Como avaliar interpretagdes conflitantes? A fenomenologia nao oferece nenhuma maneira de fazer isso, E assim continua 0 didlogo, Os fatos reproduziveis sio a pedra de toque da verdade dos objetivistas, a0 passo que os subjetivistas dependem de experiéneia acumulada como forma de compreender. Embora ambas as epistemologias conte- ham “testes” que é necessério aprovar para que se considerem fidedig concepgées e métodos muitos diferentes de avaliagio, geranlo grande py versidade das abordagens da avaliag is, levam a te da di- de nossos dias, Avallacéo utilitarista versus avallacdo Intuicionista-pluralista House (1976, 1983a) também fez uma distingio intimamente relacionada Aquela entre objetivismo e subjetivismo, qual seja, entre avaliagio u tdria ¢ avaliagio intuicionista-pluralista, Embora essa seja uma distingao relativa aos principios de atribuigdo de valores, ¢ nfo A epistemologia, a abordagem utilitarista ea intuicionista- Pluralista da avaliagao tém correspondéncia com a epistemologia objetivista e com a subjetivista citadas acima. Avaliagéo utilitarista, As abordagens utilitaristas determinam valor estimando © impacto global de um programa sobre aqueles a quem afeta. Essas abordagens tenderam a seguir a epistemologia objetivista. Em seu tratado clissico sobre “a jus- tica na avaliagio”, House (1976) sugere que a avaliagio utilitarista accita a definigo de valor de que o maior bem é aquele que vai beneficiar 0 maior ntimero de indivi- duos. Assim, “a rigor, o utilitarismo refere-se 4 idéia de maximizar a felicidade na Sociedade” (House, 1983a, p. 49). Vigora um tinico principio ético explicitamente definido, Em conseqiiéncia, o avaliador vai se concentrar nos ganhos totais do grupo usando médias dos resultados (como notas de provas, niimero de dias ausente do trabalho) ou algum outro indicador comum do que é “bom” para identificar “o maior bem para o maior mimero de pessoas”. Os melhores programas sio aqueles que Produzem os maiores ganhos de acordo com 0 critério ou os critérios selecionados Paradeterminar o valor. Avaliagbes de programas de nivel etadualeavaliagdes com- Parativas de larga escala do sistema de assisténcia social sfio de natureza utilitarista, A maioria das abordagens utilitaristas da avaliagio presta-se a ser usada por governos Digitalizado com CamScanna | “10 AVANEC8O de Programs ‘ou outros 6rgios que exigem ou patrocinam estudos avaliatérios, em relacio aos i os gerentes e administradores de programas piblicos sio os principaisinteresady, Avaliasao intuicionista-pluralista, Na extremidade oposta das avaliagdes yi. taristas esto as abordagens intuicionistas-pluralistas da avaliai0, que se basciam na idéia de que o valor depende do impacto do programa sobre cada cidadio ing. vidualmente. Essas abordagens tenderam a seguir a epistemologia subjetvists Su definicdo de valor é de que o maior bem possivel requer que se dé atensio aos benef. cios recebidos por todo individuo. Assim: Os principios éticos [nao] se resumnem a um s6 nem sio explicitamen- te definidos como na ética utilitarista. Ha virios principios derivados dt intuigio e da experiéncia, mas no existem regras estabelecidas para pest los. Isso capta um outro sentido do subjetivismo ético ~ que o cttéio final do que & bom ¢ certo sio os sentimentos ou apreensdes individu (House, 1983a, p. 50). Essa abordagem leva o avaliador a se concentrar na distribuigio dos ganhs entre 0s individuos subgrupos (isto é, agrapamentos étnicos). Pode nio haver um indicador comum de *bem’, ¢ sim uma pluralidade de critérios e juizos,¢ 0 wali) dor ni é mais um “criador de médias” imparcial,e sim alguém que descreve dif” rentes valores ¢ necessidades. Os dados podem ser notas de provas, horas de th Ramento, mudansas de renda ou niveis de reincidéncia, mas os avaliador > intuicionistas-pluralistas em geral preferem dados provenientes de entrevistas ¢'* ‘cmunhos pessoais dos partcipantes do programa. Pesar e harmonizar os dives ingame C citérios inerentes a essa abordagem é, em grande parte, um proc? soe aorgs tos lgoritmos para ajudar a reduzie as complex in do do progeame degen nt eomendagio inequivocs. O mérito ou valor cae ‘ epende em grande parte dos valores e perspectivas de quem © Julgando, todo individuo ou a ne “Da meso Toms, auidade oben, oe Se Consuinte € um juz lego. “D> Toda pessoa 0 metho, aa «io basa no juto pessoal enos Sasa : 56). Dentro dos linia 28 #05 que he dizem respeit” (House 983" a Viabilidade, @ maioria das avaliacdes intuicion' Pelopegans gc etsens M2 todos os inviduose gr oe {084 cargo dos patrocinadores ponesn Sete deixar as decisies 008 ‘A¢40 utilitarista, Pluralistas procura envolver a Digitalizado com CamScannporte dois - biferentes Abordagens da Avaliago de Programas 1: 0 impacto das diferencas filos6ficas Historicamente, 0s avaliadores tenderam a se alinhar com as virias nuangas descritas acima ou, pior ainda, tenderam a se polarizar em dicotomias do tipo “ou isto ou aquilo”. Em décadas anteriores, esse debate sobre a epistemologia foi a principal causa dos “rachas” que se difundiram no campo da avaliagio. © que alguém consi- derava uma avaliagao de programa aceitivel dependia muitas vezes da posigio assu- mida em relasio a essas dimensbes filoséficas. No entanto, embora as diferengas flos6fcas tenham levado a visdes diferentes da avaliago, elas nfo sfo incompativeis; para avaliadores sérios de nossos dias, a polarizagio cedeu lugar i integragio das Perspectivas. Miitiplas abordagens para descrever objetos de estudo, baseadas tanto na tradigZo objetivista quanto na subjetivista, tém sido usadas nas mesmas avalia- §8es para alcangar objetivos importantes (como Chelimsky, 1994). Reconhecemos o direito ~ quando nio a sabedoria ~ de todo avaliador concor- dar totalmente com as hipéteses e premissas de determinada ideologia. Mas poucos waliadores que tiveram éxito num grande niimero de ambientes avaliatérios podem sedar ao luxo de considerar as ideologias filoséficas decisdes baseadas em “ou isto ou aquilo”. A visio purista que parece nobre na imprensa cede as presses priticas que ¢xigem que o avaliador use métodos apropriados fundamentados numa epistemo- logia que é certa para aguela avatiagdo ou mesmo uma multiplicidade de métodos baseados em epistemologias alternativas na mesma avaliagao.? Hoje em dia, sio Pouquissimos os puristas filos6ficos entre os avaliadores profissionais. Mas é impor- tante conhecer os Pressupostos e as limitagdes dos métodos que se baseiam em diferentes visdes da avaliacio. FORMACAO E PREFERENCIAS METODOLOGICAS Os diferentes pressupostos filoséficos relativos ao saber ¢ a0 valor produairam naturalmente diversos métodos de avaliagao. Na verdade, a filosofia e a metodolo- Sia da avaliagao estio tio intimamente interligadas que poderiamos muito bem ter discutido as duas juntas na segio anterior. Mas achamos que é util examinar Scparadamente duas questées metodolégicas que influenciaram muito a realiza- So dos estudos avaliatérios: 1) a relevincia e a utilidade da pesquisa quantitativa —_—_ 2 5 Discutiremos melhor a multiplicidade de métodos em capitulos posteriores deste livro, Digitalizado com CamScann: Avaliags 2 Nacdo de Progr, rams ¢ qualtativay¢ 2) a dificuldade encontrada pelos avaliadores para trablhae com miltiplas dsciplinas e metodologias. Avaliagao quantitativa e avaliacao qualitativa Muito se falow nos iltimos anos sobre avaliagio quantitativa e qualitativa, enquan- to 0s avaliadores Tutavam para definir a utilidade relativa dessas duas abordagens distintas. Antes de discutir adequadamente essa questio, precisamos delinea (com amaior clareza possivel num espaco limitaclo) as diferensas entre o método quan tativo € 0 qualitativo de coleta de dados. Varios autores fizeram distingdes itis entre os dois (como Hedrick, 1994; House, 1994b), mas ainda consideramos as descrigées de Schofield e Anderson (1984) as melhores para esse objetivo’, Bm sua opiniio, a pesquisa gualitativa em geral: a) E realizada em ambientes naturais, como escolas ou bairros; b)ut- liza 0 pesquisador como o principal “instrumento” tanto da coleta quanto daanilise dos dados (...);€) enfatiza a “descrigo substantiva’, isto é obtet dados reais", “ricos", “profundos”, que iluminem os tipos dle ago do cot diano e seu significado segundo o ponto de vista daqueles que estio sendo estudados (.); d) tende a se concentrar mais nos processos sociais do qv Principal ou exclusivamente nos resultados; e) emprega miltiplos mt” dos de coleta de dados, especialmente observagdes dos participantes ¢ °° trevistas; ef) usa uma abordagem indutiva em relagdo a andlise dos dados, extraindo seus conceitos da massa de detalhes particulares que constive® o banco de dados. Por outro lado, esses autores afrmam que a pesquisa quantization em ge ores 4 mist esquist ratisti> concentra-se em testar determinadas hipoteses que sio partes me 'uma perspectiva tedrica mais abrangente. Essa abordagem seBu° Borosamente 0 modelo tradicional das ciéncias naturais que * P ualitativa, enfatizando a abordagem experimental ¢ os métodos — nissi? 3 Agradecemos a Sel a Schofiel a dectarsurebee pene Por sua contribuiglo para nosso pensamento © pela pe | Digitalizado com samScanrparte dols ~ Diferentes Abordagens da Avaliacdo de Programas u3- cos de andlise. A pesquisa quantitativa enfatiza a padronizagio, a precisio, a objetividade ¢ a confiabilidade da mensuragio, bem como a possibilida- de de reproduzir e generalizar suas conclusdes. Assim, a pesquisa quanti tativa caracteriza-se nao $6 pelo foco na producio de ntimeros mas tam- bém na produgao de nimeros que sejam adequados a testes estatisticos (pp. 8-9). Pausa para definicoes Como pano de fundo de uma discussio mais aprofundada da distingZio entre a abordagem quantitativa ¢ a qualitativa, temos de fazer uma pausa para introduzir diversos termos usados na filosofia da ciéncia para os leitores que nio tém familia ridade com essa linguagem nem com essa literatura, Um paradigma é, muito simplesmente, um modelo ou exemplo. Em termos bem genéricos, poderiamos dizer que é uma filosofia ou escola de pensamento. Mas 0 filésofos da ciéncia dio ao termo um significado especial, usando-o para descre- ver visdes de mundo integradas de individuos ou grupos que determinam como esses individuos ou grupos percebem a verdade e tentam compreendé-la, A visio de mundo (paradigma) resultante abrange uma crenga epistemolégica ¢ uma crenga ontol6gica que, juntas, governam as percepgdes ¢ opcdes feitas na busca da verdade cientifica. Hé paradigmas em muitas éreas (como paradigmas politicos), mas aqui estamos interessados em paradigmas de pesquisa que determinam como realizamos nossas atividades, Epistemologia é a teoria do conhecimento ou o estudo da natureza do conhe- cimento, principalmente com referéncia a seus limites e sua validade. Muitos fil6- sofos da ciéncia nao distinguem entre epistemologia, metodologia ¢ filosofia da ciéncia (Kaplan, 1964). Na pritica a crenga epistemoldgica de um individuo deter- mina como ele acha que 0 conhecimento ou a verdade podem ser compreendidos, ue problemas ¢ imprecisdes esto associados aos varios tipos de busca ¢ apresenta~ S#0 do saber e como o pesquisador vé sua relago com seu objeto de investigacio. Ontologia é a teoria da realidade ou existéncia. Na pritica a crenga ontoldgica de um individuo determina o que ele pensa da realidade, o que julga que existe de fatoeo que existe sé no pensamento. F . Positivismo é um paradigma que afirma que 0 conhecimento se baseia nos fendmenos naturais ¢ em suas propriedades e relagées tal como verificados pelas Ciéncias empiricas, Em termos simples, 0 positivismo afirma também que a reali- Digitalizado com CamScann