Professional Documents
Culture Documents
2011/2012
Foundation Models for 21st Century Program Evaluation/ Modelos Fundadores para Programas de Avaliao para o sc. XXI
Parlett and Hamilton;Weiss (1972) Einsner; Glass (1975) House(1980) Schwandt (1984) Smith,N.L(1987) Introduo da avaliao em organizaes sociais de educao
1970
1942/1950
Expanso e evoluo nacional e internacional de prticas de avaliao Tyler (1942)
1990
Adotadas em vrias organizaes com o objectivo de assegurar qualidade, competio e igualdade no trabalho. Rossi and Freeman (1993) Cook and Leviton (1991) Wholey, Hatry and Newcomer (1995) Whorten and Sanders (1997)
2010
Abordagens de Avaliao
O termo Modelo de Avaliao redutor das suas abordagens sobre avaliao. A maioria das abordagens um conjunto de modelos de vrios autores.
2 Pseudoavaliaes
15 Mtodos e orientaes
3 Agenda Social
Estes mtodos duvidosos no avaliam os pontos fracos, podem levar desmotivao do avaliador que tenta relatar e conduzir avaliaes vlidas. Os avaliadores tm de ser cautelosos sobre o modo como conduzem as atividades das relaes pblicas. Os avaliadores devem explicar s audincias como fazem as avaliaes honestas e como usam as descobertas provenientes dos estudos/avaliaes.
b) Se no houver concordncia com as descobertas de avaliao; c) Se houver preconceito sobre qualquer parte das descobertas da avaliao.
No legtimo para um cliente ver os estudos e depois durante a avaliao conduzir o processo de forma a manipular o percurso da avaliao criando as descobertas que pretende.
Existe um contrato entre o avaliador e o avaliado. Avano desta abordagem inclui um implcito e explcito acordo pelo cliente face ao programa e aos objetivos para se ganharem jornadas polticas. Esta abordagem requer apurar informao. O cliente poder realizar informao seletiva para criar um quadro errado de mrito e excelncia distorcendo-a, violando o direito da lei (direito de saber).
Maintaining/Manuteno
Prope-se um estudo Increase influence/Influncia crescente
Power/Poder
Money/Dinheiro/Financiamento
Questes de estudo
Qual a informao importante num potencial conflito?
O ponto de partida so objetivos operacionais, medidas-padro, anlise de custos do procedimento, utilizao de sistema de informao. Utilizam mtodos quantitativos e mtodos qualitativos.
3- Objectives-Based Studies
Os objetivos operacionais so relacionados, analisados com informao pertinente e como cada um foi atingido.
Os testes com critrios de referncia so revelantes nesta abordagem de avaliao. aplicada em projetos com objetivos fceis de clarificar, claros e vlidos. criticado pela informao ser uma pequena parte do que importante na avaliao de um programa. A informao oferecida pouca para construir uma avaliao vivel para observar o mrito e a excelncia. Os estudos no abordam os efeitos positivos e negativos e se os objetivos so ou no credveis.
Accountability
Aplica-se a organizaes profissionais encarregados de anlises, mandatos pblicos, servios pblicos e implementao de programas de fundos.
Comparao, competitividade no saudvel. Os polticos tentaram implementar accountability antes de estabelecer as instrues necessrias, scoring, assessorias sem as terem testado, planeado e validado Pode gerar mau ensino, presso negativa e levar ao abandono da accountability.
Desvantagens
Segundo Lindquist (1951) Os resultados devero ser interpretados luz de outra informao como as caractersticas dos estudantes, participao e outras medidas importantes.
uma avaliao que no engloba comportamentos;
No tem ateno escrita; Desvantagens So pobres aproximaes do que ensinado;
rea curricular Professores Escola Escolas mdias Resultados da escola Distritos reas Tamanho
Esta avaliao est direcionada para polticas; prestao de contas feedback no desenvolvimento de programas.
Sistematizao e instutucionalizao de bases de dados que sero usadas e mais tarde tero informao til que ser anexada.
aproveitado para fazer polticas pois usada para apurar causas e reponsabilidades dos sucessos e falhas, recaindo sobre professores e escolas. Podero aparecer fatores causais que no responsabilizam diretamente ou indiretamente professores dos diferentes nveis ou alunos.
Vantagens
Desvantagens
7- Performance Testing
Performance Medidas autnticas Questes escritas ou orais Apresentaes musicais ou psicomotoras Portflio
Fases: 1. Selecionar o dispositivo de avaliao; 2. Construir perguntas de avaliao; 3. Determinar intervalos de valor; 4. Determinar estados de performance padro; 5. Treinar; 6. Calibrar resultados; 7. Validar medidas; 8. Administrar; 9. Contar; 10.Interpretar; 11.Revelar resultados.
Os alunos podem:
Vantagens
Desvantagens
Moroso; economicamente dispendioso; dificuldades de estabelecer valores-padro. Muito abrangente, o inverso de abordagens mais redutoras/estreitas.
8- Experimental Studies
Questes e mtodos que fornecem informao restrita e direta.
Determina relaes causais(causa/efeito) entre variveis dependentes e independentes. Quais so os efeitos de uma ou mais variveis de um sistema?
Vantagens Resultados objetivos Estabelece relaes entre variveis Benefcios na medicina e agricultura Pode funcionar como agente de mudana
Desvantagens
Analisa operaes; staff, organizao do programa, disponibiliza informaes em cima da hora, acordos, problemas, publicidades. Presta ateno aos mtodos especficos (manufatura).
Vantagens
Permite informao que pode ser utilizada, monitorizada, controlada e revelada em sistemas complexos.
Desvantagens
O propsito o conhecimento claro dos objetivos, recursos a investir, como foram investidos e com que efeito.
Questes como:
Desvantagens
Questes
Perspetivas
Questes
Mtodos
Informao
Para avaliar o programa, remete-o para uma teoria, compara-o com a teoria; Sugere medidas de avano,melhorias e modificaes; Depende de validaes tericas apropriadas a rigorosos testes das hipteses.
Vantagens
Em casos em que a teoria realmente a mais prxima/atual e fivel, pode ajudar a estruturar e a guiar a avaliao e interpretar as informaes recolhidas
Desvantagens
15 - Mix-Methods Studies
Mtodos quantitativos
Vantagens
Desvantagens
16 Decision/AccountabilityOriented Studies
O programa de Proactivo, para ajudar o prprio programa avaliao deve ser Retroativo, para julgar o mrito e o valor
Enfse- no mrito e valor democracia, direitos humanos Ajudar a tomar decises num registo de accountability. Objetivo: providenciar o conhecimento, para que se tome decises de forma correta e econmica. Mtodos utilizados: estudo-caso; estudos experimentais
Cronbach (1963) os educadores deviam passar a focalizar-se mais nos programas do que nos objetivos (base para o conceito de avaliao formativa e sumativa).
Stuffebeam as avaliaes devem providenciar sempre informaes e ser definidas e elaboradas de forma a ajudar o grupo alvo, sempre em estreita relao com os stakeholders.
Vantagens
Todos os intervenientes fazem parte do projeto, so eles que definem as necessidades do grupo-alvo. Utiliza mtodos quantitativos e qualitativos. Deve ser feita numa base democrtica de uma sociedade livre.
Desvantagens
A relao entre avaliador e stakeholders pode tornar-se muito prxima, principalmente em situaes muito politizadas. Dando assim uma maior importncia avaliao formativa. Tem a conotao de apenas servir os topos.
O avaliador visto como substituto iluminado do consumidor. Sendo os consumidores quem deve avaliar o programa em causa.
Ajuda todos a tomar decises corretas atravs da comparao dos diferentes gneros de produtos, d as melhores respostas. Observa todos os nveis de funcionamento: Custo, qualidade e comparao com outros produtos.
Este estudo deriva da sociedade, dos participantes e principalmente do quadro de referencias do avaliador.
Meta avaliao O avaliador deve avaliar os programas de avaliao.
Scriven (1974) lista de pontos chaves da avaliao Pontuao Graduao Ranking distribuio sntese final Desenvolve os conceitos de avaliao formativa e sumativa, dando maior enfse sumativa, para julgar o mrito e o valor. O avaliador entra depois da avaliao formativa, depois de recolher uma vasta informao, s assim possvel uma avaliao sumativa.
Qualidades
Protege os consumidores dos maus programas Independente Contribui para melhorar as necessidades dos consumidores
Defeitos
Pode ser demasiado independente Aplicada muito cedo pode intimidar e cortar a criatividade. Aplicada tarde demais pode ter dificuldades em obter o valor base do programa Depende muito da competncia, independncia e bulletproof do avaliador.
18 Accreditation/Certification Approach
Acreditar ou certificar determinada instituio ou pessoa para determinada funo Questo: As instituies/pessoal tm os requisitos mnimos para as suas funes e como podem melhorar as suas prestaes?
Mtodo : Um grupo de especialistas visita as instituies, verifica um relatrio interno e recolhe outras informaes.
Utilizado em grupos de profissionais em que os seus membros podem pr em risco a sociedade. tem um grande interesse do pblico e pode melhorar as capacidades e prticas de determinado grupo.
Qualidades
Permite julgamentos informados em relao qualidade das organizaes e qualificao do pessoal Dar mais importncia aos mecanismos e inputs do que aos resultados. Relatrios internos podem levar Corrupo
Defeitos
Centrada no cliente, porque o avaliador deve trabalhar com o apoio dos diferentes clientes. Estes devem contribuir para o conhecimento e melhoramento do programa. de Scriven (consumer-oriented) porque inclui a autonomia local e ajuda os envolvidos no processo a melhorar, atravs da avaliao. Prefere uma avaliao mais subjetiva (as concluses dependem de quem as analisa)
Relativistic School of Evaluation Examinar o programa na totalidade, numa abordagem pluralista, flexvel, interativa, holstica, subjetiva, construtivista e orientada para servir.
Formalizao de prticas informais e intuitivas.
Funo: Selecionar opinies e julgamentos dos stakeholders e especialistas. Independentemente dos resultados, o avaliador elabora um relatrio que pode dificultar as decises. Avaliador confiante, responsvel e competente cliente receptivo, paciente e tolerante para com a complexidade da avaliao.
Condio principal
Qualidades
Utilizar as descobertas para melhorar a sua compreenso, deciso e ao. O avaliador olha profundamente para os interesses dos stakeholders e procura a informao til para eles.
Defeitos
A no credibilidade externa, pelo facto das pessoas interessadas terem muito controlo sobre a avaliao do seu trabalho. Os avaliadores podem perder a independncia por trabalharem muito prximos dos stakeholders.
Problemas entre staskeholders. Vrias interpretaes dos resultados pode ser contraproducentes.
20 Constructivist Evaluation
Instrumentos Humanos Avaliador e stakeholders so o centro do processo. Avaliador
Deve ser tico e respeitador de todos os Participantes, em especial dos sem direitos civis.
Deve ajudar os stakeholders a consciencializar-se da necessidade de melhorar o mundo. Deve respeitar a livre vontade dos participantes. Deve ter como finalidade o melhoramento da sociedade. Deve informar regularmente de tudo, mas sem concluses definitivas. Deve incentivar na procura de mais informao. No deve definir limites ao que investiga, pois tudo o que investiga serve para a procura de melhores respostas.
Cuba e Lincoln (1985, 1989) A Avaliao a abordagem dos avaliadores, a sua interao com os stakeholders e tambm a sua histria pessoal. Avaliao construtivista Nunca termina, pois impossvel chegar a respostas definitivas e estanques. Principal fundamento: Perceber a variedade de construes que surgem entre os stakeholders. As questes so criadas em interao entre avaliadores com os stakeholders. Mas estas nunca so fixas, vo sendo adaptadas s novas situaes.
Vantagens
Baixa as expectativas dos clientes em relao a causa-efeito. No promete respostas finais, mas abre caminhos para que todos trabalhem no mesmo sentido
Problemas de tempo Exige a participao de todos durante todo o processo. Utpico Stakeholders muito diferentes, com opinies divergentes. O avaliador pode no ter as informaes todas, porque os stakeholders podem no querer revelar tudo ou esto mal informados.
Desvantagens
Stakeholders que no concordam com o Construtivismo e preferem dados com significado estatstico.
O fracasso e o sucesso partilhado por todos.
3 dimenses
House e howe - 10 questes Quem tem os interesses representados? Os maiores stakeholders esto representados? Existem excludos? Esto os verdadeiros poderes em equilbrio? H processos para manter o equilbrio? Como que as pessoas participam na avaliao? A sua participao autntica? Existe interao? Existem deliberaes reflexivas? As deliberao so muito extensveis e considerveis ?
Vantagens
Tentativa da avaliao ser justa Participao democrtica ao longo de todo o processo Incorpora os pontos de vista de todas as partes interessadas Dilogo Permite anular inputs que considere incorretos ou antiticos O avaliador apresenta uma concluso, assegurando o fim do processo
Desvantagem
Mtodo O avaliador , atravs da observao, identifica as diferentes perspetivas e interesses a serem estudados. A partir da escolhe um grupo representativo de stakeholders.
Este grupo de stakeholders que explica a necessidade da avaliao, como as descobertas iro ser aplicadas, como o processo deve ser conduzido e que tipo de relatrio apresentado. Recolher informao, sempre focalizada nas questes importantes. Utilizar tcnicas respeitadas pelos stakeholders, facilitadoras do estudo para todos os envolvidos. Dinmica conceptual entre avaliador e avaliados.
Defeitos:
MB
MB MB MB
E
E E MB
MB
MB MB B
MB
MB MB MB
MB
MB MB MB
MB
MB MB MB
MB MB
MB MB
MB MB
MB MB
MB MB
MB B