UMA ANALISE DA FIDEDIGNIDADE DA TAXONOMIA DE OBJETIVOS EDUCACIONAIS (DOMINIO COGNITIVO) 1.0. Introduco Em 1956, Bloom e seus colaboradores pu- blicavam nos Estados Unidos, uma Taxono- mia de Objetivos Educacionais para 0 dom{- nio das operacées intelectuais. Definida como “classificago dos comportamentos do aluno que representam resultados esperados do pro- cesso educacional” (Bloom, 1972, pag. 11), sua estrutura compreendia seis classes prin cipais, dispostas numa hierarquia de comple- xidade crescente. 1.00 Conhecimento 2,00 Compreensio 3.00 Aplicagio 4.00 Anélise 5.00 Sintese 6.00 Avaliacdo J& em 1956, Bloom relatava que o esque- ma inicial da Taxonomia tinha sido extensi- vamente aplicado tanto em pesquisa, quanto em planejamento educacional. A partir de entio, vem crescendo o miimero de estudos envolvendo o emprego da Taxonomia, S6 na década de 60, a Encyclopedia of Educational Research aponta a existéncia de estudos fel- tos por Sanders, Russell, Cox, Guszak, Harri- son, Klein e Ellis aplicando a Taxonomia tan- to na anillise de objetivos educacionais, quan- to na anilise de itens de avaliago educacio- nal e, até mesmo, na anélise da interacao pro- fessor-aluno. A esses, poderiamos acrescentar outros estudos como os de Brown, Ober e Soar MARIA AMELIA AZEVEDO GOLDBERG resultando numa modificacéo da ‘Taxonomia de Bloom, com o fim de possibilitar a obser- vac&o, em classe, de interagdes de natureza cognitiva. Essa modificagéo é hoje conheci- da como a Florida Taxonomy of Cognitive Behavior de 1968. No Brasil, por sua vez, a década de 70 esta presenciando o despertar do interesse pe- los trabalhos de Bloom. Assim, registramos a presenga da Taxo- nomia de Objetivos Educacionais, tanto em publicagdes recentes sobre testes e medidas educacionais, como em trabalhos destinados a treinamento de professores. Além disso, pelo menos trés pesquisas de nosso conhecimento, empregaram a Taxonomia como instrumento auxiliar. Uma, realizada no Rio Grande do Sul, sobre Avaliaces e Operacdes Mentais, outra em Minas Gerais, sobre previsio de su- cesso ou fracasso do estudante de Medicina e outra, no Parand, sobre ensino normal. (*) Além disso, nosso mercado bibliogréfico aca- ba de receber a traducdo portuguesa da obra de 1956 de Bloom, sobre a Taxonomia de Objetivos Educacionais, © que chama a atencdo, porém, em todas essas utilizagées da Taxonomia de Bloom é que, se em todas elas a Taxonomia vem sen- © Ct, Ot, Margot Bertolucel — Avaliagto 6 eperactos ene (ais, RGS, CRPE-MEC/INEP, 1071. Gt Alvarenga, G.P.aE. 0 Alvarenga, Climene Siva 3 — Previslo do. sucesso ou fracaaso do estudante de. Medi. ina utilizando as fontes obtidas nas provas_ de Pisioe, Quimiea © Biologia do vestipuiar, In Ciencia © Culture, @®), jnnho 3971, Suplemento, p. 25-256 Gt. FUNDEPAR — 0 onsino normal no Perand € 08 re cursos Fuumanos para 0 desenvolvimento, Parané, 1971 Grochura) — 56 —do utilizada como um instrumento de men- surac&o, poucos foram aqueles usuarios que se preocuparam com a investigacao de suas qualidades docimologicas de fidedignidade validade, Todavia, esta é uma preocupagao basica, pois antes de aplicar um instrumen- tal é preciso decidir sobre sua adequacao. © presente trabalho se insere nesta linha de estudos e pretende retomar alguma das colocagées feitas por Bloom acerca do que ele denominou de “comunicabilidade” da Ta- xonomia. 2.0. Fidedignidade de uma taxonomia — Pressupostos tedricos Fidedignidade “é a exatidao ou precisio de um instrumento de medida” (Kerlinger, 1964, pg. 430). Embora aparentemente uni- voca, a definicao é do tipo redutivo, admitin- do significados varios. “O coeficiente de fide- dignidade é um termo genérico que engloba varios tipos de evidéneia; cada tipo de evi- déncia sugere um significado diferente” (Ame- rican Psychological Association, 1966, pag. 25). Embora isto seja verdade, qualquer tipo de evidéncia acerca da fidedignidade de um instrumento de medida envolve necessaria- mente um ponto comum: todos eles procuram determinar a extensdo da influéncia dos erros de medida nas mensuragées feitas. Um estu- do de fidedignidade deve, pois, necessariamen- te, partir da andlise das fontes de variéncia de erro nas mensuragées em causa. Essas fon- tes de imprecisdo de medida, por sua vez, va- riam de instrumento para instrumento. A ta- xonomia pode ser considerada uma escala or- dinal de medida, pois consiste em categorias ordenadas. “Este é 0 problema basico da ta- xonomia — hierarquizar fenomenos, de for- ma que se manifestem algumas de suas pro- priedades essenciais e inter-relagdes dos pré- prios fenémenos” (Bloom, 1972, pag. 15). As operagées basicas envolvidas sio as de cate- gorizagao e ordenacdo. De fato, aplicar a ta- xonomia significa atribuir cada objeto a uma. categoria de acordo com a regra representa- da pela definicéio constitutiva da propria ca- tegoria.(*) Além disso, considera-se que as categorias devem estar ordenadas, segundo uma relagao de complexidade. Embora, “estritamente falando, classifi- cagiio taxonomia nao possuam o mesmo sig- nificado” (Bloom, 1972, pag. 15) a taxono- mia no deixa de ser, no fundo, um esquema de classificaedo e assim sendo, o problema de sua fidedignidade converte-se no problema da fidedignidade de um sistema de classificacao. Quais sero, pois as principais fontes de va- riancia de erro de um sistema classificatério? Classificar significa julgar e todo julgamen- to, para ser digno de confianca, deve ser obje~ tivo, isto , independer da pessoa que julga € estavel, isto 6, independer da ocasidio em que @ mesma pessoa julga. Portanto, duas so as principais fontes de varianeia de erro numa classificagao: juiz e ocasiéo. Cada uma delas € uma faceta, na terminologia da teoria da generalizabilidade. A cada faceta devera cor- responder, pois, um coeficiente de fidedigni dade, Considerando a objetividade e estabi- lidade como dimensdes necessarias da confia- bilidade de um sistema classificatério e con- siderando, por outro lado, que essas dimen sdes respondem pelas caracteristicas de co- municabilidade e consisténeia da classifica- cdo, podemos afirmar que estudar a fidedig- nidade da Taxonomia de Objetivos Educacio- nais de Bloom, equivale a procurar comprovar a afirmacéo de que ela é “um sistema légico, no sentido de que seus termos estiio definidos precisamente e so usados consistentemente” (Krathwohl, 1964, pag. 21) Até aqui discutimos os pressupostos re lativos A fidedignidade e & taxonomia. Res- taria discutir, ainda, os pressupostos ligados aos objetivos educacionais, Os objetivos edu- cacionais so “proposicées sobre mudangas de- sejadas nos pensamentos, nas agées ou sen- timentos dos alunos e que um determinado curso ou um programa educacional deve pro- duzir” (Bloom, 1967, pag. 389). As proposi- Ges sobre as mudancas desejadas podem ser formuladas por sua vez em termos descritivos ©) Detinigio constitutive & aquela que define uma palavre fou construto, usando outraa pelarras ow construtos (cf Kerlinger, 1804, p. 2) —sT—ou em termos observaveis. Nesta dltima ca- tegoria, uma das possibilidades 6 a chamada definicdo operacional, ou seja, aquela que espe- cifica em maior ou menor grau as operacdes necessarias A medida dos objetivos educacio- nals, Isso equivale a dizer que qualquer obje- tivo educacional pode ser definido num “con- tinuum” de generalidade — especificidade. A traducéio de objetivos educacionais em proce- dimentos de avaliagdo representa um “esforgo para clarificar e dar uma definiggo operacio- nal aos objetivos” (Bloom, 1967, pag. 389). Foi a estreita relacio entre objetivos edu- eacionais e avaliagao educacional que levou Bloom a considerar sua taxonomia do domi- nio cognitive como aplicdvel também a ins- trumentos de medida educacional. Cada ca- tegoria recebeu, pois, trés niveis de defini- go — uma descricgo verbal, uma exemplifi- cag&io de objetivos educacionais pertinentes e uma amostra de exemplos de questées de provas destinados a ilustrar tanto “o compor- tamento abrangido pela categoria, quanto o tipo de item capaz de medir essa objetivo” (Cecco, 1968, pag. 52). Todavia, se considerarmos que a propo- sigéio de objetivos educacionais e a avaliacao desses mesmos objetivos devem ser mediadas, por experiéncias de aprendizagem, facil seré entender que os comportamentos envolvidos na solucio de um dado tipo de item depen. dem das experiéncias anteriores de aprendi- zagem dos sujeitos. “Por exemplo, dois alu- nos solucionam um problema algébrico. Um deles pode resolvé-lo de meméria, devido a uma experiéncia anterior com um problema, idéntico em aula. © outro aluno deparou com © problema igual e necessita raciocinar, apli- cando principios gerais para encontrar a so- lucio” (Bloom, 1972, pag. 14). Se empregas- semos a Taxonomia, 0 mesmo item poderia ser classificado como pertencendo a categoria de Conhecimento e a categoria de Aplicacao, por exemplo, Esse fator nfo poderd ser igno- rado sempre que se pretender testar a fidedig- nidade da Taxonomia de Objetivos Educacio- nais, quando aplicada a classificacdo de itens de avaliacéo educacional. 3.0. Objetivos © presente estudo propée-se a analisar a fidedignidade da Taxonomia de Objetivos Educacionais de Bloom — Dominio cognitivo, fidedignidade essa definida em termos de ob- jetividade e estabilidade na classificagio de ftens de avaliago educacional. 4.0. Metodologia Para testar a objetividade e a estabilida- de na classificacdo de itens de uma prova de escolaridade, definimos, respectivamente, duas evidéncias de fidedignidade: a) concordancia entre julgamentos feitos por juizes Indepen- dentes; b) concordancia entre duas classifi- cacées feitas pelo mesmo juiz, com um certo intervalo de tempo. Em vez de reduzir, simplesmente, a fide- dignidade a porcentagens de concordancia in- ter, ou intra-juizes, preferimos estimé-la atra- vés do coeficiente de Scott (cf. Ober, 1971, pag. 71 e segs.). Este coeficiente revela-se superior as simples medidas de porcentagem de concordancia, pols estima, em vez disso, a relacdo entre concordancia, observada e con- cordancia devida ao acaso. De fato, segundo © coeficiente de Scott. Concordancia observada — concor ancia. casual Fidedignidade = ——————____— Maior concordancia possivel — con- cordanela casual O coeficiente de Scott foi empregado sem- pte que quisemos comparar pares de classi- ficagdes. A comparacdo entre mais de duas classificacdes foi feita através de uma medi- da ndo paramétrica de correlagdo, tendo em vista a natureza ordinal da Taxonomia, Foi utilizado aqui o coeficiente de concordancia W de Kendall, considerado ttil na “determi- nagéo da concordancia entre varios juizes” (Siegel, 1956, pag. 239). Todos os julgamentos foram feitos sobre 30 questdes de uma prova de escolaridade apli- cada em um curso de educagéo integrada do programa MOBRAL de alfabetizacao de Adul- tos. — 58 —Os juizes foram alunos do Curso de Tes- tes e Medidas ministrado em 1972, na Ponti- ficia Universidade Catélica de Sio Paulo, den- tro do Programa de Pés-Graduacéio em Psico- logia da Educacao, Esses juizes estudaram a Taxonomia de Bloom, como parte obriga- toria do curso e seu dominio da mesma foi considerado satistatério pela professora da. rea. Além disso, exercitaram sua habilidade classificatéria, em um treinamento com itens de uma forma paralela aquela cujas questdes deveriam classificar depois. Por outro lado, tendo em vista a relacdo entre ftens de rendi- mento escolar e experiéncias anteriores de aprendizagem forneceu-se aos jufzes uma re- lag&o de contetidos programaticos que os itens a serem classificados pretendiam cobrir. Esses contetidos eram tratados em trés materiais didaticos, doravante designados material di datico A - B - C. Cada material didético in cluia tanto 0 livro do aluno quanto o guia metodolégico do professor. Embora os mesmos contetidos estivessem. presentes nos trés materiais didéticos, uma inspecéo do tipo de perguntas que os trés guias do professor sugeriam fossem feitas aos alunos, fez-nos supor que os materiais didati- cos distribuir-se-iam diferentemente, em ter- mos da versio modificada da Taxonomia de Bloom, proposta por Sanders (1966), (cf. Ober, 1971, pag. 99). Assim sendo, o mesmo item de teste poderia ser resolvido por esta ou aque- la operagao mental, conforme se tratasse de um aluno que tivesse recebido este ou aquele material didatico, Conseqiientemente, nossos juizes, ao classificarem os mesmos ftens, co- locar-se-iam no lugar dos alunos e refletiriam, através de discrepancias nos respectivos jul- gamentos, a influéncia do material didatico que tivessem consultado, Essa a razio pela qual nossos juizes foram distribufdos em gru- pos A - Be C, conforme tivessem lido os materiais didaticos A - B e C. Apés todo esse trabalho preliminar, cada juiz recebeu os 30 itens para categorizar, tra- balhando independentemente. De posse dos resultados, procedemos entdo a uma selecio, em cada grupo, dos juizes cujas classificacdes tivessem menor ntimero de erros. © erro foi definido, estipulativamente, como nao con- cordaneia com: a) classificagdo modal do grupo de jui- zes e/ou b) classificagdo da autora do teste e/ou ¢) classificagio da professora de Testes Medidas Educacionais. Com isto, o grupo inicial de 12 jufzes reduziu-se a 6, havendo um par para cada grupo. A partir das classifieagdes dos juizes, eliminamos, também, 7 itens (N.” 12, 14, 16, 25, 26, 28 © 30), cujas modas apresentavam porcentagens de freqiténcia inferiores a 50%. ‘Todos os nossos resultados baseiam-se pois em dados de uma matriz de classificagées feitas por 6 jufzes para 23 ftens de teste. A classi- ficag&o dos itens, por sua vez, foi feita apenas a partir das seis grandes categorias da Taxo- nomia de Bloom. 5.0. Resultados A primeira indagacao que fizemos foi acerca do grau de concordancia existente nas classificagées dos seis juizes. Para célculo do coeficiente de concordan- cla W de Ker.dall, as classificagdes foram con- vertidas em posts. O coeficiente obtido foi de 0,632, significativo ao nivel de 0,001. Isto permite-nos afirmar que os juizes aplicaram, essencialmente, 0 mesmo padréo nas classi- ficagdes dos 23 itens de teste. Esse resulta- do, embora esperado tendo em vista o proces- so final de selecdo de juizes, nfo nos satisfez porque, muito dificilmente nos emprego da taxonomia, poder-se-ia contar com um grupo tao grande de juizes. Decidimos, pois, refi- nar nosso nivel de anélise e investigar as concordancias e discordancias entre pares de juizes, Usando a formula de Scott para pares de juizes em trés condigées, correspondentes & leitura que haviam feito dos materiais di- datieos A, Be C, obtivemos, respectivamente, coeficientes de fidedignidade de 0,59, 0,07 ¢ 0,24, Considerando como aceitavel, de acor- do com Ober, um coeficiente de 0,60 ou mais, verifieamos que apenas o primeiro deles preen- 59 —che 0 critério, Obviamente, na medida em que cada par de juizes estava em igualdade de condigées, a fonte de variacdo aqui deveria ser 0 juiz. Tanto isso é verdade que o exame das matrizes da figura 1 permite-nos detectar, imediatamente, o viés do juiz 4 e do juiz 6, exatamente nos pares em que os coeficientes de fidedignidade foram extremamente baixos. Enquanto o juiz 4 carregou nas classi- ficagées da categoria 1, o juiz 6 saturou seus julgamentos com classificacdes na categoria 2. A anillise dessas matrizes fez, porém, que in- dagéssemos em que medida a concordancia entre juizes ndo seria uma decorréncia ne- cessdria do tipo de condigao a que haviam sido submetidos em termos de lettura do ma- terial didatico, Para investigar o grau de concordancia entre juizes que leram mate- riais didéticos diversos, selecionamos de cada par de juizes aquele que havia tido menos erros segundo os mesmos eritérios que fixamos anteriormente. Obtivemos, assim, 3 juizes e ais suas classificagdes aplicamos o procedimen- to da Anélise de Variéncia, por postos, de Friedman (“two-way”) (cf. Siegel, 1956, pags. 166-172). Para cdlculo do x%., as classifica. ges dos trés juizes foram convertidas em pos- tos. © x*, obtido fol de 1,0, nfo significativo ao nivel de 0,001. Podemos pois concluir que a leitura dos diferentes materiais didaticos nfo teve efeito diferencial na classificacdo dos itens da prova, feita pelos trés jufzes que se- Jeclonamos. Uma das possiveis explicagdes 6 que, de fato, os materiais seriam equivalen- tes do ponto de vista das experléncias que proporcionam, A outra, seria a de que, ao Jerem os materiais didaticos, os juizes tenham se preocupado mais com o contetido propria- mente dito, do que com as estratégias pro- postas para lidar com esse contetido. Por outro lado, verificamos a existéncia de um alto coeficiente de estabilidade, no caso de um dos juizes, a quem pedimos que clas- sificasse duas vezes os mesmos {tens. O coe- ficiente de Scott obtido, foi da ordem de 0,89 enquanto que a figura 4 da uma boa idéia da consisténcia nos julgamentos de um mesmo juiz, Sua matriz, é, predominantemente, uma matriz de concordanclas com os julgamentos distribuindo-se, sobretudo, na diagonal prin- cipal (fig. 5). O juiz “retestado” foi, diga-se de passagem, aquele que menos “erros” (') cometeu na primeira classificagdo dos itens. Para ele, pelo menos o decurso de cerca de dois meses entre uma e outra aplicagéo da Taxonomia, praticamente nenhum efeito te- ve. O espaco de dois meses, por sua vez, fol suficiente para eliminar o “efeito meméria” Portanto, parece-nos que até agora s6 os juizes, individualmente tomados, apareceram como fonte de imprecisio ou infidedignidade do. Duas indagagées se colocam 1°) Que fatores poderiam ser responsé- veis por essa variacdo inter-individual nas classificagées? 20) ‘Toda a variéncia atribuida aos jui- zes seria, necessariamente, varidneia erro e, portanto, fonte de infidedignidade? Respondendo @ primeira indagacéo, di- riamos que esses fatores so intimeros, desde condiges emocionais até um dominio insufi- ciente da taxonomia, Mas, dentre esses pro- vaveis fatores, um deles merece algumas con- siderages: € 0 fator que o proprio Bloom denominou de imprecisies ¢ ambiguidades na definig¢ao das categorias. Tentando verificar uma possivel interferéncia dese fator, cons- truimos nas figuras 2 e 3, matrizes de concor- dancias e discordancias para os nossos 3 pares de juizes. As porcentagens de concordancia oscilam ao redor de 50%. No caso das discre- pancias (fig. 3), procuramos verificar se ha- veria concentracéio nos nichos que assinala- mos, nichos esses que seriam indicativos de confusdes entre categorias limitrofes. Pode-se verificar que essa ndo fol a regra geral. AS discordancias no se distribuiram como seria de se esperar, caso houvesse indefinicéo de limites entre elas. Observando a figura 3 ve- rificamos, por exemplo, a existéncia de dis crepancias entre as categorias 1, de Conheci- mento, e 3, de Aplicacio, Curioso notar que, no caso do mesmo juiz, aplicando duas vezes (No sentido $4 detinido anteriormente, — 60 —a Taxonomia, também encontramos a maio- ria de suas poucas discrepancias concentrada na intersecedo das categorias 1 e 3 (fig. 6). Por outro lado, se examinarmos a fig. 3, ve- remos que as categorias 1, 2, 3 e 4 aparecem confundidas com varias outras. Todavia, se examinarmos detidamente a definigao que Bloom oferece para essas categorias veri- ficaremos que a maior dificuldade talvez resida na categoria 4, j& que Anélise, no sentido mais usual do termo, estaria incluida, inclusive, na solucéo de proble- mas, atividade tipica, segundo Bloom, da categoria 3 (Aplicacio). “As linhas limitro- fes entre Anélise e Compreensao, por um lado, e entre Andlise e Avaliacio, por outro, nao estdo suficientemente esclarecidas” (Bloom, 1972, pg. 123), Além disso, procurando tor. nar mais discriminativos certos limites, Bloom introduziu recentemente uma nova categoria, entre as categorias de Conhecimento e Com- preenso. Trata-se da “habilidade no uso de Processos e procedimentos” (Bloom, 1971, pag. 119). Por outro lado, se examinarmos o gré- fico da figura 2, veremos que a categoria 6 (Avaliagéio) foi a que registrou menor ambi- gitidade, Evidentemente é preciso nao esque- cer que todas essas consideragées sobre as diserepancias e concordancias devem ser con- sideradas como meramente sugestivas de vez que é relativamente pequeno o mimero de observagées de que dispomos. Mas, voltemos a indagar: toda discor- dancia entre classificagdes dos juizes deveré ser sempre considerada na variéncia de erro? As interseeees de julgamentos que observa- mos na categoria 1, com todas as demais ca- tegorias, podero ser explicadas apenas por ambigitidades na definigéo das classes? Nao serd legitima essa variacao, ou seja, néo ha- verd condicdes em que essa variancia seré va- riancia verdadeira? A resposta é afirmativa, pois, como 0 proprio Bloom afirma, “na ava- Uag&o de comportamentos que transcendem as categorias de Conhecimento, o contexto em que os termos ou simbolos aparecem deve ser, de algum modo, um novo contexto” (Bloom, 1972, pag. 82). Por essa razio, exercicios idénticos pode- r&o ser categorizados ou na categoria de Co- nhecimento ou em uma das outras, depen dendo do contexto das experiéncias anterio- res dos sujeitos, contexto esse que determi- naré, por exemplo, a novidade ou nao da si- tuagéio de avaliagéo. Para tentar investigar mais esta possi- bilidade, elaboramos a tabela 1, onde apare- cem as classificagées individuais de nossos 6 juizes, sua moda, a classificacéio da professo- ra do Curso de Testes e Medidas e a class ficac&o da autora do teste. Procuramos entéo, verificar, para cada item, as discordancias entre a moda das classificagées dos juizes € as classificages da professora e da autora. A fig. 7 ilustra esses resultados. Como vemos, nove ftens apresentam dis- cordancias internas. Verifiquemos se seria ra~ zofivel supor que, para cada um deles, hé mais de um caminho para se chegar A solucéo. Ou, por outras palavras, se o mesmo item pode ser resolvido através de diferentes operacdes mentais, categorizévels em classes diferentes conforme a Taxonomia. Esses nove itens cons- tam do ANEXO. a) item 8 — a divergéncia se coloca entre categorias 2 e 4 e, pois, entre niveis de compreensio. Quer-nos parecer que, neste caso, a moda do grupo representaria a catego- rizagko mais correta. b) item 21 — a discrepancia esta entre as categorias 1 e 3. Essa discrepancia s6 se- ria legitima se os alunos jé tivessem conhe cimento anterior das mesmas frases, c) item 3 — a discrepancia se coloca entre as categorias 1, 2e 5. Aqui, ela parece legitima, pois, tanto o sujeito pode chegar & soluc&o certa apenas recordando o que sabia, como substituindo uma das afirmacées pela alternativa correta, como fazendo um jogo mais complicado de comparagées. d) item 11 —~ a discordancia ocorre en- tre categorias 1, 5 e 3. — Também é valida — 61 —essa categorizacdo diferencial, pois, tanto o sujeito pode ter aprendido j4 a generalizagao implicita, como poderé chegar a ela, através das operagées de aplicacdo, andlise e sintese. e) item 27 - do item anterior. as _mesmas observacdes 1) item 13 —a discordancia ocorre entre as categorias 2 e 5. ‘Tanto um sujeito pode traduzir uma ou algumas das pistas dadas (“sensivel & luz, aperta os olhos”) pelo seu correspondente — “visio”, como poderé fa- zer um jogo mais complicado de comparacdes até descobrir uma relacio implicita entre os elementos propostos. @) item 4 — a discrepancia ocorreu en- tre as categorias 2 e 3. De fato, a soluco tanto pode ser conseguida fazendo uma substitui¢ao répida de “1800” por “século passado” como fazendo uma subtragio de 1972 — 1822 e chegando & mesma conclusao. h) item 19 — as discordancias ocorre- ram, aqui, em torno de 3 categorias: 1, 2 e 3. Aqui temos mais um item, para o qual nenhu- ma das categorizagdes apresentadas parece totalmente satisfatéria. Talvez o melhor fosse classificé-lo em termos da habilidade no uso de procedimentos e processes, a categoria que Bloom introduziu, recentemente, entre as de Compreensio e Conhecimento. i) item 20 — a divergéncia ocorreu, aqui, em termos das categorias 1 e 2. Aqui, também parece legitima a variacdo, na medi- da em que um sujeito pode acertar com a resposta, simplesmente porque aprendeu a re- lado entre definicao — termo pedido, en- quanto outro pode chegar aos termos, explo- rando 0 significado das definigdes. Parece valido coneluirmos que, na maio- ria dos itens analisados, eles nao apresentam uma, € uma sé, possibilidade de categoriza- eGo. Ao contrarlo, cada um comporta uma distribuicéo de categorizacdes possiveis e 0 que vai determinar a predominancia de uma ou outra seré, exatamente, o contexto das experiéncias anteriores de aprendizagem do sujeito, “Estes fatos sugerem que, em geral, os itens de um teste podem ser satisfatoria- mente categorizados por meio da Taxonomia, quando o contexto em que as provas sio apli- cadas conhecido ou considerado” (Bloom, 1972, pag. 19) 6.0. Implicagdes Este estudo encerra, como é ébvio, varias limitagdes de natureza metodolégica e, por isso mesmo, para que seus resultados pudes- sem ser considerados como generalizdveis, se- ria indispensdvel submeté-los a novos estudos, por exemplo, em termo de uma validagdo cru- zada das classificagdes obtidas por nosso grupo de juizes. Apesar disso, nossa anélise sugere que a fidedignidade das classificagdes de itens de teste educacional, feitas por jufzes @ partir da ‘Taxonomia de Objetivos Educacionais de Bloom (Dominio Cognitivo), depende do con- texto das experiéncias anteriores de aprendi- zagem dos juizes. “Uma experiéneia educa- ional, ou de aprendizagem pode ser pensada como uma interagio entre alunos e seu am- biente — professor, outros alunos, material didatico e matéria” (Bloom, 1967, pag. 386). Nesse sentido, a mera informagéo sobre um dos aspectos — por exemplo material didatico — pode ser considerada insuficiente em ter- mos de redugio do contexto anterior de expe- riéneias dos sujeitos, a um denominador co- mum. Essa adverténcia é fundamental para to- dos aqueles que pretenderem classificar itens de avaliacdo educacional e calcar sobre essa classificagio seja decisées relativas & pesqui- sa educacional, seja decisées relativas ao pla- nejamento educacional. — 62 —opserteay = 9 asaruyg = ¢ esrety =F opSeordy = ¢ ogsusasdutoy = Z ojusureytoD = 1 tODIGQ9 ez [©] 0] t]9 for] ]sreon €z2 | >| Of t] o| € [st] error ofz]9o| S| 9) seI0L y 5 9 ¥ 9 9 0 ¥ s € 0 z ° ¥ ¥ L ¥ € € | ¥ ¥ 2 a z g 8 Ss T ele 1 | | € T zine zmp sreaotlg|s|efe}e]t sreron]9]s|elele]t sreioulg|s] ee] 2] t 9 ¥ z ame amg zing D OolLyaid Twiwalvint wT OolLyard TwiiaLlww V OolLyaia TwIdaLvit WeTLOWS}eD Sos Wis SUD] Sp OPSETTFISSE]D BIE {OapTuBos ofuyuop) WOoT_ ep ehuouOXeL Opuesn sozinl op soied € tSOCVLINSAY Ad SAZIULWW ~ 1 “OIG{EF PeIDUPpLODUOD op WIeBE;UI.I0g (eh ieYougpxoouOD op woBEIUDI0g %Lg te~oUEPIOOUOD op WeBeWUEdI0g OT sFevoL TT STeIOL €T SFeIOL, 9 Ss 9 is 9 s § € {| * | ¥ ° ¥ e € € € z z z q T T | & 6 € 1 | zing zm zing syejog} 9] S$] r] e] 2] 1 syeioz} 9] S| | €] 2] 1 srejor]9 | S/F] Ee] z]T 9 ¥ z zine zing zme 3 OdILyaid TWIeaLVW @ OoILydia TvidaLvn V OdILydid TwiigLvw Sagar dd Suva SJUL AINA SVIONYAUOONOD Ad SAZTULVN - 2 ‘DIEsteq0L, sTejOL | STeqoL, . 9 9 9 ¢ wha S $ ¥ . ¥ on ¥ . € € ° € ° z z z ee T T [es T | s € T 8 zip ame zine | srg] 9] s] |e] z|t sreoz}9|s|r]e}z| 1 sreior/9|s|e]e}z|t 9 ¥ z zim, amp zip D OoILydid TwIdaLvn Toornyad TWwikaivn VOorydid TWitaivn Sazjnr dd SA#uvd SGUL GUING SVIONYCUOOSIC AC SAZTULWN - € “O1E] sIOL Oz sYe0L ez |v ]ololo[s] ester “> 9 7 ¥ 9 - = ¢ 7 $ ¥ — ¥ 0 ¥ jel € ce € z € ~ z @ ¥ z ° T T 8 T zea [ zeaT zoay | srroz} 9} slelel 2] t sreronl9 |s]ele}2| 1 sreaonlo |s|rlelz} 1 | zea T) zon zon Th ERTS sBaTT op OnSez Byes Ws SuOT Op Ope -SepTOWayes Syes ws TToWojes ered *WooTa 3p TTesep exed “wooTg op suey opowdeomsaels ered Bjuouoxe] © FS70A Fonp PRmouoKEL eFoZOA Sen TonTaaBod ofuTUOp) "WOOT opuesride taint omseuro opuesyde "Zinl oursSUT So SpenToUOKEy © so79A SEnp ‘Svio TSvIONYa opresnde "zal owFoUTO NYCUOOSIC Gd ZELVIN-9 ‘Old «= “HOONOD AC ZMLVN -$ ‘ola ‘SOGVITINSAUAC AULVN - F “OIETABELA I Classificagdo dos 23 itens feita: a) pelos seis jufzes selecionados b) pela professora de Testes e Medidas c) pela autora do teste Classificacao dos Juizes (Classif. |Classif. ITENS [MATERIAL A|MATERIALB [MATERIAL C[MODA| da da Juiz 1 [Juiz 2 | Juiz 3] Juiz 4] Juiz 5 [Juiz 6 |Profess,| Autora ray] 1 2 1 1 | 2 (5) 3 1 3 3 3 3 (7) 2 4 2 2 Qe) 4 5 (9) 12 (17) 13 (18) (27) @ 03) 16 (15) a (4) 18 (6) €9) 119) @0) (20) 21 (22) 22 (23) 4 3 3 1 3 2 3 3 23 (24) 4 3 5 1 3 2 3 3 Nota: os numeros entre paréntesis sao os nameros do item no teste original. — 61 —eurBr10 94823 ow suoqt sop SN. se1z082325 = vrossojora [FE] op1ago eon ‘SOGVNOIDSTAS SAZJNI SIAS SOG SAQSVOIAISSVTD SVC VGOW ¥ WSV@ WOd OUNVWOL “SNALI 6 Ad SAQOVOISISSVIO Ad SVIONYAUOOSIC SV ODIGYUD - L “DId — 68 —REFERENCIAS BIBLIOGRAFICAS ALVARENGA, G. P. M. e ALVARENGA, Climene Silva M. — Previsto do sucesso ou fracasso do estudante de Medicina, utilizando as fontes obti- das nas provas de Fisica, Quimica e Biologia do vestibular — Resultados de dois anos durante o curso bsico, Minas Gerais, Departamento de Fi- siologia do Instituto de Ciencias Biologicas da UPMG (noticia in Cléneia © Cultura (25), junho 1071, Suplemento, pags. 235-226) ‘American Psychological Association — Standards for Equeational and Psychological Tests and Manuals, 1066. BAUZER MEDEIROS, Ethel — As provas objetivas, RJ, POV, 1971. BLOOM, B.S, e outros — Taxonomy of Educational Objectives, Handbook I — Cognitive Domain, N. Y¥. Longmans Green and Co, #/4. BLOOM, B. §. —- Testing Cognitive Ability and Achie- vement in Gage, N. L, (editor) Handbook of Re- search on ‘Teaching — Chicago, Rand McNally, 1967, cap. 8, pags. 379-397. BLOOM, B. 8, e outros — Handbook on Formative and Summative Evaluation of Student Learning, N. Y., MeGraw-Hill Co,, 1971 BLOOM, B.S. ¢ outros — Taxionomia de Objetivos Educactonais, (traduco de Fidvia Maria Sant” Anna] P. Alegre, Globo, 1972, BROWN, B. B. e outros — The Florida Taxonomy of Cognitive Behavior, Florida Institute for Deve- lopment of Human Resources, January, 1971, nim.) CECCO. J. P. de — The Psychology of Learning and Instruction — N. Jersey, Prentice Hall, 1968, EBEL, R, L, (editor) — Eneyclopedia of Educational Research, London, The MacMillan Co., 1969, ver- ete — , pags. 908-914 GAGNR, R. M, — Educational objectives and human performance in Krumboltz, D. (editor) — Lear- ning and the Educational Process, Chicago, Rand ‘McNally and Co,, 1965, cap. 1, pags, 1-24 GRONLUND, N. B. — Stating behavioral objectives for classrom instruction in Biehler, F. R. Psychology Applied to Teaching, Selected Rea- dings — Boston, Houghton Mifflin Co., 1972, cap. 22, pgs. 363-369, HAYS, W. [ — Quantificacio em Psicologia, SP, Herder, 1970. KERLINGER, F. — Foundations of Behavioral Re- search, N. ¥., Holt, Rinehart and Winston, 1964. KRATHWOHL, D. R. — The Taxonomy of Eduoatio- nal Objectives — Use of the Cognitive and Affec- tive Domains — in Lindvall, C. M. (ed.) — Dew fining Educational Objectives — Pittsburgh, Uni- versity of Pittsburgh Press, 1964, pags. 19-36 LOURENGO FILHO (apresentacio) — ‘Testes Me- didas na Fdueagio, RJ, FGV, 1970. McDONALD, F. J. — Educational Psychology, Calitor- nis, Wadsworth, 1966. ‘MoGAW, B. and WARDROP, J. L. and BUNDA, Ma- ry Anne — Classroom Observation Schemes: Whe- re are the errors, Amerlean Educational Research Journal, IX (1) 18-26, Winter, 1972. MEDLEY, D. M, and MITZEL, H. H. — Measuring Classroom Behavior by Systematic Observation in Gage, N. L. (editor) — Handbook of Research, fon Teaching, Chicago, Rand McNally, 1967, cap. 8, pigs. 247-219. OBER, R, Lj BENTLEY E, L; MILLER, B. — Sys- tematic Observation of Teaching, N. Jersey, Pren- tice Hall, 1971. OTT, B, Margot — Avaliagso ¢ Operagées Mentals. P, Alegre, CRPE — MEC/INEP, 1971, Seoretaria do Estado dos Negéelos da Educacto — Publieagdes GEPE Dr. Edmundo de Carvalho — Caderno TI, Planejamento de Ensino, 1971. SINGEL, 8. — Non parametric Statistic for the Beha ‘vioral Selenees, N, Y., McGraw Ell Book Co., 1956 WASIK J. L, — The Construct ana Concurrent Va- Udation of the Taxonomy Processes of Synthesis and Evaluation, (mim.). 69 —ANEXO 3) Adivinhe quem sao eles; — sairam de Sao Paulo e entraram no sertao — descobriram ouro e pedras preciosas — iam deixando povoados por onde pas- savam — por causa deles o Brasil ficou maior do que era a) 08 jesuitas b) 0s bandeirantes ¢) 08 governadores gerais 4) © Brasil tornou-se independente de Por- tugal no dia 7 de setembro de 1822. Isto aconteceu: a) neste século b) no séeulo passado ©) faz mais de dois séculos 8) Zezinho comecou a trabalhar na enxada quando tinha: a) menos idade que seu pai b) a mesma idade que seu pai ©) mais idade que seu pai Mostre porque . 11) O que ha de comum entre eles? Figura de um | Figura de um | Figura de um PRETO BRANCO INDIO a) invadiram o Brasil b) formaram o povo brasileiro ¢) descobriram o Brasil 13) “Estrega os olhos com freqiiéncia. & sen- sivel luz. Pisca excessivamente. Con- funde letras, linhas ¢ nuimeros. Aperta os olhos”. Essa pessoa deve estar com problemas de: a) audicéo b) visio ©) olfacao 19) Um compadre disse para o outro: Adivinhe a chapa de meu caminhio © 12 algarismo é igual a 56 + 8; © 2. algarismo é igual a 64 + 16; © 3. algarismo ¢ igual a 144 + 18; © 4¢ algarismo € igual a 56 = 14 Escreva a chapa abaixo: Faca as contas aqui: 20) Preencha as palavras cruzadas: Mees emai eine — 70 —21) Complete com o verbo indicado no fim 27) Vamos olhar bem para este mapa do de cada frase: Brasil. © conjunto das estradas rodoviarias ... Desenho do Mapa do Brasil com os limites ceseeees seeesee estaduais, e com os tragados das rodovias: cal re ‘TRANSAMAZONICA RIO-BAHIA BELEM-BRASILIA VIA DUTRA O vero e o inverno 7 Vocé sera capaz de descobrir o que existe veetereenees ++ de comum entre os caminhos que mareamos : a0 conjunto das estagées do ano. no mapa? (PERTENCER) pte tne ters nas se or) ie « conjunto de jovens .... parte de nossa classe. (FAZER) Os caminhos ..... eee . escorregadios, (ESTAR). BU eee cee eteeeeeeee ees : arroz e verdura todo dia. (COMER) () © —1—