You are on page 1of 20

APLICAÇÃO DOS BLOCOS INCOMPLETOS BALANCEADOS NA TEORIA DE RESPOSTA AO ITEM

Roberto M. Bekman
Engº Eletricista pela Universidade de São Paulo - USP Mestrando em Estatística pela Universidade de São Paulo - USP Analista de Desenvolvimento na Fundação Carlos Chagas, São Paulo, SP

Resumo O artigo apresenta os Blocos Incompletos Balanceados (BIB) como uma possível solução para o problema de como se distribuir um grande número de questões (adequado para se obter informações amplas sobre o ensino) em cadernos de prova com poucas questões (adequados aos alunos). A forma de se distribuir as questões em Blocos Incompletos Balanceados é especialmente útil no uso conjunto com análises à luz da Teoria de Resposta ao Item (TRI) como forma de uniformizar a exposição das questões, visando a obtenção de resultados mais precisos. Neste sentido são apresentados vários exemplos de Blocos Incompletos Balanceados que atendem a diferentes relações entre o número de questões nos cadernos de prova dos alunos face ao total de questões do estudo. Palavras-chave: Teoria da Resposta ao Item; blocos incompletos balanceados; construção de provas Resumen El artículo presenta los Bloques Incompletos Balanceados (BIB) como una posible solución para el problema de cómo distribuir un gran número de cuestiones (adecuados para que se obtengan informaciones amplias referentes a la enseñanza) en cuadernos de examenes con pocas cuestiones (adecuados para los alumnos). La forma de distribuir las cuestiones en Bloques Incompletos Balanceados es especialmente útil se usados en conjunto con el análisis a la luz de la Teoría de Respuesta al Iten (TRI), como forma de uniformizar la exposición de las cuestiones, de modo a obtener resultados más exactos. En este sentido, se presentan varios ejemplos de Bloques Incompletos Balanceados que atienden a diferentes relaciones entre el número de cuestiones en los cuadernos de examenes de los alumnos y el total de cuestiones del estudio. Palabras-llave: Teoría de la respuesta al iten; bloques incompletos balanceados; elaboración de examenes.
119 Estudos em Avaliação Educacional, nº 24, jul-dez/2001

Abstract The article presents the Balanced Incomplete Blocks (BIB) as a possible solution to the problem of how to distribute a great number of questions (appropriate to get broad information on education) in test booklets with few questions (appropriate to the students). The way of distributing the questions among Balanced Incomplete Blocks is especially useful when used together with analyses considering the Item Response Theory (IRT) as a way to make the display of the questions uniform so as to obtain more accurate results. In this sense several examples of Balanced Incomplete Blocks are presented that of different relations between the number of questions in the students' test booklets and the total questions of the study. Keywords: Item Response Theory; balanced incomplete blocks (BIB); test construction

120 Estudos em Avaliação Educacional, nº 24, jul-dez/2001

ao passo que precisamos limitar a quantidade de itens submetido a cada aluno num valor aceitável e adequado ao tempo de prova. ou seja. Introdução O modelo BIB (Blocos Incompletos Balanceados) foi idealizado há mais de 50 anos sem correlação direta com a montagem de cadernos de prova. Soluções BIB As soluções BIB só existem para determinadas combinações do número de cadernos c. cada aluno recebe apenas uma fração fu do total de blocos submetidos à sala de aula. A transposição do modelo BIB para a montagem de cadernos de prova pode ser resumida como abaixo: a) distribuir um certo número b de blocos de itens em diversos cadernos c de forma que cada caderno não contenha a totalidade dos blocos. Estes cadernos incompletos são submetidos aos alunos que recebem. 2. nº 24. Para desenvolver as soluções BIB utilizaremos as seguintes convenções: 121 Estudos em Avaliação Educacional. um subconjunto do total de blocos de itens que está sendo aplicado na sala de aula. cada par de blocos é utilizado o mesmo número de vezes λ dentro do conjunto total dos cadernos. A necessidade do rodízio se justifica se pressupusermos que possuímos b blocos e só podemos utilizar k deles em cada conjunto. b) distribuir estes blocos de forma balanceada. utilizando um grande número de itens. Isto é especialmente útil nos sistemas de avaliação quando desejamos obter informações amplas sobre o ensino. onde cada caderno contém o mesmo número de blocos k. cada bloco é utilizado o mesmo número de vezes r dentro do conjunto total dos cadernos. inclusive educação e agricultura. o BIB é um esquema otimizado para o rodízio de blocos com aplicações em diversas áreas. individualmente. jul-dez/2001 . A grosso modo.1. número de blocos b e número de blocos em cada caderno k.

Assim. k = Número de blocos em cada caderno. r. r = Número de repetições de cada bloco no conjunto total dos cadernos. é necessário que as relações abaixo sejam satisfeitas Uma combinação de c. b. b = Número de blocos.c = Número de cadernos. (b − 1) c= Adicionalmente. (iv) os blocos devem estar distribuídos em espiral no conjunto dos cadernos de prova. nº 24. (i) (ii) r ⋅b . n ∈ N. Para ser classificado como tal as seguintes propriedades devem ser satisfeitas. k r ⋅ (k − 1) λ= . um esquema solução poderá ou não ser classificado como BIB-Espiral. λ que satisfaça as relações não garante. Para o restante do artigo vamos nos ater aos casos que admitem solução. fu = Fator de utilização. entretanto. λ ∈ N. jul-dez/2001 k r = = Fator de utilização b c . FEDERER (1955) e VAJDA (1967) abordam o problema de existência ou não de solução para os esquemas BIB. c. k. De (i) concluímos que: (v) f u = 122 Estudos em Avaliação Educacional. para que haja um esquema solução BIB. λ = Número de repetições de cada par de blocos no conjunto total dos cadernos. Para nós é importante estabelecer a razão entre o número de (blocos de) itens nos cadernos de prova dos alunos face ao total de (blocos de) itens do estudo. a existência de um esquema solução BIB. b. além de (i) e (ii): (iii) c = n ⋅ b . denominado por fator de utilização. r. k.

Cada bloco é submetido a 2/3 do número total de alunos.1. jul-dez/2001 .De (v) verificamos que o fator de utilização também pode ser entendido como a proporção dos alunos que são submetidos a determinado bloco dentre o total de alunos. 3. preferencialmente. Foram elaborados 3 blocos (provas) diferentes. nº 24. Exemplos A seguir serão apresentadas várias soluções para os esquemas BIB e. 3. Exemplo 1 Caderno 1 2 3 c b k Bloco1 1 2 3 Bloco2 2 3 1 = 3 r = 2 = 3 λ = 1 = 2 fu = 2/3 ≅ 0. Os exemplos selecionados abrangem uma grande gama para o fator de utilização permitindo selecionar o esquema mais adequado à amplitude do estudo. Cada aluno é submetido a 2/3 dos blocos em sala de aula. Cada bloco tem uma tiragem de 2/3 do número total de conjuntos a serem impressos. Foram compostos 3 conjuntos (cadernos de prova) com 2 dos 3 blocos.67 Neste exemplo: Esquema BIB-Espiral. 3. Exemplo 2 Caderno Bloco1 Bloco2 Bloco3 123 Estudos em Avaliação Educacional.2. BIB-Espiral.

Cada bloco tem uma tiragem de 3/7 do número total de conjuntos a serem impressos.43 Neste exemplo: Esquema BIB-Espiral. Cada aluno é submetido a 3/7 dos blocos em sala de aula. Foram elaborados 7 blocos (provas) diferentes. Exemplo 3 Caderno 1 2 3 4 5 6 7 8 124 Estudos em Avaliação Educacional. Cada bloco é submetido a 3/7 do número total de alunos. Foram compostos 7 conjuntos (cadernos de prova) com 3 dos 7 blocos.3. 3. nº 24. jul-dez/2001 Bloco1 1 2 3 4 5 1 2 3 Bloco2 2 3 4 5 1 3 4 5 .1 2 3 4 5 6 7 c b k 1 2 3 4 5 6 7 = 7 r = 3 = 7 λ = 1 = 3 fu = 3/7 2 3 4 5 6 7 1 4 5 6 7 1 2 3 ≅ 0.

Cada bloco é submetido a 2/5 do número total de alunos.40 Neste exemplo: Esquema BIB-Espiral. jul-dez/2001 . 3. Foram elaborados 5 blocos (provas) diferentes. nº 24. Foram compostos 10 conjuntos (cadernos de prova) com 2 dos 5 blocos. Cada aluno é submetido a 2/5 dos blocos em sala de aula. Cada bloco tem uma tiragem de 2/5 do número total de conjuntos a serem impressos.9 10 4 5 1 2 c b k = 10 r = 4 = 5 λ = 1 = 2 fu = 2/5 = 0.4. Exemplo 4 Caderno Bloco1 1 2 3 4 5 6 7 8 9 10 11 12 13 1 2 3 4 5 6 7 8 9 10 11 12 13 Bloco2 2 3 4 5 6 7 8 9 10 11 12 13 1 Bloco3 4 5 6 7 8 9 10 11 12 13 1 2 3 Bloco4 10 11 12 13 1 2 3 4 5 6 7 8 9 125 Estudos em Avaliação Educacional.

Cada aluno é submetido a 4/13 dos blocos em sala de aula.c b k = 13 r = 4 = 13 λ = 1 = 4 fu = 4/13 ≅ 0. 126 Estudos em Avaliação Educacional.31 Neste exemplo: Esquema BIB-Espiral. nº 24. Cada bloco tem uma tiragem de 4/13 do número total de conjuntos a serem impressos. Cada bloco é submetido a 4/13 do número total de alunos. jul-dez/2001 . Foram compostos 13 conjuntos (cadernos de prova) com 4 dos 13 blocos. Foram elaborados 13 blocos (provas) diferentes.

Foram compostos 20 conjuntos (cadernos de prova) com 4 dos 16 blocos.25 Neste exemplo: Esquema BIB não Espiral.3. Foram elaborados 16 blocos (provas) diferentes. 127 Estudos em Avaliação Educacional. jul-dez/2001 .5 Exemplo 5 Caderno 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Bloco1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 5 9 13 Bloco2 2 5 6 7 8 5 6 7 8 5 6 8 7 5 6 7 8 6 10 14 Bloco3 3 9 11 12 10 12 10 9 11 10 12 9 11 11 9 10 12 7 11 15 Bloco4 4 13 16 14 15 15 14 16 13 16 13 14 15 14 15 13 16 8 12 16 c b k = 20 r = 5 = 16 λ = 1 = 4 fu = 1/4 = 0. Cada bloco tem uma tiragem de 1/4 do número total de conjuntos a serem impressos. nº 24.

128 c b k ≅ 0.Cada bloco é submetido a 1/4 do número total de alunos. 3. nº 24.29 Estudos em Avaliação Educacional. Cada aluno é submetido a 1/4 dos blocos em sala de aula.6 Exemplo 6 Caderno 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Bloco1 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 Bloco2 2 3 4 5 6 7 1 3 4 5 6 7 1 2 4 5 6 7 1 2 3 = 21 r = 6 = 7 λ = 1 = 2 fu = 2/7 Neste exemplo: Esquema BIB-Espiral. jul-dez/2001 .

3. Foram compostos 21 conjuntos (cadernos de prova) com 2 dos 7 blocos. Cada aluno é submetido a 2/7 dos blocos em sala de aula.7 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Exemplo 7 Bloco2 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 1 Bloco3 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 1 2 3 4 Bloco4 15 16 17 18 19 20 21 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Bloco5 17 18 19 20 21 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 129 Estudos em Avaliação Educacional. Cada bloco é submetido a 2/7 do número total de alunos.Foram elaborados 7 blocos (provas) diferentes. Cada bloco tem uma tiragem de 2/7 do número total de conjuntos a serem impressos. nº 24. jul-dez/2001 Caderno Bloco1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 .

24 Neste exemplo: Esquema BIB-Espiral. Foram elaborados 21 blocos (provas) diferentes.8 Exemplo 8 Caderno 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 130 Estudos em Avaliação Educacional. Cada aluno é submetido a 5/21 dos blocos em sala de aula. nº 24. Foram compostos 21 conjuntos (cadernos de prova) com 5 dos 21 blocos.= 21 r = 5 = 21 λ = 1 = 5 fu = 5/21 ≅ 0. jul-dez/2001 c b k Bloco1 1 2 3 4 5 6 7 8 9 10 11 12 13 1 2 3 4 Bloco2 2 3 4 5 6 7 8 9 10 11 12 13 1 6 7 8 9 Bloco3 5 6 7 8 9 10 11 12 13 1 2 3 4 8 9 10 11 . Cada bloco tem uma tiragem de 5/21 do número total de conjuntos a serem impressos. 3. Cada bloco é submetido a 5/21 do número total de alunos.

4. Cada bloco é submetido a 3/13 do número total de alunos. jul-dez/2001 . Cada aluno é submetido a 3/13 dos blocos em sala de aula. P1) R1) Perguntas e Respostas Freqüentes Quando utilizar os esquemas BIB? Basicamente quando for desejável ou necessário distribuir uma grande quantidade de itens em vários cadernos de prova com poucos itens cada. Foram compostos 26 conjuntos (cadernos de prova) com 3 dos 13 blocos. c b k 0.23 Foram elaborados 13 blocos (provas) diferentes. Por que utilizar os esquemas BIB? P2) 131 Estudos em Avaliação Educacional.18 19 20 21 22 23 24 25 26 5 6 7 8 9 10 11 12 13 10 11 12 13 1 2 3 4 5 12 13 1 2 3 4 5 6 7 = 26 r = 6 = 13 λ = 1 = 3 fu = 3/13 ≅ Neste exemplo: Esquema BIB-Espiral. Cada bloco tem uma tiragem de 3/13 do número total de conjuntos a serem impressos. nº 24.

nº 24. Sabemos pelas propriedades do modelo BIB que cada par de blocos se repete λ vezes dentro do conjunto dos cadernos de prova. As conseqüências imediatas desta metodologia serão melhores estimativas dos parâmetros dos itens e da habilidade dos alunos. Se desejamos realizar análises segundo a Teoria de Resposta ao Item é usual impor que cada item seja respondido por pelo menos 200 alunos. os alunos receberão cadernos com o mesmo número de blocos. Como escolher o esquema BIB mais adequado? Idealmente gostaríamos de colocar o maior número de itens em sala de aula mantendo-se uma quantidade aceitável de itens nos cadernos de prova (menor fator de utilização possível). Na prática devemos conciliar o ideal com as seguintes limitações: para estimar os parâmetros dos itens é necessário que cada um deles seja respondido por um número mínimo de alunos. não queremos que cada caderno contenha muitos blocos k.R2) Porque a combinação dos esquemas BIB com uma logística adequada na distribuição dos cadernos de prova proporcionará os melhores resultados dentro do contexto da pergunta R1: Os itens serão respondidos aproximadamente pelo mesmo número de alunos. Assumindo que não podemos repetir nenhum item num mesmo caderno de prova concluímos que λ precisa ser igual a 1 e que cada item não pode ser utilizado em mais de um bloco. P3) R3) P4) R4) 132 Estudos em Avaliação Educacional. É possível utilizar um determinado item em mais de um bloco BIB? Não. jul-dez/2001 . os cadernos não conterão blocos repetidos e cada par de blocos será submetido ao mesmo número de alunos. assim fu > 200 / estimativa do número de alunos presentes.

Qual a tiragem de cada bloco Tb se a tiragem total é Tt ? A tiragem de cada bloco é Tb = f u ⋅ Tt . Quantos itens It são necessários no total para que os alunos recebam cadernos de prova com Ic itens cada? R7) Da forma que foi definido o fator de utilização sai diretamente que I t = I c / f u . nº 24.MEC/INEP/DAEB). Um esquema BIB-Espiral garante que cada bloco aparece o mesmo número de vezes em cada uma das posições no caderno. Na prática devemos dar preferência aos esquemas BIB-Espiral. Adicionalmente os esquemas BIB permitem uma racionalização no processo de coleção dos cadernos de prova que pode ser importante para tiragens elevadas. 15 e 16 no final dos cadernos. Observe que no Exemplo 5 (não Espiral) os blocos 1. Para tornar os resultados mais claros tomemos como exemplo o SAEB (Sistema de Avaliação do Ensino Básico . não queremos colecionar muitos cadernos c. P5) R5) Entre um Esquema BIB e um Esquema BIB-Espiral. No SAEB foi utilizado o 133 Estudos em Avaliação Educacional. 3 e 4 se concentram no início dos cadernos e os blocos 13. Se pressupusermos que o desempenho do aluno varie de uma forma determinística entre o início e o fim da prova. com o número de itens no bloco I b = I c / k sendo um número inteiro. Selecionamos então o esquema mais enxuto que tenha um fator de utilização (fu) apropriado. jul-dez/2001 P6) R6) P7) . qual devemos escolher? A princípio não haveria distinção entre os dois pois ambos atendem aos mesmos princípios. equivalentes entre si. 2. concluiremos que devemos utilizar os esquemas BIBEspiral afim de evitar distorções nas estimativas dos parâmetros dos itens. 14.não queremos montar muitos blocos b.

não temos liberdade total para definir cada um dos parâmetros mas. Por conseguinte o número total de itens (em cada série e disciplina) foi I t = I c / f u ou I t = I b ⋅ k / f u = I c ⋅ b = 13 x 13 = 169 itens.esquema BIB-Espiral de 26 cadernos equivalente ao exemplo 8. Cada bloco foi composto com 13 itens para que os cadernos ficassem com I c = I b ⋅ k = 13 = 13 x 3 = 39 itens ( ≅ 40). jul-dez/2001 . 5. Se outro esquema fosse utilizado. Os Blocos Incompletos Balanceados têm a propriedade de distribuir os itens de forma uniforme entre o conjunto dos alunos desde que observados alguns cuidados durante a aplicação dos testes. Ou seja. nº 24. conseguimos caminhar para uma solução que compatibilize nossas necessidades. Conclusão Os Blocos Incompletos Balanceados são muito úteis nos processos de avaliação pois permitem que conciliemos o grande número de itens necessários ao estudo da performance da sala de aula com o pequeno número de itens que podemos submeter aos alunos individualmente. cada caderno poderia ser montado com 20 itens (40 itens no caderno) e I t = 40 ÷ 2 / 7 = 140 itens no total. A combinação da Teoria de Resposta ao Item com os Blocos Incompletos Balanceados nos permite obter informações precisas sobre a performance do aluno e da sala de aula simultaneamente. 134 Estudos em Avaliação Educacional. como o do exemplo 6. O uso conjunto destas mesmas técnicas também pode ser utilizado para que um banco de itens testados e calibrados cresça num ritmo muito maior e consistente do que seria possível com outras metodologias. um número razoável para ser respondido pelos alunos. na maioria dos casos.

jul-dez/2001 .29 0. considerando λ = 1: Número de Cadernos (c) 3 6 7 8 10 12 13 14 15 15 20 21 21 23 24 26 28 30 31 33 34 35 35 36 Número de Blocos (b) 3 4 7 16 5 9 13 21 6 45 16 7 21 46 96 13 8 25 31 55 85 15 175 9 Número de Blocos por Caderno (k) 2 2 3 6 2 3 4 6 2 12 4 2 5 10 20 3 2 5 6 10 15 3 30 2 Número de Repetições de cada Bloco (r) 2 3 3 3 4 4 4 4 5 4 5 6 5 5 5 6 7 6 6 6 6 7 6 8 Fator de utilização (fu) 0.22 0.31 0. blocos b (até 200) e número de blocos por caderno k (até 50) passíveis de admitir solução para os esquemas de Blocos Incompletos Balanceados (BIB).18 0.24 0.18 0.22 135 Estudos em Avaliação Educacional.29 0.33 0.17 0.40 0.67 0.21 0.38 0.25 0.33 0.20 0.23 0.20 0.25 0.43 0.19 0. nº 24.Apêndice A Tabela com as combinações de cadernos c (até 200).50 0.27 0.

13 0.12 0.42 43 45 46 36 43 10 92 6 7 2 14 7 7 9 7 0.16 0.15 Número de Cadernos (c) 47 50 55 56 57 57 60 63 66 69 70 72 73 75 77 78 82 85 90 91 91 94 95 99 100 136 Número de Blocos (b) 141 25 11 49 19 57 105 28 12 46 21 64 73 100 154 13 41 51 81 14 91 141 171 45 25 Número de Blocos por Caderno (k) 21 4 2 7 3 8 14 4 2 6 3 8 9 12 18 2 5 6 9 2 10 15 18 5 3 Número de Repetições de cada Bloco (r) 7 8 10 8 9 8 8 9 11 9 10 9 9 9 9 12 10 10 10 13 10 10 10 11 12 Fator de utilização (fu) 0.14 0.11 0.11 0.12 0.15 0.12 0.12 0.14 0.14 0. jul-dez/2001 .16 0.12 0.12 Estudos em Avaliação Educacional.11 0.18 0.15 0.14 0.11 0.16 0.12 0.17 0.20 0.11 0. nº 24.13 0.14 0.17 0.

09 Número de Cadernos (c) 133 136 143 153 155 156 157 170 171 176 182 183 183 190 190 195 196 Número de Blocos (b) 133 17 66 18 31 144 157 85 19 33 169 61 183 20 76 91 49 Número de Blocos por Caderno (k) 12 2 6 2 3 12 13 7 2 3 13 5 14 2 6 7 4 Número de Repetições de cada Bloco (r) 12 16 13 17 15 13 13 14 18 16 14 15 14 19 15 15 16 Fator de utilização (fu) 0.09 0.10 0.09 0.08 0.08 0.08 137 Estudos em Avaliação Educacional.09 0.11 0.10 0.12 0.08 0.08 0.08 0.11 0. jul-dez/2001 .08 0.10 0.13 0.10 0.08 0.11 0.10 0.12 0.08 0.11 0.10 0. nº 24.105 110 111 111 117 120 122 130 132 15 100 37 111 27 16 61 40 121 2 10 4 11 3 2 6 4 11 14 11 12 11 13 15 12 13 12 0.

London: Griffin. 1955. 1970. 1975. Gertrude M. Experimental Design. Frank S. Walter Theodore. 138 Estudos em Avaliação Educacional. FEDERER. Design and Analysis of Experiments. nº 24. 1957.Referências Bibliográficas COCHRAN. WINER. Statistical Principles in experimental Design. Oscar. Theory and Application. J. VAJDA. New York: McGraw-Hill. Experimental Design: Selected Papers of Frank Yates. jul-dez/2001 . KEMPTHORNE. William G. YATES. 1962. 1967. S.. Experimental Design. New York: Macmillan. B. The Mathematics of Experimental Design: Incomplete Block Designs and Latin Squares. New York: John Wiley. London: Griffin. New York: Wiley & Sons. COX.