MINISTRIO DA EDUCAO INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANSIO TEIXEIRA DIRETORIA DE AVALIAO DA EDUCAO BSICA DAEB

NOTA TCNICA

Assunto: Teoria de Resposta ao Item

A deciso de implementar no Exame Nacional do Ensino Mdio (ENEM) a Teoria de Resposta ao Item (TRI) teve duas finalidades principais: (1) permitir a comparabilidade dos resultados entre os anos e (2) permitir a aplicao do Exame vrias vezes ao ano. A comparao dos resultados entre avaliaes possvel na medida em que, com a TRI, uma escala mtrica estabelecida. Assim como existem escalas padres para mensurar comprimento (metro) e temperatura (Celsius), com a TRI desenvolve-se uma escala padro de conhecimento. As provas, nas avaliaes educacionais, so instrumentos de medida do conhecimento, comumente denominado de trao latente. Por sua natureza, os conhecimentos adquiridos pelos estudantes no podem ser mensurados diretamente, mas possvel utilizar instrumentos de medida que buscam mensur-los indiretamente. Essa a fundamentao da Teoria da Medida e ela que embasa a construo tambm de instrumentos psicolgicos que buscam medir: inteligncia, depresso, personalidade etc. O uso da TRI em avaliaes educacionais teve incio no Brasil com o Sistema de Avaliao da Educao Bsica (SAEB) em 1995 e, posteriormente, foi implementado tambm no ENCCEJA, Prova Brasil e ENEM. No mbito internacional, a TRI vem sendo utilizada largamente por diversos pases: Estados Unidos, Frana, Holanda, Coreia do Sul, China, sem falar nos pases participantes do PISA (Programa Internacional de Avaliao de Estudantes). Um dos grandes exemplos de avaliao utilizando a TRI o exame de proficincia em lngua inglesa (TOEFL). Este exame surgiu em 1964 e amplamente utilizado em todo o mundo. Desde o ano de sua origem, este exame j avaliou mais de 25 milhes de alunos e tem sido administrado por mais de 4.500 centros em 165 pases

do mundo. No TOEFL, os alunos marcam o horrio em um dos centros credenciados e podem realiz-lo vrias vezes ao ano. A prova adaptativa, realizada no computador, e cada candidato responde a um conjunto de itens (questes) diferentes. Apesar de em cada aplicao o candidato receber uma prova distinta, todos os resultados so comparveis e considerados isonmicos. Outro exame bastante importante e mais semelhante ao ENEM o SAT (Scholastic Aptitude Test ou Scholastic Assessment Test). Este um exame educacional padronizado dos Estados Unidos, aplicado a estudantes do Ensino Mdio, que serve de critrio para admisso nas universidades norte-americanas. O exame aplicado sete vezes ao ano, em outubro, novembro, dezembro, janeiro, maro (ou abril), maio e junho. Estudantes de outros pases tambm podem prest-lo, caso estejam interessados em ingressar em uma das universidades que aceita os resultados do SAT. Novamente, apesar de aplicaes realizadas em momentos distintos e com provas diferentes, a existncia de uma escala padro possibilita a comparabilidade de desempenhos.

Um pouco mais sobre TRI

Usualmente, quando desejamos medir a proficincia de um aluno em determinada rea do conhecimento, fazemos uso do escore (nmero de acertos) do aluno em um teste com um determinado nmero de itens (questes). Os itens so analisados atravs de parmetros denominados de discriminao e de dificuldade, que dependem fundamentalmente do grau de dificuldade do teste, como tambm depende o escore do aluno, e do grupo de respondentes. Comparaes entre desempenhos de alunos submetidos a diferentes provas so difceis de serem realizadas. Esta a Teoria Clssica dos Testes (TCT). Para contornar estas dificuldades, e tambm para permitir uma medida mais apropriada da proficincia do aluno, foi desenvolvida a TRI, cujo foco principal, como bem diz o seu nome, o item e no o teste como um todo. Dentro do contexto da TRI, a medida de proficincia de um aluno no depende dos itens apresentados a ele e os parmetros de discriminao e de dificuldade do item no dependem do grupo de respondentes. Em outras palavras, um item mede determinado conhecimento, independentemente de quem o est respondendo, e a proficincia de um aluno no depende dos itens que esto sendo apresentados a ele.

A TRI um conjunto de modelos que relacionam a probabilidade de um aluno apresentar uma determinada resposta a um item, com sua proficincia e caractersticas (parmetros) do item. O modelo utilizado no ENEM o modelo logstico de trs parmetros que, alm dos parmetros de discriminao e de dificuldade, tambm faz uso de um parmetro para controlar o acerto casual. Este ltimo parmetro tem um papel bastante importante nas avaliaes com itens de mltipla escolha, caso do ENEM. O modelo logstico da TRI parte do princpio de que quanto maior a proficincia do respondente, maior a sua probabilidade de acerto, trao latente acumulativo. O seu parmetro de dificuldade medido na mesma escala da proficincia, fato este que permite a comparabilidade entre resultados de diferentes testes e a construo e interpretao de escalas de proficincia, como a escala nacional de proficincia do SAEB construda pelo INEP/MEC para Matemtica e Lngua Portuguesa

(www.inep.gov.br). Uma outra leitura para esse parmetro, a qual nos parece mais apropriada, dizer que ele representa a proficincia mnima que um respondente deve possuir para que sua probabilidade de acerto seja alta, ou seja, ele poderia ser chamado de proficincia do item. Para exemplificar, vamos supor que desejemos medir a altura de uma pessoa, em metros, por meio de um questionrio. Com um conjunto de perguntas seramos capazes de definir com uma boa preciso a altura da pessoa. Uma pergunta (item) que poderia ser feita Voc consegue guardar a bagagem no porta-malas do avio?. Podemos imaginar que uma pessoa para responder sim para este item deve ter pelo menos 1,65m. Esta seria ento a altura do item. Um outro item seria: Voc acha que se daria bem em um time de basquete?. A altura deste item seria bem maior do que 1,65m. Ao final de um conjunto de respostas, seria possvel saber a altura do respondente. O importante a ressaltar aqui que no existe um nico conjunto de questes capazes de medir a altura, ou seja, possvel medir a altura de maneira isonmica a partir de provas diferentes, ou seja, a partir de um conjunto diferente de questes. Itens de mesma altura sero respondidos de maneira igual por pessoas de mesma altura. Por isso, pode-se dizer que os resultados so comparveis. Esta a grande inovao da Teoria de Resposta ao Item utilizada no Enem, s que ao invs de medir altura, o Enem mede a proficincia de estudantes do Ensino Mdio. O parmetro de discriminao, como j diz o seu nome, deve ser um valor mnimo de modo a garantir que respondentes com proficincias diferentes tenham

probabilidades diferentes de acerto. O grau de informao do item est diretamente relacionado com esse parmetro. A elaborao de uma boa prova exige o conhecimento dos parmetros dos itens. Isto conseguido atravs de pr-testagens de itens em amostras apropriadas de alunos nas quais estimamos os parmetros dos itens em uma mesma escala de proficincia. Deste modo, posicionamos os itens em uma escala de acordo com o nvel de proficincia que eles exigem. O conjunto desses itens passa a formar um banco de itens na escala de proficincia desejada e a partir dele podemos construir um ou mais testes com graus de dificuldade apropriados para atender os objetivos de uma ou mais avaliaes. O importante que as proficincias de alunos submetidos a esses diferentes testes so medidas na mesma escala e, portanto, comparveis entre si. Da mesma forma, as medidas que se obtm da proficincia de um aluno submetido a dois testes construdos com itens desse banco sero iguais. Por ltimo, vale a pena ressaltar que em avaliaes onde o acerto casual possvel, caso do ENEM, a medida de proficincia da TRI leva em conta no s o nmero de acertos, mas tambm o padro de respostas do aluno. Em outras palavras, dois alunos com o mesmo escore podem receber da TRI diferentes valores de proficincia. Receber maior proficincia aquele aluno que apresentar respostas aos itens de forma mais coerente com o construto que est sendo medido.

Dalton Francisco de Andrade Coordenador-Geral de Informaes e Indicadores Educacionais

Camila Akemi Karino Coordenadora-Geral de Instrumentos e Medidas