Instrumentos avaliativos de software educativo: uma investigao de sua utilizao por professores Educational software evaluation instruments: an investigation

of its usage by teachers

Katia Alexandra de Godoi Mestre em Design Stephania Padovani Doutora em Ergonomia Cognitiva

Resumo Neste estudo, realizamos um estudo analtico de vinte e trs instrumentos avaliativos de software educativo seguido de pesquisa com professores. Inicialmente, apresentamos as classificaes dos instrumentos avaliativos e o estudo analtico. Ento, trazemos a opinio de professores sobre a aplicao de um grupo de instrumentos avaliativos selecionados a partir do estudo analtico. Como sntese de ambos os estudos, sugerimos um conjunto de diretrizes para o desenvolvimento de instrumentos avaliativos para softwares educativos. Palavras-chave: instrumentos avaliativos, professores, diretrizes.

Abstract In this study, we carried out an analytical study involving twenty-three evaluation instruments for educational software followed by research conducted with teachers. Initially, we introduce the classification of evaluation instruments and the analytical study. Then, we bring teachers opinions about the application of a group of instruments selected from the analytical study. As a synthesis of both studies, we suggest a set of guidelines for the development of evaluation instruments for educational software. Keywords: evaluation instruments, teachers, guidelines.

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

1 | Introduo As transformaes ocorridas nos meios de comunicao tm acarretado uma srie de mudanas no mbito da educao. Schwarzelmuller e Ornellas [2006] explicam que, com as tecnologias de informao e comunicao (TIC) disponveis, vm sendo incentivadas trocas de experincias e compartilhamento de informaes por intermdio de ambientes digitais de aprendizagem1. Esses ambientes servem de instrumentos mediadores que armazenam o conhecimento e permitem que todos interajam. Materiais didticos digitais (softwares educativos/ objetos de aprendizagem) surgem para auxiliar essa modalidade educacional. Nesse contexto, os professores podem selecionar e incluir software educacional nas atividades didticas, assim como selecionam e usam outros materiais que melhor se adaptam a suas filosofias educacionais. Essa escolha dos materiais didticos digitais (softwares educativos/ objetos de aprendizagem) pode ser realizada aplicando-se instrumentos avaliativos. Conforme reviso de literatura, verificou-se que a maioria dos instrumentos avaliativos em questo foram propostos no mbito das reas de IHC (interface humano computador) e ergonomia. Entretanto, a maior parte dos professores no especialista nestas reas e no tem acesso a estes conhecimentos, dispersos em vrios instrumentos. Portanto, h que se procurar compreender melhor os instrumentos avaliativos de materiais didticos digitais, para que essas ferramentas possam atender melhor s necessidades dos professores. A rea de Design da Informao tem muito a contribuir neste sentido, visto que os instrumentos avaliativos atuais apresentam uma srie de deficincias tanto em seus aspectos instrucionais quanto na organizao das informaes e representao dos resultados de sua aplicao. Mais ainda, por intermdio de uma abordagem de Design Centrado no Usurio (UCD), envolvendo-se os professores na avaliao de instrumentos existentes, pode-se propor diretrizes que tornem futuras propostas de instrumentos mais adequados ao perfil, tarefa e ao contexto de uso dos professores. Neste artigo, inicialmente, apresentamos uma breve explicao e classificao dos instrumentos avaliativos de materiais didticos digitais. Em seguida, apresentamos os parmetros e os resultados do estudo analtico envolvendo 23 (vinte e trs) instrumentos avaliativos de materiais didticos digitais, assim como a anlise dos resultados da aplicao de 6 (seis) instrumentos avaliativos por professores do ensino fundamental e mdio. 2 | Instrumentos avaliativos para material didtico digital Antes de apresentar as classificaes dos instrumentos avaliativos de material didtico digital, importante estabelecer um breve panorama das abordagens de avaliao encontradas na literatura. Conforme explicam Shiratuddin e Landoni [2002], na maioria das obras sobre avaliao de sistemas, dois tipos so frequentemente mencionados: formativo e somativo. De acordo com Lansdale e Ormerod [1994] a avaliao formativa uma avaliao de iteratividade, ou seja, uma avaliao processual. A ideia bsica desse tipo de avaliao que possa servir para solucionar problemas antes que o processo de design esteja to avanado que seja impraticvel fazer mudanas. J a avaliao somativa pode ser considerada uma abordagem na qual a interface j pronta avaliada atravs de uma srie de fatores. Squires e
1

Segundo Caldeira [2006] o termo Ambiente Digital de Aprendizagem seria mais apropriado que Ambiente Virtual de Aprendizag Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X em, pois expressa com mais propriedade a forma de operar dos computadores, que digital. Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Preece [1999] acrescentam ainda o prognstico de avaliao, isto , a avaliao do software antes de seu uso pretendido. O instrumento avaliativo prognstico usado quando planejando lies ou tomando decises de compra. No que se refere ao formato, observou-se durante este estudo que os instrumentos avaliativos de materiais didticos digitais podem ser classificados em: checklists, diretrizes, escalas de avaliao, formulrios, modelo conceitual, questionrios e sistemas ou de forma hbrida. A seguir apresentamos uma sntese dessas categorias de instrumentos avaliativos. Checklists - para Stanton [1998], checklist considerado uma lista de itens que podem aparecer na forma de questes ou aes a serem realizadas. Podem apresentar um sistema de pontuao ou coletar comentrios qualitativos. Para Cybis [2003], checklist tambm pode ser considerado uma lista de verificao atravs da qual profissionais, no necessariamente especialistas em ergonomia, diagnosticam problemas das interfaces. Diretrizes - so conjuntos de instrues ou indicaes para se levar a termo um plano ou uma ao. So informaes com a inteno de orientar pessoas sobre o que deve ser feito e como deve ser feito [Cambridge International Dictionary of English, 1995]. Perry et al. [2005] esclarecem que, para a rea de ergonomia, diretrizes so recomendaes, as quais cabem ao avaliador escolher segui-las, e podem ser encontradas sob a forma de recomendaes gerais ou tratando de algum item especfico. Escalas de avaliao - segundo Lakatos e Marconi [2002] escala um instrumento cientfico de observao e mensurao dos fenmenos sociais. importante destacar que a escala de avaliao considerada nessa classificao pode ser comparada escala de diferencial semntico, ou seja, o avaliador mostra a posio de sua atitude em relao ao objeto da pesquisa em uma escala, cujas extremidades so compostas por pares de adjetivos bipolares. A aplicao das escalas de diferencial semntico para produtos diferentes permite a construo de grficos de anlise comparativos. Formulrios - conforme Cervo e Bervian [1996], o formulrio uma lista informal, catlogo ou inventrio, destinado coleta de dados resultantes de observaes ou interrogaes, cujo preenchimento feito pelo prprio investigador. De acordo com Silva [2005] o formulrio muito semelhante ao questionrio. O que diferencia um do outro o modo de aplicao: o questionrio entregue para o informante responder sozinho, enquanto o formulrio preenchido pelo pesquisador, assinalando as alternativas. Modelo conceitual - de acordo com Mayhew [1992] modelo conceitual a estrutura conceitual geral atravs da qual a funcionalidade (de um sistema) apresentada. Norman [1998] acrescenta que os modelos mentais so os modelos que as pessoas tm ou formam de si mesmas, dos outros, do ambiente e das coisas com as quais elas interagem. Sendo assim, um modelo conceitual uma tentativa das pessoas (do designer, do pesquisador, professor, do aluno, etc.) de facilitar o desenvolvimento de um modelo mental til de um determinado sistema para um determinado usurio, atravs de representaes. Questionrios - para Silva [2005] e Marconi e Lakatos [2002], questionrio um instrumento de coleta de dados constitudo por uma relao de perguntas que o entrevistado responde sozinho, assinalando ou escrevendo as respostas. Hom [1998] acrescenta que os questionrios

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

so listas de questes distribudas aos usurios, exigindo mais esforo por parte destes, pois necessrio que esses usurios preencham o questionrio e o retornem ao pesquisador. Sistemas - sistemas so programas destinados a realizar funes especficas. A partir dessa definio, consideramos os sistemas como ferramentas multimdia para avaliao de produtos educativos, com o propsito de auxiliar o usurio no processo de avaliao da qualidade para a seleo de software educacional. Geralmente esto disponveis atravs de CD-ROM ou disponveis na web, podendo apresentar perguntas abertas e fechadas. Hbridos - consideramos como hbridos os agrupamentos de tcnicas diferentes para identificao dos problemas de usabilidade. 3 | Estudo analtico de instrumentos avaliativos O estudo analtico de instrumentos avaliativos de material didtico digital teve como objetivos: (a) identificar e caracterizar os instrumentos avaliativos de material didtico digital mais indicados para utilizao junto aos professores; (b) verificar as formas de representao e organizao da informao dos instrumentos avaliativos de material didtico digital. A tcnica de coleta de dados utilizada no estudo analtico foi o formulrio (ficha de anlise). O roteiro utilizado para identificar os instrumentos avaliativos e verificar as formas de apresentao da informao foi: objetivos do instrumento avaliativo; rea do conhecimento do(s) autor(es) / proponente(s) do instrumento; classificao do instrumento avaliativo; quem deve aplicar e quando o instrumento avaliativo deve ser aplicado; etapas de aplicao e apresentao de exemplo de aplicao; critrios para avaliao do software e categorias de agrupamento; explicao dos critrios adotados; forma(s) adicional(is) de esclarecer dvidas; forma(s) de avaliao do software em cada uma das questes; nfase na coleta/ anlise dos dados; apresentao das informaes na fase de preenchimento; forma(s) de tabulao dos resultados; apresentao das informaes na fase de tabulao; apresentao das informaes (impresso/ digital); possibilidade de customizao do instrumento avaliativo. 3.1 | Sntese dos resultados do estudo analtico Cada um dos 23 (vinte e trs) instrumentos avaliativos selecionados foi analisado individualmente com base nas informaes fornecidas pelo(s) proponente(s) do instrumento na literatura correspondente. Quanto classificao dos instrumentos, encontramos quatro checklists; trs diretrizes; uma escala; cinco formulrios; dois instrumentos avaliativos hbridos; um modelo conceitual; dois questionrios e cinco sistemas (tabela 1).
Tabela 1. Classificao dos instrumentos avaliativos

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Reeves & Harmon [1996]

Squires & Preece [1999]

Hanna et al. [1997]

Modelo JIGSAW

Cronje [1998]

PEDACTICE

SOFTMAT 4 3 1 5 2 1 SOFTMAT
= = =

PROINFO

IAQSEM

MAQSEI

TICESE

MAQSE

PCEM

MEDA

MAEP

CASE

SASE SASE
= = =

MEMI

ESEF

formulrios hbridos modelo conceitual questionrios sistemas

checklist diretrizes escala de avaliao

Foi possvel observar tambm que, mesmo os professores desconhecendo os instrumentos avaliativos, a maior parte dos instrumentos provm da rea de educao. Todos os instrumentos podem ser utilizados por professores, principalmente em avaliao prognstica, ou seja, antes do uso pelos alunos, quando professores planejam suas aulas (tabela 2).
Tabela 2. Quando o instrumento avaliativo deve ser aplicado

Reeves & Harmon [1996]

Squires & Preece [1999]

Hanna et al. [1997]

Modelo JIGSAW

Cronje [1998]

PEDACTICE

PROINFO

MAQSEI

IAQSEM

TICESE

MAQSE

PCEM

MEDA

MAEP

CASE

MEMI

ESEF

2 5

= = = =

= =

= =

= = =

= = = = =

= = = = =

= =

= =

= =

= =

= =

= =

= =

= =

= =

= =

= = =

= =

= = =

= = =

= =

somativo
antes do uso pelos alunos durante o uso pelos alunos aps o uso pelos alunos

23 23 7 3 5

Os instrumentos avaliativos no possuem uma uniformidade quanto s etapas de aplicao, ou seja, cada instrumento tem uma sequncia prpria de etapas. As principais etapas de aplicao identificadas foram: reconhecer o software educativo; registrar o software; reconhecer instrumento avaliativo; planejar testes; aplicar pr-testes; avaliar software educativo; tabular dados; representar resultados. Todos os instrumentos avaliativos usam critrios ergonmicos e pedaggicos, mas somente alguns instrumentos avaliativos trazem explicaes sobre os critrios adotados, assim como formas adicionais de esclarecer dvidas. Observamos ainda, que a maior parte dos instrumentos avaliativos utiliza mais de uma forma de avaliao do software em cada uma das questes. As mais frequentes so: escala de intensidade e relato escrito. A nfase na coleta/ anlise dos dados pode ser tanto quantitativa, quanto qualitativa. E o texto/ relato escrito merece destaque na apresentao das informaes na fase de preenchimento (tabela 3), na forma de tabulao/ totalizao dos resultados, e tambm, na apresentao das

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

formativo

Total

CSEI

ASE

SEF

SK

Total

CSEI

ASE

SEF

SK

informaes na fase de tabulao dos resultados. O formato predominante de apresentao das informaes dos instrumentos avaliativos o impresso.
Tabela 3. Apresentao das informaes na fase de preenchimento

Reeves & Harmon [1996]

Hanna et al. [1997] Squires & Preece [1999]

Modelo JIGSAW

Cronje [1998]

PEDACTICE CASE

SASE SOFTMAT 5 1 1 1
= =

MAEP PROINFO

IAQSEM

MAQSE MAQSEI

TICESE

ESEF PCEM

MEDA

MEMI

= =

escala numerada
= = = =

escala sem numerao quadros binrios

diferencial semntico

campos de preenchimento

= = =

= =

= =

= =

= =

= =

tabela
=

= = =

quadros mltipla escolha texto sem formato preestabelecido

3 4 9 16 6

= =

Por fim, vale lembrar que somente um instrumento possibilita customizao (MEDA), Silva [2002], ao abordar o instrumento avaliativo explica que cada ator (desenvolvedor, designer, aluno, professor) pode construir uma grade de avaliao sob medida. E ainda, a maior parte dos instrumentos avaliativos no apresenta exemplos de aplicao com usurios, corroborando a necessidade da participao de professores na aplicao de instrumentos avaliativos. Sntese dos pontos positivos e negativos dos instrumentos avaliativos Vale observar que os instrumentos avaliativos apresentam tanto pontos positivos, quanto pontos negativos (tabela 4). importante destacar que o posicionamento tomado em relao aos pontos positivos e negativos, um posicionamento preliminar e subjetivo, realizado pelas prprias autoras, para posteriormente, fazer uma comparao com os resultados gerados com a pesquisa realizada com os professores. Merecem destaque os seguintes pontos positivos: clareza durante a aplicao; sequncia lgica; tamanho adequado; clareza na gerao dos resultados. Em contraste, exemplos de aplicao com usurios e apresentao de passo-a-passo para aplicao podem ser considerados pontos frgeis dentre os instrumentos avaliativos analisados, com somente seis instrumentos avaliativos trazendo explicaes de como deve ser feita a aplicao.
Tabela 4. Sntese dos pontos positivos e negativos do instrumento avaliativo

Reeves & Harmon [1996]

Hanna et al. [1997] Squires & Preece [1999]

Modelo JIGSAW

Cronje [1998]

PEDACTICE CASE

SASE SOFTMAT

MAEP PROINFO

MAQSE MAQSEI

IAQSEM

TICESE

ESEF PCEM

MEDA

MEMI

clareza na instrumento

explicao

do

= = = =

= = = = = = = =

= =

= 8+

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Total

CSEI

ASE

SEF

SK

Total

CSEI

ASE

SEF

SK

clareza na explicao dos = critrios de avaliao clareza durante a aplicao = exemplos de aplicao com = usurios apresentao de passo-a= passo para aplicao = seqncia lgica tamanho adequado clareza na gerao resultados
legenda: [=] pontos positivos [=] pontos negativos

= = = = = = = = = = = = = = =

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =

= = = = = = = = = = = = = =

= 8+ = 12 + = 6+ = 6+ = 14 + = 11 + = 9+

= = = = dos = = = =

4 | Aplicao de instrumentos avaliativos por professores Com base no estudo analtico, foi possvel identificar instrumentos passveis de aplicao por professores. Portanto, selecionamos para aplicao pelos docentes participantes da pesquisa: 2 checklists MAEP [Silva, 2002] e Proinfo; 1 escala de avaliao [Reeves & Harmon, 1996]; 1 formulrio PCEM [Graells, 2001]; 1 questionrio - PEDACTICE [Costa, 1999]; 1 instrumento avaliativo hbrido MAQSE [Campos, 1994]. A aplicao de instrumentos avaliativos com professores teve como objetivo verificar o posicionamento dos docentes na utilizao de instrumentos avaliativos de material didtico digital. Desta forma, realizamos uma srie de encontros com um grupo de professores para avaliar os seis instrumentos. Os participantes foram alunos/ professores do PDE (Programa de Desenvolvimento Educacional, do Estado do Paran) com atuao no ensino fundamental (de 5 a 8 srie) e ensino mdio, de diversas reas do conhecimento. Para esta pesquisa, a amostra foi de quinze professores. Cumpre mencionar que nenhum dos quinze professores participantes da pesquisa havia utilizado previamente qualquer instrumento avaliativo, seja na forma de checklist, escala de avaliao, formulrio, questionrio ou hbrido. Durante a aplicao dos instrumentos, os professores trabalharam em duplas e realizaram anotaes no prprio instrumento avaliativo. Aps a aplicao, responderam um questionrio composto de dez perguntas, incluindo questes abertas e fechadas. Por fim, preencheram um diferencial semntico avaliando o instrumento quanto a sua aplicabilidade, facilidade de uso, entendimento dos critrios, extenso, praticidade e apresentao da informao. 4.1 | Aplicao do checklist MAEP O checklist MAEP um instrumento interativo que serve como ferramenta de ajuda avaliao ergopedaggica de Produtos Educacionais Informatizados. Sua concepo baseada na sistematizao de um conjunto de critrios ergonmicos, pedaggicos e comunicacionais. Na aplicao do checklist MAEP observamos que todos os professores conseguiram utilizar o checklist MAEP para avaliar os objetos de aprendizagem escolhidos. Alguns professores mencionaram que o checklist faz perceber a importncia das vrias ferramentas que compem um objeto de aprendizagem. Entretanto, apesar de todos terem conseguido utilizar o checklist, consideraram o instrumento complexo, detalhado e abrangente, encontrando

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

dificuldade na sua utilizao. Uma possvel explicao para as dificuldades com o instrumento pode estar relacionada complexidade das questes, pois os professores precisaram fazer uma leitura bastante concentrada das perguntas, alm de necessitar entender alguns termos tcnicos. Pontos positivos no uso do checklist MAEP Em relao aos pontos positivos do checklist MAEP, os aspectos mais citados foram: abrangncia do checklist, clareza das questes, qualidade nos resultados, uso de perguntas fechadas (tabela 5). A abrangncia do checklist MAEP foi mencionada por 5 (cinco) professores participantes da pesquisa. Esses professores relataram que o checklist abrangente pois contm diversos critrios, e esses critrios permitem uma viso geral do objeto de aprendizagem, e assim, possvel fazer uma avaliao com qualidade.
Tabela 5. Pontos positivos no uso do checklist MAEP pontos positivos abrangncia do checklist clareza das questes explicao dos critrios facilidade na aplicao identificao de problemas nvel de detalhamento objetividade do checklist organizao dos critrios qualidade nos resultados uso de perguntas fechadas visualizao dos resultados nmero de professores 5 2 1 1 1 1 1 1 2 2 1

Pontos negativos no uso do checklist MAEP A partir dos resultados (tabela 6) foi possvel observar que dos quinze professores participantes da pesquisa, doze consideraram o checklist MAEP muito extenso, tornando-se cansativo e consequentemente dificultando a avaliao. Vale ressaltar, tambm, que quatro professores sentiram dificuldade de entendimento dos termos tcnicos utilizados no instrumento avaliativo.
Tabela 6. Pontos negativos no uso do checklist MAEP pontos negativos cansativo demorado detalhista dificuldade de entendimento de termos tcnicos extenso falta de praticidade nmero de professores 1 1 2 4 12 1

Sugestes dos professores para melhorar o checklist MAEP Todos os professores propuseram sugestes para melhorar o checklist MAEP. Os professores explicaram que o checklist poderia ser menor, reduzindo o nmero de questes ou ainda ser dividido em partes. Deveria tambm existir a possibilidade dos professores selecionarem grupos de questes mais relevantes para avaliarem determinado material didtico digital. As perguntas deveriam ser mais simples e objetivas, buscando a substituio dos termos tcnicos ou a incluso de um glossrio explicativo. Os professores tambm cogitaram a
Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

existncia de campos abertos para poderem fazer comentrios sobre o material didtico digital como complemento s perguntas fechadas (figura 1). Por fim, propuseram a eliminao do item n/a (no se aplica) na tabulao dos resultados, pois gera dvida e insegurana no preenchimento das questes.

Figura 1. Exemplo de perguntas fechadas do checklist MAEP

Em relao s preferncias, foi possvel observar que a maior parte dos professores preferem perguntas fechadas, pois acreditam que sejam mais rpidas, prticas, precisas e esclarecedoras de responder, assim como, facilitam a interpretao dos dados. Alguns professores preferem as perguntas abertas, pois permitem que o avaliador emita sua opinio. Por fim, outro grupo de professores respondeu que prefere tanto perguntas fechadas, quanto as abertas, explicando que as perguntas mistas permitem avaliar itens objetivos, assim como subjetivos. 4.2 | Aplicao do checklist Proinfo O checklist Proinfo um relatrio apresentado no III Encontro Nacional do Proinfo proposto pelo MEC, contendo 20 (vinte) perguntas que orientam o professor numa avaliao sobre software educativo. A maior parte dos participantes da pesquisa conseguiram utilizar o checklist Proinfo para avaliar os objetos de aprendizagem escolhidos. Esses participantes relataram que o checklist Proinfo traz questes pertinentes e de fcil compreenso, por isso conseguiram verificar todos os itens propostos pelo checklist. Somente um professor mencionou no ter conseguido avaliar o objeto de aprendizagem escolhido utilizando o checklist Proinfo. O professor explicou que por estar organizado em forma de questes abertas, torna-se difcil sua compreenso, sendo assim, no conseguiu fazer a avaliao. Pontos positivos no uso do checklist Proinfo Em relao aos pontos positivos do checklist Proinfo observamos que trs pontos foram levantados (tabela 7): abrangncia, clareza das questes e objetividade. Os professores relataram que o checklist Proinfo abrangente, pois permite refletir sobre diferentes pontos de vista; tem clareza nas questes, pois as questes esto mais voltadas ao aspecto pedaggico e por isso esto familiarizados com os termos utilizados; e tem objetividade, por possibilitar respostas simples (p. ex. sim ou no).
Tabela 7. Pontos positivos no uso do checklist Proinfo pontos positivos nmero de professores

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

abrangncia clareza das questes objetividade

5 3 3

Pontos negativos no uso do checklist Proinfo A partir dos resultados (tabela 8) foi possvel observar que os professores apontaram alguns tpicos, dos quais dois precisam ser discutidos: aspecto estrutural e tabulao dos resultados do checklist Proinfo. Quanto ao aspecto estrutural, os professores mencionaram que no checklist Proinfo os espaos para responder as questes no so suficientes. E em relao tabulao dos resultados, os professores relataram dificuldade no final da avaliao em como as respostas seriam tabuladas e analisadas para compreender os resultados sobre a qualidade do software.
Tabela 8. Pontos negativos no uso do checklist Proinfo pontos negativos aspecto estrutural do checklist (esttica) dificuldade de entendimento das questes dificuldade na interpretao da respostas falta de critrios incoerncia nas perguntas tabulao dos resultados termos tcnicos nmero de professores 2 1 1 1 1 2 1

Sugestes dos professores para melhorar o checklist Proinfo A maior parte dos professores fizeram consideraes sobre o checklist Proinfo. Os principais comentrios foram: organizar melhor o checkist, ou seja, dividi-lo em critrios; estruturar melhor as informaes, os professores sugeriram que o checklist poderia conter, alm das perguntas, uma escala Likert, por exemplo, na qual os avaliadores pudessem se posicionar concordando, discordando, concordando parcialmente. Por fim, explicar melhor os termos tcnicos, os quais incluem conceitos e vocabulrio que no so familiares aos professores (figura 2).

Figura 2. Exemplos de perguntas com termos tcnicos do checklist Proinfo

4.3 | Aplicao da escala de Reeves e Harmon [1996] A escala de Reeves e Harmon [1996] pode ser comparada a um diferencial semntico. O instrumento inclui duas abordagens complementares para avaliar programas multimdia interativos para educao e treinamento. A primeira abordagem baseada em um conjunto de quatorze dimenses pedaggicas. A segunda baseada em um conjunto de dez dimenses da utilizao da interface. Boa parte dos professores participantes da pesquisa conseguiram avaliar o objeto de aprendizagem escolhido utilizando a escala de Reeves e Harmon [1996]. Apesar de terem
Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

conseguido utilizar a escala de avaliao, mencionaram que a escala densa e demanda um conhecimento anterior, que muitas vezes difcil o professor deter. Tambm relataram que tiveram dificuldades em estabelecer um ponto entre os dois conceitos opostos, pois a escala de avaliao no numerada. Aqueles professores que no conseguiram utilizar a escala expuseram que a escala interessante, mas que os textos explicativos de cada critrio so extensos. Tambm no conseguiram situar os objetos de aprendizagem dentro dos dois conceitos opostos. Pontos positivos no uso da escala de Reeves e Harmon [1996] Em relao aos pontos positivos da escala de Reeves e Harmon [1996] observamos que alguns pontos foram levantados (tabela 9): facilidade de visualizao dos resultados, abrangncia, avaliao comparativa, explicao dos critrios, apresentao da informao e nvel de detalhamento.
Tabela 9. Pontos positivos no uso da escala de avaliao pontos positivos abrangncia anlise comparativa dos resultados explicao dos critrios facilidade de visualizao dos resultados forma apresentao diferenciada (estrutura da escala) nvel de detalhamento nmero de professores 2 1 1 4 2 1

A facilidade de visualizao dos resultados foi mencionada por 4 (quatro) professores participantes da pesquisa. Os professores mencionaram ainda a abrangncia da escala, utilizando-se de vrios critrios importantes para a avaliao do objeto de aprendizagem, os quais os professores e pedagogos devem se apropriar. Citaram tambm a possibilidade de avaliao comparativa de diversos objetos de aprendizagem numa mesma escala; sobre a explicao dos critrios, sendo que as explicaes melhoram o conhecimento do professor; sobre a estrutura da escala, ou seja, a forma diferenciada da apresentao da informao (figura 3); e por fim o nvel de detalhamento.

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Figura 3. Escala de Reeves e Harmon [1996]

Pontos negativos no uso da escala de Reeves e Harmon [1996] Em relao aos pontos negativos do uso da escala de Reeves e Harmon [1996] os resultados mostraram dois pontos que merecem destaque: complexidade e escala sem numerao (tabela 10). Os professores participantes relataram que a complexidade refere-se aos critrios, ou seja, so abordadas dimenses que muitas vezes os professores no dominam ou muitas vezes os professores no se do conta de que esto presentes no seu fazer dirio e na interao de seus alunos com o recurso utilizado. Os professores tambm criticaram a escala sem numerao, considerando as respostas sem nmeros abstratas, dificultando a introduo de parmetros para anlise dos resultados.
Tabela 10. Pontos negativos no uso da escala de avaliao pontos negativos amplitude no preenchimento conhecimento prvio de teorias pedaggicas abordagem construtivista como superior s demais complexidade demorado escala sem numerao extenso falta de entendimento dos critrios memorizao dos critrios p/ interpretao dos resultados pontos tericos nmero de professores 1 1 1 4 2 4 2 3 1 1

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Sugestes dos professores para melhorar a escala de Reeves e Harmon [1996] A maioria dos professores participantes da pesquisa fizeram sugestes e comentaram suas preferncias sobre a escala de Reeves e Harmon [1996]. Os principais comentrios foram a respeito da forma de apresentao dos critrios. Os professores mencionaram que os textos explicativos dos critrios poderiam ser apresentados de forma mais objetiva, clara e sintetizada para facilitar a aplicao (figura 4). Alguns professores acharam tambm que a escala deve ser utilizada, talvez no incio do ano letivo, com um grupo de professores, e cada professor (ou grupo de professores) analisa um critrio, e em seguida discutem esses critrios.

Figura 4. Exemplo do texto explicativo da escala de Reeves e Harmon [1996]

Outro comentrio foi sobre a possibilidade de dimensionar tendncias, mais direita, ao centro ou esquerda, apontando nestas posies os opostos, se instrutivista ou construtivista. Alguns professores acharam que possibilita uma viso sobre a tendncia do software. Para outros professores, a forma de se posicionar de um extremo ao outro interessante. Entretanto, o posicionamento pode induzir o professor a acreditar que uma abordagem mais importante que outra, gerando uma postura dogmtica. Esses professores acreditam que outras correntes pedaggicas so to valiosas quanto o construtivismo. Desta forma, os professores tm preferncia por uma escala numrica e acreditam que a utilizao de numerao ou um instrumento misto de anlise ajudaria consideravelmente. Ou talvez um parmetro para o ponto de partida da avaliao, com sugestes de valores ideais para mais e para menos. 4.4 | Aplicao do formulrio PCEM O formulrio PCEM de catalogao e avaliao est estruturado em trs partes: identificao do contexto, avaliao dos aspectos tcnicos, pedaggicos e funcionais, e quadro de avaliao geral. Todos os professores participantes da pesquisa conseguiram utilizar o formulrio PCEM para avaliar os objetos de aprendizagem escolhidos. Os professores mencionaram que, apesar de generalista, o formulrio fcil de ser compreendido e utilizado, objetivo, eficaz e os critrios adotados so simples. Pontos positivos no uso do formulrio PCEM

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Em relao aos pontos positivos do formulrio PCEM observamos atravs dos resultados que vrios pontos foram levantados (tabela 11), mas merecem nfase: a facilidade e a rapidez na aplicao. Os professores mencionaram que o formulrio PCEM fcil de aplicar, pois alm de analisar o objeto de aprendizagem, permite sua catalogao, facilitando assim, seu uso. A respeito da rapidez na aplicao, os professores mencionaram que um formulrio curto e objetivo, possibilitando uma aplicao gil.
Tabela 11. Pontos positivos no uso do formulrio PCEM pontos positivos abrangncia clareza das questes fcil entendimento facilidade na aplicao objetividade praticidade rapidez na aplicao respostas abertas respostas de mltipla escolha nmero de professores 2 2 2 5 2 2 4 1 1

Pontos negativos no uso do formulrio PCEM A partir dos resultados (tabela 12) foi possvel observar um ponto negativo que merece destaque: a visualizao dos resultados. Alguns professores comentaram que a visualizao dos resultados deveria ser aprimorada, ou seja, deveria ficar mais claro para os avaliadores a sntese final da avaliao (figura 5).
Tabela 12. Pontos negativos no uso do formulrio PCEM pontos negativos extenso falta de alternativas para responder as questes generalista hbrido termos tcnicos visualizao dos resultados nmero de professores 1 2 1 1 2 3

Figura 5. Exemplo da apresentao dos resultados do formulrio PCEM

Sugestes dos professores para melhorar o formulrio PCEM A maioria dos professores participantes da pesquisa fizeram consideraes sobre o formulrio PCEM. Os principais comentrios foram a respeito da forma de visualizao geral dos resultados, ou seja, os professores sugeriram que o formulrio deveria gerar um resultado final nico. Os professores tambm sugeriram acrescentar junto ao formulrio um glossrio contendo a explicao dos termos tcnicos ou simplesmente a simplificao do vocabulrio utilizado, alm de verificar questes que precisam ser melhor redigidas ou eliminadas, pois no

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

so coerentes com a avaliao. E por fim, os professores sugeriram que o formulrio deveria ser recomendado para uso nas escolas (figura 6).

Figura 6. Exemplo do formulrio PCEM

4.5 | Aplicao do questionrio Pedactice O questionrio Pedactice tem como objetivo ajudar os professores na avaliao, seleo e uso de programas multimdia numa perspectiva multidimensional. Todos os professores conseguiram utilizar o questionrio Pedactice para avaliar os objetos de aprendizagem escolhidos. Os professores participantes da pesquisa consideraram o questionrio Pedactice bem estruturado e abrangente, pois est dividido por grupos de questes, as quais permitem a avaliao de vrios aspectos dos objetos de aprendizagem (figura 7). Porm, alguns professores sentiram dificuldade em responder algumas questes, pois determinados critrios so de difcil compreenso.

Figura 7. Exemplo de diviso das questes em grupos no questionrio Pedactice

Pontos positivos no uso do questionrio Pedactice Em relao aos pontos positivos do questionrio Pedactice (tabela 13) observamos que todos referem-se s questes do questionrio: abrangncia das questes, diviso das questes em grupos, explicao das questes, linguagem pedaggica das questes, questes abertas, relaes das questes entre contedo/ currculo/ aprendizagem e relevncia das questes. Alguns professores comentaram ainda sobre as relaes das questes estabelecidas entre o contedo/ currculo/ aprendizagem, assim como a relevncia dessas questes para o avaliador.
Tabela 13. Pontos positivos no uso do questionrio Pedactice pontos positivos abrangncia das questes diviso das questes em grupos explicao das questes linguagem pedaggica das questes questes abertas relaes questes contedo/currculo/aprendizagem nmero de professores 1 2 1 2 1 4

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

relevncia das questes

Pontos negativos no uso do questionrio Pedactice A partir dos resultados (tabela 14) foi possvel observar que alguns professores participantes da pesquisa consideraram o questionrio Pedactice extenso. Vale ressaltar tambm que alguns professores argumentaram que a linguagem no acessvel, ou seja, sentiram dificuldade de entendimento dos termos tcnicos utilizados no instrumento avaliativo (figura 8).
Tabela 14. Pontos positivos no uso do questionrio Pedactice pontos negativos abrangncia demorado difcil compreenso difcil utilizao extenso formulao das questes linguagem no acessvel nmero de professores 1 2 1 1 3 1 2

Figura 8. Exemplo dos termos tcnicos no questionrio Pedactice

Sugestes e preferncias dos professores para melhorar o questionrio Pedactice A maioria dos professores fez consideraes para melhorar o questionrio Pedactice. Os principais comentrios foram que as questes do questionrio Pedactice poderiam ser mais diretas ou com opes, para facilitar a avaliao; ou at mesmo com respostas prontas, ou seja, modelos de respostas. Os professores comentaram ainda sobre a extenso do questionrio, o qual aborda muitos pontos e deveria ser simplificado. Por fim, sugeriram que o vocabulrio deveria ser mais acessvel aos professores. 4.6 | Aplicao do instrumento avaliativo hbrido MAQSE Todos os professores conseguiram utilizar a MAQSE para avaliar os objetos de aprendizagem escolhidos. Alguns professores mencionaram que a MAQSE fcil de ser utilizada, pois as questes so simples e claras.

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Pontos positivos no uso do instrumento avaliativo hbrido MAQSE Em relao aos pontos positivos da MAQSE observamos que os professores deram nfase para a explicao dos critrios (figura 9). Consideraram que os critrios estavam explicados de forma concisa e clara. Sendo assim, o instrumento avaliativo se torna rpido e fcil de compreender, aplicar e interpretar os dados (tabela 15).

Figura 9. Exemplo de critrios do instrumento avaliativo hbrido MAQSE Tabela 15. Pontos positivos no uso do instrumento avaliativo hbrido MAQSE pontos positivos abrangncia avaliao parcial do material didtico digital explicao dos critrios fcil facilidade de compreenso facilidade na utilizao facilidade no registro das respostas rpido rpida interpretao dos resultados nmero de professores 1 1 3 1 1 1 1 2 1

Pontos negativos no uso do instrumento avaliativo hbrido MAQSE A partir dos resultados (tabela 16) foi possvel observar que os professores participantes da pesquisa, acharam que a MAQSE aborda mais critrios tcnicos do que pedaggicos. Desta forma, possvel inferir que este aspecto precisa ser revisto tendo em vista o propsito da escolha e avaliao de materiais didticos digitais.
Tabela 16. Pontos negativos no uso do instrumento avaliativo hbrido MAQSE pontos negativos atribuio de nota na escala numerada ordem nos critrios de avaliao pouco direcionado para o pedaggico questes repetitivas questes tcnicas nmero de professores 1 1 2 1 2

Sugestes dos professores para o instrumento avaliativo hbrido MAQSE

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Os professores participantes da pesquisa no propuseram nenhuma sugesto para melhorar o instrumento avaliativo hbrido MAQSE. Somente fizeram elogios e mostraram suas preferncias. Os principais comentrios foram que o instrumento completo, bem explicado, flexvel, interessante e eficaz; atravs da escala numerada possvel uma interpretao precisa e clara sobre a qualidade do objeto de aprendizagem, alm de proporcionar uma avaliao parcial do objeto de aprendizagem (figura 10). Uma nica questo foi levantada sobre os critrios, ou seja, alguns professores mencionaram que a MAQSEI aborda mais questes tcnicas do que pedaggicas, desta forma precisa ser revisto.

Figura 10. Exemplo de escala numerada com medidas intermedirias

4.7 | Sntese da aplicao dos instrumentos avaliativos pelos professores A partir dos resultados da aplicao dos instrumentos avaliativos observamos que os professores mencionaram pontos positivos e negativos, assim como, fizeram sugestes para melhorar os instrumentos avaliativos. Atravs do grfico comparativo (grfico 1) possvel observar que dentre os 6 (seis) instrumentos avaliativos aplicados pelos professores durante a pesquisa, o checklist MAEP recebeu as menores mdias, com exceo da categoria apresentao da informao.

checklist MAEP checklist Proinfo escala de Reeves & Harmon formulrio PCEM questionrio Pedactice hbrido MAQSE 67

85 73

77

75

Grfico comparativo com as mdias obtidas pelos instrumentos avaliativos

1.

Grfico

Desta forma, o instrumento MAEP merece ateno para trs pontos: facilidade de uso, extenso e praticidade. Quanto facilidade de uso, os professores consideraram que o checklist MAEP difcil de ser utilizado, pois contm termos tcnicos, alm de perguntas repetitivas e complexas. Em relao extenso do checklist MAEP, a principal reclamao est relacionada ao tempo gasto pelos professores para realizar a avaliao. Por fim, em relao praticidade do checklist MAEP, observamos que no muito prtico para uma avaliao rpida, devido grande quantidade de questes que precisam ser respondidas. J o instrumento avaliativo que recebeu maior mdia foi o hbrido MAQSE (grfico 2). Os resultados demonstram, de forma geral, que os professores aprovaram o instrumento avaliativo como um todo. Pois trata-se de um instrumento com instrues claras de como realizar a avaliao, tabular e interpretar os dados.
Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

checklist MAEP checklist Proinfo escala de Reeves & Harmon formulrio PCEM questionrio Pedactice hbrido MAQSE
94

96

86
70 74

89

87 78
71 63 75 70

89 83
75 73 78

87

87 78
69 63 74

81
75

76 76 74
58

Grfico 2. Grfico comparativo das categorias analisadas

Vale observar que os instrumentos avaliativos aplicados pelos professores durante a pesquisa, apresentam tanto pontos positivos, quanto pontos negativos. O posicionamento tomado em relao aos pontos positivos e negativos um posicionamento realizado pelos professores participantes da pesquisa. Sendo assim, de modo geral, os professores fizeram sugestes para todos os instrumentos avaliativos aplicados. Os professores propuseram que os instrumentos avaliativos deveriam estruturar melhor as informaes, dividindo os critrios (ergonmicos e pedaggicos) e reduzindo o nmero de questes, facilitando assim, a aplicao. As perguntas deveriam ser mais simples e objetivas, buscando a substituio dos termos tcnicos ou a incluso de um glossrio explicativo. Alm de existir a possibilidade de customizao do instrumento. Assim como, formas simples e visuais de tabulao e interpretao dos resultados. 4.8 | Diretrizes para o desenvolvimento de instrumentos avaliativos direcionados para material didtico digital A seguir sero apresentadas as diretrizes formuladas com base nos resultados especficos do estudo analtico dos 23 (vinte e trs) instrumentos avaliativos, na pesquisa realizada com os professores e nos resultados dos 2 (dois) grupos focados. Quem deve aplicar o instrumento avaliativo - os instrumentos avaliativos devem ser aplicados pelos prprios professores, pois precisam de instrumentos que lhes permitam selecionar material didtico digital, incluindo tanto aspectos de usabilidade quanto de aprendizagem. Quando o instrumento avaliativo deve ser aplicado (somativo ou formativo) - o instrumento avaliativo deve ser somativo e prognstico (antes do uso pelos alunos, quando professores planejam suas lies). Etapas de aplicao - os instrumentos avaliativos devem trazer especificadas as etapas de aplicao, ou seja, passo-a-passo de como deve ser feita a avaliao.

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

 Apresentao de exemplo de aplicao com usurios - o instrumento avaliativo deve trazer exemplos de aplicao com usurios. Critrios para avaliao do software educativo - os instrumentos avaliativos devem conter critrios ergonmicos (de interface) e pedaggicos (de aprendizagem). Categorias/ mdulos de agrupamento dos critrios de avaliao - o instrumento avaliativo deve possuir categorias/ mdulos de agrupamento dos critrios de avaliao, para que o professor tenha clareza durante a aplicao (durante a utilizao do instrumento avaliativo). Explicao dos critrios adotados - os instrumentos avaliativos devem conter explicaes claras e sucintas dos critrios adotados. Forma(s) adicional (is) de esclarecer dvidas - os instrumentos avaliativos devem conter alguma forma adicional de esclarecer dvidas, por exemplo atravs de e-mail ou website. Forma de avaliao e apresentao das informaes na fase de preenchimento - os instrumentos avaliativos devem conter mais de uma forma de avaliao do software educativo em cada uma das questes (p. ex. binria e escala numerada); o instrumento avaliativo deve conter perguntas fechadas; a forma de apresentao das informaes na fase de preenchimento deve ser hbrida, ou seja, contendo texto e mais uma outra forma (p. ex. tabela). nfase na coleta/anlise dos dados - a nfase na coleta/ anlise dos dados deve ser tanto quantitativa quanto qualitativa. Forma de apresentao das informaes na tabulao dos resultados - a forma de tabulao/ totalizao dos resultados deve ser prtica e simples, devendo permitir identificao (imediata) de pontos positivos e negativos no software educativo; a apresentao das informaes na tabulao dos resultados deve ser de forma visual, ou seja, atravs de grficos, perfil em diferencial semntico, etc. Forma de disponibilizao do instrumento avaliativo - o instrumento avaliativo deve estar disponvel nos dois formatos, tanto impresso quanto digital. Possibilidade de customizao do instrumento avaliativo - o instrumento avaliativo dever possibilitar customizao em diversos aspectos do instrumento, ou seja, o professor deveria ter liberdade para escolher: os critrios; se quantitativo ou qualitativo; apresentao das informaes na apresentao dos resultados. (a) Instrumento avaliativo para o dia-a-dia - deve ser rpido e prtico nas questes. O instrumento avaliativo para o dia-a-dia no deve demandar muito tempo do professor. No deve ser extenso, pois se torna cansativo. Deve ser ter um preenchimento gil. (b) Instrumentos avaliativos para reunies pedaggicas - os instrumentos avaliativos mais extensos devem ser abrangentes, ter um nvel maior de detalhamento e tambm possuir critrios para o desenvolvimento de softwares. Podero auxiliar os professores na elaborao/ organizao de contedos. Manual de instrues e glossrio - o instrumento avaliativo deve possuir um manual de instrues; o instrumento avaliativo deve conter um glossrio com explicao dos termos tcnicos. 5 | Concluses e desdobramentos
Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Como explicado anteriormente, o desenvolvimento da pesquisa analtica e emprica procedeu-se em trs etapas: estudo analtico de instrumentos avaliativos direcionados para avaliao de material didtico digital; testes dos instrumentos avaliativos de material didtico digital por professores; e a proposta de diretrizes para o desenvolvimento de instrumentos avaliativos de material didtico digital. A partir da pesquisa emprica, foi possvel chegar a concluses mais especficas. Primeiramente, vale mencionar que, apesar de nenhum dos instrumentos avaliativos aplicados pelos professores estarem de acordo com suas expectativas, os professores reiteraram que gostariam de ter instrumentos para avaliar materiais didticos digitais pois, segundo os prprios professores, qualquer material didtico que ser trabalhado em sala de aula precisa ser avaliado antecipadamente. Os professores, apesar de ficarem divididos, puderam expressar suas sugestes em relao aos instrumentos avaliativos. Um aspecto digno de preocupao foi em relao facilidade na aplicao, ou seja, os instrumentos avaliativos deveriam estruturar melhor as informaes, dividindo os critrios (ergonmicos e pedaggicos) e reduzindo o nmero de questes. As perguntas deveriam ser mais simples e objetivas, buscando a substituio dos termos tcnicos ou a incluso de um glossrio explicativo. Deveria ainda existir a possibilidade de customizao do instrumento, assim como formas simples e visuais de tabulao e interpretao dos resultados. Assim, atravs destas contribuies, este trabalho espera poder contribuir para novas pesquisas em duas frentes: no design participativo de instrumentos avaliativos, e na estruturao de um novo e/ou adaptado instrumento avaliativo que esteja preocupado com as necessidades do professor. Como desdobramentos desta pesquisa, podemos ter: Desenvolvimento de um novo instrumento avaliativo direcionado para professores, a partir das diretrizes propostas; Aplicao com professores de instrumentos avaliativos adaptados conforme as diretrizes propostas; Modificar a mdia atual predominante na disponibilizao dos instrumentos avaliativos (impressa) para um sistema interativo. Este sistema proporcionaria aos professores maior liberdade de escolha, tanto em relao aos critrios (verses mais sucintas); quanto em relao s formas de apresentao dos resultados (diferencial semntico, escala, grfico, texto).

6 | Referncias
CALDEIRA, A. C. M. Avaliao da aprendizagem em meios digitais: novos contextos. XI Congresso Internacional de Educao a Distncia. Salvador, 2004. Disponvel em: <http://www.abed.org.br/congresso2004/ por/htm/033-TC-A4.htm> Acesso em: abril de 2009. CAMPOS, G. H. B. Metodologia para avaliao da qualidade de software educacional. Diretrizes para desenvolvedores e usurios. Tese (Doutorado em Engenharia de Produo), UFRJ, Rio de Janeiro, 1994. CERVO, A. L.; BERVIAN, P. A. Metodologia Cientfica. 4. ed. So Paulo: Makron Books, 1996.
Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

COSTA,

F.

Pedactice:

educational

multimedia

in

school.

1999.

Disponvel

em:

<http://www.fpce.ul.pt/projectos/pedactice> Acesso em: junho 2007. CYBIS, W. de A. Engenharia de usabilidade: uma abordagem ergonmica. Florianpolis: Labiutil, UFSC, 2003. GRAELLS, P. M. Plantilla para la Catalogacin y Evaluacin Multimedia. Disponvel: <http://dewey.uab.es/pmarques/dim/revistadigital/dimavam0.rtf> Acesso: set. de 2007. HOM, J. (1998). The usability methods toolbox handbook. Disponvel em:

<http://jthom.best.vwh.net/usability/> Acesso: maio 2007. LANSDALE, M. W.; ORMEROD, T. C. Understanding interfaces: a handbook of human-computer dialogue. London: Academic Press, 1994. MARCONI, M. de A.; LAKATOS, E. M. Fundamentos de metodologia cientfica. So Paulo: Atlas, 2002. MATTAR, F. N. Pesquisa de marketing. Ed. Compacta. So Paulo: Atlas, 2001. MAYHEW, D. Principles and guidelines in software interface design. New Jersey: Prentice Hall, 1992. NORMAN, D A. The design of everyday things. London: MIT Press, 1998. NOVO Dicionrio Eletrnico Aurlio. Curitiba: Editora Positivo, 2004. PERRY, G. T. Integrado conhecimentos, aproximando disciplinas: a importncia do design e da ergonomia no projeto e no desenvolvimento de softwares educacionais. Revista Novas Tecnologias na Educao. CINTED-UFRGS, v. 3, n 1, maio, 2005. PROINFO Programa Nacional de Informtica na Educao. Checklist. In: ENCONTRO NACIONAL DO PROINFO, 3. Disponvel: < http://www2.uel.br /seed/nte/analisedesoftwares.html> Acesso: out. 2007. REEVES, T. C.; HARMON, S. W. Systematic evaluation procedures for interactive multimedia for education and training. In: REISMAN, Sorel. Multimedia Computing: preparing for the 21st Century. Hershey, PA: Idea Group Publishing, 1996. 472-582. SCHWARZELMULLER, A.; ORNELLAS, B. Os objetos digitais e suas utilizaes no processo de ensino-aprendizagem. In: Primeira Conferencia Latinoamericana de Objetos de Aprendizaje, 2006. Guayaquil/Equador. SHIRATUDDIN, N.; LANDONI, M. Evaluation of content activities in childrens educational software. Evaluation and Program Planning, v. 25, n. 2, p. 175-182, maio 2002. SILVA, C. R. de O. MAEP: um mtodo ergopedaggico interativo de avaliao para produtos educacionais informatizados. Tese de Doutorado PPGEP, Universidade Federal de Santa Catarina, 2002. SILVA, M. A. F. da. Mtodos e Tcnicas de Pesquisa. Curitiba: Ibpex, 2005. SQUIRES, D.; PREECE, J. Predicting quality in educational software: evaluating for learning, usability and synergy between them. Interacting with Computers, v. 11, n. 5, p. 467-483, maio 1999. STANTON, N. Human factors in consumer products. London: Taylor & Francis, 1998.

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X

Sobre os autores Katia Alexandra de Godoi graduada em Desenho Industrial pela FAAP (1993), especialista em Didtica do Ensino Superior pela PUC-PR (1997), mestre em Design pela UFPR (2009) e doutoranda em Educao: Currculo na PUC-SP. Suas principais reas de interesse so: design da informao, ergonomia da interao humano-computador e educao, com enfoque nos mtodos/ instrumentos de avaliao de softwares educativos/ materiais didticos digitais. <katigodoi@gmail.com> Stephania Padovani graduada em Desenho Industrial pela ESDI-UERJ (1996), mestre em Design pela PUC-RJ (1998) e doutora em Ergonomia Cognitiva pela Loughborough University / Inglaterra (2001). bolsista de Produtividade em Pesquisa do CNPq [nvel 2], professora e pesquisadora do Departamento de Design e do Programa de Ps-graduao em Design da UFPR. Suas principais reas de atuao so: ergonomia da interao humano-computador, web design e design da informao, com enfoque nos temas de hipermdia, usabilidade de interfaces e mtodos de design centrado no usurio. <s_padovani2@yahoo.co.uk>

Estudos em Design | Revista (online): Rio de Janeiro, 2011, v.19 n. 1 | p. 1 23 | ISSN 1983-196X