You are on page 1of 7
de Avaliação e Qualidade Recursos Educativos Digitais José Luís Ramos – Universidade de Évora Eu gostava,

de

Avaliação

e

Qualidade

Recursos

Educativos

Digitais

José Luís Ramos – Universidade de Évora

Eu gostava, em primeiro lugar, de agradecer o convite que me foi dirigido pela Direcção-Geral de Inovação e de Desenvolvimento Curricular – mais uma vez, espero corresponder à expectativa –, e de cumprimentar também os colegas, sobretudo os que fazem parte da bolsa de avaliadores. Alguns eu não tenho prazer de conhecer pessoalmente, e é hoje a oportunidade para isso, desejar- -lhes as boas-vindas e desejar que tenham um dia bom.

O tópico que eu escolhi para poder fazer uma pequena intervenção está relacionado com a quali- dade e avaliação de recursos educativos digitais. Também gostava de fazer uma ressalva e dizer que o trabalho que vou aqui apresentar é o resultado do trabalho de uma equipa, já de há alguns anos e, portanto, estas ideias, estas coisas que aqui estão, são um pouco minhas, mas são sobre- tudo do grupo, e é um pouco também em nome do grupo que eu estou aqui a fazer esta pequena intervenção, nomeadamente o Professor Vítor Teodoro, Francisco Melo Ferreira, José Moura Carvalho e Vicência Maio.

A primeira preocupação é acertarmos um pouco as ideias acerca do que entendemos por “recurso educativo digital”. Certamente haveria outras formas de o enunciar. Nós, depois de alguns anos de trabalho e de discussão, chegámos a um conceito que consideramos que reflecte muito da nossa perspectiva, do nosso trabalho. Um recurso educativo digital é um produto de software ou um documento – e o documento é aqui tomado no sentido lato. Pode ser uma colecção de documentos – com algumas propriedades: a primeira é que esses produtos têm uma finalidade intrinsecamente educativa; a segunda é que se enquadrem nas necessidades do sistema educa- tivo português; a terceira é que tenham uma identidade, uma autonomia, relativamente a outros objectos, a outros documentos; e, finalmente, que correspondam a padrões de qualidade previa- mente definidos. Portanto, com este conceito, com este entendimento, podemos agora avançar um pouco mais.

Ainda em relação à questão dos recursos digitais, também era importante, do meu ponto de vista, assinalar algumas diferenças. Os recursos não são todos iguais, nem todos são desenvolvidos e criados da mesma maneira e exigem o mesmo investimento – investimento de recursos [materiais], investimento intelectual, etc. Portanto, podíamos distinguir, para podermos olhar para os recursos com alguma capacidade de os analisar, três níveis: o nível mecânico, que não tem grande exigência do ponto de vista dos seus fundamentos, dos seus objectivos – é um pouco “copy and paste”, é um pouco do que nós quase vamos fazendo no nosso dia-a-dia; o nível criativo – este nível já exige fundamento, é um nível que já recorre, eventualmente, a outras fontes, a outros saberes, a outros recursos; e, finalmente, o nível de design, que é o nível claramente dos grandes projectos de software educativo, que exigem numerosas equipas, numerosos recursos e modelos de concepção industrializados, digamos assim, e, claro, o resultado destes três níveis produz, evidentemente, recursos de natureza diversa, com finalidades diversas e também, obviamente, com qualidades diversas; não sendo de exigir o mesmo nível de qualidade a um recurso de nível mecânico e a um recurso de nível de design, como é óbvio.

A questão da qualidade é, enfim, uma questão recorrente e uma questão muito interessante, sobre- tudo, para as instituições que devem garantir a qualidade dos recursos. Eu diria que a qualidade é uma propriedade – é uma propriedade atribuída a um produto de acordo com um conjunto

11

pré-estabelecido de dimensões e de critérios. Portanto, a qualidade não é algo vazio, refere-se a um padrão que é predefinido e é em comparação com este padrão predefinido que se poderá dizer se um produto tem ou não qualidade. Tem qualidade em relação a quê? As escalas de qualidade vão desde uma escala menos exigente, que é a ausência de defeitos no produto, até aos produtos da mais elevada excelência. E são os padrões que nos ajudam a definir onde é que o produto se vai situar.

Também algumas notas sobre os factores que, de alguma forma, condicionam, digamos, a questão da qualidade do recurso. Desde logo, o escasso conhecimento do currículo pelo autor ou pelo criador. Muitas vezes, relativamente aos produtos que não têm qualidade, a primeira constatação óbvia é que aquela pessoa que fez aquele recurso não tem ideia do que é o currículo, não tem ideia do que é a aprendizagem, não tem ideia do que é a sala de aula, tem uma perspectiva muito limitada; e, portanto, esse é um dos factores que condicionam a qualidade. A outra é, às vezes, a utilização de tecnologias ultrapassadas; também a escassez de investimentos em recursos humanos, financeiros e materiais na concepção e desenvolvimento dos produtos. Eu recordo que desenvolver um produto é algo extrema- mente oneroso e, muitas vezes, as pessoas não se dão conta de qual é o custo envolvido na produção de determinado recurso: é bastante elevado, e isso é uma limitação para quem está (…) a criar e a desenvolver [conteúdos e recursos digitais]. Por outro lado, nem sempre – e isto também é visível em muitos produtos – se tira partido do conhecimento científico disponível para melhorar a qualidade peda- gógica dos produtos. Já se sabe muito sobre a aprendizagem, já se sabe muita coisa sobre a interacção homem-máquina, já se sabe muito sobre “n” aspectos, mas depois nós não vimos esse conhecimento reflectido nem na concepção nem depois na fase final do produto.

Algumas notas sobre como melhorar a concepção e o desenvolvimento dos produtos, e o produto final em termos de qualidade: apoiar os criadores, montar dispositivos de ajuda do ponto de vista, sobre- tudo, da investigação e da educação; a disseminação dos critérios de qualidade nos lançamentos de concursos, propostas, encomendas, convites – esse padrão de qualidade tem de estar visível, tem de estar disseminado para todos os actores, desde os criadores aos consumidores –, isso é fundamental; e a discussão pública de projectos de criação de recursos: é extremamente importante que as ideias sejam submetidas ao crivo da discussão pública; passando pelo desenvolvimento do sistema de avaliação, certi- ficação e apoio ao uso de recursos educativos digitais, comummente designado, até agora e até ver, SACAUSEF – algo difícil de pronunciar, eu compreendo, mas é o nome que, por enquanto, ainda tem.

Este trabalho foi iniciado por volta de 2004 pela equipa que já mencionei. Tivemos a preocupação de ver e de estudar modelos existentes, de estudar o que dizia a literatura científica sobre o assunto, e fomos concebendo este modelo, que agora já está em fase de implementação. Esse modelo atenuava algumas dificuldades relacionadas com outros modelos anteriores, nomeadamente a utilização de check-lists, de instrumentos de verificação, de pontuações nos recursos, que não davam uma ideia muito aproxi- mada e, às vezes, podiam induzir em erro os professores e as escolas nas suas escolhas. Por exemplo, a utilização de uma escala de 0 a 100 para classificar um produto podia dar a ideia de que um produto que tinha 70 pontos era claramente melhor que um que tinha 60. Bom, mas isso era obviamente insufi- ciente para avaliar, de facto, a qualidade do produto. Portanto, este modelo que nós fomos desenhando e construindo tentou evitar erros e dificuldades anteriores e aproveitar aquilo que se fazia de melhor neste contexto. Aliás, este é um modelo que está muito condicionado pela questão da certificação. A certifi- cação é um aspecto particular da avaliação e tem influências no desenho do modelo, e a resposta que nós demos foi conceber o modelo a partir de duas fases: uma fase de avaliação descritiva das suas características intrínsecas e uma fase de avaliação em contexto, isto é, o produto, o recurso, vai para o contexto da sala de aula ou outro contexto para o qual foi desenhado e, portanto, vai ser sujeito à utili- zação dos destinatários.

A primeira fase da avaliação do produto conduz directamente à certificação, isto é, a certificação não poderia estar dependente de uma avaliação do produto em contexto. A certificação utiliza o conceito

12

de qualidade de um produto que não tem defeitos, há ausência de defeitos, digamos, entre aspas, no produto. Não tem “defeitos” científicos, não tem “defeitos” técnicos, não tem “defeitos” de linguagem, não demonstra inadequações relativamente a atitudes e valores… A ausência desses erros, desses “defeitos” em relação à natureza do produto de que estamos a falar permite a certificação do produto, o que, simplesmente, quer dizer que aquele produto está em condições de ir para a escola. Não tem nada em si que possa provocar “danos” a terceiros. Portanto, eu diria que estamos perante os “serviços mínimos” de qualidade do próprio produto. E depois, claro, existe a questão da avaliação em contexto, que permite a recolha de experiências de trabalho educativo e, posteriormente, a sua partilha no sistema de informação, de que falarei um pouco mais à frente.

Entre as duas fases da avaliação há uma fase que eu considero muito importante, que é a elaboração de um plano de avaliação em contexto. O plano de avaliação em contexto é um instrumento de gestão do processo de avaliação. Assegura-se que quando aquele produto for avaliado na sala de aula sê-lo-á respeitando todas as indicações de carácter ético e de carácter moral, respeitando o ritmo do currículo, respeitando os alunos, e respeitando aquilo que, evidentemente, é importantíssimo para nós, que é a integridade dos nossos alunos. E, portanto, este plano funciona um pouco como a preparação do avaliador que vai definir o tempo, o modo e a forma como vai avaliar esse produto ao longo do ano lectivo. Portanto, isto depois, em termos de timing, a avaliação em contexto tem uma margem de tempo bastante mais elevada.

Falámos há pouco da qualidade e das suas dimensões no caso do sistema de avaliação, as dimensões de qualidade que privilegiamos. Foram: a dimensão técnica – um produto que não tenha qualidade técnica, muitas vezes, simplesmente, não corre e, portanto, aí acabou-se a qualidade, já não há mais para fazer; portanto, esta é uma das dimensões que é observada no produto; a dimensão do conteúdo; a dimensão linguística; a dimensão pedagógica; e a dimensão de atitudes e valores. Estas são as princi- pais dimensões de qualidade que são observadas no sistema de avaliação.

A partir destas dimensões foram desenvolvidos os instrumentos de avaliação, que contêm, digamos, todo o conjunto de critérios e parâmetros que, para cada uma das dimensões, são observados no produto.

Foram, evidentemente, observados também processos de validação dos instrumentos, o que, aliás, foi concomitante com a formação dos avaliadores. Já foram realizados três cursos de avaliadores, com algumas exigências do ponto de vista dos requisitos de entrada. As modalidades do trabalho educativo têm sido mistas, isto é, presencial mas também utilizando as plataformas LMS, e certificando também essa formação.

O sistema de informação está pronto, está desenvolvido, foi submetido a testes finais há muito poucos dias, e o sistema de informação tem, portanto, o que é normal num sistema destes: os processos de registo dos utilizadores e os diferentes níveis de utilizadores, as áreas de trabalho do sistema de infor- mação, permitindo o processamento automático da informação do produto, desde a entrada do produto no sistema até à sua certificação e avaliação final. Evidentemente, com os avaliadores, a bolsa de avalia- dores dispersa geograficamente, cada um pode entrar no sistema registando-se, sendo os produtos atri- buídos por um supervisor, e fazendo-se toda a gestão e o controlo do workflow a partir do sistema de informação.

O sistema de informação, para além dos processos mais automatizados de avaliação, dispõe ainda de áreas de comunicação e interacção entre os avaliadores e também entre os utilizadores. Tem fóruns, que permitirão a discussão à volta da utilização dos produtos, e os relatos de experiência, isto é, se um produto é avaliado e é colocada uma avaliação em contexto que seja interessante, outros professores podem, evidentemente, utilizar aquele produto e também podem complementar, trazer a sua perspectiva,

13

a sua experiência, também para o sistema de informação. Contém, evidentemente, todas as funcionali- dades de pesquisa e de consulta dos resultados da avaliação.

O produto entra através do editor, que preenche uma ficha de produto, que depois é analisada, e são entregues os devidos exemplares do produto (se for um produto em suporte CD-ROM) ou as chaves, os códigos de acesso (se for um produto na Web).

Este é mais ou menos “o filme desta história” até aqui. A partir daqui, poderá haver outras opções e, às vezes, há pausas que podem ser úteis no sentido em que, e especificamente neste caso, é possível integrar o sistema de avaliação numa estratégia mais vasta de política educativa para este sector, o que poderá trazer vantagens ao sistema educativo.

Este grupo… um pouco mais reduzido, foi também responsável pelos estudos preparatórios no que diz respeito ao Eixo Conteúdos do Plano Tecnológico da Educação. Alguns dos estudos realizados: o diag- nóstico da situação em relação à existência de recursos digitais em Portugal, o estudo de iniciativas inter- nacionais de referência, e também ideias, propostas para o desenho de uma estratégia nacional de recursos educativos neste domínio.

Foi um trabalho de alguns meses – aliás, deu-nos muito trabalho, mas deu-nos muito prazer – e eu destacava uma ou duas notas. A primeira foi a quantidade de recursos que conseguimos inventariar, algo verdadeiramente surpreendente para mim, e mesmo para os meus colegas, que “andamos” todos os dias nestas coisas, foi a quantidade e, em muitos casos, a qualidade dos recursos que encontrámos. Encon- trámos centenas e centenas de recursos de professores, de associações, de escolas, de uma grande varie- dade de entidades. O que também observámos foi que, na maior parte dos casos, eram completamente desconhecidos dos professores. Essa foi uma das notas do estudo diagnóstico. Uma segunda nota do estudo diagnóstico foi a colaboração, quer de professores quer de alunos quer de escolas quer da parte da indústria dos conteúdos – empresas que se dedicam a este domínio da criação de recursos, e que foram verdadeiramente fantásticas, colaboraram imenso connosco, deram-nos todo o apoio, e as suas ideias, as suas perspectivas – e é um pouco a partir dessa informação que este trabalho foi possível. Estas ideias são, basicamente, dos professores e das pessoas que estiveram connosco e tiveram a amabilidade de conversar connosco e de as partilhar.

Resumia agora um pouco algumas dessas ideias – evidentemente ainda num plano de propostas –, quatro aspectos: o aspecto da criação, o aspecto da organização e disponibilização, o aspecto da avaliação e, finalmente, o aspecto do uso.

Só para dar o exemplo de um projecto interessantíssimo, que se chama Mil Folhas: não é nenhum bolinho, mas um trabalho de professores e alunos de uma escola e que, de facto, mostra que os profes- sores e os alunos também podem ser criadores, também podem ser produtores de conteúdos (cf. em

http://www.esec-valenca.rcts.pt/folha_000.htm).

Este é apenas um das centenas de projectos, de conteúdos, de recursos que nós analisámos na Internet e que estão inventariados – um trabalho feito por professores e alunos. E eu sublinhava um pouco esta ideia de que, hoje em dia, com as facilidades e com a tecnologia de que dispomos, estes projectos são altamente motivadores, para professores, mas, sobretudo, para os alunos. Depois poderão ver com mais detalhe.

No final das contas, o resultado do estudo de diagnóstico trouxe-nos a uma perspectiva que é um pouco contrária à perspectiva anterior de que a escassez era imensa, não havia recursos – e muitas vezes é esse um pouco o senso comum: “(…) Não há recursos”, “(…) Na minha disciplina também não, não, não há recursos”. Bem, a nossa conclusão é um pouco diferente. A nossa conclusão é a de que há recursos.

14

É evidente que não são suficientes para as necessidades de todas as áreas curriculares. Há áreas que são um pouco mais favorecidas, outras menos. E, portanto, a cobertura curricular, em termos de recursos educativos digitais, está longe de ser completa. Mas há recursos. E dizia-nos um professor, a certa altura, um pouco a comprovar a nossa conclusão: “Há muitos recursos, mas é para quem os sabe encontrar”, ou seja, também aqui há algum trabalho a fazer no sentido de, por um lado, organizar e facilitar, reunir os recursos num determinado espaço, de forma a que seja mais fácil encontrá-los, e, por outro lado, também, trabalhar ao nível das competências de pesquisa avançada, de modo a também facilitar esse aspecto.

E, portanto, a partir desta fase de diagnóstico nós considerámos que havia, evidentemente, necessidade de aumentar a quantidade e a qualidade dos recursos disponíveis em língua portuguesa para o sistema educativo.

Algumas formas de o fazer são mais clássicas do que outras, mas são os concursos, as propostas, os convites, o apoio a projectos que tenham interesse e que, manifestamente, tenham qualidade, acordos e parcerias – há imensos recursos em instituições públicas que decorrem da actividade da instituição:

museus, bibliotecas, centros de investigação. São produtores de recursos, têm colecções de objectos verdadeiramente interessantes e que podem facilmente ser reutilizáveis e, portanto, dar lugar a novos recursos – e, como tal, há que articular, há que “pôr as mãos na massa” e definir as medidas necessárias para aumentar a quantidade e a qualidade de recursos disponíveis.

Uma outra ideia também decorrente das nossas reflexões, da nossa observação da realidade e da nossa interacção com os alunos, com os professores e com as escolas é, evidentemente, a questão do financia- mento da escola para a aquisição de recursos. Este é um aspecto que, do nosso ponto de vista, já devia ter sido resolvido há muito mais tempo. Primeiro, porque resolve aquilo que é verdadeiramente essencial, que é que os professores e os alunos tenham acesso aos recursos e a escola tenha a sua dotação, no orçamento, para que isso possa acontecer. Se não tiver recursos financeiros, não é possível. E, portanto, se nós queremos fazer alguma coisa do ponto de vista estratégico, do ponto de vista daquilo que é a política educativa neste momento, a primeira coisa a fazer é dar às escolas as verbas para que possam adquirir os recursos. Não há outra maneira. Podemos inventar muitas coisas, mas sem essa medida não me parece que as coisas possam funcionar. Para além de resolver o problema essencial do acesso aos recursos e da sua disponibilização, creio que ajudaria muitos outros aspectos que acontecem nas nossas escolas, nomeadamente relacionados com a questão dos direitos de autor.

Uma outra ideia seria, também, aproveitar melhor as capacidades das tecnologias instaladas: a criação da WebTV, por exemplo, para a educação e para a formação. Existem projectos interessantíssimos. Recordo, por exemplo, o projecto Ciência Viva TV, que é um bom exemplo de como tirar partido das capacidades do vídeo (cf. em http://www.cvtv.pt/home/).

No que diz respeito à questão da organização, coloca-se a questão do repositório de recursos educa- tivos digitais. Esta parece, evidentemente, uma questão, também, relativamente pacífica porque, em primeiro lugar, poderemos reunir num espaço virtual aquilo que será, eventualmente, o repositório do Portal da Escola, os recursos que estão dispersos um pouco por todo o país: desde sites de escolas, páginas de escolas, páginas de professores, a blogues, páginas de associações, empresas, que estão um pouco dispersos e que dá imenso trabalho procurar. Portanto, desde logo, facilitaria encontrar esses recursos.

Em segundo lugar, as tecnologias hoje disponíveis permitem pensar um pouco mais além e sermos um pouco mais ambiciosos do ponto de vista do próprio repositório. E também combinar aqui recursos existentes. E, nesse sentido, o repositório foi concebido a partir do conceito de comunidade. O reposi- tório é uma comunidade de comunidades. Mas nós não inventámos as comunidades, as comunidades

15

já existem. As comunidades já existem, são comunidades profissionais: da Matemática, da Biologia, da História, das Ciências Naturais, o que seja; essas comunidades existem, têm membros – são associações, são sociedades, são sociedades científicas, portanto, é algo que nós não inventámos. Essas comunidades existem.

O que é que nós propomos: trazê-las para o repositório e dar-lhes a oportunidade de participarem e de se responsabilizarem pelos conteúdos e recursos existentes no repositório. São estas comunidades que vão inserir os recursos, são estas comunidades que vão avaliar a qualidade dos recursos lá colocados, através de um sistema que é também utilizado no caso da publicação científica, a avaliação por pares:

eu produzo um recurso, eu sou de História, e a minha comunidade de professores de História vai avaliar, do ponto de vista do conteúdo, do ponto de vista pedagógico, do ponto de vista técnico, se o recurso tem condições para ser colocado no repositório – além de outros mecanismos de controlo de qualidade que o repositório também prevê, nomeadamente, a pertença. A identidade e a pertença. Não pode ser uma pessoa qualquer, que ninguém sabe quem é, não pode ser um anónimo. Ou seja, estão previstos e propostos dispositivos que assegurem o controlo de qualidade.

A ligação com os repositórios europeus é fundamental. Nós, há muitos anos, felizmente, não estamos sozinhos e, portanto, há mais gente a trabalhar neste domínio, há outras experiências, há outras escolas, outros professores, outros recursos, e essa riqueza é, claramente, fundamental para o nosso próprio cres- cimento e desenvolvimento.

E é aqui que eu vou apanhar outra vez a ideia do sistema de avaliação, porque é uma peça fulcral desta estratégia. Nós vamos aumentar a quantidade e a qualidade dos recursos educativos digitais, vamos promover a sua criação, vamos organizar e disponibilizar, mas temos de assegurar os aspectos da avaliação e da certificação. No primeiro caso, nos recursos que são comerciais – portanto, são pagos –, certamente têm todo o interesse em ser certificados por um selo que dirá que aquele produto é reconhe- cidamente de interesse educativo; mas também os outros recursos que são de livre iniciativa das comuni- dades, dos professores, dos alunos, dos centros de investigação, dos museus, etc., e submetê-los também ao crivo da avaliação da sua qualidade.

No entanto, criar recursos não chega. Os recursos em si também não valem de muito, é preciso depois fazer o resto do caminho: é preciso levá-los depois para a sala de aula, é preciso usá-los, é preciso escrutiná-los, é preciso que os alunos tirem o melhor partido possível dos recursos.

Eu destacava talvez uma das nossas ideias: nós temos uma rede de bibliotecas escolares no país – não fomos, evidentemente, nós que as inventámos, elas já existem, elas já trabalham – e a rede de biblio- tecas escolares trabalha muito bem já sobre este campo da literacia informacional e dos recursos digitais (cf. em http://www.rbe.min-edu.pt/).

Ora, não podemos, numa estratégia destas, deixar uma infra-estrutura desta dimensão e com esta quali- dade, e que existe nas escolas, junto aos alunos e junto aos professores, sem que ela possa ter igual- mente um papel relevante nesta componente. E, portanto, a nossa proposta vai no sentido também de atender àquilo que acontece nas escolas, em que nem sempre há comunicação entre as várias equipas. Há muitas equipas nas escolas, felizmente há já muitas equipas nas escolas, mas às vezes as equipas não comunicam. E a nossa proposta era incitar as equipas que tratam destes aspectos a comunicarem entre si.

Muitas vezes, estes produtos em suporte CD estão localizados e armazenados e “à guarda de alguém” numa parte da escola, junto dos coordenadores TIC (por exemplo), ou com os professores de Informática, ou no Conselho Executivo, mas depois não há informação da sua existência e não há comunicação; como também pode não haver análise da realidade, das necessidades, podem não se estabelecer as

16

prioridades, pode não haver uma discussão que permitiria, por um lado, a aquisição racional dos recursos de que a Escola precisa.

Provavelmente, o dinheiro a disponibilizar não dará para comprar tudo de uma vez, há que comprar uma coisa agora, depois outra, há que gerir esses recursos e a nossa proposta é que se constitua uma equipa de recursos digitais. Basicamente, é um dispositivo de comunicação entre as equipas que já existem: a equipa da biblioteca e a equipa TIC da escola.

Evidentemente que numas escolas isto fará sentido, provavelmente noutras não será tanto assim, pois já existem. Mas é uma ideia e, por isso, está aqui a ser submetida ao crivo da discussão pública.

As fontes consultadas para a preparação desta conferência foram as seguintes:

  • Ramos, J. L., Teodoro, V. D., Ferreira, F. M., Chagas, I. & Soares, J. P. ( 2008) Estudo de Imple- mentação do Portal da Escola – Eixo Conteúdos. GEPE/ME (no prelo).

  • BECTA (s/d) Quality principles for digital learning resources: an introduction. Disponível em http://partners.becta.org.uk/index.php?section=sa&catcode=_sa_cs_cf_in_04.

prioridades, pode não haver uma discussão que permitiria, por um lado, a aquisição racional dos recursos

17