You are on page 1of 18

Estratgias de avaliao digital: um estudo de caso no mbito do ensino superior

Ricardo Oliveira; Isolina Oliveira LE@D; Universidade Aberta jricardol@gmail.com; isolina.oliveira@uab.pt

Resumo No mbito da avaliao digital constitui-se como referncia o Programa de Avaliao de Competncias (PAC) proposto por Pereira, Oliveira & Tinoca (2010), no qual evidenciada a importncia de recorrer a uma variedade de estratgias de avaliao digital, na busca incessante da qualidade no ensino superior. O estudo apresentado situa o seu foco no design de avaliao da Unidade Curricular (UC) Avaliao das Aprendizagens, integrada no terceiro ano da Licenciatura em Educao da Universidade Aberta. Nesta UC reflete-se sobre a avaliao em educao, particularizando conceitos, usos e concees tericas da avaliao, numa perspetiva evolutiva. A avaliao evidenciada num cenrio curricular apoiado numa abordagem por competncias, estudando-se ainda as potencialidades e limitaes de diferentes instrumentos de avaliao, disposio do professor. Nesta UC, onde o regime de avaliao preferencial o de avaliao contnua, prope-se a realizao de dois e-flios (trabalhos escritos em formato digital a submeter na plataforma online), no decorrer do semestre letivo e de um p-flio (momento final de avaliao a realizar-se presencialmente), tendo lugar no final do semestre. Para este estudo definiram-se os seguintes objetivos: a) Analisar o desenho de avaliao online proposto na UC, tendo em conta as vrias dimenses do referido programa de avaliao de competncias; b) Avaliar de que modo esse desenho de avaliao contribui para que os estudantes reconheam o valor formativo da avaliao. A presente investigao assume uma abordagem de natureza qualitativa, baseandose na anlise de contedo decorrente das tarefas propostas aos estudantes (e-flios e p-flio), assim como das participaes dos estudantes e dos docentes nos fruns de discusso. Como complemento ao estudo, recorreu-se a um questionrio online, direcionado aos estudantes, sendo aplicado no final da UC, no qual se aferiu o seu grau de satisfao em relao forma como a avaliao foi realizada. Os resultados destacaram essencialmente: o conhecimento prvio da estratgia de avaliao na UC; a pertinncia dos temas e a diversidade das tarefas propostas; o

feedback

fornecido

pelos

docentes;

desenvolvimento

de

competncias

metacognitivas e a sugesto de aplicao de instrumentos de avaliao alternativos. Pretende-se discutir os resultados luz das dimenses constituintes do j referido programa. Com base neste, sero, tambm, apontadas sugestes no sentido de promover a qualidade de desenhos de avaliao digital.

Abstract In the field of assessing digital evaluation, the Competences Assessment Programme (PAC), proposed by Pereira, Oliveira & Tinoca (2010) was used as reference, a programme which reinforces the importance of using a variety of digital assessment strategies in the continuing pursuit for quality in higher education. The present study focuses on the type of evaluation design of the Curricular Unit (CU) Learning Assessment, part of the third year curriculum of the Degree in Education of the Open University (Universidade Aberta). This CU reflects on the process of evaluation in education, defining concepts, practices and theoretical conceptions in the field of assessment, in an evolutive perspective. Assessment is addressed in a curricular form, supported by an approach through competences, in which the potentialities and limitations of different assessment instruments available to the teacher are studied. In this CU, in which the preferred evaluation regime is that of continuous education, it is suggested the student should present two e-folios (written essays in a digital form to be submitted to an online platform) during the semester, and one p-folio (final assessment moment to happen in person), which takes place at the end of the semester. For the present study, the following objectives were defined: a) To analyse the online evaluation design suggested by the CU, taking into account the different dimensions of the referred competence assessment programme; b) To assess in what ways that design contributes to students' appreciation of the training value of assessment. The present investigation is of qualitative nature, based on content analysis of the work presented by students (e-folios and p-folios), as well as of student and teacher participation in discussion forums. As a complement to the present study, an online questionnaire was used, aimed at students and applied at the end of the CU, to assess their degree of satisfaction concerning the way evaluation was conducted. The results highlighted the following: prior knowledge of the assessment strategy in the CU; relevance of topics and the diversity of the tasks proposed; the feedback provided by teachers; development of meta-cognitive competences and the suggestion of the application of alternative assessment instruments. 2

It is our intention to discuss theses results in the light of the different dimensions which compose the programme in question, based on the choice of suggestions to be put forward to promote quality in the design of digital assessment.

Palavras-chave Avaliao digital; Ensino Superior; Programa de Avaliao de Competncias (PAC).

Key-words Digital Assessment; Higher Education; Competences Assessment Programme (PAC).

1. INTRODUO O termo avaliar surge da palavra latina valere que nos remete para uma profunda reflexo, no sentido em que atribui significados diversos, tais como: ter sade, vigor e fora. A palavra apela, por isso, ao reconhecimento e determinao de um valor, compreenso e apreciao, prezando o esforo de algo ou de algum. O interesse pela pesquisa sobre a avaliao, de um modo geral, tem manifestado um crescimento evidente ao longo das ltimas dcadas. Perante o dilema da avaliao colocado aos professores de qualquer nvel de ensino e tendo em considerao a procura, cada vez mais intensa, por parte dos utilizadores, de cursos a distncia, pela flexibilidade que oferecem ao nvel da gesto de tempo e de acesso, consideramos essencial preocuparmo-nos com um dos momentos mais cruciais do processo de ensino/aprendizagem, o momento da avaliao, em especial com a avaliao online. Se a avaliao em regime presencial j acarreta consigo inmeros problemas, tornando-se num tema complexo de gerir, quer por parte de professores quer por estudantes, avaliar online consegue ser uma misso ainda mais difcil de realizar. Em muitas situaes, nos cursos online apenas se encontram rplicas de modelos tradicionais de avaliao (Silva, 2011). Neste sentido, a avaliao das aprendizagens recentemente mais valorizada aquela que pretende trabalhar, de um modo articulado, a formao e a avaliao no processo. Importa tambm focar a complexidade do tema da avaliao e as perspetivas vrias que poderemos ter sobre o mesmo assunto. Enquanto alguns autores se
3

tm debruado sobre a problemtica da avaliao na perspetiva do aprendente, noutros estudos tem sido a perspetiva do professor o foco das atenes e a sua (inter)ao no processo avaliativo. Tem sido crescente o nmero de estudos que tm inclinado as suas atenes para a problemtica da avaliao, lanando pistas orientadoras para trabalhos futuros, preocupando-se com a necessidade desta ser implementada com qualidade em cursos a distncia (Gomes, 2009; Barreiro-Pinto e Silva, 2008; Santos, 2006; Primo, 2006; Silva, 2011; Lisba, Junior e Coutinho, 2009; Porto, 2005). Investigaes recentes tm estudado a avaliao em ambientes online, em particular, no ensino superior (Pereira, Oliveira e Tinoca, 2010; Pereira, 2012; Gomes, Amante e Oliveira, 2012; Tinoca, Oliveira e Pereira, 2013), indo ao encontro do foco que pretendemos tomar neste estudo.

2. PROGRAMA DE AVALIAO DE COMPETNCIAS Na opinio de Gomes (2005), a crescente integrao de tecnologias digitais na educao tem permitido novos contextos e cenrios ao nvel das abordagens pedaggicas. Torna-se, tambm, por isso, impensvel pretender-se reformar os currculos europeus desligando-nos da avaliao, pois esta, para alm de cumprir um papel essencial em qualquer processo de reforma, dever ser tida em considerao atendendo implementao de estratgias que devem integrar conhecimentos, capacidades, atitudes e valores (Baartman, Bastiaens, Kirchne & Vleuten, 2007). Esta abordagem acarreta alteraes significativas quanto ao planeamento dos cursos propostos pelas universidades, sendo dado destaque ao estudante, sua aprendizagem e s competncias a desenvolver e no s ao que deve ser ensinado pelo professor (Gomes, Amante & Oliveira, 2012). No seguimento deste pensamento apresentado um Programa de Avaliao de Competncias (PAC), baseado na aplicao de diferentes formas de avaliao, resultando na definio de critrios de verificao da sua qualidade. A utilizao de um nico formato de avaliao fica muito aqum do que necessrio para a avaliao de competncias. Por esse motivo, torna-se indispensvel o desenvolvimento de programas que englobem novas e
4

diferentes formas de avaliar, dando lugar cultura da avaliao (Birenbaum, 1996; Dierick & Dochy, 2001). A cultura da avaliao projeta uma viso crtica quanto aplicao de testes como sendo a nica forma de avaliao da aprendizagem e ainda ao planeamento obcecado que feito com base nos testes a realizar. Em contrapartida, apresenta alternativas de avaliao (Amante, 2011), quer ao nvel das vrias formas, dos intervenientes, momentos e processos (Pereira, Oliveira & Tinoca, 2010). A avaliao de competncias exige uma abordagem onde o conhecimento, habilidades e atitudes so integrados, implicando, desse modo, o recurso a uma variedade de estratgias de avaliao (Tinoca, Oliveira & Pereira, 2013). Para alm disso, tm surgido ambientes de e-learning cada vez mais desenvolvidos promovendo, dessa forma, novas e diversificadas estratgias de avaliao. Deste modo, imperativo (re)considerar o conceito de avaliao da qualidade no ensino superior, mais concretamente, em contextos online, desenvolvendo-o nos atuais cenrios de aprendizagem. O quadro conceptual relativo avaliao digital alternativa no ensino superior, assente numa perspetiva edumtrica (Pereira, Oliveira & Tinoca, 2010; Pereira, 2012; Tinoca & Oliveira, 2013; Tinoca, Oliveira & Pereira, 2013) identifica quatro dimenses na avaliao digital alternativa, a saber: (i) autenticidade; (ii) consistncia; (iii) transparncia e (iv) praticabilidade. Estas dimenses, encontrando-se articuladas, representam diversos graus de influncia recproca. Os autores destacam a dimenso da praticabilidade pelo facto de poder ser, muitas vezes, negligenciada e ter uma influncia decisiva no nvel de aprofundamento das restantes dimenses. O quadro 1 que se segue apresenta resumidamente as referidas dimenses.

Quadro 1 Dimenses e parmetros na avaliao digital alternativa


Dimenso
1.1. Similitude I. Autenticidade 1.2. Complexidade 1.3. Adequao 1.4. Significncia

Parmetro

2.1. Alinhamento instruo-avaliao II. Consistncia 2.2. Multiplicidade de indicadores 2.3. Adequao dos critrios 2.4. Alinhamento competncias-avaliao 3.1. Democratizao III. Transparncia 3.2. Envolvimento 3.3. Visibilidade 3.4. Impacto 4.1. Custos IV. Praticabilidade 4.2. Eficincia 4.3. Sustentabilidade

Perante este cenrio, pretendemos analisar o desenho de avaliao online proposto na UC, tendo em conta as vrias dimenses do quadro conceptual proposto. Contudo, antes dessa anlise, parece-nos conveniente fazer um breve enquadramento das quatro principais dimenses. Autenticidade deriva da necessidade de se concentrar na avaliao de competncias. O domnio autenticidade enfatiza a necessidade de garantir que as tarefas de avaliao online so complexas, relacionadas com o contexto da vida real, sendo reconhecido como importante para os estudantes, professores e instituies. Consistncia estando relacionada com os currculos desenvolvidos e com o processo de aprendizagem, esta dimenso salienta a importncia de alinhar as competncias a ser avaliadas com as estratgias de avaliao digital a ser utilizados e os critrios de avaliao, bem como a necessidade de usar uma variedade de indicadores. Transparncia centrada no estudante e no seu envolvimento no processo de aprendizagem, promovendo o envolvimento (e compreenso) dos alunos em tarefas online, atravs da democratizao e da visibilidade das estratgias de avaliao digital a serem utilizadas. Praticabilidade deriva das restries institucionais que afetam o ensino e prticas de avaliao. particularmente importante em contextos conectados dadas as suas especificidades considerando os recursos, o tempo e os custos de formao, bem como a sua eficincia e sustentabilidade.
6

Neste sentido, para o presente estudo definiram-se os seguintes objetivos: i) Analisar o desenho de avaliao online proposto numa Unidade Curricular (UC), tendo em conta as dimenses do PAC, abordadas anteriormente; ii) Avaliar de que modo esse desenho de avaliao contribui para que os estudantes reconheam o valor formativo da avaliao.

3. METODOLOGIA Contexto do estudo O estudo apresentado situa o seu foco no design de avaliao da Unidade Curricular (UC) Avaliao das Aprendizagens, integrada no terceiro ano da Licenciatura em Educao da Universidade Aberta (UAb). Nesta UC proposta a apropriao de conceitos e procedimentos no que concerne a instrumentos de avaliao, acompanhada da reflexo sobre a avaliao em educao, particularizando conceitos, usos e concees tericas da avaliao, numa perspetiva evolutiva. O desenho da UC segue o modelo pedaggico da UAb, variante inteiramente virtual, destinada aos cursos de 1. ciclo. Neste sentido, na UC, onde o regime de avaliao preferencial o de avaliao contnua, props-se a realizao de dois e-flios (trabalhos escritos em formato digital, a submeter na plataforma online da UAb Moodle), no decorrer de todo o semestre letivo, e de um p-flio (momento final de avaliao a realizar presencialmente), tendo lugar no final do semestre. A avaliao evidenciada num cenrio curricular apoiado numa abordagem por competncias, estudando-se ainda as potencialidades e limitaes de diferentes instrumentos de avaliao, disposio do professor e dos estudantes. A UC Avaliao das Aprendizagens decorreu no segundo semestre do ano letivo 2012/2013, durante cerca de dezanove semanas, tempo contabilizado desde o incio dos trabalhos at realizao do p-flio/exame. Nesse percurso formativo, foram propostas diversas atividades formativas a todos os estudantes que optaram pela avaliao contnua: participao em
7

fruns de estudantes; participao em fruns de esclarecimento de dvidas com os professores; realizao de atividades formativas; realizao de e-flios (com conhecimento dos critrios e parmetros de avaliao) e realizao de p-flio (sendo fornecido antecipadamente um exemplar que demonstraria o nvel de exigncia e tipologia de questes a serem aplicadas e os respetivos critrios de avaliao). Os estudantes que no possam seguir a modalidade de avaliao contnua podem optar pela realizao de um exame final presencial. Essa opo pelo regime de avaliao (contnua ou exame) feita pelo estudante at ao final da 3. semana letiva, no podendo ser alterada no decurso do semestre. Os estudantes que optem pela avaliao contnua tm sua disposio um Carto de Aprendizagem (CAP), espao personalizado e de acesso individual, onde creditada a avaliao que forem efetuando no decorrer do semestre. No caso da UC, onde se centrou o estudo, os estudantes que optam pela avaliao contnua tm acesso a um conjunto de recursos relacionados com a/o: (i) anlise de textos; (ii) participao em fruns (entre estudantes e de esclarecimento de questes com os professores e colegas); (iii) realizao de atividades formativas; (iv) realizao de dois e-flios (A e B); (v) conhecimento de critrios e parmetros de avaliao (vi) feedback descritivo sobre cada um dos trabalhos apresentados pelos estudantes vii) p-flio. A classificao final na UC corresponde ao somatrio das classificaes obtidas em cada e-flio, no total de oito valores, e no p-flio, com a classificao mxima de doze valores. Importa, agora, destacar as principais caractersticas que revestem estes dois principais instrumentos de avaliao. O e-flio um pequeno documento digital proposto aos estudantes a elaborar individualmente, incidindo sobre um dos temas trabalhados na UC que foi objeto de estudo, no caso do e-flio A, foi pedido ao estudante que fizesse a narrativa do processo de avaliao vivenciado numa dada disciplina, ao longo do seu percurso escolar e o analisasse luz das perspetivas tericas abordadas na UC. No e-flio B, solicitava-se aos estudantes a anlise de um artigo, selecionado na internet, cujo link tinha de ser apresentado, onde se tratasse de um estudo sobre a aplicao de um design de avaliao assente na utilizao de um instrumento de avaliao (o porteflio).
8

O p-flio consiste num documento escrito a realizar presencialmente, com uma durao mxima de noventa minutos. Existem, porm, outras atividades que, no sendo contabilizadas para a avaliao dos estudantes, pretendem contribuir para o enriquecimento das suas aprendizagens e que permitem a sua consolidao, atravs de: i) Fruns de estudantes nos quais, no existindo a interveno dos professores, os estudantes podero esclarecer temas, debater questes e chegar a concluses coletivamente; ii) Fruns de dvidas nos quais os estudantes so convidados pelos professores a participar, no sentido de esclarecer eventuais questes relacionadas com os temas abordados; iii) Atividades formativas pretendem apoiar o processo de autoaprendizagem dos estudantes em relao aos temas apresentados. Para as realizar os estudantes necessitam de estudar, analisar e refletir sobre os conhecimentos apropriados e mobilizar competncias desenvolvidas com a leitura dos materiais de aprendizagem e outras pesquisas na Internet que considerem convenientes. Embora se tratem de atividades individuais, o frum de estudantes constitui o espao privilegiado para participar, elaborando comentrios e trocando ideias com os(as) colegas, projetando, esclarecimentos e entreajuda nas aprendizagens a realizar.

Instrumentos de recolha de dados O estudo que envolveu duas turmas de estudantes inscritos na UC Avaliao das Aprendizagens do curso de Licenciatura em Educao na Universidade Aberta assume uma abordagem de natureza qualitativa. Foram analisadas as tarefas propostas aos estudantes (e-flios e p-flio), assim como o contedo das participaes dos estudantes e dos docentes nos fruns de discusso. Recorreu-se, complementarmente, a um questionrio online elaborado com base nas quatro dimenses constituintes do quadro conceptual referido (ver Tinoca & Oliveira, 2013). Foi aplicado no final da UC, a todos os estudantes atravs da disponibilizao do seu endereo no frum Notcias do espao online da UC. Para alm de aferir o grau de satisfao dos estudantes em relao ao design de avaliao proposto, pretendeu-se com o questionrio obter orientaes na procura da melhoria da qualidade do ensino prestado.

Resultados Anlise dos e-flios Tratando-se os e-flios de trabalhos de avaliao realizados em formato eletrnico e individualmente, o nmero de estudantes que os submeteram foi bastante significativo, ou seja, dos 71 estudantes em avaliao contnua, 66 submeteram o e-flio A e 63 submeteram o e-flio B, nmero que se manteve quanto realizao do p-flio. A percentagem de estudantes que realizaram as atividades de avaliao previstas foi manifestamente boa: o e-flio A, cerca de 93%; o e-flio B, cerca de 89% e o p-flio, cerca de 85%. O enunciado dos e-flios inclui indicaes sobre a atividade a realizar, as competncias a avaliar, as normas para a realizao do trabalho, assim como os critrios de avaliao e respetivos pesos atribudos. No caso do e-flio A, os estudantes apresentaram narrativas diversificadas, centradas em diferentes disciplinas do ensino bsico (14 estudantes); do ensino secundrio (15 estudantes) e, tambm, do ensino superior (18 estudantes). Contudo, 18 estudantes no apresentaram especificamente um ano/ciclo e/ou disciplina. De um modo geral, os estudantes compreenderam o sentido da questo colocada, ao identificarem e fundamentarem as suas opes do ponto de vista das perspetivas tericas abordadas no mbito da UC. Refira-se, ainda, que no total das narrativas encontram-se contextos relacionados com disciplinas do 2. ciclo, de Matemtica, Ingls e Histria do 3. ciclo, Filosofia, Psicologia, Histria, Matemtica, Portugus, Geometria Descritiva, entre outras do ensino secundrio. Como interessante, destaca-se a seleo apresentada por dezoito estudantes sobre unidades curriculares da Licenciatura que frequentam atualmente. Relativamente ao e-flio B, os estudantes pesquisaram uma diversidade de textos na internet, destacando-se textos que apresentavam o porteflio como um dos instrumentos alternativos privilegiados, particularmente: (i) de avaliao da aprendizagem; (ii) como reconstruo do processo de aprendizagem; (iii) de (auto)avaliao docente; (iv) na avaliao da aprendizagem em matemtica; (v) de reflexo e (vi) na educao de jovens e adultos. Uma expressiva maioria dos estudantes evidenciou vantagens e inconvenientes relacionados com o uso do porteflio como um instrumento de avaliao alternativa em educao. Como vantajoso, ficou evidente o facto de permitir uma avaliao formativa,
10

reguladora das aprendizagens

e potenciador do desenvolvimento de

competncias metacognitivas mas, como maior inconveniente foi realada a dificuldade de concretizao dadas as exigncias de tempo. No p-flio os estudantes tiveram ainda oportunidade de expressar a sua reflexo acerca da avaliao no atual sistema educativo, tendo como base as perspetivas tericas abordadas no decorrer da UC. Destacam-se dessa anlise algumas ideias centrais, tais como: i) a importncia de uma viso holstica sobre a avaliao, sublinhando o papel regulador dos processos de ensino e aprendizagem; ii) apesar da evoluo que as concees tericas da avaliao tem sofrido, ao longo das ltimas dcadas, apontar no sentido de considerar as trs funes da avaliao, prevalece a viso da avaliao como uma medida, no tendo em conta todo o percurso do estudante, resumindo-se a uma avaliao sumativa; iii) sugere-se a reviso dos currculos, sobressaindo a necessidade de uma ligao entre estes e a avaliao implementada; iv) ter em considerao a utilizao efetiva de outros instrumentos de avaliao, nomeadamente a anlise de casos, os porteflios, os testes em duas fases, as situaes-problemas e os relatrios escritos.

Anlise dos fruns Como referido anteriormente, os fruns disponibilizados na UC em estudo apresentam diferentes funes, consoante o que se pretende realizar. Independentemente dessas funes, a participao em nenhum deles contabilizada com fins avaliativos, pois no foram criados com esse propsito. Provavelmente, por isso, nenhum dos fruns apresentou a interao merecida e que viria a enriquecer a aprendizagem no s individual como de grupo. Contudo, perante uma anlise do seu contedo realamos alguns aspetos que merecem a ateno: - O Frum Questes Gerais foi utilizado pelos estudantes essencialmente para: esclarecimentos sobre os procedimentos de avaliao ou sobre a disponibilizao e/ou acesso a contedos da UC. - No Frum PUC no houve qualquer interveno acerca do Plano Curricular proposto, mesmo tendo sido dada aos estudantes a oportunidade destes se manifestarem acerca dos procedimentos, momentos e instrumentos de avaliao.
11

- No Frum dos Temas os estudantes refletiram sobre as atividades formativas propostas, existindo em algumas situaes a partilha de ideias, informaes e, tambm, de snteses sobre os textos. Contudo, estes espaos foram usados por um grupo de estudantes, em nmero reduzido, que no conseguiu estimular a interveno dos restantes. - O Frum de Dvidas foi, tambm, acedido por um nmero reduzido de estudantes, mesmo se tratando de um espao para a colocao de dvidas e pedidos de esclarecimento, embora as questes tenham sido pertinentes, demonstrando vontade em compreender alguns dos temas mais complexos.

Anlise dos questionrios No final do semestre foi aplicado o questionrio online, atravs da ferramenta Formulrio do Google, composto por quatro blocos de questes

correspondentes s quatro dimenses do quadro conceptual exposto anteriormente. O questionrio constitudo por 40 questes, s quais os estudantes podiam responder utilizando a escala de 1 a 4 (1-discordo totalmente e 4-concordo totalmente) foi respondido por 17% do total dos estudantes. Na anlise preliminar, agora apresentada, as respostas concordo e concordo totalmente foram agregadas, refletindo-se nas percentagens obtidas. No que diz respeito adequabilidade dos materiais para a prtica profissional 95% dos estudantes consideram-nos adequados, ou seja, a quase totalidade dos que responderam perceciona que os temas e respetivos materiais de apoio podem vir a ser utilizados como suporte da sua prtica atual ou futura. Se a totalidade dos estudantes considera que as atividades formativas contriburam para organizar o estudo, nem todos (88%) referem que as mesmas potenciaram o desempenho nas tarefas de avaliao. No que concerne aos itens se a diversidade de tarefas de avaliao e se a realizao das mesmas em diferentes condies contriburam para uma avaliao a totalidade dos respondentes concorda ou concorda totalmente com as afirmaes. As tarefas de avaliao digital propostas (e-flio A e e-flio B) so percecionadas por mais de 80% dos respondentes como sendo exigentes e desafiantes e a totalidade dos mesmos considera-as adequadas s
12

competncias a desenvolver no mbito da UC. Cerca de 25% referem que o pflio tem um valor pouco significativo quando comparado com os e-flios. Consonante com estas respostas, 94% dos estudantes afirmam que os e-flios lhes exigiram grande investimento e 30% diz que consumiu muito tempo com os mesmos relativamente ao peso na classificao final. Em relao s orientaes que foram disponibilizadas para a realizao dos eflios a totalidade dos respondentes afirma que contriburam para um bom desempenho, mas relativamente s orientaes para o p-flio/exame s 88% refere que contriburam para um bom desempenho. Quanto ao tempo dado para a realizao dos e-flios cerca de 90% considera-o suficiente e 82% afirma o mesmo em relao ao tempo de realizao dos p-flios. Ainda no que diz respeito s tarefas de avaliao digital, 100% dos respondentes percecionam que as mesmas contriburam para a regulao do processo de aprendizagem, para o desenvolvimento de competncias metacognitivas, abriram perspetivas sobre como desenvolver as suas prticas atuias e futuras e motivaram-nos a pesquisar outros materiais. Outros aspetos, ainda, relacionados com as tarefas de avaliao, tal como se os critrios de avaliao apresentados nos enunciados dos e-flios estavam consistentes com as competncias a avaliar 100% concorda ou concorda

totalmente ; em relao questo se o conhecimento prvio, no enunciado dos e-flios dos critrios de avaliao se revelou positivo para o desempenho 94% diz concordar ou concorda totalmente. Em relao aos comentrios aos e-flios, foram de feedback descritivo (Gipps, 1999), 100% dos respondentes afirmam que foram uma mais-valia para a sua aprendizagem e 94% consideram que os mesmos encorajaram a auto-regulao. Embora os fruns tenham tido um nmero reduzido de participaes, quando se pergunta se aprenderam com as dvidas que os colegas colocaram nos mesmos, destacam-se 88% de respondentes que concordam ou concordam totalmente. J no que diz respeito ao conhecimento prvio, atravs do Plano de Unidade Curricular, do design de avaliao a totalidade dos estudantes afirma ter sido relevante para a aprendizagem. Quanto ao tempo decorrido entre a realizao das tarefas e a divulgao dos resultados, 94% dos estudantes consideram-no adequado, 12% refere ter tido dificuldade na utilizao da tecnologia e servios eletrnicos necessrios para
13

a realizao das tarefas de avaliao, mas a totalidade dos respondentes afirmam que a avaliao digital foi prtica e eficaz. No final do questionrio, os estudantes poderiam ainda elaborar alguns comentrios gerais no sentido de apresentar uma viso mais global (no limitada s questes sugeridas) e de ajudar os professores a refletirem sobre possveis melhorias a implementar no futuro quanto ao design de avaliao da UC. Destacam-se dois comentrios: (i) o bom acompanhamento e feedback feito pelos professores contribuiu para o desenvolvimento da auto-avaliao; (ii) a participao nos fruns por parte dos estudantes em avaliao contnua deveria ser mais incentivada.

Consideraes finais O estudo que originou o presente artigo teve como primeiro objetivo evidenciar a aplicao de um modelo de avaliao digital alternativa (Pereira, Oliveira & Tinoca, 2010) a uma unidade curricular da Licenciatura em Educao, em oferta na Universidade Aberta, contemplando as dimenses autenticidade, consistncia, transparncia e praticabilidade, constituintes desse modelo. Um outro objetivo consistia em avaliar de que modo o design de avaliao implementado contribui para o reconhecimento por parte dos estudantes do valor formativo da avaliao. Em relao ao primeiro objetivo, tendo em considerao a anlise das tarefas de avaliao digital realizadas pelos estudantes e do prprio plano de unidade, juntamente com a anlise dos dados obtidos atravs do questionrio, possvel sublinhar que o referido design de avaliao apresenta aspetos relevantes do ponto de vista das quatro dimenses, como se sintetiza no quadro 2.

14

Quadro 2 Design de avaliao da unidade curricular com base nas dimenses do modelo de avaliao digital alternativa
Dimenso Caractersticas evidenciadas na UC
Os materiais foram adequados para a prtica profissional. As tarefas propostas foram desafiantes e adequadas, tendo em conta as exigncias da prtica. Os estudantes aprenderam com as dvidas dos colegas nos fruns. As tarefas de avaliao abriram perspetivas sobre como os estudantes desenvolviam na sua prtica. A realizao de tarefas em diferentes condies contriburam para uma avaliao justa. Os critrios de avaliao nos enunciados dos e-flios eram consistentes com as competncias a avaliar. O feedback dos docentes foi relevante, contribuindo para o desenvolvimento da auto-avaliao. Os comentrios dos e-flios encorajaram a auto-regulao. Os comentrios aos e-flios foram uma mais-valia para a aprendizagem. O conhecimento prvio, atravs do PUC, de estrutura de avaliao foi relevante para a aprendizagem/envolvimento dos estudantes. O conhecimento prvio, no enunciado dos e-flios, dos critrios de avaliao foi . Os estudantes desenvolveram competncias metacognitivas. As estratgias de avaliao contnua regularam o processo de aprendizagem. O tempo decorrido entre a realizao das tarefas e a divulgao dos resultados foi adequado. No existiu dificuldade na utilizao da tecnologia ou de servios eletrnicos necessrios para a realizao das tarefas de avaliao. A avaliao digital foi considerada prtica e eficaz.

Autenticidade

Consistncia

Transparncia

Praticabilidade

Uma anlise mais fina ir permitir averiguar se todos os parmetros includos em cada uma das quatro dimenses esto presentes e perceber possveis obstculos sua aplicao. Tambm, a baixa taxa de retorno dos questionrios suscita-nos dvidas, podendo questionar-se se as respostas seriam diferentes das obtidas se a percentagem de respondentes fosse mais elevada. No que concerne ao segundo objetivo, pode considerar-se que os estudantes reconheceram o valor formativo da avaliao, dando destaque: (i) ao conhecimento prvio do PUC e da estratgia de avaliao; (ii) pertinncia e utilidade dos temas tratados, assim como diversidade das tarefas propostas; (iii) ao feedback fornecido pelos docentes e (iv) ao desenvolvimento de competncias metacognitivas.
15

Pretendemos, ainda, com este estudo, apontar algumas sugestes no sentido de promover a qualidade de desenhos de avaliao digital alternativa. Argumentamos sobre a importncia de repensar estratgias de avaliao em ambientes digitais, nomeadamente com a aplicao de diversificados instrumentos de avaliao alternativos, no sentido de avaliar cada estudante como um todo e nas suas mais diversificadas competncias, concedendo-lhe algum espao de autoria, nomeadamente na definio de formas e de critrios de avaliao. Deste modo, os estudantes podero sentir-se mais

comprometidos com as regras do jogo e tirar da mais partido para a sua aprendizagem.

Referncias bibliogrficas

Amante, L. (2011). A Avaliao das Aprendizagens em Contexto Online: O e-Porteflio como Instrumento Alternativo. In P. Dias & A. J. Osrio, (Orgs.). Aprendizagem (In)Formal na Web Social. Ed. Centro de Competncias da Universidade do Minho, 221-236, Braga: Universidade do Minho. Baartman, L.; Bastiaens, T.; Kirchne, P. & Vleuten, C. (2007). Evaluating assessment quality In Competence-based education: A qualitative comparison of two frameworks. Educational Research Review, 2, 114-129. Barreiro-Pinto, I. & Silva, M. (2008). Avaliao da aprendizagem na educao online: relato de pesquisa. Educao, Formao & Tecnologias, 1 (2), 32-39. Consultado a 15/09/2013 em http://eft.educom.pt. Birenbaum, M. (1996). Assessment 2000: Towards a pluralistic approach to assessment. In M. Birenbaum & F. Dochy (Eds.), Alternatives in assessment of achievement, learning processes and prior knowledge, 3-29, Boston: Kluwer Academic Publishers.

16

Dierick, S. & Dochy, F. (2001). New lines in edumetrics: new forms of assessment lead to new assessment criteria. Studies in Educational Evaluation, 27, 307-329. Gipps, C. (1999).Socio-cultural aspects of assessment. Review of Research in Education, 24, 355-392. Gomes, M. (2005). Desafios do e-learning: do conceito s prticas. In Almeida, L. e Silva, B. (Orgs.). Atas do VIII Congresso GalaicoPortugus de PsicoPedagogia, 66-76, Braga: CIEd / IEP / UM. Gomes, M. (2009). Problemticas da avaliao em educao online. Atas da Conferncia Internacional de TIC na Educao: Challenges 2009 , 6, Braga: Universidade do Minho. Gomes, M.; Amante, L.; Oliveira, I. (2012). Avaliao digital no Ensino Superior em Portugal: projeto @ssess.he. Revista Linhas, 13 (2), jul/dez. 2012, Florianpolis. Lisba, E.; Junior, J. & Coutinho, C. (2009). Avaliao de aprendizagens em ambientes online: o contributo das tecnologias Web 2.0. Atas da Conferncia Internacional de TIC na Educao - Challenges 2009, 17651778, Braga: Universidade do Minho. Pereira, A. (2012). Uma viso alternativa para a avaliao digital. In Dias, P. & Osrio, A. J. (Orgs.), TIC na Educao: Perspetivas de Inovao, Braga: Centro de Competncia da Universidade do Minho. Pereira, A.; Gomes, M.; Oliveira, I.; Tinoca; Pinto, M. & Gomes, C. (2012). Avaliao Online no Ensino Superior. In J. Matos; N. Pedro; A. Pedro; P. Patrocnio; J. Piedade & S. Lemos (Orgs.). Atas do II Congresso Internacional TIC e Educao. Lisboa: Instituto de Educao da Universidade de Lisboa. Pereira, A.; Oliveira, I. & Tinoca, L. (2010). A Cultura de Avaliao: que dimenses? In F. Costa; G. Miranda; J. Matos; I. Chagas & E. Cruz (Eds.). Atas do I Encontro Internacional TIC e Educao: TICEduca 2010. Lisboa, Nov. 2010. Pinto, J. & Santos, L. (2006). Modelos de Avaliao das Aprendizagens. Lisboa: Universidade Aberta.
17

Porto, S. (2005). A Avaliao da Aprendizagem no Ambiente On-line. In R. Silva e A. Silva (Org.). Educao, Aprendizagem e Tecnologias Um Paradigma para Professores do Sculo XXI, 139-161, Lisboa: Edies Slabo. Primo, A. (2006). Avaliao em processos de educao problematizadora online. In Silva, M. e Santos, E. (Org.). Avaliao da Aprendizagem em Educao Online, 38-49, So Paulo: Loyola. Santos, J. (2006). Avaliao no Ensino a Distncia. Revista Iberoamericana de Edcucacin, Vol. 38, 4, Retirado de

http://dialnet.unirioja.es/servlet/articulo?codigo=1704264. Silva, M. (2011). Avaliao da Aprendizagem em Educao Online Prof. Dr. Marco Silva. Vdeo carregado no Youtube a 03/01/2011. Disponvel em www.youtube.com/v/S7uUd6afEYE&list=PLQmfcDb4RIw1sceiRJtRh1R9 vLxYNzKyV&index=1 [Consultado a 15/05/2013]. Tinoca, L.; Oliveira, I. & Pereira, A. (2013). A conceptual framework for e-assessment in Higher Education authenticity, consistency,

transparency and praticability. In Siran Mukerji and Purnedu Tripathi (Eds.). Handbook of Research on Transnational Higher Education Management. IGI Global.

18