You are on page 1of 10

Defining, Assessing, and Promoting E-learning Success: An Information Systems Perspective

Clyde W. Holsapple and Anita Lee-Post

Concepção e Avaliação em E-learning MPEL Universidade Aberta

Grupo Almada Negreiros: Ana Marmeleira, António Pedro Pereira, Eduarda Rondão, Joaquim Pinto, Margarida Marmeleira

Novembro 2010

Síntese

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

Clyde W. Holsapple and Anita Lee-Post
Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

2

Após a leitura e análise do texto «Defining, Assessing, and Promoting E-learning Success: An Information Systems Perspective», de Clyde W. Holsapple e Anita Lee-Post, apresentamos uma síntese das ideias principais apresentadas neste texto, dando conta dos objectivos do estudo desenvolvido, da metodologia adoptada e das conclusões a que se chegou, destacando, assim, os factores que, de acordo com os autores, devem ser considerados para promover o sucesso do E-learning. Objectivos do estudo desenvolvido O desenvolvimento da Internet e das ferramentas da Web 2.0 tem revolucionado a educação em geral e o E-learning em particular. De facto, o ensino a distância baseado na Internet é actualmente o modelo mais prevalecente no E-learning. Nesse sentido, os investigadores estão agora preocupados em tentar compreender o poder da Internet na educação e em encontrar um modelo que permita aferir o sucesso dos cursos em regime de E-learning. Tem havido muitos estudos nesta área, sendo que as primeiras investigações realizadas avaliaram o impacto do E-learning sob várias perspectivas: Comparativos de aprendizagem; Oportunidades de aprendizagem; Estilos de aprendizagem; Ambientes de aprendizagem; Resultados de aprendizagem; Práticas educativas, Custos-benefícios. Persiste, no entanto, a necessidade de integrar e formular um modelo holístico e abrangente que permita avaliar e testar as iniciativas de Elearning, reconhecendo que é importante analisar não só os resultados obtidos, mas sobretudo o processo. É nesta linha de investigação que se insere este artigo, que propõe um modelo de sucesso de E-learning orientado para a concepção, desenvolvimento e promoção de iniciativas de E-learning. Este estudo tem dois objectivos: • Colmatar a necessidade de estudar o sucesso do E-learning, baseando-se nos estudos já realizados;
Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

3

Analisar a exequibilidade de aplicação de um modelo de sucesso de sistemas de informação à avaliação e desenvolvimento de iniciativas de E-learning.

Criação do modelo O Modelo de Sucesso do E-learning apresentado pelos autores foi adaptado do modelo de DeLone e McLean (2003), que, por sua vez, é já uma extensão do seu modelo original (DeLone & McLean, 1992). Fundamentados em literatura referente ao sucesso de sistemas de informação, DeLone e McLean identificaram seis dimensões relativas a factores de sucesso – qualidade do sistema, qualidade da informação, utilização, satisfação do utilizador, impacto individual e impacto organizacional –, que estiveram na origem do modelo de sucesso apresentado na figura 1.

Figura 1: Modelo de Sucesso de Sistemas de informação de DeLone e McLean (versão original).

Este modelo veio não somente dar uma nova visão dos sistemas de informação, como também incutir uma nova abordagem do processo para o sucesso dos sistemas de informação, a tal ponto que na década seguinte à criação do modelo, este foi referenciando cerca de 285 vezes em publicações, revistas e actas, tendo sido aplicado, validado, alterado e criticado, e tendo estado na origem de vários estudos. Em função dos progressos da investigação e do desenvolvimento do comércio electrónico, DeLone e McLean (2003) alargaram e simplificaram o modelo original, combinando os impactos individuais e organizacionais numa única dimensão de sucesso intitulada "Benefícios Líquidos" e acrescentando uma nova dimensão de qualidade intitulada "Qualidade do Serviço".

Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

4

O resultado é um modelo actualizado particularmente aplicável para avaliação do sucesso dos sistemas de informação no ambiente de Internet, que mantém a premissa básica do modelo original de que a natureza do sucesso dos sistemas de informação deve ser analisada através de dimensões de sucesso multidimensional, que são interdependentes no sentido do processo, conforme ilustrado na Figura 2.

Figura 2: Actualização do Modelo de Sucesso de Sistemas de informação de DeLone e McLean (2003).

É este modelo actualizado que esteve na base do Modelo de Sucesso do E-learning proposto pelos autores do artigo, retratado na Figura 3.

Figura 3: O Modelo de Sucesso do E-learning e exemplo de métricas.

Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

5

Este modelo explicita o processo para medir e avaliar o sucesso do E-learning, numa abordagem que propõe que o sucesso global das iniciativas no E-learning depende da obtenção de sucesso em cada um dos três estágios de desenvolvimento de sistemas do E-learning: concepção, disponibilização e análise de resultados. O sucesso da fase de concepção é avaliado no desenrolar das três dimensões de factores de sucesso: a qualidade do sistema, qualidade da informação e qualidade de serviço. O sucesso da fase de disponibilização é avaliado em duas dimensões de factores de sucesso: a utilização e a satisfação do utilizador. Por fim, o sucesso da etapa do resultado do sistema é avaliado ao longo da dimensão dos benefícios líquidos. Todas as fases de avaliação do sucesso encontramse interligadas. O sucesso da concepção do sistema é essencial para o sistema de entrega, que de seguida, afectará os resultados do sistema. O sucesso dos resultados do sistema, entretanto também tem um impacto no subsequente sistema de entrega. O modelo foi investigado num contexto particular de E-learning: o desenvolvimento e implementação de uma versão online dum curso universitário na área dos negócios (métodos quantitativos) na plataforma Blackboard 5.0. Para cada uma das seis dimensões do modelo, a Figura 3 também mostra as métricas relevantes de sucesso para este contexto específico de E-learning. Estas métricas podem variar um pouco se forem utilizados noutros contextos de E-learning. Neste caso, a dimensão da qualidade do sistema mediu características desejáveis do ambiente Blackboard, como a facilidade de utilização e a estabilidade, entre outros; a dimensão da qualidade de informação avaliou o conteúdo do curso em aspectos como a organização, apresentação, etc.; a dimensão da qualidade do serviço mediu as interacções entre professor-aluno; as medidas da dimensão de utilização apresentam elementos do curso, que são realmente utilizados, incluindo slides de PowerPoint, clipes de áudio, tutoriais em Excel, etc.; a dimensão satisfação do utilizador afere as opiniões dos alunos sobre E-learning, baseadas na experiência ao longo do curso; a dimensão benefícios líquidos, dá destaque a aspectos positivos do E-learning em termos do melhoramento da aprendizagem, por exemplo, bem como os aspectos negativos do E-learning, em termos de falta de contacto, isolamento social, problemas da qualidade e dependência da tecnologia. Metodologia adoptada para a validação do modelo O Modelo de Sucesso do E-learning foi validado através de uma metodologia de Pesquisa-Acção, aplicada a um curso online sobre métodos
Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

6

quantitativos na área económica. Foi seguido um processo interactivo em quatro ciclos, envolvendo cinco fases para atingir a compreensão do que constitui o sucesso em E-learning: diagnosticar, planear, agir, avaliar e aprender (Susman & Evered, 1978), como ilustrado na figura seguinte:

Figura 4: As cinco fases da pesquisa-ação.

Os dois primeiros ciclos foram desenvolvidos a partir de um módulo do curso e os outros dois ciclos a partir do curso completo. Considerou-se mais vantajoso fazer um estudo piloto, trabalhando inicialmente com base num protótipo (o módulo isolado). De facto, os dois primeiros ciclos da pesquisa-acção confirmaram o valor da avaliação do sucesso do E-learning numa perspectiva dos sistemas de informação e estabeleceram a base para os dois ciclos seguintes, onde se utilizaram já as seis dimensões do Modelo de Sucesso do E-learning. No final do primeiro ciclo, foi aplicado um inquérito aos alunos, que teve resultados pouco animadores. As opiniões recolhidas junto destes alunos indiciaram falta de entusiasmo para com o E-learning, pelo que no segundo ciclo tentou-se promover a satisfação dos utilizadores e o impacto individual, apresentando-se inicialmente as vantagens de realizar o módulo online e disponibilizando-se um maior número de materiais mais apelativos. Os resultados do inquérito aplicado neste segundo ciclo foram mais animadores, embora a dimensão da satisfação pessoal continuasse mais baixa que as outras dimensões. Assim, no terceiro ciclo, que já se referiu
Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

7

ao curso completo, procurou-se evitar que os alunos fossem forçados a uma situação de E-learning, pelo que foram seleccionados apenas os alunos que apresentavam aptidão para o E-learning. As sugestões apresentadas pelos alunos em vários inquéritos levaram a algumas alterações no curso, cuja nova versão foi analisada no quarto ciclo. Os resultados do estudo e em particular a evolução positiva que se verificou entre os vários ciclos de acção revelam o valor de se aferir o sucesso de um curso online a partir da perspectiva do Sistema de Informação. Mostram ainda que seguir uma metodologia de pesquisa-acção em cinco fases, desenvolvida em ciclos sucessivos permite proceder a melhorias efectivas do sistema, contribuindo para uma plena compreensão dos factores em estudo. Conclusões do Estudo O estudo desenvolvido a partir da aplicação do modelo permitiu chegar a conclusões interessantes no que diz respeito a aspectos que devem ser levados em conta na implementação de cursos online e lançou pistas para futuras investigações que, pela sua pertinência, resolvemos destacar. A motivação dos estudantes: Numa primeira fase, a adesão dos estudantes a um curso online não foi muito positiva, mas o facto de se ter seleccionado alunos motivados para este tipo de ensino, para quem (de acordo com o inquérito relativo às expectativas face ao curso) uma das expectativas positivas era a possibilidade de se poder controlar onde e quando aprender, teve um impacto positivo no grau de satisfação dos utilizadores. Isso revela que um factor importante a ter em consideração é a motivação dos estudantes para frequentar um curso online. O à-vontade dos estudantes no uso das tecnologias e a sua predisposição para aprender online são um factor determinante para o sucesso do E-learning. Potencial educativo da internet: Outra conclusão a que se chegou é que, apesar das diferenças entre os elementos que os estudantes online e os estudantes tradicionais apontaram como sendo os mais importantes para a aprendizagem, nenhum dos elementos privilegiados pelos estudantes tradicionais (compreender o professor, compreender os materiais do curso, obter feedback sobre trabalho realizado, obter feedback do professor, completar trabalhos solicitados) é incompatível com os cursos online. Pelo contrário, os mais difíceis de operacionalizar num curso online (estudar em
Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

8

grupo, expor ideias à turma) vieram no fim das preferências desses estudantes. Isso evidencia o potencial educativo da internet como ferramenta de ensino, capaz de corresponder às necessidades dos estudantes. Necessidade de contacto humano: Mesmo alunos motivados para o E-learning responderam num dos inquéritos aplicados que sentiam necessidade de um maior contacto humano, como ficou evidente nas sugestões apresentadas: ver os comentários de outros colegas, poder conversar com outros colegas, ter mais interacção com outros colegas e ter aulas presenciais facultativas. Muitas dessas sugestões podem ser operacionalizadas online, mas, independentemente disso, são reveladoras de que a internet nunca conseguirá substituir completamente a presença humana. Pistas para futuras investigações As conclusões apresentadas acima permitiram levantar uma série de questões que deveriam ser objecto de uma investigação mais aprofundada, nomeadamente: - Como estimular uma atitude mais positiva dos estudantes face ao Elearning? - Como tirar pelo proveito do potencial educativo da internet? - Como encontrar um equilíbrio satisfatório entre o ensino tradicional e o E-learning? - Como promover o E-learning enquanto um meio efectivo de trazer mais qualidade ao ensino e não apenas uma moda. Os autores sugerem igualmente o aprofundamento da análise do Modelo de Sucesso do E-learning aqui apresentado, bem como a operacionalização das diferentes dimensões que o constituem, de forma a melhorar o modelo e a torná-lo aplicável a outras situações online.

Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

9

Em síntese O Modelo de Sucesso do E-learning proposto pelos autores pretende definir, avaliar e promover o sucesso de cursos em regime de E-learning centrando a sua atenção nos sistemas de informação: a concepção, a disponibilização e o sucesso do sistema. Assim, depois de validado pela metodologia descrita acima, o modelo pode ser resumido no esquema abaixo.

O sucesso de um curso online só é atingível pelo sucesso de cada uma das dimensões do modelo, que estão interligadas entre si. A Concepção do Sistema determina o sucesso da Disponibilização do Sistema que, por sua vez, determina o sucesso dos Resultados. Esta última dimensão poderá conduzir igualmente em alterações nas dimensões anteriores. Isso indica que não se pode tentar atingir o sucesso do Elearning apenas a partir de uma dimensão isolada.

Grupo Almada Negreiros
Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação

10