MUDANA E INOVAO PEDAGGICA NO ENSINO SUPERIOR PELA VIA TECNOLGICA DIMENSES DE GESTO E AVALIAO Srgio Andr Ferreira

Escola Bsica e Secundria das Flores

Antnio Andrade
Faculdade de Economia e Gesto, Universidade Catlica Portuguesa

Resumo
Os Ambientes de Aprendizagem Enriquecidos pela Tecnologia (TELE1) so fundamentais na competitividade das Instituies do Ensino Superior (IES). A globalizao das fontes do saber, o crescimento da concorrncia entre instituies, o encurtamento da durao dos ciclos de formao, o aumento da importncia da formao ao longo da vida e o aprofundamento da cooperao entre IES de pases diferentes so alguns dos factores que exigem ambientes de aprendizagem tecnologicamente ricos, com base de trabalho online. Os TELE so vistos como suporte fundamental na reengenharia pedaggica, podendo suportar de forma mais efectiva a aproximao a losoas educacionais de cariz mais construtivista. Contudo, apesar dos avultados investimentos, uma parte signicativa destes ambientes falha ou ca aqum das expectativas. A inadequao das polticas para introduzir mudanas nas organizaes por via da tecnologia e a falta de modelos de gesto e avaliao so aspectos que comprometem o sucesso destas iniciativas. Os TELE tm um grande potencial inovador e, por norma, implicam um investimento muito alto que tem de ser justicado, demonstrando a relao custo/benefcio das tecnologias. Assim, a denio de modelos de gesto e de avaliao, que funcionem como guias de aco, so factores fundamentais para eccia das aces e garantia da qualidade.
1

Technology Enhanced Learning Environments.

206

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

Neste trabalho, que decorre da reviso de literatura, apresentamos alguns modelos que orientam o processo de mudana e inovao nas organizaes e linhas-guias para avaliao, enquanto instrumento de gesto, de TELE. Palavras-chave: Ambientes de Aprendizagem Enriquecidos pela Tecnologia (TELE), Avaliao contextual, construtivismo, modelo de avaliao, mudanas organizacionais.

1. Ambientes de Aprendizagem Enriquecidos pela Tecnologia (TELE) delimitao do conceito

O conceito Ambientes de Aprendizagem Enriquecidos pela Tecnologia (TELE Technology Enhanced Learning Environments) abrangente e, por isso, no fcil delimitar nem tem uma nica denio. No Report of the Technology Enhanced Learning Committee, da Universidade do Texas denido da seguinte maneira: Technology enhanced learning leverages technology to maximize learning within an environment of sound course design that can offer students the options of time, place, and pace and emphasizes different learning styles. There is no one denition for the look or feel of a technology enhanced course; instead, this effort occurs along a very broad spectrum that at one end can include a course with only minimal technology enhancement such as a Web site with an electronic syllabus, while at the opposite end is found a robust, multimedia rich, interactive, collaborative, fully online course. () Technology enhanced learning represents one stage in the natural evolution of educational methods that integrates advances in pedagogy with those of design, interaction, delivery, and assessment technologies. The type and amount of technology incorporated into the instructional environment can and should vary according to the subject, the instructor, and the courses objectives. Instructional technologies have made it possible to emphasize different learning styles and offer a range of learning options that together can provide much more individualized instruction. (Armstrong, Ashcroft, Bruce, Buskirk, Cullingford, Davis, et al. 2004, pp. 6,7)

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

207

Na delimitao do conceito de TELE, mais do que procurar formulaes ou denies rgidas, procurmos estabelecer pontos de vista comuns, que facilitem a comunicao. Assim, e seguindo a perspectiva presente no Relatrio da Universidade do Texas, entendemos que um TELE vai para alm de questes do foro tecnolgico e centra-se na construo de ambientes de aprendizagem, suportados pela tecnologia com diferentes nveis de aprofundamento e integrao.

2. A importncia crescente dos Ambientes de Aprendizagem Enriquecidos pela Tecnologia (TELE) para as Instituies de Ensino Superior
Tem-se assistido a uma rpida integrao de TELE no ensino superior, cuja face mais visvel a generalizao das LMS (Learning Management Systems) para disponibilizao de formao online. O investimento em TELE assume uma importncia estratgica fundamental na competitividade das Instituies do Ensino Superior (IES). Alguns factores tm concorrido para esta situao: O Processo de Bolonha preconiza uma alterao de fundo no modelo pedaggico de ensino e aprendizagem, privilegiando a aquisio de competncias por parte do aluno e no o simples acumular dos conhecimentos leccionados. Por outras palavras, no se trata apenas de aprender conceitos, que sero depois avaliados. O aluno ter, ele prprio, que adquirir competncias, sendo, desta forma, co-responsvel pela sua prpria formao. Esta losoa remete-nos para aproximaes a modelos pedaggicos de cariz mais construtivista, em que os Learning Objects (LO), como multimdia, simuladores e jogos srios so ferramentas cognitivas fundamentais (e.g. Jonassen, Peck & Wilson, 1999; Jonassen, Howland, Moore, & Marra, 2003; Jonassen, 2007); O estudo Plataformas de e-learning no ensino superior: avaliao da situao actual revela que a maioria das IES se limita disponibilizao online de apontamentos, acetatos e exerccios e a eventuais respostas, dadas pelo docente a mensagens de correio electrnico (Brando, 2004, p. ii). Esta uma viso alinhada com o ensino presencial na sua viso controladora e centralizadora. Actualmente, o crescimento da importncia das redes sociais e do trabalho colaborativo das multides inteligentes (Tapscott & Williams, 2008) acentuam o valor da Social Learning Network (SLN), impondo-se a necessidade das IES evolurem da arquitectura dos LMS para a arquitectura Hybrid Institutional Personal Learning Environment (HIPLE), como ponte entre a viso da instituio e do sujeito.

208

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

Os TELE como suporte na reengenharia pedaggica: as TIC, entendidas como tecnologias educativas, so defendidas como podendo suportar de forma mais efectiva a construo do conhecimento e a promoo de aprendizagens signicativas, em particular se utilizadas como ferramentas cognitivas de ampliao das capacidades mentais e no, como tradicionalmente acontece, apenas como meios de envio da informao ou tutores de alunos (Jonassen, 2007); Com a implementao do processo Bolonha no ensino superior, haver, previsivelmente, uma parte signicativa da populao estudantil que tender a car menos disponvel para uma educao presencial a tempo inteiro aps a concluso do 1. ciclo. As IES podero tirar dividendos se oferecerem modalidades de ensino combinado (b-learning) e a distncia que possibilitem alargar o leque de potenciais candidatos para os 2. e 3. ciclos. Mesmo no ensino presencial, a disponibilizao online de parte dos contedos, ou a extenso virtual da sala de aula presencial, poder permitir um maior acompanhamento da actividade lectiva por estudantes, que por razes de ordem prossional ou outros motivos de fora maior, no podem registar uma presena assdua nas aulas; O aprofundamento da cooperao de IES de pases diferentes, os projectos de circulao de pessoas (professores, investigadores e alunos) e programas integrados de estudo, de estgio e de investigao, previstos na declarao de Bolonha, podero ser favorecidos se existir uma base de trabalho online que facilite; A quebra da natalidade, que tem reexos na diminuio do nmero de estudantes, e a crescente mobilidade da populao estudantil ao longo do seu percurso de formao fomenta a concorrncia entre IES. O desenvolvimento de TELE ecientes poder ser determinantes na atractividade das instituies; Se, por um lado, a globalizao das fontes do saber permite levar o mundo escola, por outro lado, os notebooks, netbooks, tablets, smartphones e similares podem levar a escola a qualquer lugar do planeta. Por aqui se abre uma nova fronteira de Personal Learning Environments (PLE) que oferece a possibilidade ao estudante de controlar e gerir a sua prpria aprendizagem. O aumento da necessidade de formao ao longo da vida exige modelos de formao a distncia ou uma combinao presencial/a distncia; A penetrao das tecnologias em todas as actividades humanas uma realidade e as IES que no conseguirem introduzir a mudana pela via da tecnologia sero menos competitivas.

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

209

3. Factores que comprometem a integrao da tecnologia

A problemtica da utilizao dos TELE no processo de ensino e aprendizagem entrou inequivocamente nos temas educacionais em debate. Muitas tm sido as esperanas depositadas no seu potencial ao servio da educao, mas muitos tm sido tambm, os fracassos ao nvel dos resultados. Nas palavras de Lippert e Davids (2006, p. 434): Trillions of dollars are annually spent on the development and implementation of information technology within the United States and around the world. On average, roughly 50% of such systems are considered failures or fall short of meeting the expectations set forth by management. Muitos dos resultados menos satisfatrios podem, pelo menos parcialmente, ser explicados pela excessiva importncia assumida pelos aspectos tcnicos, em detrimento de variveis organizativas, didcticas e curriculares, tais como: a capacidade da organizao para fazer a mudana, a estruturao dos contedos, a utilizao das ferramentas de comunicao, a aplicao de tcnicas de trabalho colaborativo e o papel desempenhado pelo tutor (Cejudo, 2006). A introduo da tecnologia na educao no signica, necessariamente, uma mais-valia nem uma ruptura com os modelos educacionais do passado. A utilizao da tecnologia quando no acompanhada por mudanas nos modelos de formao, apenas d uma aparncia de mudana e modernidade ao ensino e aprendizagem. A aposta na formao dos professores e tutores, a interligao entre a tecnologia e a prtica pedaggica so factores essenciais no salto qualitativo dos modelos de formao (Fernandes, 2006). Rosenberg (2006) sintetiza os principais factores que podem comprometer o sucesso de qualquer iniciativa na introduo de TELE nas organizaes (gura 1)
Figura 1- Nove sinais de alarme na dinmica dos TELE nas organizaes

Rosenberg (2006)

210

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

1. Tecnologia sem estratgia - Acontece quando a tecnologia se sobrepe aos objectivos estratgicos da instituio, nomeadamente s metas do modelo de ensino e aprendizagem que se pretende desenvolver; 2. Disperso de objectivos - Incapacidade de denir padres de desempenho desejveis e de direccionar a oferta formativa a pblicos-alvo especcos; 3. Falta de um ncleo de especialistas - A falta de pessoal especialista compromete processos de gesto, design, desenvolvimento e posicionamento estratgico; 4. No ter ateno s caractersticas especcas dos TELE - Falha na aplicao de tcnicas especcas no campo pedaggico e tecnolgico de um TELE. Este factor diminui a qualidade e a inovao potencial destes ambientes; 5. Avaliao incipiente - A inexistncia de avaliao das diversas vertentes do curso impossibilita a aferio rigorosa da eccia do sistema; 6. Limitao da tecnologia aos contedos do currculo - Incapacidade de construir ambientes de aprendizagem imersos em tecnologia, facilitadores da partilha de conhecimento e do trabalho colaborativo; 7. Gesto ineciente - Incapacidade de se tomar decises colaborativas sobre estratgias e operaes; 8. Fraco envolvimento dos decisores Uma estratgia sem o slido envolvimento dos decisores limita a mudana e, por consequncia, o desenvolvimento do TELE; 9. Impreparao da organizao para aceitar a mudana Atitudes de resistncia e falta de competncias do pessoal podem ser entraves srios implementao do TELE.

4. Introduzir mudanas nas organizaes

Os estudos de Kotter (1996) e de Kotter e Cohen (2002), sobre os processos de mudana em organizaes, concluem que a velocidade da mudana, nas vrias vertentes da sociedade, vai ser cada vez mais acelerada, exigindo capacidade de adaptao rpida. Durante o perodo entre os dois estudos, Kotter ca convencido que 90% das organizaes ignoram mudanas exteriores importantes ou, quando as identicam, tentam ajustar-se atravs de aces pouco ecazes: despende-se demasiado dinheiro para alcanar parcos resultados e com demasiada frustrao de toda a parte (Kotter & Rathgeber, 2009). Kotter (1996), baseado numa pesquisa extensiva sobre a mudana das organizaes, identicou um padro de Oito passos (gura 2) associado a iniciativas de mudanas com elevada taxa de sucesso.

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

211

Nos Oito passos denida uma metodologia capaz de lidar com grandes mudanas: criar novas e melhores relaes, fomentar maior crescimento, eliminar insucincias, melhorar a qualidade dos produtos e servios ou reestruturar os recursos humanos e processos. O verdadeiro progresso exige a participao das cheas, das equipas lderes e de todos os que tm um papel na organizao. O correcto diagnstico das mudanas sociais, a compreenso da urgncia da adaptao da organizao como resposta a essas mutaes, o favorecimento de um bom relacionamento entre todos e a comunicao nunca devero ser menosprezados, tanto mais que parte do xito da mudana est em factores psicossociais, como a emoo e a conana (Kotter & Rathgeber, 2009).
Figura 2- Oito passos para a introduo de mudanas nas organizaes

(Adaptado pelos autores a partir de: Kotter, 1996; Kotter & Rathgeber, 2009)

212

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

A gura 3 mostra o processo de introduo de mudanas nas organizaes, proposto por Hickman (2010).
Figura 3- Processo da introduo da mudana nas organizaes

(Hickaman, 2010, p. 1)

Este modelo tem algumas semelhanas com o modelo dos Oito passos, proposto por Kotter (1996). Tambm aqui, o processo de mudana comea com uma avaliao da alterao das condies externas e da tomada de conscincia que a organizao tem de mudar para dar resposta a esse novo cenrio, sob pena de no conseguir ser eciente nem competitiva, correndo, inclusivamente, o risco de desparecer. Nestes modelos existe um pouco de teoria darwinista da evoluo por seleco natural, na medida em que a percepo da mudana e capacidade de adaptao a esse novo contexto essencial para o sucesso It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is the most adaptable to change (frase atribuda a Darwin que sintetiza a Teoria da evoluo das espcies por seleco natural). O centro do diagrama de Venn (gura 3) representa o processo e as aces que permitem orientar todos os componentes da vida organizacional rumo mudan-

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

213

a. A partilha de responsabilidades dos gestores, e de que tem poder de deciso, com outros actores da organizao, fundamental na implementao ecaz do plano de aco e na adaptao da estrutura da organizao. O desenvolvimento das mudanas organizacionais conseguidas deve ter reexos na sociedade. Transpondo este modelo para o caso especco da introduo da mudana nas IES por via da tecnologia: a necessidade de mudana pela introduo da tecnologia surge por presso do ambiente social e espera-se que o output das mudanas organizacionais tenha reexos no modo como as IES prestam o seu servio sociedade. Tal como na teoria darwinista, este processo dialctico, pois o ambiente exterior s IES est em constante mutao, sendo vital que as organizaes desenvolvam esquemas para que possam introduzir as mudanas e fazer adaptaes contnuas de forma ecaz, pois s assim podem ser competitivas e prosperar.

5. A avaliao da qualidade e a melhoria das prticas: uma preocupao crescente

Para uma introduo ecaz de mudanas nas organizaes por via da tecnologia necessrio desenvolver um processo de avaliao que assegure a qualidade e que funcione como guia de aco. Nos TELE reside um enorme potencial inovador, que no pode ser dissociado da sua viabilidade econmica, exigindo-se uma correcta avaliao custo/benefcio das tecnologias (Centre for Academic Practice, 2010). Na perspectiva da American Society for Quality1 , a qualidade o que dene e guia o sucesso individual das organizaes e das comunidades sem interromper o seu processo de evoluo. Trata-se de um processo contnuo de desenvolvimento e de perseguio das melhores prticas. A qualidade s pode ser melhorada se existir uma avaliao das prticas. Segundo o European Quality Observatory2 : Quality in e-learning has a twofold signicance in Europe: rst, e-learning is associated in many discussion papers and plans with an increase in the quality of educational opportunities, ensuring that the shift to the information society is more successful. We call this context quality through e-learning. Second, there is a separate but associated debate about ways of improving the quality of e-learning itself. We term this context quality for e-learning (European Quality Observatory, 2005, p.1).
1 2

http://www.asq.org/
http://www.virtualcampuses.eu/index.php/European_Quality_Observatory

214

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

A avaliao da qualidade e a melhoria das prticas so o objectivo da European Foundation for Quality in E-Learning (EFQUEL) 3, uma organizao europeia cujo principal objectivo promover a qualidade do e-learning, atravs de servios de apoio a instituies e agentes implicados no e-learning em geral. Esta fundao criou um observatrio europeu de qualidade no e-learning, projectos, grupos de trabalho e publicaes de interesse, assim como a criao de um prmio europeu para a eQuality. Entre os projectos da EFQUEL, destaca-se o eUnique4 , em que participam diversos centros de investigao e universidades europeias, que tem como objectivo a criao de uma ferramenta que ajude as universidades europeias a potencializar o uso educativo que fazem da tecnologia. Existem algumas outras associaes europeias que promovem projectos, seminrios e publicaes especcas sobre a qualidade do e-learning, fazendo algumas propostas de como avaliar os TELE, como, por exemplo, a European Distance on elearning Network (EDEN)5 e o European Association for Distance Teaching Universities (EADTU) 6. Se na literatura consensual que a avaliao um aspecto de capital importncia no desenvolvimento dos TELE, em particular dos cursos de e-learning, a forma como se avalia e que aspectos devem ser objecto de avaliao que se assumem como assuntos de maior controvrsia: How to evaluate e-learning appropriately is thus the crucial question for researchers trying to understand the impact and effectiveness of e-learning in a business or academic environment (Voigt & Swatman, 2004, p. 175).

6. Modelos de Avaliao
Existem na literatura imensas propostas de avaliao global da utilizao das tecnologias na educao. No mbito do e-learning, o clssico modelo de Kirkpatrick muito aplicado. Kruse (2006) recupera o modelo clssico dos quatro nveis de avaliao de Kirkpatrick (1975) e adapta-o avaliao em e-learning (quadro 1).

www.efquel.org http://www.qualityfoundation.org/ 5 http://www.eden-online.org/ 6 http://www.eadtu.nl/

4

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

215

Quadro 1- Avaliao em e-learning: introduo ao modelo de Kirkpatrick

Nvel Parmetros de Avaliao Os objectivos do curso so relevantes? O curso tem a capacidade de manter interesse? Os contedos so adequados e tm a interactividade necessria? Existe facilidade de navegao? percebido o valor e a possibilidade de transferncia das aprendizagens para o local de trabalho? Os estudantes atingiram os objectivos (conhecimentos, capacidades e atitudes) denidos no programa? Em que medida aplicam os novos conhecimentos e competncias no seu local de trabalho? As aprendizagens realizadas na formao tm impacto na actividade da empresa? Kruse, K. (2002)

Nvel 1 Satisfao Nvel 2 Aprendizagens Nvel 3 Competncias Nvel4 Resultados

Rosa e Angulo (2007) desenvolveram um Modelo de Excelncia de Programas Formativos Online (MEPFL), adaptando o Modelo de Excelncia da Fundao Europeia para a Gesto da Qualidade (EFQM). O Modelo da EFQM foi introduzido, em 1991, no campo da gesto empresarial, e destina-se a permitir a auto-avaliao da qualidade organizacional, constituindo a base de apreciao das candidaturas ao European Quality Award (EQA) Galardo Europeu da Qualidade (quadro 2).
Quadro 2- Critrios e indicadores de qualidade de MEPFL (Modelo de Excelncia de Programas Formativos ONLINE)
Critrios Critrio I Programa formativo Indicadores de qualidade Indicador de qualidade 1: Como so elaborados os objectivos de um programa de formao? Indicador de qualidade 2: Como se favorece a exibilidade curricular dando, simultaneamente, resposta aos objectivos do programa formativo? Indicador de qualidade 3: Como se planicam aces de melhoria contnua? Indicador de qualidade 4: Como se estabelece uma comunicao ecaz? Indicador de qualidade 5: Como se envolve os professores nas actividades de investigao, desenvolvimento e inovao? Indicador de qualidade 6: Como se valoriza a docncia? Indicador de qualidade 7: Como se articulam a biblioteca e as bases documentais com o processo formativo? Indicador de qualidade 8: Os meios e os recursos esto adaptados ao programa formativo? Indicador de qualidade 9: Como se desenvolvem as competncias dos estudantes no processo de ensino e aprendizagem? Indicador de qualidade 10: Qual a metodologia do processo de ensino e aprendizagem? Indicador de qualidade 11: Como que a tutoria orienta e motiva o estudante durante o formativo? Indicador de qualidade 12: Como se mede a satisfao do aluno no processo formativo?

Critrio II Organizao do ensino e aprendizagem Critrio III Recursos humanos Critrio IV Recursos materiais

Critrio V Processo formativo

Critrio VI Resultados

Rosa, O., & Angulo, L. (2007)

216

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

No modelo de Rosa e Angulo (2007) considerado um conjunto de seis critrios e doze indicadores de qualidade, que permitem avaliar a eccia de um determinado programa formativo em contexto de e-learning, aferindo em que medida os participantes implicados no MEPFL dominaram o conjunto de indicadores de qualidade do programa formativo expostos no quadro 2. Os ambientes acadmicos ainda em transio de processos de um ensino presencial e centrado no docente, para um ensino misto e com uso crescente de tecnologia, associado a uma pesquisa de mudanas pedaggicas, necessitam de um modelo de monitorizao de fcil e rpida aplicao. O quadro 3 identica uma possvel abordagem para este sistema simples de monitorizao da migrao de um sistema tradicional para um sistema que incorpora tecnologias no ensino e aprendizagem.
Quadro 3 Adaptao do Modelo de Kaczynski, Wood, e Harding

Eixos
Dinmica dos Acessos Qual a frequncia de acesso necessria para ter sucesso no curso? Avaliao Qual o volume da avaliao realizada online Comunicao Qual o volume vericado na comunicao online Contedo (elementos) Qual o contedo da Unidade Curricular (UC) disponvel online

Nveis
Um acesso por semestre Um acesso por ms Um acesso por semana Dois a trs acessos por semana Diariamente Nula Reduzida Cerca de metade Maioria Toda a avaliao Reduzida Menos de metade Mais de metade Na sua maioria Toda a comunicao Informao sobre UC (programa, avaliao, objectivos, equipa docente, etc.) Livro, ou texto de apoio Material das aulas (tericas e prticas) Exerccios (casos, solues, exames, etc.) Informao complementar (um ponto por cada) Simuladores (Jogos e animaes) Vdeo (especco, youtube) Som (podcast) Diapositivos (slides aulas) Sites complementares (um ponto por cada) Essencialmente dependente do presencial Aulas signicativas, mas materiais, exerccios e avaliao online Contacto regular face-a-face limitado Contacto face-a-face espordico Sem contacto face-a-face Kaczynski, Wood, & Harding (2008)

Contedos (Riqueza Digital) O contedo tira partido do ambiente digital

Independncia Qual o grau de independncia da UC face ao modelo presencial tradicional

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

217

Por tudo o que foi dito, a avaliao uma temtica assaz pertinente e fundamental na criao de uma dinmica participada de construo, adaptao e valorizao contnua dos TELE: Este processo [de avaliao] ter, portanto, que contemplar a participao e a negociao dos diferentes actores implicados nesse mesmo processo (conceptores, formandos, formadores,), devendo traduzir-se numa reexo contnua sobre os objectivos denidos, se alcanados ou no, sobre o que necessrio redenir, o que que importa manter e o que que pode ser importante alterar, num contnuo entre avaliao diagnstica (Onde estamos? O ponto da situao) e prognstica (Onde pretendemos chegar? Objectivos a atingir). Trata-se de um processo de avaliaoformao contnua no qual participam os diferentes actores implicados. (Gomes, Silva & Silva, 2004, p. 1,2) A Matriz das Integrao da Tecnologia (TIM - Technology Integration Matrix), elaborada pelo Florida Center for Instructional Technology (2010), ilustra as cinco fases da mudana organizacional para alcanar o mais elevado nvel da mudana de um TELE. Idealmente, um TELE evoluir de uma fase de introduo para uma fase de transformao, que atingida quando a tecnologia utilizada ecazmente por todas as pessoas da organizao e a cultura de partilha de conhecimento a regra. Na fase da transformao, todo o TELE est imerso na tecnologia e no funciona sem ela. Uma cultura de avaliao participada fundamental na construo, adaptao e evoluo de TELE para nveis de integrao crescentes. Na gura 4, construmos o esquema da evoluo da integrao tecnolgica no currculo, com base na TIM, proposta pelo Florida Center for Instructional Technology (2010).
Figura 4- Nveis de integrao da tecnologia no currculo

Center for Instructional Technology (2010)

218

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

7. Metodologia de avaliao
A avaliao dos TELE, como meio de certicao da sua qualidade, est a dar lugar a vrias iniciativas internacionais, algumas das quais j referimos. Contudo, os mecanismos de parametrizao de qualidade variam em funo de cada contexto (Tait, 1997), da que se a avaliao tiver o objectivo de desempenhar funes de instrumento de gesto deva procurar critrios e indicadores especcos, que dem resposta a perguntas de contextos delimitados (Rubio, 2003). Por outras palavras, a importao e aplicao directa de um modelo de avaliao dicilmente contemplar variveis, critrios e indicadores especcos de uma dada instituio, pelo que a sua eccia, enquanto instrumento de gesto e na melhoria de prticas na instituio, ser limitada. Khan e Granato (2007) defendem que para compreender um TELE necessrio considerar mltiplas dimenses: pessoas, processos e produtos. Nas suas palavras: Many institutions invested heavily in the development and deployment of online programs. () Like any new learning initiative, stakeholders of online learning face many challenges. There is always room for improvement by exploring what worked and what did not. To understand online learning environment, we need to have a comprehensive picture of people, process and product involved in it, and also study critical issues encompassing its various dimensions (Khan & Granato, 2007, p.1). Na mesma linha, Ehlers e Goertz (2005) escrevem que: It is necessary to regard all factors of inuence the learner, the subject, the intended results, the technological and social surrounding (workplace, learning culture in the company, private learning situation etc.). An effective quality assurance has to cover the whole process from the rst plan up to the development and implementation until the assurance of transfer (Ehlers & Goertz, p. 2005, p.169). A avaliao, enquanto instrumento de gesto, tem por objectivo analisar de maneira exaustiva todas as componentes do TELE, desde a perspectiva de todos os actores, que de alguma forma participam no ambiente. Para dar resposta a este objectivo, a avaliao deve assumir as seguintes caractersticas: Avaliao circular (360.) - Todos os actores e componentes do ambiente so avaliados por todos os participantes. Cada actor avalia os aspectos da responsabilidade de outros actores e, simultaneamente, avaliado pelos pares. Esta metodologia implica o desenvolvimento de uma avaliao

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

219

multidireccional que possibilita superar as limitaes de uma avaliao unidireccional, na medida em que permite comparar diferentes dimenses do ambiente, de perspectivas distintas (Fernndez, 1997; Acua & Aymes, 2010). Avaliao processual Realizada ao longo do processo, medida que se vo desenvolvendo os diferentes mdulos das unidades curriculares, feita uma recolha de dados e a partir da avaliao que se zer devem ser tomadas decises no sentido de melhorar o TELE. A avaliao processual tem um cariz essencialmente formativo Avaliao nal - A avaliao formativa elaborada ao longo do processo tem por objectivo contribuir para o melhoramento do TELE, mas, tambm, possibilitar resultados nais ao nvel dos cursos e organizaes (avaliao sumativa), como ajuda para a tomada de decises.

8. Instrumento de recolha de dados

Num modelo de avaliao, que se pretende que desempenhe funes de instrumento de gesto, a recolha de dados deve ser feita segundo um plano pr-estabelecido. J referimos as potencialidades de uma avaliao participada e multidireccional. Se o objectivo dotar os decisores com informao precisa e detalhada, importa ter uma viso holstica da realidade. A recolha de dados deve ser feita em contexto real e, dada a complexidade dos fenmenos, exige instrumentos diversicados. Uma avaliao contextualizada numa determinada instituio deve contemplar pressuposto tericos de modelos de avaliao, que renam uma heurstica de dimenses e factores que facilitem a conduo do estudo e a recolha de dados. Contudo, embora o investigador utilize um quadro terico referencial como ponto de partida para a utilizao de tais estudos, alguns estudos organizacionais enquadram-se em situaes em que o pesquisador se v frente a frente com problemas que carecem de compreenso (Vilelas, 2009, p. 144). As novas dimenses identicadas devero ser integrados na heurstica dos factores construda com base na reviso bibliogrca. Desta forma, espera-se garantir que o mecanismo de avaliao contemple critrios e indicadores especcos, que respondam s perguntas que emergem do prprio contexto (Rubio, 2003), para que a eccia da avaliao, enquanto modelo de gesto, aumente. Harvey, Higgison e Cathy Gun (2000) listam uma srie de instrumentos de recolha de dados para avaliao de TELE: Questionrios - so instrumentos de registo planeados para pesquisar dados de sujeitos, atravs de questes, a respeito de conhecimentos, ati-

220

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

tudes, crenas e sentimentos (Wood & Haber, 2001). Podem ser instrumentos teis para se obter feedback de todos os actores intervenientes no TELE. Discusses online - Fruns de discusso online sobre vrios aspectos relacionados com o funcionamento do curso. Entrevistas e Focus groups - Entrevistas e reunies em pequenos ou mdios grupos (entre cinco e dez pessoas), em que os participantes conversam num ambiente descontrado e informal (Sampieri, Collado & Lucio, 2006). Peer review - Partilha de opinies entre tutores sobre contedos, actividades e estruturas de comunicao. Estudos comparativos - Comparao entre diferentes unidades de crdito, cursos e escolas de modo a identicar potencialidades e estrangulamentos do TELE. Resultados da avaliao dos estudantes - Podem oferecer uma grande variedade de informaes sobre resultados de aprendizagem. User tracking - A monitorizaro das actividades dos estudantes permite aferir taxas de participao, e utilizao de recursos. Grelhas de observao directa - Confrontao entre as caractersticas das vertentes crticas do curso (tutoria, materiais, actividades) e as pretendidas. Online Learning Environment Survey (OLES) - O sistema de avaliao OLES (http://www.monochrome.com.au/oles/survey.htm) est ancorado na perspectiva da investigao relativa avaliao do ambiente da sala de aula, na dinmica do ensino a distncia e nos contributos das tecnologias no ensino e aprendizagem. Este mtodo contempla nove dimenses (1 - Utilizao do computador; 2 - Suporte dado pelo professor; 3 - Colaborao e interaco dos estudantes; 4 - Relevncia; 5 - Aprendizagem contextualizada; 6 - Autonomia do estudante; 7 Equidade; 8 - Satisfao; 9 - Actividade assncrona), perfeitamente enquadradas na losoa construtivista, e cinquenta e quatro factores numa escala de cinco nveis que explicita, no s a percepo actual dos estudantes relativa ao sistema em estudo, como, tambm, procura projectar o seu ideal expectvel (Pearson & Trinidad, 2005). Desta forma, possvel perspectivar as diferenas entre o estado actual e o desejvel. Este sistema pode ser usado online, mediante a criao de uma conta para o efeito, que consiste na gerao do respectivo endereo destinado ao acesso dos docentes e dos estudantes, contemplando as duas perspectivas (professor e aluno). A verso mais recente do OLES pode ser utilizada totalmente online pelo professor, com grcos a serem automa-

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

221

ticamente produzidos para discusso e comparao. Esta perspectiva de avaliao est perfeitamente alinhada com as metodologias de avaliao multidireccionais participadas por todos os actores, permitindo, a cada momento, recolher informao relevante sobre o funcionamento do curso, constituindo-se, por isso, um ptimo instrumento de gesto.

9. Apresentao de resultados
Os resultados do processo de avaliao devem ter impacto no ambiente educacional, ao nvel dos contedos, atitudes de professores e estudantes, no modo de entrega de contedos e na integrao mais eciente da tecnologia (Moussiades & Iliopolou, 2006). Assim, independentemente do modo como conduzida, importante apresentar os resultados da avaliao. Kotter (1996) considera que a divulgao dos resultados da avaliao um ponto fundamental no desenvolvimento da estratgia de mudana, na medida em que permite: Criar alguns sucessos visveis e inequvocos rapidamente, que serviro de incentivo para implementao da estratgia; Remover barreiras, de modo a que aqueles que quiserem fazer da viso uma realidade o possam fazer; Insistir de forma mais intensa e mais rpida aps os primeiros sucessos. As sucessivas mudanas possibilitaro que a nova cultura se torne uma realidade; A promoo das novas de formas de comportamento e certicao de que os casos bem-sucedidos sejam divulgados e se tornem sucientemente fortes para substiturem as tradicionais. A divulgao de resultados , segundo Moussiades e Iliopolou (2006, p. 182), um factor crucial no sucesso da avaliao. Na sua perspectiva: A possible reason for an evaluation method to be unsuccessful is that the results of the evaluation research are presented in a way that is not comprehensible. Thus the interested parties dont bother to look at them and to take any action to repair the malfunctioning components of a learning environment. Moussiades e Iliopolou (2006) sintetizam algumas das maneiras mais comuns para apresentao de resultados, nomeadamente: bancos de dados, relatrios, psteres, e comunicao oral. Existem outras formas de apresentao dos resultados que, pela sua versatilidade, podem ser instrumentos de gesto extremamente teis. J nos referimos s potencialidades de ferramentas como OLES, que facilitam a recolha de informao relevante e a produo de grcos just in time. Desta forma, os resultados cam disponveis de imediato para a discusso e aco.

222

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

Destacamos, tambm, as potencialidades do grco radar na apresentao de resultados. A American Society for Quality dene grco radar do seguinte modo: A graph with multiple scales to report self-assessed knowledge or competence, often several points in time. A Radar Chart is used to identify current level of self-assessed knowledge or competence, and then monitor change or growth across several factors (American Society for Quality, 2006, p. 375). Os grcos de radar, devido sua versatilidade na representao do conhecimento, so usados frequentemente na anlise do desenvolvimento organizacional e na medio da qualidade (Kaczynski, Wood & Hardling, 2008). Deste modo, num ambiente acadmico ainda em transio, onde h uma penetrao crescente da tecnologia associada a mudanas pedaggicas, os grcos radar revelam-se adequados e adaptveis. Na gura 5 est patente a versatilidade dos grcos radar: aparecem representados no mesmo grco as caractersticas do ambiente de aprendizagem (Activo, Colaborativo, Construtivo, Autntico e Orientado por objectivos) e os nveis da integrao da tecnologia no currculo para cada uma das caractersticas (Incio, Adopo, Construo, Imerso e Transformao), previstas na Matriz das Integrao da Tecnologia (TIM), elaborada pelo Florida Center for Instructional Technology.
Figura 5 Grcos Radar Relao entre as caractersticas do ambiente de aprendizagem e os nveis de integrao tecnolgica
Activo 5 4 3 Orientado por objectivos 2 1 0 Colaborativo

Autntico 1 - Introduo 2 - Adopo 3 - Adaptao

Construtivo 4 - Imerso 5 - Transformao

Os TELE tambm so sistemas multidimensionais, sendo a sua dinmica condicionada por mltiplas variveis. Os decisores precisam frequentemente de obter uma viso panormica do sistema para identicar tendncias, fazer cruzamento de dados, analisar uma dimenso ou relacionar vrias entre si. Aplicaes informticas do tipo OLAP (Online Analytical Processing) podem ser importantes no tratamento e apresentao inteligente e verstil de dados, na medida em

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

223

que oferecem a possibilidade de fazer anlises multidimensionais, fornecendo informao fundamental para tomada de decises. O OLAP est rapidamente a tornar-se a base fundamental para decises importantes no campo empresarial, nomeadamente no planeamento, oramento, previso, relatrios nanceiros, anlise, modelos de simulao (OLAP.com, 2010): Knowledge is the foundation of all successful decisions. () Statisticians will tell you that the more sample data you have, the more likely the resulting statistic will be true. Naturally, the more data a company can access about a specic activity, the more likely that the plan to improve that activity will be effective. All businesses collect data using many different systems, and the challenge remains: how to get all the data together to create accurate, reliable, fast information about the business. A company that can take advantage of reliable information and turn it into shared knowledge, accurately and quickly, will surely be better positioned to make successful business decisions and rise above the competition (OLAP.com, 2010). A funcionalidade multidimensional OLAP baseia-se em estruturas chamadas cubos. O termo cubo uma analogia com o objecto geomtrico que implica trs dimenses, mas em uso real, o cubo OLAP pode ter mais de trs dimenses. O cubo OLAP comparvel a um banco de dados, em que se estabelecem relaes entre as diversas dimenses/ categorias (gura 6). Trata-se de uma tecnologia sosticada que usa estruturas multidimensionais para fornecer acesso rpido aos dados para anlise. Essa organizao facilita a exibio de resumos de alto nvel, por exemplo, no caso da anlise do TELE, permite extrair dados sobre a dinmica de acesso em cada unidade curricular, volume da avaliao realizada online, nveis de satisfao relativamente ao processo formativo, identicao de instituies e unidades de curriculares com indicadores mais favorveis e menos favorveis.
Figura 6 - Estrutura esquemtica de um cubo OLAP

224

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

O sistema de anlise OLAP ajuda a organizar os dados por muitos nveis de detalhe, permite seleccionar e relacionar apenas as dimenses que se pretendem efectivamente considerar num dado momento (gura 7). Esta valncia facilita a apresentao e leitura dos resultados, pois diminui a entropia associada a elevados volumes de informao.
Figura 7 Seleco de variveis e nveis de detalhe num cubo OLAP

10. Concluses
A velocidade das mudanas sociais, decorrentes da penetrao da tecnologia nas actividades humanas, cada vez mais acelerada, exigindo capacidade de adaptao rpida por parte das IES. As IES que no conseguirem introduzir a mudana pela via da tecnologia sero menos competitivas. A tomada de conscincia das mutaes em curso no ambiente social exterior s IES e o sentido de urgncia com que as organizaes devem encarar o seu processo de mudana so factores fundamentais para uma resposta bem-sucedida. Contudo, na literatura referido que, na maior parte dos casos, a grande maioria das organizaes tendem a ignorar as mudanas exteriores importantes ou, quando as identicam, tentam a ajustar-se atravs de aces pouco ecazes A participao das cheas, das equipas lderes e de todos os que tm um papel na organizao so fundamentais para o processo de mudana organizacional. O favorecimento de um bom relacionamento entre todos e uma comunicao ecaz nunca dever ser menosprezado, tanto mais que parte do xito da mudana est em factores psicossociais, como a emoo e a conana.

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

225

A implementao de TELE no signica, necessariamente, uma mais-valia nem uma ruptura com os modelos educacionais do passado, importa, por isso, desenvolver modelos de avaliao que garantam a qualidade dos sistemas e promovam a melhoria das prticas. A avaliao dos TELE, como meio de certicao da sua qualidade, est a dar lugar a vrias iniciativas e experincias internacionais. Porm, os mecanismos de parametrizao de qualidade variam em funo de cada contexto, da que se a avaliao tiver o objectivo de desempenhar funes de instrumento de gesto deva procurar critrios e indicadores especcos, que dem resposta a perguntas de contextos delimitados. Defendemos que a avaliao, enquanto instrumento de gesto, deve analisar de maneira exaustiva todas as componentes do TELE, de uma perspectiva mutidireccional a 360, em que cada actor se pronuncia sobre as diferentes componentes do TELE e avalia e avaliado por outros actores. Reconhecemos como virtudes de um modelo de avaliao transversal e participado por todos: a disponibilizao de informao contextualizada e com signicado para todos os intervenientes. O modelo de ALACT (Korthagen & Vasalos, 2005) uma concepo do processo de reexo, em que visvel uma reestruturao dialctica das experincias e do conhecimento. A reestruturao das experincias e do conhecimento um processo cclico que resulta de uma avaliao processual e multidireccional da realidade, neste sentido, sintetiza bem as principais concluses deste trabalho (gura 8)
Figura 8- The ALACT model

(Korthagen & Vasalos, 2005)

Depois da aco (1), os passos 2, 3 e 4 ilustram o modo como a avaliao processual se pode assumir como um instrumento de gesto e melhoria de prticas: Passo 2: Reectir sobre as aces realizadas (O que est a acontecer?) Passo 3: Consciencializao dos aspectos principais (Quais os aspectos positivos e negativos do TELE?)

226

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

Passo 4: Criao de mtodos alternativos de aco (Quais as alternativas de melhoria? Quais as vantagens/desvantagens que tm?) A gesto e a avaliao sero instrumentos de gesto, promotores ecazes da melhoria de prticas, se privilegiarem noes de progresso, mudana, adaptao e racionalizao.

Referncias
Armstrong, N., Ashcroft, J., Bruce, R., Buskirk, R., Cullingford, E., Davis, P., et al. (2004). Report of the technology enhanced learning committee. Austin: The University of Texas at Austin. Acua, S., & Aymes, G. (2010). Evaluacin de la calidad en educacin virtual: aportes para una metodologia. Libro de actas do I Congresso Iberoamericano sobre Calidade de la Fomacin virtual CAFVIR 2010, Alcal de Henares, Universidad de Alcal, Espaa. American Society for Quality. (2006). Radar Chart. Acedido a 2010-10-10, em http://www.asq.org/education/docs/radarchart.pdf Brando, P. (20064). Plataformas de e-learning no ensino superior: avaliao da situao actual. (Tese de Mestrado, Universidade do Minho). Acedido a 2010-1010, em https://repositorium.sdum.uminho.pt/handle/1822/6671 Centre for Academic Practice (2010). Evaluating e-learning developments: an overview [Electronic Version]. E-learning guides, 2, 1-21. Acedido a 2010-1020em http://www2.warwick.ac.uk/services/ldc/resource/eguides/elearning/ Cejudo, M. (2006). El tutor en E-learning: aspectos a tener en cuenta [Electronic Version]. Edutec. Revista Electrnica de Tecnologia Educativa, 1-24. Acedido a 2010-10-10, em http://edutec.rediris.es/Revelec2/revelec20/llorente.htm Center for Instructional Technology. (2010). Technology integration matrix. Acedido a 2010-10-10, em http://fcit.usf.edu/matrix/index.html Tapscott, D., & Williams, A. D. (2008). Wikinomics - A Nova Economia das Multides Inteligentes. Lisboa: Quidnovi. Ehlers, U., & Goertz, L. (2005). Quality in e-learning: Use and dissemination of quality strategies. A study by the european quality observatory. Luxembourg: Ofce for Ofcial Publications of the European Communities. European Quality Observatory. (2005). Quality in e-learning: Use and dissemination of quality approaches in European e-learning. Luxembourg: Ofce for Ofcial Publications of the European Communities. Fernandes, A. (2006). As falcias ou os grandes equvocos do e-learning. Acedido a 2010-10-10, em http://abt-br.org.br/index.php?option=com_conte nt&task=view&id=386&Itemid=2

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

227

Fernndez, J. A. (1997). Spanish Evaluation Model in Higher Education: Circular Evaluation. Higher Education Management 9(1), 71-84. Gomes, M. J., Silva, B. D., & Silva, A. M. (2004). Avaliao de cursos em e-learning. Artigo publicado nas actas da Conferncia eLES04, Aveiro, Universidade de Aveiro, Portugal. Harvey J., Higgison C., Gunn C. (2000). Evaluation. In Higgison, C. (editor), Online Tutoring e-Book [Electronic Version] (pp. 5.1-5.59)., Edinburgh: The Institute for Computer Based Learning, Heriot-Watt University. Acedido a 2010-10-10, em http://sonet.nottingham.ac.uk/resources/otis/t5-01.pdf Hickman, G. R. (Ed.) (2010). Leading organizations perspectives for a New Era (2.nd ed). California: Sage Jonassen, D. (2007). Computadores e Ferramentas Cognitivas. Porto: Porto editora. Jonassen, D., Howland, J., Moore, J., & Marra, R. (2003). Learning to Solve Problems with Technology (2.nd ed.). New Jersey: Merril Prentice Hall. Jonassen, D., Peck, K., & Wilson, B. (1999). Learning With Technology - A Constructivist Perspective. New Jersey: Merril Prentice Hall. Kaczynski, D., Wood, L., & Harding, A. (2008). Using radar charts with qualitative evaluation: Techniques to assess change in blended learning. Active Learning in Higher Education, 9(1), 23-41. Khan, B. H., & Granato, L. A. (2007). Program evaluation in E-learning. Acedido a 2010-10-10, em http://asianvu.com/digital-library/elearning/elearning_program_evaluation_by_khan_and_Granato.pdf Korthagen, F., & Vasalos, A. (2005). Levels in reection: core reection as a means to enhance professional growth. Teachers and Teaching: theory and practice, 11(1). 47-71. Kotter, J. (1996). Leading change. Massachusetts: Harvard Business School Press. Kotter, J., & Cohen, D. (2002). The heart of change. Massachusetts: Harvard Business School Press. Kotter, J., & Rathgeber, H. (2009). O nosso icebergue est a derreter (6. ed.). Porto: Ideias de Ler. Kruse, K. (2006). Evaluating e-Learning: Introduction to the Kirkpatrick Model. Acedido a 2010-10-10, em http://www.e-learningguru.com/articles/art2_8.htm Lippert, S. K., & Davis, M. (2006). A conceptual model integrating trust into planned change activities to enhance technology adoption behavior. Journal of Information Science, 32(5). pp. 434-448. Moussiades, L., & Iliopolou, A. (2006). Guidelines for evaluating e-learning Environments. Interactive Technology & Smart Education, 3(3), pp. 173-184. OLAP.com (2010). OLAP software and education wiki. Acedido a 2010/07/20, em http://olap.com/w/index.php/OLAP_Education_Wiki

228

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

Pearson, J., & Trinidad, S. (2005). OLES: an instrument for rening the design of elearning environments. Journal of Computer Assisted learning, 21, pp396404. Rosa, O., & Angulo, L. (2007). Modelo de Excelencia de Programas Formativos en Lnea (MEPFL) [Verso Electrnica]. Revista Iberoamericana de Educacin, 5, 114. Acedido a 2010-10-10, em http://www.rieoei.org/ deloslectores/1535Alegre.pdf Rosenberg, M. (2006). Beyond e-learning. San Francisco: Pfeiffer. Rubio, M. J. (2003). Focus and models of evaluation of the e-learning. Revista Electrnica De Investigacin y Evaluacin Educativa, 9(2), 101-120.Acedido a 2010-10-10, em http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm Sampiere, R., Collado, C., & Lucio, P. (2006). Metodologia de Pesquisa (3 ed.). So Paulo: McGraw-Hill. Tait, A. (Ed.) (1997). Quality Assurance in Higher Education: Selected Case Studies. Vancouver: The Commonwealth of Learning. Vilelas, J. (2009). Investigao - O processo de construo o conhecimento (1 ed.). Lisboa: Edies Slabo. Voigt, C., & Swatman, P. (2004). Contextual e-learning evaluation: a preliminary framework. Learning, Media and Technology, 29(3), 175 - 187. Wood, G., & Haber, J. (2001). Mtodos, avaliao crtica e utilizao. 4. Ed. Rio de Janeiro: Guanabara Koogan.

Abstract
The Technology Enhanced Learning Environments (TELE) are fundamental to competitiveness of Higher Education Institutions. The globalization of knowledge sources, the growth of competition between institutions, the shortening of the duration of courses, the increasing of the importance of lifelong learning and the deepening of cooperation between universities from different countries are among the factors that require TELE based on online work. The TELE are seen as a fundamental support in pedagogical reengineering and may back a more effective approach to constructive educational philosophies. However, despite the huge investments, many of these environments fail or do not meet expectations. The inadequacy of policies to bring about change in organizations through technology and the lack of management and assessment models are issues that compromise the success of these initiatives.

REVISTA PORTUGUESA DE INVESTIGAO EDUCACIONAL

229

The TELE have a great innovative potential and usually require a big investment that has to be justied in terms of the cost-benet of technologies. Thus, the denition of management and assessment models, which should serve as guides to action, are key factors for effectiveness of operations and quality assurance. In this work, which stems from literature review, we present some models that guide the process of shifting and innovation in organizations and some guide lines for assessment of TELE as a tool for management. Keywords: Technology Enhanced Learning Environments (TELE), contextual evaluation, constructivism, evaluation model, organizational changes.