Proceedings of the 

13th European Conference  
on e‐Learning  
ECEL‐2014 

Aalborg University 
Copenhagen, Denmark 
30‐31 October 2014 

Edited by  
Dr Rikke Ørngreen 
and 
Dr. Karin Tweddell Levinsen 
 

Copyright The Authors, 2014. All Rights Reserved. 

No reproduction, copy or transmission may be made without written permission from the individual authors. 

Papers  have  been  double‐blind  peer  reviewed  before  final  submission  to  the  conference.  Initially, paper  ab‐
stracts were read and selected by the conference panel for submission as possible papers for the conference. 

Many thanks to the reviewers who helped ensure the quality of the full papers. 

These Conference Proceedings have been submitted to Thomson ISI for indexing. 

Further  copies  of  this  book  and  previous  year’s  proceedings  can  be  purchased  from  http://academic‐
bookshop.com 

E‐Book ISBN: 978‐1‐910309‐69‐8 
E‐Book ISSN: 2048‐8645 
Book version ISBN:  978‐1‐910309‐67‐4 
Book Version ISSN: 2048‐8637 
 
Published by Academic Conferences and Publishing International Limited 
Reading 
UK 
44‐118‐972‐4148 
www.academic‐publishing.org 
Contents 
Paper Title  Author(s)  Page 
No. 
Preface  vii 
Committee  viii 

Biographies   xii 
Research papers 
Self‐ and Peer Assessment in Massive Open Online  Wilfried Admiraal, Bart Huisman, Nadira Saab,  1 
Courses  Ben Smit, Brigitte Theeuwes, Maarten van de 
Ven, Roeland van der Rijst, Jan van Driel and 
Marja Verstelle 
Open Educational Resources: Higher Education  Paulo Alves, Luísa Miranda and Carlos Morais  11 
Students’ Knowledge and use 
A Framework for the Analysis of Collaborative and  Rasmus Kvist Andersen, Kristian Garp, Kevin  19 
Interactive Elements in MOOCs  Nellemann; Melissa Frost Nielsen and Rikke 
Ørngreen 

Learning Conversations to Support Peer Review in  Trish Andrews Gail Wilson and Neroli Sheldon  29 

Online and Blended Learning Environments 
Action Possibilities of Educational Technologies in  Edilson Arenas 36 
Multicultural Learning Environments 
Online Formative Assessment in Higher Education:  Zwelijongile Gaylard Baleni 43 
Its Pros and Cons 
Digital Narratives: Examining Evolving Teacher‐ Wendy Barber  48 
Learner Roles in Authentic Online Communities 
Using Tablets for e‐Assessment of Project‐Based  Elvira Bolat and Milena Bobeva  56 
Learning 
Virtual Pedagogical Meetings Using Contextualized  Farida Bouarab‐Dahmani, Razika Tahi and  65 
Forums and Opinion Mining   Tayeb Bouazid 

One Among Many: The iPad in Shifting Material  Mie Buhl and Bente Meyer 73 

Cultures of Learning 
Introducing the Collaborative Learning Modeling  Jeppe Bundsgaard 81 
Language (ColeML) 
Weak Student Identification: How Technology Can  Hana Bydžovská and Lubomír Popelínský  89 
Help 
Promoting a Community of Practice Online: How  Maggie Carson 98 
Important is Social Presence? 
Computer‐Adaptive Testing: Item Analysis and  Ivana Cechova, Jiri Neubauer and Marek Sed‐ 106 
Statistics for Effective Testing  lacik 

Utilization of web Portals at Kazakh and Czech  Miloslava Černá, Petra Poulová and Michal  113 

University ‐ Comparative Study  Sláma   

Trends in Acceptance of Social Software  Miloslava Černá  121 

Applications in Higher Education From the 
Perspective of University Students ‐ Case Study 

i 
Paper Title  Author(s)  Page 
No. 
Creating a new Model of Technology‐Driven  Paula Charbonneau‐Gowdy 130 
Learning for Teacher Training in Chile 
Learning Pedagogies and On‐Line Assessments in  Athina Chatzigavriil, Kris Roger and Sunil Ku‐ 139 
Higher Education: Innovations and Challenges  mar 

The Effect of Learning Management Systems’  Pieter Conradie, Marina Moller and Tutu  147 

Media Richness on 21st Century Student’s  Faleni 
Satisfaction: A Higher Education Perspective 
Disruptions and Disturbance as Challenges in a  Susanne Dau and Thomas Ryberg  156 
Blended Learning (BL) Environment and the Role 
of Embodied Habit Orientation 
MOOC's Mass Marketing for a Niche Audience  Rachel Fitzgerald, Maggie Anderson and Ross  163 
Thompson 

Promoting Professional Development in Open and  Olga Fragou and Achilles Kameas  171 

Distance Learning Settings: Developing   
Communities of Instructional Practice 
Blended Learning as a Compromise in the Teaching  Blanka Frydrychová Klímová and Petra Poulová   181 
of Foreign Languages 
Faculty Motivators to Teach Online at a Private,  Susan Glanz 188 
Metropolitan University 
Developing Confidence in the use of Digital Tools  Sue Greener and Craig Wakefield  197 
in Teaching 
Supervisors’ use of ICTs in the ODeL Postgraduate  Mishack Gumbo 204 
Supervision Context 
The Crossroads of Choice: Choosing Between the  Mishack Gumbo 211 
Technological Tools for Educational Purposes 
Faculty Members' Perceptions of Online Learning  Amani Hamdan 218 
in Saudi Arabia: The Case for More Professional 
Development Support 
A Paradigm of Transnational Collaborative Neo‐ Mohamed. Ziad Hamdan 2257 
Blended Learning: Toward an Exchange Theory of 
Growth Need – Responsive Source Transactions 
Scores in Final Exams From Students who Were  Herman Herman 237 
Involved in Face to Face Tutorials Were Lower 
Than Those who Were not Involved: Why? 
Digitalizing Feedback: Reducing Teachers’ Time  Janneke van der Hulst, Patris van Boxel and  243 
Investment While Maintaining Feedback Quality  Sanne Meeder  

The Scoring of Matching Questions Tests: A Closer  Antonín Jančařík and Yvonne Kostelecká  251 

Look 
The Long March or Bold Strokes: Comparing  Amanda Jefferies, Marija Cubric and Julie  256 
Strategies for Adopting EVS Learning Technology  Vuolo 
at a UK University 
Exploring the use of iPads in Danish Schools  Md. Saifuddin Khalid, Olivera Jurisic1, Henrik  264 
Stein Kristensen and Rikke Ørngreen 

ii 
Paper Title  Author(s)  Page 
No. 
Team‐Based Learning in a UK Medical School:  Shihab Khogali, Alisdair Smithies, Alison Gray,  273 
Using Mobile‐Friendly Technology to Support the  Annalisa Manca and Natalie Lafferty 
In‐Class Individual Readiness Assurance Test 
Affective Learning Manifesto – 10 Years Later  Agnieszka Landowska 281 
Imagined and Actual Practices Using ICT: Incongru‐ Karin Levinsen, Birgitte Sølbeck Henningsen  289 
ity and Consequences for Inclusion  and Sofie Paasch 

How to Build Your own Science Experiment in a  Robert Lucas 296 

Virtual World 
Digital Education With IT: How to Create  Niels Bech Lukassen, Annette Pedersen,  305 
Motivational and Inclusive Education in Blended  Annegrethe Nielsen, Christian Wahl and 
Learning Environments Using Flipped Learning – A  Elsebeth Korsgaard Sorensen 
Study in Nurse Education 
Cyberseniors and Quality of Life: A Focus on Social  Leticia Rocha Machado, Anelise Jantsch, José  313 
Networking  Valdeni de Lima and Patricia Alejandra Behar 

Students as Learning Designers in Innovation  Rikke Magnussen and Birgitte Holm Sørensen  321 

Education 
Integrating Twitter Into an Undergraduate Medical  Annalisa Manca, Natalie Lafferty, Evridiki Fio‐ 330 
Curriculum: Lessons for the Future  ratou, Alisdair Smithies and Eleanor Hothersall 

Developing a MOOC: The Romanian Experience   Vlad Mihăescu, Radu Vasiu and Diana Andone   339 

Education for all by ICT4D Hubs: A Sri Lankan Case  Peter Mozelius 347 
Study 
Exergames in Secondary School Physical  Peter Mozelius, Otto Elggren, Joakim Clysén  354 
Education: Attitudes Amongst Swedish Students   and Mats Wiklund 

The Role of ITG in Supporting use of e‐Learning  Tembisa Ngqondi and Marlien Herselman  362 

Strategies: A‐Comparative Study 
Multimedia Teaching Materials for Development  Jarmila Novotná 370 
of Pupils’ Culture of Problem Solving 
Virtual Project Management: Evaluation of an e‐ Rosane Pagano and Garry Blair 378 
Learning Environment 
Web Based Pronunciation Training in Denmark and  Karen Petersen 385 
the Contribution of Learning Theories to Online 
and Web‐Based Adult Second Language Teaching 
and Learning 
Rubrics for Quality Assessment of e‐Learning  Toomas Plank, Anne Villems, Lehti Pilt, Merle  393 
Course  Varendi, Eneli Sutt, Egle Kampus and Kai Peiel 
Models of Communication and e‐Learning  Maria Magdalena Popescu, Ruxandra Buluc  404 
Pedagogies to Boost Educational Effectiveness  and Luminiţa Crăciun 

Methodological Issues in Research on MOOCs  Juliana Raffaghelli and Donatella Persico  412 

A Proposal for a Novel e‐Learning System for the  Ahmed Rana, Ibrahim Zincir and Samsun  422 
Visually Impaired  Basarici 

iii 
Paper Title  Author(s)  Page 
No. 
Can Wikis Exploitation be a Teaching “Promising  Eleni Rossiou 427 
Land” in Secondary Education? A Complementary   
Teaching Tool in PROJECT Course in Secondary 
Education 
The Memory of Links: A Consequence of ICT and  Javier Sarsa 437 
Connectivism 
Understanding and Utilizing the Effectiveness of e‐ Signe Schack Noesgaard and Rikke Ørngreen  445 
Learning: A Literature Study on the Definitions, 
Methodologies, and Promoting Factors of e‐
Learning Effectiveness 
Status quo of Media Usage and Mobile Learning in  Katharina Schuster 455 
Engineering Education  
Technology on CALL: Improving English Language  Beatrice Segura‐Harvey and Sue Greener  464 
Learning in a Spanish Context 
Achieving Flow Through Gamification in the  Martin Sillaots 470 
Course of Computer Games 
Learning Biology With Interactive Digital 3D  Leo Siiman, Mario Mäeots and Margus  478 
Content: Teacher Attitudes  Pedaste 

If you Could Choose, how Would you Show Your  Ivana Šimonová 485 

Teacher What you Have Learned? 
Smart Learning and Collaborative Authoring Based  Yeong‐Tae Song, Yuanqiong Wang and Yongik  493 
on Knowledge Level  Yoon 

Evaluation as a Powerful Practice in Digital  Birgitte Holm Sørensen and Karin Tweddell  503 

Learning Processes  Levinsen 

The Cost Model in the Course Financial Literacy  Libuše Svobodová 511 

E‐Learning Advantages and Disadvantages Through  Razika Tahi, Farida Bouarab‐Dahmani and  520 
an Experimentation  Tayeb Bouazid 

OCRA ‐ Authentic Mobile Application for  Othman Talib, Azraai Othman and Tengku  527 

Enhancing the Value of Mobile Learning in Organic  Putri Norishah Tengku Shariman 
Chemistry 
The Relevancy of Digital Literacy for Malaysian  Tenku Putri Norishah Tenku Shariman,  536 
Students for Learning With WEB 2.0 Technology  Othman Talib and Nazerin Ibrahim 
English Language Usage in SNS and Mobile  Saraswathy Thurairaj, Er Pek Hoon, Swagata  545 
Phones: A Bane or Boon?  Sinha Roy and Pok Wei Fong 

Students’ Learning Preferences and Patterns of  Florica Tomos, Michael Grosch, Oana Cristina  555 

Media and Information Technology Usage in  Balan, Andre Clark, Haydn Blackey, David 
Higher Education Institution  Turner and Edgar Bennett 

Ellipsis Marks in Interaction on Discussion Forums:  František Tůma 563 

The Case of Czech Pre‐intermediate EFL Learners 
Distance Learning in Amazon Region: Tackling Rhe‐ Márcio Wariss Monteiro 570 
torical Situations in the Communication Context of 
E‐TEC IFPA 

iv 
Paper Title  Author(s)  Page 
No. 
Continuous Competence Development Model for  Charlotte Lærke Weitze 578 
Teacher Teams: The IT‐Pedagogical Think Tank for 
Teacher Teams (ITP4T) in Global Classrooms  
Meeting the Online Needs of Part Time  Stephen Wilkinson and Duncan Folley  589 
Postgraduate Engineering Students 
Analysis of e‐Learning Outcomes at Higher  Ibrahim Zincir, Tohid Ahmed Rana, Samsun  599 
Education: A Case Study  Basarici and Sabah Balta 

PHD Research papers  605 
Quality of Women's Learning Experiences in the  Nourah Alshaghdali,  Sue Greener, Avril Love‐ 607 
Digital Age in Higher Education in Saudi Arabia  less  

Micro Notes Application for Education: A Proposed  Maram Al Zaidi, Mike Joy and Jane Sinclair  618 

Mobile Micro Note‐Taking Architecture 
Reading on Tablets: Students’ Awareness and use  Natalia Auer 624 
of Foreign Language Reading Strategies 

Evaluation of the Pedagogical use of e‐learning  Sibusisiwe Dube 634 

Systems in Institutions of Higher Learning: Case of 
Zimbabwe 
Study About Relational Coordination and Quality in  Mª Del Carmen Gallego Sánchez, Carmen De  638 
Online Education  Pablos Heredero and Jose Amelio Medina 
Merodio 
Comparing Implementation Patterns of e‐Learning  Fatih Güllü, Rein Kuusik, Ugur Demiray and  644 
for Higher Education in Turkey and Estonia   Mart Laanpere 
The Issue of Optimizing Foreign Language Teaching  Radka Jurickova 651 
by Means of e‐Learning 
Open Source Learning Streams in Online  Thomas Kjærgaard and Elsebeth Korsgaard  660 
Discussions in e‐Learning  Sorensen 

Fuzzy Expert System as a Personalized Guide  Lukas Najbrt 6698 

Through Educational Exhibition 
Masters Research paper  677 
Evaluation of Students’ Satisfaction and Attitudes  Qian Liu, Rong Hu, Xingxin Zhan and Weirong  679 
Toward Blended Learning in Medical Education: A  Yan 
Survey in Randomized Controlled Trial Course 
Work In Progress papers  685 
Assessing Computer Application Technology  Janet Adegbenro and Mishack Gumbo  687 
Teachers’ e‐Skills and Procedural Knowledge With 
Regard to Teaching With ICT Infrastructure 
COLWRIT – Collaborative Online Writing in Google  Lars Birch Andreasen, Frederikke Winther,  692 
Docs: Presenting a Research Design  Thorkild Hanghøj and Birger Larsen 

Facilitating Collaborative Online Learning:  Sarah Cornelius and Blair Stevenson  696 

Experiences From a Finnish‐Scottish Project for 
Vocational Educators 
Gauging the Quality of Online Learning by  Stephanie Edel‐Malizia and Kathleen Brauti‐ 700 
Measuring 21st Century Engagement  gam 

v 
Paper Title  Author(s)  Page 
No. 
Educating for Competencies Development in  Maite Fernandez, Georgeta Ion and Elena  704 
Higher Education With Technology  Cano 

Digital Literacy Development Among Chinese In‐ Mengjie Jiang and Palitha Edirisingha  708 

ternational Postgraduate Students in a UK Univer‐
sity 
The Comparison of Achievements‐System Benefits  David Kalenda 712 
for Free and Paid Online Learning Courses  
Assignments in a Nutshell  Lisa Oakley and Orlagh McCabe  715 
Developing a Cohesive Mobile Learning  Jenni Rikala 720 
Framework 
Increasing Student Response Rates for Online  Stefani Woods and Maryanne Fisher 725 
Course Evaluation 

vi 
Preface  
These Proceedings represent the work of contributors to the 13th European Conference on e‐Learning, ECEL 
2014, hosted this year by the Aalborg University, Copenhagen, Denmark on the 30‐31 October 2014. The Con‐
ference and Programme Co‐Chairs are Dr Rikke Ørngreen and Dr. Karin Tweddell Levinsen, both from the Re‐
search LAB: IT and Learning Design, Department of Philosophy and Learning, Aalborg University, Copenhagen, 
Denmark. 
The conference will be opened with a keynote address by Prof Chris Dede, Graduate School of Education, Har‐
vard University, Cambridge, Massachusetts, USA on the topic of “New Wine in No Bottles: Immersive, Person‐
alized, Ubiquitous Learning”. On the second day the keynote will be delivered by Torben Elgaard Jensen, Head 
of the Techno‐Anthropology Research Group at AAU Copenhagen. Torben will address the topic Reconfiguring 
Users: Tracing how users find their way into the world of developers and designers 
As  usual  the  papers  cover  a  wide  spectrum  of  issues,  all  of  which  are  pertinent  to  the  successful  use  of  e‐
Learning applications. It is clear that the role being played by e‐Learning in the pedagogical process is consid‐
erable and that there is still ample scope for further development in this area.  
The ECEL Conference constitutes a valuable platform for individuals to present their research findings, display 
their work in progress and discuss conceptual advances in many different branches of e‐Learning. At the same 
time,  it  provides  an  important  opportunity  for  members  of  the  EL community  to come  together  with  peers, 
share knowledge and exchange ideas.  
With an initial submission of 173 abstracts, after the double blind, peer review process there are 74 academic 
papers, 9 Phd Papers, 1 Masters research Paper,and 10 Work in Progress papers in these Conference Proceed‐
ings. These papers reflect the truly global nature of research in the area with contributions from Algeria, Aus‐
tralia, Brazil, Canada, Chile, China, Czech Republic, Denmark, Egypt, Estonia, Germany, Greece, Indonesia, Is‐
rael, Italy, Jordan, Malaysia, Poland, Portugal, Romania, RSA, South Africa, Spain, Sweden, Thailand, The Neth‐
erlands, Tunisia, Turkey, UAE, UK, USA, Zimbabwe. 
A selection of papers – those agreed by a panel of reviewers and the editor will be published in a special con‐
ference edition of the EJEL (Electronic Journal of e‐Learning www.ejel.org ).   
We wish you a most interesting conference. 
Dr. Karin Tweddell Levinsen  
Dr Rikke Ørngreen 
Programme Chairs 

October 2014 

vii 
Conference Committee 
Conference Executive 

Dr Rikke Orngreen, Aalborg University, Denmark 
Dr Karin Levinsen, Aalborg University, Denmark 
 
Mini track chairs 
 
Andrea Benn, University of Brighton, Brighton, UK 
Sarah Cornelius, University of Aberdeen, UK 
Rachel Fitzgerald, Northampton Business School, University of Northampton 
Wilfried Admiraal, Leiden University Graduate School of Teaching, The Netherlands 
  
Committee members 

The conference programme committee consists of key people in the e‐learning community around the world. 
The following people have confirmed their participation: 

Ariffin  Abdul  Mutalib  (Universiti  Utara  Malaysia,  Malaysia),  Dr.  Siti  aishah  Abdullah  (University  Technology 
Mara, Kelantan, Malaysia), Babajide Abidogun (Faculty of Education, University of Plymouth, South Africa), Dr. 
Wilfried  Admiraal  (Leiden  University,  Leiden,  The  Netherlands),  Ass.Prof.Dr.  Zainal  Abidin  Akasah  (Universiti 
Tun Hussein Onn Malaysia, Malaysia), Dr. Ali Alawneh (Philadelpia University, Jordan), Shafqat Ali (University 
of Western Sydney, Australia), Prof. Dr. Maizam Alias (Universiti Tun Hussein Onn, Malaysia), Prof. Dr. Abdallah 
Al‐Zoubi  (Princess  Sumaya  University  for  Technology,  Jordan),  Prof.  Antonios  Andreatos  (Hellenic  Air  Force 
Academy, Greece), Dr. Anca‐Olga Andronic (Faculty of Psychology and Educational Sciences, Spiru Haret Uni‐
versity,  Romania),  Dr.  Razvan‐Lucian  Andronic  (Faculty  of  Psychology  and  Educational  Sciences,  Spiru  Haret 
University, Romania), Sara Archard (University of Waikato, Hamilton, New Zealand), Dr. Ezendu Ariwa (London 
Metropolitan University, UK), Prof. Mohamed Arteimi (Libyan Academy of Graduate Studies, Libya), Dr. William 
Ashraf (University of Sussex, UK), Dr. Bunyamin Atici (Firat University, Turkey), Marc Augier (SKEMA Business 
School , France), Stephanos Avakian (Brighton Business School, University of Brighton, UK), Dr. Anders Avdic 
(Orebro  University,  Sweden),  Simon  Bachelor  (Gamos,  Reading,  UK),  Prof.  Alina  Badulescu  (University  of 
Oradea,  Romania),  Dr.  Samira  Bakr  (National  Center  for  Examination  and  Educational  Evaluation,  Egypt),  Dr. 
Nimalathasan Balasundaram (University of Jaffna, Sri Lanka), Dr. Joan Ballantine (University of Ulster, UK), Dr. 
Trevor  Barker  (University  of  Hertfordshire,  UK),  Dr.  Josep‐Maria  Batalla  (Universitat  Oberta  de  Catalunya, 
Spain), Catherine Beaton (Rochester Institute of Technology, USA), Hans J.A Beldhuis (University of Groningen, 
The  Netherlands),  Prof.  Orlando  Belo  (University  of  Minho  Campus  de  Gualtar,  Portugal),  Dr.  David  Benito 
(Public University of Navarre, Pamplona, Spain), Andrea Benn (University of Brighton, UK), Dr. Yongmei Bentley 
(University of Bedfordshire, UK), Daniel Biella (University of Duisburg‐Essen, Germany), Eric Bodger (University 
of Winchester, UK), Dr. Tharrenos Bratitsis (University of Western Macedonia, Greece), Dr. Ann Brown (CASS 
Business  School,  London,  UK),  Dr.  Mark  Brown  (Massey  University,Palmerston  North,  New  Zealand),  Mel 
Brown (Plymouth College of Art, UK), Giuseppe Cannavina (University of Sheffield, UK), James Carr (University 
of Newcastle, UK), Maggie Carson (Edinburgh University, UK), Dr. Antonio Cartelli (University of Cassino,, Italy), 
Dr. Rommert Casimir (Tilburg University , The Netherlands), Dr. Ivana Cechova (University of Defence, Czech 
Republic), Maria Celentano (University of Lecce, Italy), Dr. Valentina Chappell (Friends University, USA), Athina 
Chatzigavriil (LSE, UK), Dr. Phaik Kin Cheah (University Tunku Abdul Rahman, Malaysia), Dr. Esyin Chew (Uni‐
versity  of  Glamorgan,  UK),  Satyadhyan  Chickerur  (B  V  Bhoomaraddi  College  of  Engineering  and  Technology, 
Hubli,, India), Dr. Lucian Ciolan (University of Bucharest, Romania), Dr. Melanie Ciussi (SKEMA Business School, 
Sophia Antipolis, France), Dr. Barbara Class (University of Geneva, Switzerland), Prof. Dr. Jürgen Cleve (Wismar 
University, Germany), Dr. Lynn Clouder (Coventry University, UK), David Comiskey (University of Ulster, North‐
ern Ireland), Prof. Thomas Connolly (University of West of Scotland, UK), Prof. Grainne Conole (University of 
Leicester,  UK),  Sarah  Cornelius  (University  of  Aberdeen,  UK),  Dr.  Eduardo  Correia  (Christchurch  Polytechnic 
Institute  of  Technology,  New  Zealand),  Dr.  Marija  Cubric  (University  of  Hertfordshire,  UK),  Ken  Currie  (Edin‐
burgh University, UK), Dr. Valentina Dagiene (Vilnius University, Lithuania), Cristina De Castro (IEIIT‐CNR, Na‐
tional Research Council of Italy, Italy), Mark De Groot (Leeds Metropolitian University, UK), Antonio De Nicola 
(ENEA, Italy, Italy), Prof. Dr. Carmen De Pablos Heredero (Rey juan Carlos University, Spain), Dr. Faiza Derbel 
(University  of Manouba,  Tunisia),  Dr.  Prof. Dorien DeTombe  (International  Research  Society  Methodology  of 

viii 
Societal Complexity , The Netherlands), Dr. Rajiv Dharaskar (GH Raisoni College of Engineering, Nagpur, India), 
Prof. Vicenzo Di Lecce (Politecnico di Bari, Italy), Dr. Martina Doolan (University of Hertfordshire, UK), Dr. Yan‐
qing Duan (University of Luton, UK), Dr. Jane Eberle (Emporia State University, USA), Dr. Colin Egan (University 
of Hertfordshire, Hatfield, UK), Dr. Ibrahim M. Elbeltagi (Plymouth University, UK), Dr. Bulent Gursel Emiroglu 
(Eskisehir  Yolu  20.km.  Baglica  Mevkii,  Turkey),  DR.  Marius  Costel  ESI  (Stefan  cel  Mare  University,  Romania), 
Dr/Prof  Iancu  Eugenia  (Stefan  cel  Mare  University,  Romania),  Foluke  Eze  (Federal  College  Of  Educa‐
tion(Technical),  Nigeria),  Prof.  Liz  Falconer  (University  of  the  West  of  England  Bristol,  UK),  Prof.  Gert  Faust‐
mann (Berlin School of Economics and Law, Germany), Prof. Corona Felice (Faculty of Medicine and Surgery, 
University  of  Salerno,  Italy),  Rachel  Fitzgerald  (University  of  Northampton,  UK),  Prof.  Andrea  Floros  (Ionian 
University, Greece), Duncan Folley (Leeds Metropolitian University, UK), Dr Olga Fragou (Educational Content 
Methodology  and  Technology  Lab,  Hellenic  Open  University,  Greece),  Dr.  Gabriele  Frankl  (Alpen‐Adria‐
Universität  Klagenfurt,  Kärnten),  Dr.  Michelle  French  (University  of  Toronto,  Toronto,  Canada),  Dan‐Adrian 
German  (Indiana  University  School  of  Informatics  and  Computing,  USA),  Prof.  Itana  Gimenes  (Universidade 
Estadual  de  Maringá,  Brazil),  Dr.  Katie  Goeman  (University  of  Leuven,  Belgium  (KU  Leuven).,  Belgium),  Jetse 
Goris (University of Groningen, The Netherlands), Dr. Susan Greener (University of Brighton, UK), Dr. Michael 
Grosch  (Karlsruhe  Institute  of  Technology,  Germany),  Dr.  David  Guralnick  (Columbia  University  and  Kaleido‐
scope  Learning,  New  York, USA  ,  USA),  Dr.  Richard  Hall  (De  Monfort University,  Leicester,  UK),  Prof.  Patricia 
Harvey (Greenwich University, London, UK), Thanos Hatziapostolou (International faculty of the university of 
sheffield, Greece), Dr. Tali Heiman (The Open University, Israel), Alan Hilliard (University of Hertfordshire, Hat‐
field, UK), Anita Hiralaal (Durban University of Technology, South Africa), Uwe Hoppe (Bildungswerk der Säch‐
sischen Wirtschaft gGmbH, Germany), Dr. Md. Fokhray Hossain (Daffodil International University (DIU), Bang‐
ladesh), Rob Howe (The University of Northampton, UK), Stefan Hrastinski (KTH Royal Institute of Technology, 
Sweden), Dr. Maggie Hutchings (Bournemouth University, UK), Dr. Eun Hwang (Indiana University of Pennsyl‐
vania, USA), Balde Idiatou (Noble Group Organised Solutions, Guinea), Dr. Olimpius Istrate (University of Bu‐
charest, Romania), Dr. Antonin Jancarik (Faculty of education, Charles University, Czech Republic), Amor Jebali 
(University of Manouba, Tunisia), Dr. Amanda Jefferies (University of Hertfordshire, Hatfield, UK), Runa Jesmin 
(Global Heart Forum, UK), Dr. John Jessel (Goldsmiths, University of London, UK), Aidan Johnston (University of 
Strathclyde, UK), Geraldine Jones (University of Bath, UK), Paul Jones (University of Plymouth, UK), Dr. Jowati 
Juhary (National Defence University of Malaysia, Malaysia), Dr. Michail Kalogiannakis (University of Crete, Fac‐
ulty of Education, Crete), Clifton Kandler (University of Greenwich, UK), Catherine Kane (Trinity College Dublin, 
Ireland), Rishi Kapoor (Kaplan Australia, Australia), Jana Kapounova (University of Ostrava, Czech Republic), Dr. 
Elisabeth Katzlinger (Johannes Kepler University, Austria), Dr. Andrea Kelz (University of Applied Sciences Bur‐
genland,Campus Pinkafeld, Austria), Kaido Kikkas (Estonian IT College + Tallinn University, Estonia), John Knight 
(Bucks  New  University,  UK),  Dr.  Renata  Korsakiene  (Vilnius  Gediminas  Technical  University,  Lithuania),  Dr. 
Jasna Kuljis (Brunel University, UK), Prof. Sunaina Kumar (Indira Gandhi National Open University, New Delhi, 
INDIA),  Dr.  Swapna  Kumar  (University  of  Florida,  USA),  Blair  Kuntz  (University  of  Toronto,  Canada),  Prof. 
Eugenijus Kurilovas (Vilnius Gediminas technical university / institute of mathmatics and informatics of Vinius 
University, Lithuania), Eleni Kyza (Cyprus University of Technology, Lemesos, Cyprus), Dr. Yacine Lafifi (Guelma 
University, Algeria, Algeria), Dr. Jean Lai (Hong Kong Baptist University, Hong Kong), Prof. David Lamas (Tallinn 
University,  Estonia),  Dr.  Maria  Lambrou  (University  of  the  Aegean  Business  School,  Greece),  Andy  Lapham 
(Thames  Valley  University,  UK),  Dr.  Mona  Laroussi  (Institut  National  des  Sciences  Appliquées  et  de  la  Tech‐
nologie, Tnis and Lille, Tunisia), Jake Leith (University of Brighton, UK), Kate Lennon (Glasgow Caledonian Uni‐
versity, UK), Mariana Lilley (University of Hertfordshire, UK), Dr. Jorgen Lindh (Jonkoping International Business 
School, Sweden), Dr. Gi‐Zen Liu (National Cheng Kung University, Taiwan), Dr. Ying Liu (Cambridge University, 
UK), Dr. Kim Long (Wiley College, USA), Jenny Lorimer (University of Hertfortshire, UK), Ana Loureiro (Politech‐
nic  Institute  of  Santarem  ‐  School  of  Education,  Portugal),  Prof.  Sam  Lubbe  (NWU,  South  Africa),  Dr.  Robert 
Lucas (Keylink Computers Ltd, Kenilworth, UK), Dr. Nick Lund (Manchester Metropolitan University, UK), Prof. 
Zdena Lustigova (Charles University in Prague, Czech Republic), Dr. Martin Magdin (Constantine the Philoso‐
pher University in Nitra, Faculty of Natural Sciences, Slovakia), Adnan Mahmood (University of Jinan, China), 
Dr. Chittaranjan Mandal (Dept of Computer Sc & Engg, IIT Kharagpur, India), Agostino Marengo (University of 
Bari, Italy), Dr Mourad Mars (University of Monastir, Tunisia), Dr. Lindsay Marshall (Newcastle University, UK), 
Dra  Maria  J  Martinez‐Arguelles  (Universitat  Oberta  de  Catalunya,  Spain),  Dr.  Gianina‐Ana  Masari  (Alexandru 
Ioan Cuza University of Iasi, Romania), Clyde Matava (University of Toronto, Canada), David Mathew (Univer‐
sity of Bedfordshire, UK), Erika Mechlova (University of Ostrava, Czech Republic), Dr. Cherifa Mehadji (Univer‐
sity of Strasbourg, France), Associate Director Rosina Merry (the school of Education The University of Waika‐
tio,  New  Zealand),  Linda  Joy  Mesh  (Universita  degli  Studi  di  Siena,  Italy),  Jaroslava  Mikulecka  (University  of 
Hradec  Kralove,  Czech  Republic),  Dr.  Peter  Mikulecky  (University  of  Hradec  Kralove,  Czech  Republic),  Mike 

ix 
Mimirinis (Middlesex University, London, UK), Julia Mingullon (Universitat oberta de catalunya, Spain), Dr. Ali 
Moeini (University of Tehran, Iran), Dr. Jonathan Moizer ( Plymouth University , UK), Johann Moller (University 
of South Africa (UNISA), South Africa), Dr. Begoña Montero‐Fleta (Universitat Politecnica de Valencia, Spain), 
Prof. Lina Morgado (Universidade Aberta, Portugal), Kate Mottram (Coventry University, UK), Peter Mozelius 
(Stockholm University, Department of Computer and Systems Sciences, Sweden), Prof. Radouane Mrabet (EN‐
SIA,  Morocco),  Dr.  Antoinette  Muntjewerff  (University  of  Amsterdam  Faculty  of  Law,  The  Netherlands),  Dr. 
Minoru Nakayama (Tokoyo Institute of Technology, Japan), Dr. Michaela Nettekoven (WU Vienna University of 
Economics and Business, Austria), Dr. Paul Newbury (University of Sussex, UK), Prof. Julian Newman (Glasgow 
Caledonian University , UK), Prof. Emanuela‐Alisa Nica (Center for Ethics and Health Policy and , Petre Andrei 
University  from  Iasi,  Romania),  Dr.  Chetsada  Noknoi  (Thaksin  University,  Songkhla,  Thailand),  Dr.  Abel  Nya‐
mapfene  (University  of  Bath,  UK),  Sinead  O’Neill  (Waterford  Institute  of  Technology,  Ireland),  Ass.Prof.Dr. 
Birgit Oberer (Kadir Has University, Turkey), Dr. Maruff Akinwale Oladejo (Department of Educational Admini‐
stration,  University  of  Lagos, Akoka,  Nigeria), Dr.  Kamila Olsevicova  (Univeristy  of  Hradec Kralove,  Czech  Re‐
public),  Laurence  Olver  (Brighton  Business  School,  University  of  Brighton,,  UK),  Dr.  Rikke  Orngreen  (Aalborg 
University, Denmark), Dr. Abdul Jalil Othman (Faculty of Education, University of Malaysia, Malaysia), Dr. Kut‐
luk Ozguven (Zirve University, Turkey), Dr. Ecaterina Pacurar Giacomini (Louis Pasteur University, France), Dr. 
Alessandro  Pagano  (University  of  Bari,  Italy),  Vasileios  Paliktzoglou  (University  of  eastern  Finland,  Finland), 
Masouras Panicos (Cyprus University of Technology, Cyprus), George Papadopoulos (University of Cyprus, Cy‐
prus),  Prof.  Kyparisia  Papanikolaou  (School  of  Pedagogical  and  Technological  Education,  Greece),  Dr.  Iraklis 
Paraskakis (South East European Research Centre (SEERC) Research Centre of the University of Sheffiled, Thes‐
saloniki, Greece), Paul Peachey (University of Glamorgan, Treforest, UK), Dr. Arna Peretz (Ben Gurion Univer‐
isty of the Negev, Israel), Dr. Carmen Perez‐Sabater (Universitat Politecnica de Valencia, Spain), Christine Perry 
(University  of  the  West  of  England,  Bristol,  UK),  Dr.  Donatella  Persico  (Istituto  Tecnologie  Didattiochje‐
Consiglio Nazionale Ricerche, Genova, Italy), Dr. Christopher Perumalla (University of Toronto, Canada), Prof. 
Pit Pichappan (Annamalai University, India), Prof. Mário Pinto (Polytechnic Institute of Porto, Portugal), Prof. 
Selwyn Piramuthu (University of Florida, Gainesville, USA), Dr. Michel Plaisent (University of Quebec in Mont‐
real, Canada), Lubomir Popelinsky (Masaryk University, Czech Republic), Dr. Maria Magdalena Popescu (Carol I 
National  Defence  University,  Romania),  Dr.  Francesca  Pozzi  (ITD‐CNR,  Italy),  Dr.  Muhammad  Abdul  Qadir 
(Mohammad Ali Jinnah University, Islamabad, Pakistan), Prof. Ricardo Queirós (ESEIG/KMILT & CRACS/INESC, 
Portugal), Susannah Quinsee (City University, London, UK), Prof. Ali Raddaoui (University of Wyoming, USA), 
Dr. Bilba Radu (George Bacovia University,, Romania), Abdul Rafay (Asia Pacific University College of Technol‐
ogy & Innovation, Malaysia), Dr. Liana Razmerita (Copenhagen Business School, Denmark), Hugo Ribeiro (Uni‐
versity of Porto, Portugal), Dr. Bart Rienties (University of Surrey, UK), Dr. Eleni Rossiou (Univerisity of Mace‐
donia,  Greece),  Dr.  Danguole  Rutkauskiene  (Kaunas  University  of  Technology,  Lithuania),  Dr.  Florin  Salajan 
(North Dakota State University , Canada), David Sammon (Univesity College Cork, Ireland), Marie Sams (Coven‐
try University, UK), Gustavo Santos (Technical University of Lisbon, Portugal), Prof. Vitor Santos (New Univer‐
sity of Lisbon, Portugal), Dr. Venkat Sastry (Defence College of Management and Technology, Cranfield Univer‐
sity, UK), Dr. Guy Saward (University of Hertfordshire, UK), Brian Sayer (University of London, UK), Prof. Jeanne 
Schreurs  (Hasselt  University,  Diepenbeek,  belgium),  Dr.  Jane  Secker  (London  School  of  Economics,  UK),  Dr 
Elena Seghedin  (Alexandru  Ioan  Cuza  University,  Romania), Dr.  Fabio  Serenelli  (Università  degli  Studi  Milano 
Bicocca,  Italy),  Dr.  Nima  Shahidi  (Islamic  Azad  University‐  Noorabad  Mamasani  Branch,  Iran),  Zaffar  Ahmed 
Shaikh  (IBA  Karachi,  Pakistan),  Angela  Shapiro  (Glasgow  Caledonian  University,  UK),  Dr.  Michael  Shoukat 
(UMUC, USA), Aileen Sibbald (The Business School, at Edinburgh Napier University, UK), Dr. Petia Sice (Univer‐
sity  of  Northumbria,  Newcastle‐upon‐Tyne,  UK),  Prof.  Ali  Simsek  (Anadolu  University,  Turkey),  Dr.  Gurmeet 
Singh (The University of The South Pacific, Suva , Fiji, Fiji), Prof. Cees Th. Smit Sibinga (Academic insitute for the 
international  development  of  transfusion  medicine,  The  Netherlands),  Alisdair  Smithies  (Dundee  Medical 
School, UK), Dr. Keith Smyth (Napier University, Edinburgh, UK), Bent Soelberg (South Danish Educationscenter 
(SDE),  Denmark,  Denmark),  Dr.  Yeong‐Tae  Song  (Towson  University,  Maryland,  USA),  Dr.  Michael  Sonntag 
(FIM, Johannes Kepler University, Linz, Austria), Dr. Sonia Sousa (Tallinn University, Estonia), Dr. Rumen Stainov 
(University  of  Applied  Sciences,  Fulda,  Germany),  Dr.  John  Stav  (Sor‐Trondelag  University  College,  Norway), 
Iain Stewart (Glasgow Caledonian University, UK), Caroline Stockman (University of Leuven, Belgium), Thomas 
Strasser  (Vienna  University  of  Education,  Austria),  Karen  Strickland  (Edinburgh  Napier  University,  UK),  Dr. 
Amanda  Sykes  (University  of  Glasgow,  UK),  Dr.  Roxana  Taddei  (Université  Clermont  Ferrand  2,  Montpellier, 
France),  Yana  Tainsh  (University  of  Greenwich,  UK),  Bénédicte  Talon  (Université  du  Littoral,  France),  Marian 
Theron  (False  Bay  College,  Tokai,  South  Africa),  Dr.  John  Thompson  (Buffalo  State  College,  USA),  Dr  Socaciu 
Tiberiu  (University  of  Suceava,  Romania),  Dr.  Claudine  Toffolon  (Université  du  Mans  ‐  IUT  de  Laval,  France), 
Florica Tomos (South Wales University, UK), Dr. Eulalia Torras‐Virgili (Open University of catalonia, Spain), Dr. 

x 
Melih  Turgut  (Eskisehir  Osmangazi  University,  Turkey),  Christopher  Turner  (University  of  Winchester  ,  UK), 
Karin Tweddell Levinsen (department of Learning and Philosophy, at Aalborg University – Copenhagen, Den‐
mark), Dr. Aimilia Tzanavari (University of Nicosia, Cyprus), Prof. Catalina Ulrich (University of Bucharest, Ro‐
mania), Prof. Huseyin Uzunboylu (Near East University, Cyprus), Dr. Linda Van Ryneveld (Tshwane University of 
Technology, Pretoria, South Africa), Dr. Carlos Vaz de Carvalho (GILT ‐ Graphics, Interaction and Learning Tech‐
nologies,  Portugal),  Prof.  Andreas  Veglis  (Aristotle  University  of  Thessaloniki,  Greece),  Dr.  Steven  Verjans 
(Open  Universiteit  of  The  Netherlands,  The  Netherlands),  Anne  Villems  (University  of  Tartu,  Estonia),  Dr  Po‐
rawat Visutsak (Faculty of Applied Science, King Mongkut's University of Technology North Bangkok, Thailand), 
Porawat Visutsak (Faculty of Applied Science, King Mongkut's University of Technology North Bangkok, Thai‐
land), Prof. Steven Warburton (University of Surrey, Guildford, UK), Bruno Warin (Université du Littoral, Calais, 
France), Fahad Waseem (University of Northumbria, Middlesbrough, UK), Garry Watkins (University of Central 
Lancashire, UK), Dr. Anne Wheeler (Aston University, UK), Nicola Whitton (Manchester Metropolitan Univer‐
sity,  UK),  Roy  Williams  (University  of  Portsmouth,  UK),  Dr.  Shirley  Williams  (University  of  Reading,  UK),  Dr. 
Katherine  Wimpenny  (Coventry  University,  UK),  Prof.  Stanislaw  Wrycza  (University  of  Gdansk,  Poland),  Dr. 
Panagiotis  Zaharias  (Open  University  of  Cyprus,  Greece),  Dr.  Prof.  Qinglong  Zhan  (Tianjin  University  of  Tech‐
nology and Education, China), Chris Zielinski (External relations and Governing Bodies, World Health Organiza‐
tion,  Geneva,  Switzerland),  Anna  Zoakou  (Ellinogermaniki  Agogi,  Greece),  Prof.  Mounir  Zrigui  (University  of 
Monastir, Tunisia) 

xi 
Biographies 
Conference and Programme Co‐Chairs 
Dr Rikke Ørngreen, Assoc. Professor, at the ResearchLAB: IT and Learning Design, at the 
Department  of  Philosophy  and  Learning,  Aalborg  University,  Copenhagen,  Denmark. 
Rikke  is  chairman  of  the  study  board:  IT  and  Learning,  and  as  such  coordinator  for  the 
Master of Science in Information Technology, Specializing in ICT, Learning and Organiza‐
tional Change. She is a member of several boards, has organized conferences, and acted 
as project leader for EU and research projects with companies. Rikke researches the de‐
sign  and  use  of  educational  designs,  learning  processes  and  resources,  which  integrate 
digital and online technologies. Of particular interest are digital productions and video conferences, for teach‐
ing and learning, for collaboration and in competence development processes. 

Dr Karin Levinsen is Ass. Professor at the Department of Philosophy and Learning at Aal‐
borg University, and a member of the Research Lab for ICT and Learning Design (ILD). She 
has been a member of the Ministry of Education advisory board for ICT and Learning in 
the Danish public school. She has participated in several research and development pro‐
jects regarding Design for Learning and Video Conferencing, and is a member of the edito‐
rial group at the Journal for Design for Learning. She has worked on a range of national 
and European projects regarding distance learning – e.g. Lancelot on VC based language 
teaching. In addition to the research projects into Video Conferencing, Karin are right now participating in sev‐
eral larger project in relation to ICT and learning in the Danish public school funded by the Danish Ministry of 
Education. 

Keynote Speakers 
Chris  Dede  is  the  Timothy  E.  Wirth  Professor  in  Learning  Technologies  at  Harvard’s 
Graduate  School  of  Education.    His  fields  of  scholarship  include  emerging  technologies, 
policy,  and  leadership.    His  funded  research  includes  grants  from  the  National  Science 
Foundation, the U.S. Department of Education’s Institute of Education Sciences, and the 
Gates Foundation to design and study immersive simulations, transformed social interac‐
tions, and online professional development.   In 2007, he was honored by Harvard Uni‐
versity as an outstanding teacher, and in 2011 he was named a Fellow of the American 
Educational  Research  Association.    From  2001‐2004,  he  was  Chair  of  the  HGSE  department  of  Teaching  and 
Learning.  Chris has served as a member of the National Academy of Sciences Committee on Foundations of 
Educational  and  Psychological  Assessment  and  a  member  of  the  2010 National Educational  Technology  Plan 
Technical  Working  Group.    In  2013,  he  co‐convened  a  NSF  workshop  on  “new  technology‐based  models  of 
postsecondary  learning.”    His  co‐edited  book,  Scaling  Up  Success:  Lessons  Learned  from  Technology‐based 
Educational Improvement, was published by Jossey‐Bass in 2005.  A second volume he edited, Online Profes‐
sional  Development  for  Teachers:  Emerging  Models  and  Methods,  was  published  by  the  Harvard  Education 
Press in 2006.  His latest co‐edited book, Digital Teaching Platforms: Customizing Classroom Learning for Each 
Student, was published by Teachers College Press in 2012. 

Torben  Elgaard  Jensen  is  Professor  with  special  responsibilities  in  Techno‐Anthropology 
and  Science  &  Technology  Studies  and  is  Leader  of  the  Techno‐Anthropology  Research 
Group | Department of Learning and Philosophy at Aalborg University Copenhagen. 

 
 
 
 
 

xii 
Mini Track Chairs 

Wilfried Admiraal is full professor of Educational Sciences and chair of the research pro‐
gram  Teaching  and  Teacher  Learning  of  Leiden  University  Graduate  School  of  Teaching. 
His research interest combines Educational Sciences, Social Psychology and technology, in 
secondary  schools  and  higher  education.  He  published  journal  articles  on  game‐based 
learning, learning with web‐based video, the use of annotation tools in collaborative writ‐
ing and online communication in various collaborative projects. 

Andrea Benn is a Senior Lecturer with the Business School at the University of Brighton 
having  joined the  University in  2008. Her  role  now  includes  course  leader  for  the  BSc 
(Hons)  Business  Management  and  deputy  course  leader  for  the  BSc  (Hons)  Business 
with Enterprise. Andrea has recently undertaken action research to develop and inte‐
grate pedagogical strategies such as blended learning and more recently problem based 
learning  as  part  of  a  project  with  colleagues,  culminating  in  the  validation  of  a  new 
honours degree course for the Business School. 

Sarah Cornelius is a Senior Lecturer in the School of Education at the University of Aber‐
deen, UK. She supports teachers and lecturers to widen and improve learning opportuni‐
ties for adult and professional learners using technology. Her research explores learners’ 
and teachers’ experiences of technology enhanced learning and the use of technology to 
create  flexible,  authentic  and  learner‐centred  educational  experiences. Her  most  recent 
book: Live online learning: strategies for the web conferencing classroom is published by 
Palgrave Macmillan in 2014.  Sarah is a Senior Fellow of the UK’s Higher Education Acad‐
emy and co‐chair for the Association for Learning Technology 2014 conference. 

Rachel  Fitzgerald  is  the  Head  of  Online  Learning  Development  and  a  Senior  Lecturer  at 
Northampton Business School, University of Northampton. Rachel is currently involved in an 
ambitious project to transform online learning for a transnational audience, developing qual‐
ity frameworks and engaging staff in online curriculum design. She is the project manager of a 
learning and teaching project to open postgraduate business education and overseas the de‐
velopment of distance learning within the School. Rachel has been involved in eLearning for 
over  a  decade  and  previously  managed  a  learning  technology  unit.  Her  current  research  is 
focused on digital literacies, online education and collaboration, privacy and eLearning. 

Biographies of Presenting Authors 
Paulo Alves – Ph.D. in Technology and Information Systems, University of Minho, Portugal, and Master in Mul‐
timedia Technology from the University of Porto, Portugal. Is e‐learning coordinator and professor at the Poly‐
technic Institute of Bragança. The research interests include: e‐learning, web development and multimedia. 

Maram Al Zaidi is currently a PhD candidate at the Department of Computer Science at the University of War‐
wick, and a member of the IAS‐ Intelligent and Adaptive Systems‐ group in the University of Warwick. She hold 
a  D.PE  from  the  University  of  Jordan  in  e‐Gov.  Her  research  interests  include  educational  technology,  m‐
learning, mobile technology and social network for education. 

Nourah Alshaghdali is currently a PhD student at the University of Brighton, UK. She has graduated the MSc 
course in Information Systems at the University of Brighton in 2012, and was awarded BSc degree from King 
Abduaziz University, Jeddah, Saudi Arabia. Her main research interests are on e‐learning in higher education, 
women learning, Business studies, virtual environment, and online education.  

xiii 
Diana Andone is the Director of the eLearning Centre responsible for planning and implementing eLearning. 
She runs the team who developed and assure daily integration of the university award wining Virtual Campus 
CVUPT.  She  is  also  lecturer  at  the  “Politehnica”  University  of  Timisoara,  Romania,  in the  area  of  multimedia 
and web technologies.   
 
Lars  Birch  Andreasen  is  Associate  Professor,  Aalborg  University,  Copenhagen,  Denmark,  and  PhD  in  Educa‐
tional Studies, the Danish University of Education. He is head of the coordination group for the Danish Master 
programme in ICT and Learning (MIL). His research deals with collaborative and dialogic learning, social media 
and new technologies, information literacy, and problem‐based learning. 

Trish Andrews is a Senior Lecturer in Higher Education with the Teaching and Educational Development Insti‐
tute (TEDI) at the University of Queensland and manages the Technology Enhanced Learning Group. Her re‐
search  and  scholarship  focuses  on  learning  spaces,  mobile  learning,  learners'  experience  of  ICT  for  teaching 
and learning and capacity building.  
 
Natalia Auer is a PhD student in the Institute of Learning Innovation at the University of Leicester. Her main 
research  interests  are  technology‐enhanced  language  learning,  Spanish  language  learning  as  a  foreign  lan‐
guage, comprehension processes and strategies for reading digital texts. Her PhD research focuses on mobile 
assisted language learning (MALL) and how metacognitive reading strategies can be facilitated by mobile tech‐
nologies. 
 
Samira Bakr is a PhD holder. She is a Senior Assessment Specialist in The national Center for Examination and 
Educational evaluation, Ministry of Education, Egypt. She worked as the ELT counselor, curricula specialist and 
teacher trainer. She gave many presentations in local and international conferences. Her research interests are 
e‐learning, teacher education and assessment. 
 
Patricia Alejandra Behar holds a PhD in Computer Science, operates in Post‐Graduate Education and Graduate 
Diploma in Computer Education at the Federal University of Rio Grande do Sul (UFRGS) in Brazil. She is coordi‐
nator of the "Center for Digital Technology Applied to Education" (NUTED) at UFRGS. 
 
Dr Milena Bobeva is MBA Director at the Business School, Bournemouth University. She has actively exploited 
and promoted the use of contemporary information and communication technologies as an enabler for effec‐
tive performance. Her background in business information systems management has underpinned her profes‐
sional and research practice in the areas of educational and business process enhancement.  
 
Farida Bouarab‐Dahmani is a Senior lecturer in computer science at computer science department of Mouloud 
Mammeri University of Tizi Ouzou, Algeria. She has got doctorate and HDR on knowledge representation and 
evaluation process for e‐learning by doing environments. Farida’s research largely related to computer science 
use in the education field. 
 
Mie Buhl is Professor in ICT, Didactics and Visual Culture. Research Lab: ICT and Learning Design, Department 
of Communication and Psychology, Aalborg University Copenhagen. Research Interests: Visual Culture, Media 
and  ICT  with  an  emphasis  on  University  Education,  Teacher  Training,  Primary  School  and  with  the  focus  on 
visual learning.  

Jeppe Bundsgaard is associate professor, working with ICT in primary and secondary education, mainly in rela‐
tion to Danish. Bundsgaard has participated in a number of projects developing scenario based digital learning 
platforms. Currently he is National Research Coordinator in ICILS and Research Director in three research and 
development projects called the Demonstration School Projects. 
 
Hana Bydžovská is a PhD student of Computer Systems and Technologies at the Faculty of Informatics Masaryk 
University Brno, Czech Republic. She has been employed as the university information system developer for 
more  than  5  years.  Nowadays,  she  works  as  a  system  analyst.  Her  research  interests  include  recommender 
systems and educational data mining. 
 
Lindsey Carey, Programme Director (MRes) and Deputy Director of the Graduate School. Subject specialisms: 
Consumer Behaviour; Sustainable Practices and Research Methods 

xiv 
Maggie Carson is a Lecturer in Nursing Studies at the University of Edinburgh.  She teaches both undergradu‐
ate and postgraduate students and has a special interest in e‐learning.  She developed an asynchronous online 
leadership  course  while  on  a  part  time  internal  secondment  to  the  Institute  for  Academic  Development  last 
year. 

Ivana Čechová graduated from the Faculty of Arts at Masaryk University in Brno with specializations in peda‐
gogy,  English and Russian  language  and  literature.  She has  worked  in management positions  as  Head  of  Re‐
search and Deputy Head of the Language. Currently she works as a senior lecturer.  

Miloslava Černá, Ph.D.1997 is a Lecturer at the Department of Applied Languages, Faculty of Informatics and 
Management, University of Hradec Králové, Czech Republic. Publications in the following areas:  utilization of 
social applications in higher education, language portals, usability testing, the other area of professional inter‐
est is blended learning: design, motivation, communication and virtual communities in e‐courses.  

Paula Charbonneau‐Gowdy is assistant professor of English as a Foreign Language in teacher training at the 
Universidad Andres Bello, Santiago, Chile.  She worked formerly as Senior Advisor in Learning and Technology 
to the Government of Canada and has published extensively in learning and technology while seeking to push 
the pedagogical boundaries of technology to promote democratic change 

Dr. Pieter Conradie is a senior lecturer in the Department of Information and Communication Technology (ICT) 
at the Vaal University of Technology (VUT), focusing on e‐learning, specifically learning theories, Massive Open 
Online Courses (MOOCs) and Virtual Learning Environments (VLE). 

Marija Cubric is a Reader in  E‐learning and a member of  the Information Systems and Project Management 

subject  group  at  the  University  of  Hertfordshire  Business  School.  Her  research  interests  include  educational 
technologies, and their influence on learning and teaching processes. 

Susanne  Dau:  RN,  MLP  and  Ph.D.  student  in  the  Department  of  Communication  and  Psychology  at  Aalborg 
University (AAU), Denmark.  She is part of the research E‐learning Lab Centre. Her primary research interests 
are within the fields of learning, knowledge development and way‐finding in blended learning environments.  
She is a lecturer at University College North, Denmark. 

Ahmed Dib received M.S degree in the department of computer Engineering at University of TiziOuzou. He is 
also and also assistant researcher at the Grid Computing Research Center. He is current research interests are 
E‐learning, cloud computing system, Hadoop. 

Sibusisiwe Dube is a first year PHD student at the University of Cape Town in the Department of Information 
Systems. Has worked as a lecturer since January 2008 in the Department of Computer Science at the National 
University of Science and Technology (NUST) in Zimbabwe. 

Stephanie Edel‐Malizia is an Instructional Designer for Penn State University. She completed her Doctorate of 
Education  with  the  dissertation  "Design  and  Implementation  of  Faculty  Development  for  Student  Required 
Internet Use".   Stephanie is a 2013 graduate of the Institute for Educational Leadership Fellows program.   

Maite Fernandez Ferrer graduated in Education by the University of Barcelona and she has a Masters’ degree 
in  Social  and  Educational  Action  by  the  same  university.  She  is  a  member  of  the  research  group  Interactive 
Media  Lab  directed  by  Antonio  Bartolomé.  Since  2010  she  has  been  part  of  various  researches  on  compe‐
tences assessment in Higher Education. 

Olga Fragou is an Instructional Designer in Educational Content, Methodology and Technology Lab, at Hellenic 
Open  University  and  is  Head  of  the  Learning  Activities  Team.  During  2005‐2008  she  worked  as  a  PhD  re‐
searcher  and  instructional  designer  in  ICT  Courses  in  the  Educational  Technology  Laboratory,  University  of 
Athens.  

Mª Del Carmen Gallego Sánchez studied telecommunications engineer. Nowadays, she is studying studying a 
postgraduate at the University of Alcala de Henares, the fundamental theme of the research is relational coor‐

xv 
dination  and  quality  in  online  education.  I  like  conferences  because  you  can  communicate  about  your    re‐
search. 
 
Sue Greener is a Principal Lecturer at Brighton Business School, University of Brighton. She conducts research 
in the fields of technology enhanced learning, blended learning and reflective learning and is particularly inter‐
ested in developing teachers’ interest and competencies in these areas. She is editor of the journal Interactive 
Learning Environments. 
 
Fatih GüllüI finished the higher education in 2001 in Kazan Pedagogical University, Russia. Fatih was a lecturer 
in information technology at the Bugulme Turkish College, during the years 2001 – 2006. PhD candidate in the 
Information Technology Institution at Tallinn University of Technology. 
 
Mishack Gumbo is an Associate Professor at the University of South Africa’s College of Education and Depart‐
ment of Science and Technology. He holds these qualifications: PhD, MEd, MPhil, BEd (Hons), BA, UED, Inter‐
nat. Mishack has a Certificate in Technology Education. He is currently enrolled for MEd in DE and E‐learning.  
 
Amani Hamdan is an award winning scholar her book: Muslim Women Speak A Tapestry of Lives And Dreams 
won the Canadian Women’s Studies Association Book Prize in 2011. She has obtained her M.A. in Education 
from Mount Saint Vincent University MSVU in Halifax Nova Scotia and Doctorate of Philosophy in Education 
Studies specializing in Curriculum and Pedagogy from the University of Western Ontario UW.   
 
Mohamed Ziad Hamdan (PhD) is Professor of education and educational psychology at some online American 
and European universities; and the founder and director of Hamdan Academy for Higher Education Online.  His 
B.A  from  Damascus  University  Syria;  M.Sc.  from  Bemidji  State  University‐  Minnesota,    and  Ph.D.  from  Kent 
State University, Ohio‐ USA. 
 
Thomas Hansen, a linguist by trade, is a former Ph.D. student and researcher in the area of language learning 
and speech technology, from The University of Southern Denmark and University College London. His current 
areas  of  interest  is  the  use  of  speech  recognition  technology  in  Serious  Games  for  language  learning  and 
speech rehabilitation. 
 
Herman Herman is a lecturer at Universitas Terbuka, Indonesia. His undergraduate was from Institut Teknologi 
Bandung majoring in Math. He also has an M.A in Educational Psychology from University of Victoria, BC, Can‐
ada, and got PhD in Research and Evaluation from Universitas Negeri Jakarta, Indonesia. 
 
Ellie  Hothersall  is  a  Consultant  in  Public  Health  Medicine,  and  Honorary  Clinical  Senior  Lecturer  and  Co‐
Convenor of years 1‐3 at Univeristy of Dundee Medical School. Her interests are in social media for teaching; 
professionalism both on‐ and off‐line; and in assessment of hard‐to‐assess subjects. 
 
Margaret‐Anne  Houston  is  a  Senior  Lecturer  in  Consumer  Policy  &  Trading  Standards.  Subject  specialisms: 
Business Regulation; Consumer Education & Protection; Research Methods. 
 
Adam Hudson graduated cum laude from the University of Wisconsin – Eau Claire in 2004. He has a Master’s 
in Library and Information Science from the University of Wisconsin – Milwaukee and a Specialization in Web 
Development from the University of Southern California. He teaches courses in front end web development at 
UW‐Milwaukee  and  does  freelance  web  development  in  both  the  corporate  and  non‐profit  sector.  His  re‐
search interests include usability, front‐end web development, and competency based education 
 
Amanda Jefferies is a Reader in Technology Enhanced Learning at the University of Hertfordshire, where she 
leads  the  Technology  Supported  Learning  Research  group.  Her  research  interests  relate  to  students’  experi‐
ences of using technology to support their learning and the development of supportive pedagogies. She was 
awarded a UK National Teaching Fellowship in 2011. 
 
Mengjie Jiang Started their PhD studies in January 2013 at the University of Leicester. My main research inter‐
est is in digital literacy skills of students in higher education. Mengjie PhD research investigates and compares 
digital literacy skills among Chinese post‐graduate students in Chinese and UK higher education institutions. 
 

xvi 
David Kalenda After the eight‐year study at the comprehensive grammar school in Liberec I studied informa‐
tion management at the University of Hradec Králové which I graduated from in 2013. Presently I am a Ph.D 
student  of  information  and  knowledge  management  and  also  a  software  analyst  at  one  IT  company  in  the 
most beautiful city of Hradec Králové. 
 
Md. Saifuddin Khalid is an assistant professor at Department of Learning and Philosophy, Aalborg University, 
where  he  teaches  the  master  program  in  ICT,  Learning  and  Organizational  Transformation.  He  is  part  of 
D4learning  and  techno anthropology  research groups.  Research  interest:  understanding,  solving  and  circum‐
venting the barriers to the adoption and integration of ICT in education. 
 
Shihab Khogali PhD, MMEd (Distinction), MBBS, FHEA is a Clinical Senior Lecturer in Medical Education at the 
University of Dundee, where he is currently convenor for the MBChB cardiovascular system course, transition 
block  1  course,  and  co‐lead  for  physiology  teaching.  He  has  also  been  leading  with  the  development  of  TBL 
within the MBChB curriculum. 
 
Elsebeth Korsgaard Sorensen, Professor in Digital Communication and Learning; Fellow at University of Cam‐
bridge (UK) is head of the research group D4Learning in Dept. of Learning and Philosophy, Aalborg University, 
Denmark. For several years she was head of the online Master programme in ICT & Learning, offered collabo‐
ratively by three Danish universities.  
 
Agnieszka Landowska since 2000 has worked for Gdansk University of Technology in Poland. She is a leader of 
of Emotions in HCI Research Group (www.emorg.eu), that investigates diverse aspects of affective computing 
and  applications.  She  is  a  Chief  Editor  of  scientific  journal  EduAction.  Electronic  Education  Magazine  (edu‐
kacja.eu) and a member of scientific organizations PTNEI and EDEN. 
 
Qian Liu is a master student in epidemiology and biostatistics in Tongji Medical College of Huazhong University 
of Science and Technology, China. She acts as a research assistant in the project “Asian Regional Capacity De‐
velopment for Research on Social Determinants of Health” funded by European Commission’s Seventh Frame‐
work Program. 
 
Rob Lucas has been working on 3D immersive environments for science for the past eight years.  In 2006 he 
developed a telescope simulator as training package for those attending a residential course in observational 
astronomy.  He went on to show how 3d virtual environments could be used to create virtual experiments. 
 
Rikke Magnussen is an associate professor at ResearchLab: ICT and Design for Learning, Department of Com‐
munication,  Aalborg  University.  Her  main  research  interest  is  how  intelligent  or  game‐based  technology  can 
open for new types of collaborative science practice and innovation processes to change science education in 
school and science learning in in‐formal settings outside school.  
 
Annalisa Manca Bed (hons), Med works as an Educational Technologist at Dundee Medical School; her main 
interest is how teaching and learning in Medical Education can be improved through new technologies. She is 
interested  in  the collaborative,  dialogical  and  cognitive  processes  happening  in  social  learning  environments 
and the educational features related to the social dimension of knowledge.  
 
Bente Meyer is an Associate Professor at the Department of Learning and Philosophy, Aalborg University. Her 
research  interests  include  practice  perspectives  on  ICT  in  educational  change,  global  perspectives  on  ICT  in 
learning as well as computer assisted language learning (CALL). She has edited several books on media, ICT and 
Learning. 
 
Luísa Miranda ‐ Ph.D. in Education in the area of Educational Technology and Master in Educational Technol‐
ogy, University of Minho, Portugal. Is Professor at the Polytechnic Institute of Bragança. The research interests 
include: educational technology and e‐learning. 
 
Carlos Morais ‐ Ph.D. in Education in the area of Teaching Methodology of Mathematics and Master in in Edu‐
cational  Technology,  University  of  Minho,  Portugal.  Is  researcher  at  ICCS‐Research  Centre  for  Child  Studies, 
University of Minho, Portugal. Is Professor at the Polytechnic Institute of Bragança. The research interests in‐
clude: educational technology, ICT applied to mathematics. 

xvii 
 
Peter  Mozelius  has  since  1999  been  employed  as  a  teacher  and  researcher  at  the  Stockholm  University  in 
Stockholm, Sweden. He is currently working at the Department of Computer and Systems Sciences as an IT‐
pedagogue and researcher. Research interests are in the fields of game‐ based learning, technology enhanced 
learning and ICT4D. 
 
Mihaela Muntean is the chair of the Business Information Systems Department at the West University of Timi‐
soara and an IT independent consultant. With a background in Computer Science and a Ph.D. obtained both in 
Technical Science and in Economic Science, professor Mihaela Muntean focused her research activity on topics 
like information technology, knowledge management, learning organizations, business intelligence.  
 
Lukáš Najbrt is a PhD student at the Department of ICT, University of Ostrava in Czech Republic. I work as a 
designer of educational audiovisual projects. Under the program of our Department of ICT I am trying to ex‐
tend the personalized learning field to museum area. I have had several successful projects for museums and 
lifelong learning. 
 
Jarmila  Novotná  is  a  Professor  at  Charles  University  in  Prague,  Faculty  of  Education,  Czech  Republic.  Main 
fields  of  interest:  Didactical  conditions  of  transformation  of  students’  models  of  activities  when  grasping 
knowledge and skills, transfer of research results into practice. 
 
Lisa  Oakley  is  programme  leader  for  the  only  Abuse  Studies  undergraduate  programme  in  the  UK.  She  was 
recently awarded a Senior Fellowship of the Higher Education academy partly in recognition of the use of new 
and emerging technologies within the programme.  She has taught in HE for over 20 years.  
 
osane Pagano is a Principal Lecturer in Project Management at Manchester Metropolitan University Business 
School. Her research interests are in Education Management, Technology in Education, and Project Manage‐
ment. Rosane has a BSc (Hons) Systems Engineering and a PhD in Applied Sciences (Simulation in Education), 
as well as international work experience in project management. 
 
Karen  Bjerg  Petersen,  Ph.D.,  is  an  associate  professor  and  coordinator  of  educations  in  the  Department  of 
Education,  Faculty  of  Arts,  at  Aarhus  University,  Denmark.  She  has  been  engaged  in  teacher  education  and 
masters  programs  since 1999  within  the  area  of  adult  DSOL teaching  in  Denmark. Her  research  is about  im‐
plementing online teaching and learning in DSOL curriculum, and DSOL teaching. 
 
Toomas Plank is deputy director of the Institute of Physics, University of Tartu. All his courses are supported by 
e‐learning tools. He is the member of Estonian e‐learning quality assurance task force from year 2008. 
 
Shana  Ponelis  Assistant  Professor,  School  of  Information  Studies,University  of  Wisconsin‐Milwaukee  (UWM) 
teaching  systems  analysis/design,project  management.  Selected  Fellow  (2012‐2013)  Wisconsin  Teaching  Fel‐
low  and  Scholars  program,  focusing  on  scholarship  of  teaching/  learning.  Was  Senior  Lecturer  with  Dept  of 
Informatics,University of Pretoria,South Africa. Was consultant with Atos KPMG Consulting and Arthur Ander‐
sen.  Researches  empowerment  of people enabling  them  to  make decisions  to  develop  themselves,  their  or‐
ganizations, their communities and society.  PhD in Information Technology,University of Pretoria, South Af‐
rica. 
 
Maria  Magdalena  Popescu,  an  associate  professor  at  Carol  I  National  Defence  University  in  Bucha‐
rest,Romania. With an ESL major, an MA in British Cultural Studies, and a PhD in Humanities,  she is one of the 
military  English  blended  learning  initiators in  the  Romanian  military.  Author  of  more  than  50  articles  and    9 
books, conference moderator and reviewer for Journals and Proceedings. 
 
Juliana Raffaghelli is a Researcher fellow at the ITD‐CNR, within the context of the “Science & Technology Digi‐
tal Libraries” project. Coordinated by CNR Rome. Post‐doctoral researcher (2012‐2013) at the UNITN‐DIPSCO. 
Coordinator  of  Univirtual  eLearning  Technologies  Lab (2010‐2012)  within  the  International  center  for  Educa‐
tional Research and Advanced Training (Ca’ Foscari University of Venice) under the direction of Prof. Umberto 
Margiotta.  
 

xviii 
Eleni Rossiou BSc in Mathematics, MSc in Computer Science, MEd. In Adults Education, PhD In Apllied Infor‐
matics and Postgraduate Certification in Open and Distance Education. She is a ICT and Maths teacher in Sec‐
ondary  Education,  PostDoc  Researcher,  teachers’  trainer  and  member  of  various  scientific  Association.  Her 
research area includes blended learning methods and game‐based learning.  

Thomas Ryberg Professor mso (Ph.D) in the Department of Communication and Psychology at Aalborg Univer‐
sity,  Denmark  and  a  part  of  the  research  center  E‐learning  lab.    His  research  interest  is  within  Networked 
Learning and Problem Based Learning. He is co‐chair of the International Networked Learning Conference. He 
has participated in several international research projects and networks.  

Javier Sarsa is an Electrical Engineer with a long professional record in educational technology. He is working 
as full professor at the Faculty of Education of the University of Zaragoza, teaching about ICT since 1995. He 
has published works in the fields of learning technology and e‐Learning, interactive multimedia, video lectures, 
videoconferencing, LMS, e‐Learning quality and standards, etc. 

Signe Schack Noesgaard is a Doctoral candidate at the IT and Learning Design Lab at Aalborg University and 
the Universe Foundation, Denmark. Her research interests are within adult education, technology, and transfer 
of learning. Of particular interest are measurements of transfer of learning to work practices and learning ef‐
fectiveness.  

Katharina  Schuster.  With  a  degree  in  communication  sciences,  political  sciences  and  psychology,  Katharina 
Schuster has been working as a scientific researcher at RWTH Aachen University since 2009. She is the leader 
of the research group “Didactics in STEM fields” and focuses her research on virtual learning environments and 
learning with immersive, natural user interfaces. 

Libuše  Svobodová,  Ph.D.  works  for  the  Faculty  of  Informatics  and  Management  of  the  University  of  Hradec 
Králové from 2004 on the Department of Economics. Main focus in research is on the managerial and financial 
accounting, advanced manufacturing technology and benefits, finance, economic and investment games and 
social software. 

Othman Talib received his first degree in Chemistry from the National University of Malaysia. He pursued his 
Mater in Science from the Universiti Putra Malaysia, then received his Doctor of Education degree at the Uni‐
versity of Adelaide, Australia, specializing in the area of animation in science education.  

Tenku Putri Norishah Tenku Shariman is a Digital Media Studies lecturer at Multimedia University, Malaysia. 
She is the deputy chairman of the Centre of Interactive Media which focuses on research that employ the use 
of technologies in interactive environments. Her research and publication interests include the impact of new 
technologies on literacy and learning. 

Ross Thompson is Head of PG Programmes, Northampton Business School. Ross Thompson is an experienced 
academic specialising in corporate strategy, and finance. His research interests however lie in pedagogy and 
especially the areas of MOOC development and graduate employability.  Ross is currently completing a profes‐
sional doctorate at Oxford Brookes University. 

Saraswathy Thurairaj is currently working in UTAR as an English Lecturer and pursuing her PhD in English Stud‐
ies in International Islamic University of Malaysia. She has vast teaching experience at the tertiary level particu‐
larly in the area of ESP. Her area of interest is in research in the teaching of English as a second language, Mul‐
tiple Intelligences, Multimedia Annotations, Gender Studies and First Language Acquisition.  

Florica Tomos is an experienced Economist and Lecturer at South Wales University, and Ph D student at the 
Department  of  Business  &  Entrepreneurship.    Studies:  BSc  (Econ),  MSc.  Educ.  (50%),  (MA)  PGD  Costs  &  Ac‐
countancy,  Dipl.  Management  &  Business,  (MA)  PGC  Professional  Development,  PGCE,  ECDL,  AAT.  Her  re‐
search interest include: education, entrepreneurship, mobile technologies, e‐learning, strategic management 
and women entrepreneurs. 

xix 
František Tůma is a postdoctoral researcher at the Institute for Research in School Education, Faculty of Edu‐
cation,  Masaryk  University,  Brno.  He  specializes  in  research  within  foreign  language  didactics,  namely  in  the 
areas of learner language, interaction and the use of ICT in language teaching. 
Patris  van  Boxel  is  an  educational  technologist  with  20  years  of  international  experience  in  the  field  of  ICT‐
based innovative teaching and learning practice in higher education. Special interests include ICT educational 
policy development, digital assessment, digital marking, peer review, active learning methods, staff develop‐
ment, grassroots teaching innovations. 

Janneke van der Hulst is an education consultant, interested in how to enhance and innovate education, in‐
cluding the use the ICT’s. Specific expertise: course design for active learning; feedback and formative assess‐
ment;  teaching  the  culturally  diverse  classroom;  designing  and  using  ICT  applications  in  higher  education; 
training of lecturers on the use of VLE’s. 

Jan Veřmiřovský is an academic staff of University of Ostrava. Jan Veřmiřovský focuses on using modern tech‐
nologies in education, the application of ICT into education and research of eyetracking applications in educa‐
tional research He is the author more than 90 scientific articles with the theme of ICT application in education. 

Anne Villems is a lecturer in the Computer Science Department in the University of Tartu. She organized her 
very first 100% e‐learning course with 600 participants in 1995. She is teaching databases and many teacher 
training courses. She is the member of the Estonian e‐learning quality assurance task force from its creation in 
2007. 

Marcio Monterio Wariss teaches at the Department of Informatics and is currently the General Coordinator 
for Distance Education of IFPA, Belém‐Brazil. Marcio’s research interest relies on socio‐cultural arrangements 
configured by the use of digital devices in the contemporary world, especially e‐learning.  Marcio is Interested 
in the study of cultural keywords and argumentation in cybercultural contexts. 

Charlotte Lærke Weitze is a PhD‐student at Research lab: IT & LearningDesign (ILD), Department of Learning 
and  Philosophy  at  Aalborg  University,  Copenhagen,  Denmark.  Her  PhD  focuses  on  how  to  create  innovative 
methods, practices and evaluation tools concerning IT in teaching contexts. She is also interested in conceptual 
design of learning games. 

Chad Zahrt Assistant Dean for Academic Affairs and Operations,  University of Wisconsin‐Milwaukee (UWM) 
School of Information Studies. As assistant dean, responsible for student advising, retention and recruitment, 
marketing, outreach, IT and administrative operations for one of fastest growing schools in University of Wis‐
consin system. Was project implementation lead (2004) for Endeavor Information Systems’ Voyager Integrated 
Library Systems, providing OPAC design and rollout, best practice workflow, and change management for aca‐
demic libraries in US, UK, Australia and New Zealand.  BA in English from University of Iowa and an MLIS from 
UWM. 

Miroslav  Zamarsky  is  a  PhD  student  of  "Information  and  Communication  Technologies  in  Education"  at  the 
University of Ostrava. He specializes in the application of information and communication technologies in sci‐
ence education with a focus on measuring kit. 

Ibrahim Zincir received his PhD degree from the School of Computing and Mathematics, Plymouth University, 
UK in 2011. Currently, he is a Lecturer with the Department of Computer Engineering at Yasar University, Izmir, 
Turkey. His research interests include mobile networks, data mining and web based systems. He is a member 
of the IEEE. 

xx 
Self and Peer Assessment in Massive Open Online Courses 
Wilfried Admiraal, Bart Huisman, Nadira Saab, Ben Smit, Brigitte Theeuwes, Maarten van 
de Ven, Roeland van der Rijst, Jan van Driel and Marja Verstelle 
Leiden University Graduate School of Teaching, Leiden, The Netherlands 
w.f.admiraal@iclon.leidenuniv.nl 
b.a.huisman@iclon.leidenuniv.nl 
saab@fsw.leidenuniv.nl 
smit@iclon.leidenuniv.nl 
b.c.theeuwes@iclon.leidenuniv.nl 
m.j.j.m.van.de.ven@iclon.leidenuniv.nl 
driel@iclon.leidenuniv.nl 
rrijst@iclon.leidenuniv.nl 
verstelle@iclon.leidenuniv.nl 

Abstract:  Open  online  distance  learning  in  higher  education  has  quickly  gained  popularity,  expanded,  and  evolved,  with 
Massive Open Online Courses (MOOCs) as the most recent development. New web technologies allow for scalable ways to 
deliver video lecture content, implement social forums and track student progress in MOOCs. However, we remain limited 
in our ability to assess complex and open‐ended student assignments. In this paper, we present a study on the quality of 
self‐  and  peer  assessments  in  MOOCs.  In  general,  the  quality  of  self‐assessments  and  peer  assessments  was  low  to 
moderate, suggesting that both self‐assessment and peer assessment should be used as assessment for learning instead of 
assessment  of  learning.  Based  on  low  correlations  with  final  exam  grades  as  well  as  with  other  assessment  forms,  we 
conclude that self‐assessments might not be a valid way to assess students’ performance in MOOCs. Yet the weekly quizzes 
and peer assessment significantly explained differences in students’ final exam scores, with one of the weekly quizzes as 
the strongest predictor. Future research on MOOCs implies a reconceptualization of education variables, including the role 
of assessment of students’ achievements. 

Keywords: MOOCs; peer assessment; self‐assessment 

1. Introduction
In  recent  years,  free  access  has  been  provided  to  content  which  previously  had  a  price:  searches,  software, 
music  and  references,  to  name  but  a  few.  Access  to  the  Internet  and  broadband  has  increased  rapidly  and 
huge  growth  in  mobile  connectivity  has  brought  online  content  and  interaction  to  a global  audience.  At  the 
same  time,  open  online  distance  learning  in  higher  education  has  quickly  gained  popularity,  expanded,  and 
evolved.  Recently,  Massive  Open  Online  Courses  (MOOCs)  appear  to  be  a  significant  force  within  higher 
education.  

However,  while  new  web  technologies  allow  for  scalable  ways  to  deliver  video  lecture  content,  implement 
social forums and track student progress, we remain limited in our ability to evaluate and give feedback for 
complex  and  often  open‐ended  student  assignments.  Self‐  and  peer  assessment  might  offer  promising 
solutions  that  can  scale  the  grading  of  complex  assignments  in  courses  with  thousands  of  students.  In  this 
paper,  we  present  a  study  on  the  general  quality  of  self‐  and  peer  assessments  in  three  Leiden  University 
MOOCs in the Coursera platform. 

2. Massive open online courses (MOOCs)
A typical MOOC of 2014 might take place over 4 to 10 weeks. Students, on average, dedicate two to six hours a 
week to the course. Materials are consumed in diminishing volumes throughout the MOOC as many learners’ 
commitment wanes. Course applicants can be numbered in the tens of thousands, while those who complete 
and obtain certificates are usually numbered in the hundreds. As in regular higher education, the value of a 
MOOC for student learning highly depends on how learning processes are facilitated, stimulated and assessed.  

The most influential categorization of MOOC pedagogy relates to the notion that there are two main kinds of 
MOOCs, each of which determines a particular pedagogical approach: the connectivist or cMOOC, driven by 
pedagogical  principles  of  social  learning,  and  the  institutionally‐focused  xMOOC,  reliant  on  video‐lecture 
content  and  automated  assessment.  However,  there  is  a  move  away  from  the  cMOOC/xMOOC  dichotomy 

1
 Wilfried Admiraal et al. 

towards  recognition  of  the  multiplicity  of  MOOC  designs,  purposes,  topics  and  teaching  styles,  sometimes 
using  alternative  terms  such  as  Distributed  Open  Collaborative  Course  (DOCC;  Jaschik  2013),  Participatory 
Open  Online  Course  (POOC;  Daniels  2013),  Small  Private  Online  Course  (SPOC;  Hashmi  2013)  or  Big  Open 
Online Course (BOOC; Tattersall 2013). 

Researchers  at  the  University  of  Illinois  Springfield  have  developed  the  Assessing  MOOC  Pedagogies  Tool 
(Swan,  Day,  Bogle  and  Van  Prooyen  2014).  They  used  this  tool  to  characterize  the  pedagogical  approaches 
taken  in  13  MOOCs  of  Coursera  (5),  Udacity  (7)  and  EdX  (1).  The  MOOC  pedagogy  is  described  along  ten 
dimensions  that  are  adapted  from  similar  scales  developed  by  Reeves  (1996)  for  describing  the  pedagogical 
dimensions of computer‐based instruction and by Harris and Hofer (2009) to situate pedagogical decisions on 
which  they  suggest  technology  integration  should  be  grounded.  These  ten  dimensions  are  Epistemology 
(objectivist  to  constructivist),  Role  of  the  teacher  (teacher  centered  to  student  centered),  Focus  of activities 
(convergent  to  divergent),  Structure  (less  structured  to  more  structured),  Approach  to  content  (concrete  to 
abstract), Feedback (infrequent and unclear to frequent and constructive), Cooperative learning (unsupported 
to integral), Accommodation of individual differences (unsupported to multifaceted), Activities and assignment 
(artificial to authentic), and User role (passive to generative). Ratings for each set of courses were quite similar, 
although  there  were  some  clear  differences  between  the  two  platforms  Coursera  and  Udacity.  Coursera 
courses,  more  than  Udacity  courses,  followed  a  format  that  resembles  the  traditional  lecture/text‐testing 
routine of traditional university courses spread over multiple weeks with hard deadlines. 

In  a  review  of  the  literature  and  debate,  Bayne  and  Ross  (2013)  extracted  three  emerging  issues  for  MOOC 
pedagogy: 1) the role of the teacher, 2) learner participation and 3) assessment. Firstly, the role of the teacher 
in  the  MOOC  has  been  under‐examined  as  most  research  has  investigated  the  learner  perspective 
(Liyanagunawardena, Adams and Williams 2013). Two main teacher roles appear from the literature, which are 
connected to the way the MOOC is designed: the academic celebrity teacher in xMOOCs and the facilitator in 
cMOOCs. The academic celebrity teacher is the role of a respected authority based in an elite institution. These 
lecturers  are  not  available  to  MOOC  participants  in  any  interpersonal  way,  but  primarily  through  the 
recordings of their lectures. The recordings are supplemented with automatically marked quizzes, discussion 
posts and pass/fail tasks. In cMOOCs, the teachers’ role focusses on facilitating self‐directed learning. A more 
sophisticated distinction between teacher roles in MOOCS is necessary in order to get a better understanding 
of effective pedagogies. Literature on moderator roles in computer conferencing from the 90s (cf., Admiraal, 
Lockhorst, Wubbels, Korthagen and Veen 1998; Paulsen 1995) might be helpful in this. 

Secondly, learner participation is one the most examined aspects in literature and debates about MOOCs. The 
key dilemmas in MOOCs center on what participation actually means, how it should be measured, and what 
metrics of success and quality are appropriate. Milligan, Littlejohn and Margaryan (2013) describe a continuum 
of active, lurking and passive participation and Hill (2013) distinguishes five archetypes of no‐shows, observers, 
drop‐ins,  passive  participants  and  active  participants.  The  notion  that people  might  sign up  for  a  course  not 
intending to complete the assessments is common in free courses where the barrier to entry is usually as low 
as clicking a registration button and entering an email address. This means that new measures of success and 
quality are required, because participant behaviors and intentions are so diverse. 

Assessment  is  the  third  emerging  issue  in  literature  on  MOOCs  leading  to  questions  like  “What  sorts  of 
learning  can  be  assessed  at  scale?”,  “How  should  individuals  be  authenticated  so  that  the  correct  person’s 
work is being assessed?”, “How can cheating be prevented?”, and “Who should decide how much university 
credit a MOOC is worth?”, to name a view (cf. Bayne and Ross 2013). It becomes clear that “openness” of a 
MOOC has a very different future in a system of accreditation than that it does in informal learning settings. 
Self‐  and  peer  assessment  ‐  which  has  been  historically  used  for  logistical,  pedagogical,  metacognitive,  and 
affective  benefits  ‐  might  offer  promising  solutions  that  can  scale  the  grading  of  complex  assignments  in 
courses with thousands of students. How to design self‐ and peer assessments is a challenge in itself as MOOCs 
have massive, diverse student enrollment. In order to be able to develop effective self‐ and peer assessments, 
we  first  need  to  gain  more  insight  in  the  quality  of  these  grading  procedures  in  MOOCs.  More  specific,  we 
formulated the following research questions: 
ƒ What is the reliability of self‐ and peer assessment implemented in MOOCs?
ƒ What is the relationship between self‐ and peer assessment and quizzes?

2
 Wilfried Admiraal et al. 

ƒ To  what  extent  do  self‐  and  peer  assessment  and  quizzes  explain  differences  in  students’  final  exams
scores?

3. Methods

3.1 Context of the study 
In  two  MOOCs  organized  at  Leiden  University  in  the  Netherlands,  intermediate  self‐assessments  and  peer 
assessments  were  used  in  addition  to  final  exams.  The  first  MOOC,  The  Law  of  the  European  Union:  An 
Introduction, was a 5‐8 weeks MOOC, run in June 2013. This course included small video clips, discussion fora, 
quizzes, a case study and a voluntary exam. The second MOOC, Terrorism and Counterterrorism: Comparing 
Theory and Practice, was a 5‐weeks MOOC in Fall 2013 with weekly videos, quizzes and peer assignments as 
well  as  a  voluntary  final  exam.  This  MOOC  was  rerun  February  2014.  All  three  courses  required  5  to  8  hrs. 
student work per week. 

3.2 Assessments 
In  all  three  MOOCs,  four  types  of  assessments  were  implemented:  weekly  quizzes,  self‐assessment,  peer 
assessment and final exam. 

3.2.1 Weekly quiz and final exam 
The  weekly  quizzes  and  final  exam  were  automatically  marked  multiple‐choice  quizzes,  testing  declarative 
knowledge of the course content. In MOOC 3 (Terrorism 2014), it was possible to follow a certification track, 
which  means that  students who  completed  all quizzes,  self‐  and  peer assessments  and the  final  exam  could 
receive a certificate. Of the total of 18,622 registrants, 410 students signed up for the certification track. 

3.2.2 Self‐ and peer assessment 
In each of the three MOOCs, students could complete an essay on a topic that was relevant for the particular 
MOOC. In the first MOOC, this topic was provided; in the other two MOOCs students could choose from four 
topics.  The  essay  assignment  started  with  a  case  description  in  which  an  authentic  context  was  pictured, 
followed by some prompts. Students were encouraged to prepare this assignment with the use of information 
which was available in the course environment (video, syllabus, background materials). Then the procedures of 
how  to  complete  the  assignment  were  introduced  along  with  a  rubric  of  how  to  assess  it.  Students  had  to 
assess their own essay and then the essay of at least two (MOOC 1) or four (MOOC 2 and 3) of their peers. The 
nature  of  the  rubrics  differed  slightly  between  MOOC1,  on  the  one  hand,  and  MOOC  2  and  3,  on  the  other 
hand.  The  rubric  of  MOOC  1  had  a  pre‐structured  format  with  four  items  with  several  sub‐items  on  the 
accuracy of the content of the essay and one item with four sub‐items on the structure and presentation of 
the essay. Each possible score on each sub‐item was clearly described. The rubric of MOOC 2 and 3 was less 
structured with four (assignment 1) or five (assignment 2) items. The first three items referred to the accuracy 
and  adequacy  of  the  content  of  the  essay;  the  last  item  assessed  the  structure  of  the  essay.  Students  were 
instructed about the deadlines and they were reminded that they agreed with the Coursera Honor Code about 
plagiarism. Students were instructed to assign a score of 0 to plagiarized work. 

3.3 Data 
Thousands  of  participants  were  registered  in  each  of  the  three  MOOCs,  although  substantial  less  data  was 
collected  on  quizzes,  self‐assessments,  peer‐assessment  assignments  and  final  exam.  In  Table  1,  we  present 
descriptive  indices  of  each  assessment  (mean  scores,  standard  deviations  in  scores,  range  of  scores  and 
number of valid assessments, respectively). 

From  Table  1  it  is  clear  that  in  all  three  MOOCs  the  number  of  participants  who  completed  the  quizzes 
decreased over time. The number of participants who completed self‐assessments and peer assessments was 
a small portion of the total student enrollment. Participants who completed the voluntary final exam formed 
about 10% of the total student enrollment (from 6% in MOOC 1 to 12% in MOOC 3). 

3
 
Wilfried Admiraal et al. 

3.4 Analyses 
In  addition  to  descriptive  statistics,  reliability  indices  and  correlations  between  all  assessments,  regression 
analyses were used to explain differences between students in their final exam scores. 
Table 1: Descriptive indices of assessment types (N=number of registrants; Mean=mean score; s.d.=standard 
deviation in scores; Min/Max=range of scores; n=number of valid assessments) 
  MOOC1  MOOC2  MOOC3 
N= 52559  N= 26890  N= 18622 
  Mean (s.d)  Min  Max  n  Mean (s.d)  Min Max n  Mean (s.d)  Min  Max  n
                       
Quizzes 
1  3.75 (1.41)  0  5  7472  8.83 (1.48)  0  10  5399 8.83 (1.69)  0  10  44
2  3.42 (1.38)  0  5  4322  9.03 (1.37)  0  10  4077 9.01 (1.47)  0  10  59
3  4.21 (1.18)  0  5  3349  12.07 (2.22) 0  14  3593 8.59 (1.82)  0  10  32
4  3.80 (1.32)  0  5  3050  13.34 (2.18) 0  15  3230 8.83 (1.72)  0  10  88
5  ‐‐  ‐‐  ‐‐  ‐‐  9.02 (1.56)  0  10  3014  8.98 (1.62)  0  10  28
10
24
66
22
96
                       
Self‐assessment 
1  17.94 (4.34)  4  25  397  28.30 (2.99) 10  30  706  18.58 (2.85)  0  20  57
2  ‐‐  ‐‐  ‐‐  ‐‐  37.95 (3.71)  5  40  561  37.37 (5.24)  5  40  2
47
5
                       
Peer assessment 
1  15.29 (5.42)  0  25  688  25.23 (5.20) 10  30  824  16.38 (4.45)  0  20  63
2  ‐‐  ‐‐  ‐‐  ‐‐  32.86 (7.52)  5  40  579  33.71 (6.70)  5  40  5
49
1
                       
Final exam 
1  11.44 (5.48)  0  20  3168  17.26 (5.58)  0  25  2988  17.44 (5.81)  0  25  22
74

4. Results 

4.1 Reliability of self‐ and peer assessment 

4.1.1 MOOC 1 EU law 
The case assignment, which was used for both self‐assessment and peer assessment, included five items. The 
homogeneity  of  the  test  in  terms  of  Cronbach’s  α,  was  high,  both  for  self‐assessment  (α=.83)  and  peer 
assessment (α=.90, α=.89 α=.87 for peer reviewer 1, 2 and 3, respectively). The correlations between the three 
peer  assessment  grades  is  moderate  (between  r=.42  to  r=.57,  see  Table  2).  The  fourth  peer  grade  was  not 
included as only 6 students had 4 peer grades. 
Table 2: Correlations between peer assessments of MOOC1 (PMCC and number of valid assessments). 
  Peer2  Peer3 
Peer1  .50***  .42*** 
684  80 
Peer2    .57*** 
80 
*** p <.001; ** p= <.01; *p=<.05 

4
 Wilfried Admiraal et al. 

4.1.2 MOOC 2: Terrorism 2013 
The  two  case  assignments,  which  were  used  for  both  self‐assessment  and  peer  assessment,  included  four 
(assignment 1) or five items (assignment 2). The homogeneity in terms of Cronbach’s α was moderate for both 
self‐assessments (for both assignments α=.59) and high for all peer assessments (peer assignment 1 between 
α=.72  and  α=.79  and  peer  assignment  2  between  α=.74  and  α=.80).  In  all  cases,  the  item  that  refers  to  the 
presentation (structure, layout, and language use) of the completed assignment showed the lowest item‐rest 
correlations (between r=.55 and r=.64). The other items referred to an assessment of the content quality of 
the completed assignments. The correlations between the assessments of the five peers is moderate (around r 
= .40 for assignment 1 (see Table 3) and around r = .30 for assignment 2 (see Table 4)). The assessments of the 
sixth  peer  were  not  included  as  only  4  students  received  6  peer  grades.  The  correlations  indicate  a  low  to 
moderate agreement between peers. 
Table  3:  Correlations  between  peer  assessments  of  assignment  1  of  MOOC  2  (PMCC  and  number  of  valid 
assessments) 
Assignment 1  Peer2  Peer3  Peer4  Peer5 
Peer1  .42***  .42***  .40***  .57*** 
842  842  618  54 
Peer2  .44***  .40***  .38** 
842  618  54 
Peer3 .39***  .28* 
618  54 
Peer4 .27 
54 
*** p <.001; ** p= <.01; *p=<.05 
Table  4:  Correlations  between  peer  assessments  of  assignment  2  of  MOOC2  (PMCC  and  number  of  valid 
assessments) 
Assignment 2  Peer2  Peer3  Peer4  Peer5 
Peer1  .30***  .31***  .39***  .38** 
592  592  573  64 
Peer2  .37***  .33***  .27* 
592  573  64 
Peer3 .32***  .40** 
573  64 
Peer4 .36** 
64 
*** p <.001; ** p= <.01; *p=<.05 

4.1.3 MOOC 3: Terrorism 2014 
The  two  case  assignments,  which  were  used  for  both  self‐assessment  and  peer  assessment,  included  four 
(assignment 1) or five items (assignment 2). The homogeneity in terms of Cronbach’s α was moderate to high 
for self‐assessments (α=.60 for assignment 1 and α=.75 for assignment 2) and moderate to high for all peer 
assessments  of  both  assignments  (peer  assignment  1  between  α=.59  and  α=.67  and  peer  assignment  2 
between α=.71 and α=.79). An exception was the homogeneity of the assessments of the fifth peer of the first 
assignment: Cronbach’s α=.18 based on 42 assessments. 

The  correlations  between  the  four  peer  assessments  of  the  first  assignment  (the  fifth  peer  was  left  out 
because  of  the  low  reliability)  was  moderate  (around  r=.50  ;see  Table  5).  The  correlations  between  the  five 
peer assessments of the second assignments were generally lower (mostly between r=.30 and r=.40, see Table 
6). The assessment of the sixth peer was not included in both assignments as only 5 (for assignment 1) or 7 (for 
assignment  2)  students  received  6  peer  assessment  grades.  The  correlations  indicate  a  low  to  moderate 
agreement between peers. 

5
 
Wilfried Admiraal et al. 

Table  5:  Correlations  between  peer  assessments  of  assignment  1  of  MOOC  3  (PMCC  and  number  of  valid 
assessments) 
Assignment 1  Peer2  Peer3  Peer4 
Peer1  .50***  .48***  .38*** 
635  635  600 
Peer2    .50***  .51*** 
635  600 
Peer3      .51*** 
600 
*** p <.001; ** p= <.01; *p=<.05 
Table  6:  Correlations  between  peer  assessments  of  assignment  2  of  MOOC3  (PMCC  and  number  of  valid 
assessments) 
Assignment 2  Peer2  Peer3  Peer4  Peer5 
Peer1  .35***  .34***  .39***  .32** 
491  491  491  78 
Peer2    .27***  .36***  .43*** 
491  491  78 
Peer3      .40***  .53*** 
491  78 
Peer4        .58*** 
78 
*** p <.001; ** p= <.01; *p=<.05 

4.2 Relationship between assessment types 

4.2.1 MOOC 1 EU law 
In Table 7, we present the correlations between student performances in the weekly quizzes, self‐assessment, 
average peer assessment, and the final test. In general, both self‐assessment and peer assessment show low to 
moderate correlations with the weekly quizzes and the final test. The highest correlations are between quiz 
scores and the final exam (between r=.50 and r=.60). 
Table 7: Correlations between quizzes, self‐assessment, peer assessment and final exam (PMCC and number of 
valid assessments) 
  Quiz2  Quiz3  Quiz4  Self  Peer  Final 
Total 
Quiz1  .54***  .55***  .50***  .17**  .26***  .51*** 
4295  3333  3027  394  669  2937 
Quiz2    .55***  .53***  .18***  .28***  .52*** 
3315  3027  391  658  2871 
Quiz3      .60***  .17**  .28***  .53*** 
3018  390  648  2842 
Quiz4        .26***  .33***  .60*** 
384  631  2827 
Self          .40***  .30*** 
396  383 
Peer            .42*** 
Total  623 
*** p <.001; ** p= <.01; *p=<.05 

4.2.2 MOOC 2: Terrorism 2013 
In Table 8, the correlations are presented between all assessments. In general, the correlations of all quizzes 
are  quite  high  (between  r=.48  and  r=.68).  The  correlations  between  both  self‐assessments  (r=.55)  and  both 
peer  assessments  (r=.47)  are  higher  than  the  correlations  between  self‐  and  peer  assessment  of  the  same 
assignment (r=.38 and r=.20 for the first and second assignment, respectively). All assessments are moderately 
correlated with the final exam (around r=.40), except for both self‐assessments (r=.22 and .16, respectively). 
 

6
 Wilfried Admiraal et al. 

Table 8: Correlations between quizzes, self‐assessments, peer assessments and final exam (PMCC and number 
of valid assessments). MOOC2 Terrorism 2013 above the diagonal and MOOC Terrorism 2014 below 
the diagonal 
MOOC2  Quiz1  Quiz2  Quiz3  Quiz4  Quiz5  Self1  Self2  Peer1  Peer2  Fina
MOOC3  l 
Quiz1  .63***  .60***  .57***  .48***  .24***  .13**  .27***  .29***  .38*
4061  3577  3214  3001  684  559  787  575  ** 
292
3 
Quiz2  .65***  .64***  .57***  .50***  .29***  .12**  .28***  .29***  .43*
3275  3572  3219  3003  670  555  751  572  ** 
291
0 
Quiz3  .60***  .66***  .65***  .55***  .27***  .18***  .26***  .31***  .46*
2789  2789  3217  3011  652  552  716  569  ** 
289
9 
Quiz4  .54***  .54***  .64***  .68***  .24***  .20***  .21***  .26***  .42*
2458  2457  2460  2999  630  546  690  561  ** 
288
5 
Quiz 5  .51***  .52***  .63**  .77***  .21***  .21***  .12**  .15***  .46*
2288  2288  2289  2285  611  536  665  551  ** 
283
2 
Self1  .23***  .11*  .10*  .14**  .11*  .55***  .38***  .22***  .22*
560  548  530  510  490  518  691  525  ** 
609 
Self2  .19***  .17***  .13**  .17***  .13**  .42***  .17***  .20***  .16*
470  471  469  465  453  445  534  547  ** 
535 
Peer1  .37***  .31***  .38***  .24***  .28***  .35***  .15**  .47***  .40*
617  600  577  554  530  569  459  548  ** 
666 
Peer2  .36***  .30***  .30***  .27***  .31***  .13**  .38***  .43***  .45*
484  484  481  475  464  451  471  468  ** 
551 
Final  .44**  .43***  .49***  .48***  .52***  .32***  .26***  .45***  .38*** 
2191  2189  2185  2168  2142  492  452  531  462 
*** p <.001; ** p= <.01; *p=<.05 

4.2.3 MOOC 3: Terrorism 2014 
In  Table  8,  the  correlations  are  presented  between  all  assessments  (below  the  diagonal).  In  general,  the 
correlations between all quizzes are quite high (between r=.51 and r=.77). The correlations between both self‐
assessments (r=.42) and both peer assessments (r=.43) are higher than the correlations between self‐ and peer 
assessment  of  the  same  assignment  (r=.35  and  r=.38  for  the  first  and  second  assignment,  respectively).  All 
assessments  are  moderately  correlated  with  the final  exam  (between r=.38  and  r=.52), except  for both  self‐
assessments (r=.32 and .26, respectively). 

4.3 Relationship with final exam 
In  Table  9,  the  results  of  the  stepwise  regression  analyses  for  each  MOOC  are  summarized.  As  could  be 
expected on the basis of the correlations presented earlier, both self‐assessments did not significantly explain 
differences  between  students  in  their  final  exam  grade.  The  strongest  predictor  was  in  all  cases  one  of  the 
quizzes, although peer assessments were also significantly related to the final exam grade. 

7
 
Wilfried Admiraal et al. 

Table 9: Stepwise regression analyses with final exam as dependent variable 
  MOOC 1  MOOC 2  MOOC 3 
EU Law 2013  Terrorism 2013  Terrorism 2014 
  B (s.e)  R2 change1  B (s.e)  R2 change2  B (s.e)  R2 change3 
Weekly quiz 1  1.08 (0.26)  0.04  n.s.    n.s.   
Weekly quiz 2  0.82 (0.20)  0.03  0.91 (0.25)  0.20  1.06 (0.32)  0.02 
Weekly quiz 3  n.s.    0.56 (0.15)  0.04  n.s.   
Weekly quiz 4  1.43 (0.22)  0.28  n.s.    n.s.   
Weekly quiz 5  n.a.    0.58 (0.22)  0.01  1.10 (0.26)  0.17 
Peer grading 1  0.31 (0.03)  0.08  0.10 (0.04)  0.01  0.25 (0.06)  0.09 
Peer grading 2  n.a.    0.17 (0.02)  0.10  0.12 (0.03)  0.03 
Self‐grading 1  n.s.  n.s.  n.s. 
Self‐grading 2  n.a.  n.s.  n.s. 
Adjusted R2  0.41  0.35  .30 
Degrees of freedom  4, 379  5, 475  4, 414 
n.a.= not applicable; n.s.= not significant with α=0.05 
1
Entered with the following sequence: Weekly quiz 4, Peer assignment 1, Weekly quiz 1, Weekly quiz 2 
2
Entered with the following sequence: Weekly quiz 2, Peer assignment 2, Weekly quiz 3, Weekly quiz 5, Peer 
assignment 1 
3
Entered with the following sequence: Weekly quiz 5, Peer assignment 1, Peer assignment 2, Weekly quiz 2 
 
The  correlations  between  the  number  of  assessment  attempts  (Quizzes,  self‐assessment,  peer  assessment) 
and  the  final‐exam  grade  were  moderate  to  low  (MOOC  1  r=.41  (p<.001);  MOOC  2  r=.26  (p<.001);  MOOC  3 
r=.30 (p<.001). This means that there seemed to be a weak relationship between the number of assessments 
students  took  and  their  final  exam  grade.  This  finding  contradicts  other  MOOC  research  that  finds  a  strong 
positive relationship between the number of student activities and their final course grade (cf., DeBoer, Ho, 
Stump and Breslow 2014). 
 
In MOOC 3 it was possible to sign up for a certification track, which required completion of all quizzes, self‐ and 
peer assessments and final exam in time. Student who registered for a certification track received significantly 
higher  scores  on  their  final  exam,  compared  to  the  other  students  (Mcertification  track  =  19.2  and  Mother  students  = 
17.1;  (t(574.5)  =  7.41;  p<.001)).  We  repeated  the  regression  analyses  for  students  following  a  certification 
track and the other students separately. The results are presented in Table 10. 
Table  10:  Stepwise  regression  analyses  with  final  exam  as  dependent  variable  for  students  following  the 
certification track and the other students in MOOC 3 
  Certification track  Other students 
  B (s.e)  R2 change1  B (s.e)  R2 change2 
Weekly quiz 1  1.34 (0.38)  0.07  n.s.   
Weekly quiz 2  1.42 (0.39)  0.22  n.s.   
Weekly quiz 3  n.s.    n.s.   
Weekly quiz 4  n.s.    n.s.   
Weekly quiz 5  n.s.    1.87 (0.31)  0.18 
Peer grading 1  0.20 (0.09)  0.11  0.27 (0.08)  0.07 
Peer grading 2  0.10 (0.04)  0.02  0.11 (0.04)  0.02 
Self‐grading 1  0.26 (0.10)  0.02  n.s.   
Self‐grading 2  n.s.    n.s.   
Adjusted R2  0.42  0.27 
Degrees of freedom  5, 157  3, 256 
n.s.= not significant with α=0.05 
1
 Entered with the following sequence: Weekly quiz 2, Peer assessment 1, Weekly quiz 1, Self‐assessment 1, 
Peer assessment 2 
2
 Entered with the following sequence: Weekly quiz 5, Peer assessment 1, Peer assessment 2 
 
From  Table  10  it  is  clear  that  the  assessments  explained  more  differences  between  students  in  final  exams 
score  if  they  followed  a  certification  track:  the  first  two  quizzes,  both  peer  assessments  and  the  first  self‐

8
 
Wilfried Admiraal et al. 

assessment significantly explained differences in the final exam scores. The total amount of variance explained 
in the final exam score is less for the other students. 

5. Discussion and conclusion 
In general, the quality of both the self‐assessment and the peer assessment was moderate. These assessments 
showed  a  homogenous  structure,  but  the  correlations  between  peer  assessments  of  the  same  assignments 
were low to  moderate. The latter means that peers did agree on their grades for the assignments only to a 
limited degree. The correlations between the various peer assessments of the last MOOC were moderate to 
high. In this MOOC, the procedures and criteria for peer assessment were adapted on the basis of the 2013 
run.  Moreover,  there  is  only  a  weak  correlation  between  self‐assessment  and  peer  assessment,  and  the 
correlations  between  different  self‐assessment  assignments  are  higher  than  the  correlations  between  self‐
assessment and peer assessment of the same assignments. In addition, self‐assessments did not significantly 
explained  variance  in  students’  final  exam  scores.  This  suggests  a  bias  of  self‐assessments  and  led  us  to 
conclude that self‐assessments might not be a valid way to assess students’ performance in MOOCs. Yet the 
weekly  quizzes  and both  peer  assessments  significantly  explained differences  in  students’  final  exam scores, 
with  one  of  the  weekly  quizzes  as  the  strongest  predictor  in  all  three  MOOCs.  Finally,  the  number  of 
assessment attempts of students was not significantly correlated with their final exam scores. The latter result 
does  not  confirm  conclusion  from  earlier  research  that  found  a  strong  positive  relationship  between  the 
number of student activities and their course grade (cf., DeBoer et al. 2014). 
 
With  this  study  we  provided  insight  in  the  quality  of  the  various  assessments  in  MOOCs  and  how  these  are 
related  to  the  final  exams.  We  conclude  that  self‐assessments  and  peer  assessments  should  be  improved  if 
they are used as summative indicators of one’s achievements (assessment of learning). In the current MOOCs, 
they only can be used for self‐reflection and peer feedback, emphasizing the formative function of assessment 
(assessment  for  learning).  Future  research  might  go  deeper  into  the  quality  of  assessment  assignments  of 
MOOCs including both assessment of learning and assessment for learning.  
 
However,  we  agree  with  DeBoer  et  al.  (2014)  that  we  also  should  reconceptualize  educational  variables  in 
research on MOOCs. Differences between traditional classroom data and MOOC data refer to the magnitude 
of  data  gathered  in  terms  of  numbers  of  registrants  per  course,  observations  per  registrant  and  type  of 
information,  the  diversity  of  registrants  in  reasons  for  registration  as  well  as  in  their  background,  and  the 
registrant  use  of  course  tools  which  is  asynchronous  and  relatively  unrestricted  in  sequence  (DeBoer  et  al. 
2014).  These  authors  suggest  a  reconceptualization  of  enrollment  in  MOOCs  (e.g.,  based  on  registration, 
course  activities,  course  assignments  and  assessment,  or  final  exam),  participation  (the  authors  show  20 
participation  metrics  which  are  linked  to  students’  general  attendance,  their  clicks,  the  hours  they  spent  on 
course  activities,  and  the  assessments),  curriculum  (curriculum  activities  showing  a  variability  in  sequence), 
and  achievement  (which  can  be  based  in  various  indicators  of  performance  and  participation).  In  order  to 
understand the relationship between self‐ and peer assessment and other gradings and activities in MOOCs we 
have  to  think  thoroughly  what  kind  of  metrics  for  achievement  should  be  used,  how  we  should  define 
enrollment and participation, in what way the curriculum is implemented, and –therefore‐ how assessments 
should be applied. 
References 
Admiraal, W.F., Lockhorst, D., Wubbels, T., Korthagen, F.A.J. and Veen, W. (1998) “Computer‐mediated communication 
environments in teacher education: computer conferencing and the supervision of student teachers”, Learning 
Environments Research, Vol 1, pp 59‐74. 
Bayne, S., and Ross, J. (2013) “The pedagogy of the Massive Open Online Course: the UK view”, York, UK: The Higher 
Education Academy. 
Daniels, J. (2013) “MOOC to POOC: Moving from Massive to Participatory” JustPublics@365. Available at: 
http://justpublics365.commons.gc.cuny.edu/2013/02/05/mooc‐to‐pooc‐moving‐from‐massive‐to‐participatory/ 
[Accessed 29 May 2014]. 
DeBoer, J., Ho, A. D., Stump, G.S. and Breslow, L. (2014) “Changing ‘course’: reconceptualizing educational variables for 
Massive Open Online Courses”, Educational Researcher, Vol 42, No 2, pp 74‐84. 
Harris, J. and Hofer, M. (2009) “Grounded tech integration”, Learning & Leading with Technology, September/October pp 
23‐25, Availablle at: http://www.learningandleading‐digital.com/learning_leading/20090910/#pg24 [Accessed 30 
May 2014]. 

9
 
Wilfried Admiraal et al. 

Hashmi, A.H. (2013) “HarvardX set to launch second SPOC”, Harvard Crimson. Available at: 
http://harvardx.harvard.edu/links/harvardx‐set‐launch‐second‐spocharvard‐crimson‐amna‐h‐hashmi‐september‐16‐
2013 [Accessed 29 May 2014]. 
Hill, P. (2013) “Emerging student patterns in MOOCs: A (revised) graphical view”, e‐Literate. Available at: 
http://mfeldstein.com/emerging‐student‐patterns‐in‐moocs‐arevised‐graphical‐view/ [Accessed 12 September 
2013]. 
Jaschik, S. (2013) “Feminists challenge Moocs with Docc”, Times Higher Education. Available at: 
http://www.timeshighereducation.co.uk/news/feminists‐challenge‐moocswith‐docc/2006596.article [Accessed 29 
May 2014]. 
Liyanagunawardena, T.R., Adams, A.A. and Williams, S.A. (2013) “MOOCs: A systematic study of the published literature 
2008‐2012”, The International Review of Research in Open and Distance Learning, Vol 14, No 3, pp 202–27. 
Milligan, C., Littlejohn, A. and Margaryan, A. (2013) “Patterns of engagement in connectivist MOOCs”, Journal of Online 
Learning and Teaching, Vol 9, No 2. 
Paulsen, M.F. (1995) “Moderating educational computer conferences”, In Z.L. Berge & M.P. Collins (Eds.), Computer‐
mediated communications and the online classroom (Vol. III; pp. 81–103). Cresskill, NJ: Hampton Press. 
Reeves, T. (1996) “Evaluating what really matters in computer‐based education”. Available at:: 
http://www.eduworks.com/Documents/Workshops/EdMedia1998/docs/reeves.html#ref10 [Accessed 30 May 2014] 
Swan, K., Day, S, Bogle, L. and Van Prooyen, T.. (2014) “AMP: A tool for characterizing the pedagogical approaches of 
MOOCs”. E‐Mentor, Vol 52, No 2. Available at: http://www.e‐mentor.edu.pl/artykul/index/numer/54/id/1098 
[Accessed 31 May 2014] 
Tattersall, A. (2013) “Gold rush or just fool’s gold ‐ A quick look at the literature”, ScHARR MOOC Diaries. Available at: 
http://scharrmoocdiaries.blogspot.co.uk/2013/07/scharr‐mooc‐diaries‐part‐xvii‐gold‐rush.html [Accessed 29 May 
2014]. 
 

10
Open Educational Resources: Higher Education Students’ 
Knowledge and use 
Paulo Alves1, Luísa Miranda1, 2 and Carlos Morais1, 2 
1
Polytechnic Institute of Bragança, Bragança, Portugal 
2
CIEC – University of Minho, Braga, Portugal 
palves@ipb.pt 
lmiranda@ipb.pt 
cmmm@ipb.pt 

Abstract: Information and communication technologies represent one of the main innovation factors within the teaching 
and  learning  process,  especially  in  Higher  Education.  In  this  context,  the  search  for  building  useful  and  grounded 
knowledge  using  strategies  which  meet  students’  needs  and  interests  requires  the  use  of  innovative  resources,  among 
which  we  highlight  digital  educational  resources,  particularly  open  educational  resources  (OER).  The  open  educational 
resources issue has deserved the attention of teachers, students and institutions. Considering the present situation as well 
as the importance given to OER and to the role these may play in supporting learning, the aims of this paper are as follows: 
assess  the  digital  educational  resources  features  most  valued  by  higher  education  students;  verify  the  extent  to  which 
students’  IT  knowledge  influences  their  assessment  of  digital  educational  resources;  identify  the  knowledge  that  higher 
education students have of OER; assess the knowledge that higher education students have of open educational resources 
platforms.  In  order  to  achieve  the  proposed  aims,  we  focus  our  attention  on  open  educational  resources,  starting  by 
assessing digital educational resources’ features as well as the connection between students’ IT knowledge and that same 
assessment. We also assess the knowledge that higher education students have of OER as well as of their corresponding 
platforms.  The  data  was  obtained  through  a  questionnaire  conducted  within  a  sample  of  315  students  at  a  Portuguese 
higher education institution. Among the results obtained, we highlight that the most valued features of digital educational 
resources are: free access; any time access; allows reuse; and free and open. The results show that there is a positive, low, 
or very low correlation between students’ IT knowledge and the features associated with digital educational resources. In 
addition to this, the results show an almost inexistent knowledge of the OER concept and of their uses as well as of the 
existing OER platforms. The data indicates that there is still a long way to go so that OER may be part of the resources used 
by students to improve their learning. 

Keywords: open educational resources, digital educational resources, higher education 

1. Introduction
Considering  their  features  and  potentialities,  information  and  communication  technologies  constitute  the 
major innovation factor within the various contexts of society. Among these contexts, we highlight the higher 
education context, within which the teaching and learning process is particularly important, as it is based on it 
that we build useful and grounded knowledge, through strategies that should essentially meet students’ needs 
and  interests.  Digital  educational  resources,  particularly  open  educational  resources  (OER)  represent  an 
important way to enrich those strategies. Within the present times and bearing in mind the importance given 
to OER as well as the relevance these resources might have in supporting students to build their own learning, 
the aims of this paper are as follows: 
ƒ Assess the digital educational resources’ features most valued by higher education students;
ƒ Verify  the  extent  to  which  students’  IT  knowledge  influences  their  appreciation  of  digital  educational
resources
ƒ Identify the knowledge that higher education students have of OER;
ƒ Assess the knowledge that higher education students have of open educational resources platforms.
In order to reach the proposed aims, a study was carried out among higher education students. The data was 
collected  through  a  questionnaire  conducted  during  the  school  year  of  2013/2014,  to  a  sample  of  315 
students. 

The paper development is presented under the following headings: open educational resources; methodology; 
results;  conclusions;  references.  Within  the  topic  of  open  educational  resources,  we develop  the  concept  of 
OER and present a framework to the topic based on literature supported by the opinion of experts in the areas 
of digital educational resources, OER and open education. 

11
 
Paulo Alves, Luísa Miranda and Carlos Morais 

In the part concerning methodology, we characterize the study and describe the main procedures leading to 
the  results  which  enable  us  to  respond  to  the  formulated  aims.  In  the  results,  we  present  and  organize  the 
obtained  data,  and  discuss  and  analyze  it.  In  the  conclusions,  we  present  a  summary  of  the  most  relevant 
results  obtained  through  this  study.  Finally,  in  the  references,  we  can  find  the  books,  journals  and  other 
sources cited in the article. 

2. Open educational resources 
Under the movement associated with open educational resources lies the idea that knowledge must be built, 
disseminated and shared through the network free of charge, for the benefit of society as a whole. Thus, it is 
important to promote the OER philosophy within education institutions. These institutions generally possess 
better  scientific  and  technological  conditions  that  allow  them  to  contribute  to  the  evolution  of  digital 
educational resources, particularly to the evolution of OER as well as of all the features associated with them. 
Therefore, these institutions may become the motors of creation, dissemination, sharing and use of OER. The 
OER movement started in 2002 and was later named OER community. Despite the significant progress made in 
the introduction of OER in higher education, within the OER UNESCO community, and through a series of other 
similar  initiatives,  the  concept  of  OER  is  not  yet  widely  known  or  understood,  especially  by  the  political 
stakeholders and institutional managers (Wyk, 2012). 
 
According  to  Ramos,  Teodoro,  Fernandes,  Ferreira,  and  Chagas  (2010),  educational  resources  follow  the 
evolution  of  society,  as  printed  material  models  give  way  to  digital  models,  accompanying  the  change  of 
technologies  as  well  as  their  role  in  society.  In  addition  to  this,  information  society  floods  us  with  a  huge 
amount of information, tools, knowledge and resources from all parts of the world and from the most diverse 
communities and cultures. Also, Littlejohn, Falconer and Mcgill (2008) highlight that over the last two decades, 
huge  changes  have  been  witnessed  regarding  teaching  methods  and  availability  of  new  types  of  resource 
based on digital technologies. 
 
The concept of OER is complex due to the dimensions that it involves, thus allowing several approaches which 
enable the identification of its main features. 
 
OER  are  educational  resources  provided  by  information  and  communication  technologies  which  allow  a 
community  of  users  to  consult,  use  and  adapt  them  in  a  noncommercial  way.  When  defining  OER,  the 
following elements must be considered: the aim ‐ offer a noncommercial educational resource; the view to the 
service ‐ free access to the resource with a possibility of adaptation; the method of availability ‐ provided by 
information and communication technologies; the target audience – a diversified community of users (Unesco, 
2002). 
 
For Atkins, Brown and Hammond (2007), OER are teaching, learning and research materials which reside in the 
public domain and were made available under an open license which allows access, use, recovery, reuse and 
redistribution without any restriction. OER are normally placed in a public domain for others’ free use or reuse 
and  they  can  vary  from  complete  courses  to  individual  modules  (Downes,  2007).  Butcher  (2011)  presents  a 
different  concept  of  OER,  considering  them  as  any  educational  resource  including  curricular  maps,  course 
materials,  books,  videos,  multimedia  applications  or  podcasts  which  have  been  projected  to  be  used  in 
teaching and learning and which are openly available to be used by both educators and students without any 
necessary supervision, tax payment or copyrights. 
 
Also regarding OER concept and approach, Downes (2013) states: “OER are a network of words that we use in 
whatever  vocabulary  we  are  using  to  conduct  whatever  activity  it  is  that  we’re  doing  or  that  we’re 
undertaking. They are the signals that we send to each other in our network” (p. 218). This author adds that 
“Understanding  OER  as  though  they  were  words  in  a  language  used  to  facilitate  communications  between 
participants in a network should revise our understanding of what it means to be open, and what it means to 
support OER. It is clear, from this perspective at least, that openness is not a question of production, but rather 
a question of access” (p. 220). 
 
OER potentialities in learning can be huge, however, as Conole (2012) claims, in order to make them useful to 
students and teachers it is important to know and understand the way students and teachers are using them 

12
 
Paulo Alves, Luísa Miranda and Carlos Morais 

and can benefit from them  as well as what their global perceptions are regarding the importance of OER in 
supporting learning.   
 
Knox (2013) states that as far as higher education learning is concerned, two different OER models are being 
promoted. One of them promotes an availability restricted to the higher education institution, and the other 
proposes  independent  study  and  learning,  reserving  the  institution’s  role  of  evaluation  and  accredited 
certification. The author calls the institutions’ attention towards the need to consider the implications of these 
two models as well as the potential problems associated with the two approaches. 
 
OER are generally developed by teachers who expect to share them and see them being used and reused by 
other teachers, thus promoting a culture which supports both teachers and higher education institutions so as 
to provide students with free or very low cost quality didactic resources resulting from individual effort or joint 
effort through formal collaborations (Lane, 2012). 
 
Regarding the use of OER in higher education, Pawlyshyn, Braddlee, Casper, and Miller (2013) suggest that: an 
effort must be made to implement initiatives which enable an easy introduction of OER rather than follow top‐
down institutional directives; connections must be promoted and ideas must be shared, not only with other 
institutions  but  also  among  teachers  who  use  OER  actively;  resources  of  professional  development  must  be 
provided, including those used by teachers in OER conferences presentations; the institutional integration of 
OER  modules  with  teams  of  educational  design  must  be  promoted;  models  for  assessing  OER  use  must  be 
established  and  the  results  of  such  assessments  must  be  disclosed,  thus  promoting  continuous  institutional 
support to the use of OER. 
 
Institutional support to the use of OER can be provided in various ways such as through encouraging, within 
each  institution,  the  creation  and  updating  of  OER  repositories  as  well  as  projects  associated  with  OER. 
Regarding the latter, Downes (2013) highlights “MIT’s OpenCourseWare project (OCW). Something that’s also 
received a lot of attention recently (because it was featured on the TED videos) is the Khan Academy, which is 
a  whole  series  of  YouTube  videos  on  mathematics,  physics  and  similar  science  and  technology  subjects. 
MERLOT is a project that was created by a consortium of North American educational institutions” (p. 213). 
 
It  is  essential  to  assess  OER  regarding  their  importance  to  learning  and  the  benefits  they  can  provide  to 
students.  As  Pawlowski  and  Bick  (2012)  refer,  one  of  the  current  research  key‐issues  is  the  adaptation  of 
resources and the corresponding efforts, highlighting that OER success greatly depends on how easily they can 
be  adapted  and  modified  for  reuse.  According  to  Wiley  (2010),  OER  offer  the  previously  unimaginable 
opportunity of using technology to maintain the quality of educational resources reducing costs significantly. 
Therefore, OER represent tools which enable anybody in the world to get the education they want at a very 
low cost. The same author adds that the new means of communication and technology will play a crucial role 
in the future of education, namely regarding sharing, donation and generosity towards others. 
3. Methodology 
The  study  assumes  an  approach  of  quantitative  nature.  As  stated  by  Creswell  (2014),  the  quantitative 
approach enables us to test the relation between variables that provide figures which can be treated through 
statistical procedures. Kumar (2011) points out that a study can be considered quantitative when it intends to 
quantify  the  variation  of  a  phenomenon,  situation,  problem,  or  issue;  the  information  is  obtained  through 
predominantly quantitative variables; and the information is oriented to assess the variation amplitude. 
 
The data collection tool was a questionnaire, built by the authors of the study. The questionnaire is composed 
of closed‐ended questions, which implied the collection of figures corresponding to the frequency of answers 
regarding each of the options given in the questions presented. The questionnaires were administered within 
the classroom context in the presence of the class teacher as well as of one of the authors of the study. The 
questionnaires were filled in at the beginning of the lesson, before starting developing the plan prepared for 
the lesson in which the questionnaires were administered. 
 
The  sample  is  non‐probabilistic,  voluntary  or  convenience.  The  selection  method  of  a  voluntary  or  of  a 
convenience  sample  bears  in  mind  the  availability  and  accessibility  of  the  population  elements  that  it 

13
 
Paulo Alves, Luísa Miranda and Carlos Morais 

integrates, and the sample of this study is composed of units which are accessible to the researchers and who 
voluntarily offered to integrate it. 
 
The  sample  was  selected  during  the  2013/2014  school  year  within  two  schools  of  a  higher  education 
institution. One is a school of Education and the other is a school of Technology and Management. In the year 
mentioned,  there  were  1617  students  enrolled  in  the School  of  Education  and  among  these, 210  integrated 
the sample. In the School of Technology and Management, there were 2285 students enrolled, among which 
105 integrated the sample. Considering the population of the sample to be all the students enrolled in both 
schools,  we  verify  that  the  population  is  3902  students,  from  which  a  sample  of  105  was  extracted,  which 
corresponds to approximately 8% of the population. 
 
Among the sample elements, 93 (29.5%) are male and 222 (70.5%) are female. The mean age is 20.8 years old, 
the mode and the median are 20 years old and the standard deviation is 2.7. With respect to the school year 
they attend, 161 (51.1%) are enrolled in year 1, 70 (22.2%) are in year 2, and 84 (26.7%) are in year 3. 

4. Results 
The  results  are  presented  by  analyzing  the  answers  to  each  question.  We  start  by  analyzing  the  following 
question in the respective options: Mark with a cross (X) the option which best translates the importance that 
you give to the features of digital educational resources: a) Free and open; b) Free access; c) Any time access; d) 
Allows  modification;  e)  Allows  reuse.  Importance  is  measured  in  the  scale:  not  important  at  all;  of  little 
importance; important; very important; extremely important. The distribution of answers within the referred 
scale is presented in Table 1. 
Table 1: Assessment of digital educational resources’ features 
Digital  Not Important  Of Little  Important  Very  Extremely  Didn’t Answer
educational  at All  Importance  Important  Important 
resources’ 
n  %  n  %  n  %  n  %  n  %  n  % 
features 
Free and open  4  1.3  8  2.5  112  35.6  121  38.4  66  21.0  4  1.3 
Free access  2  0.6  2  0.6  39  12.4  122  38.7  148  47.0  2  0.6 
Any time 
3  1.0  3  1.0  30  9.5  113  35.9  162  51.4  4  1.3 
access 
Allows 
18  5.7  63  20.0  121  38.4  68  21.6  39  12.4  6  1.9 
modification 
Allows reuse  6  1.9  17  5.4  111  35.2  107  34.0  69  21.9  5  1.6 
Considering  the  percentage of  students  who classify  digital  resources’ features  as  important,  very  important 
and extremely important, we can see that the most valued feature is free access (98.1%), followed by any time 
access  (96.8%),  free  and  open  (95%),  allows  reuse  (91.1%),  and  finally,  the  least  valued  feature,  allows 
modification (72.4). It is also visible that the features any time access and free access are the ones considered 
as extremely important by the highest number of subjects. 
 
One  of  the  aims  of  the  study  was  to  verify  the  extent  to  which  students’  IT  knowledge  influences  their 
appreciation  of  digital  educational  resources.  The  sample  subjects’  IT  knowledge  was  obtained  from  the 
answers  to  the  following  question:  Classify  your  general  IT  knowledge  (mark  only  one  option):  a)  Basic;  b) 
Intermediate; c) Advanced. 
 
The distribution of answers regarding the classification of the sample subjects’ IT knowledge is presented in 
Table 2. 
Table 2: Classification of IT knowledge (n=315) 
Classification of IT knowledge  n  % 
Basic  90  28.6 
Intermediate  199  63.2 
Advanced  24  7.6 
Didn’t Answer  2  0.6 
By  observing  Table  2,  we  can  see  that  most  subjects  classified  their  IT  knowledge  as  intermediate  (63.2%), 
followed by basic (28.6%) and advanced knowledge (7.6%). 

14
 
Paulo Alves, Luísa Miranda and Carlos Morais 

In order to relate IT knowledge to open educational resources, we took IT knowledge as a variable and each 
one of the assessed digital educational resources’ features as another variable. Thus, we consider that each of 
the  referred  variables  can  be  measured  in  an  ordinal  scale,  proceeding  to  the  following  attributions  or 
conventions. 
 
IT knowledge assumes the values 0, 1, 2, 3, according to their respective translation into: didn’t answer; basic; 
intermediate; or advanced. Each of the features assumes the values 0, 1, 2, 3, 4, 5, according to the respective 
options:  didn’t  answer;  not  important  at  all;  of  little  importance;  important;  very  important;  and  extremely 
important. 
 
From the implemented conventions, data can be considered as ordinal data. Thus, according to Pereira (2004) 
and Maroco (2010), the most appropriate similarity measure to assess the degree of association between the 
variables is the Spearman correlation coefficient. In Table 3 we present the Spearman correlation coefficients 
between the variables, determined with the statistic program SPSS (Statistical Package for the Social Sciences). 
Table 3: Degree of association between the variables IT knowledge and digital educational resources’ features 
(n=315) 
Variables    IT knowledge  Free and  Any time  Allows 
Free access  Allows reuse 
open  access  modification 
Coef.  1.00           
IT knowledge 
Sig.             
**
Coef.  0.217   1.00         
Free and open 
Sig.  0.00           
Coef.  0.128*  0.558**  1.00       
Free access 
Sig.  0.02  0.00         
Any time  Coef.  0.119*  0.527**  0.708**  1.00     
access  Sig.  0.04  0.00  0.00       
Allows  Coef.  0.241**  0.370**  0.222**  0.219**  1.00   
modification  Sig.  0.00  0.00  0.00  0.00     
Coef.  0.129*  0.399**  0.337**  0.411**  0.549**  1.00 
Allows reuse 
Sig.  0.02  0.00  0.00  0.00  0.00   
**Correlation is significant at the 0.01 level (2‐tailed). 
*Correlation is significant at the 0.05 level (2‐tailed) 
 
Considering  the  classification  of  the  correlation  defined  by  Morais  (2000)  as  represented  in  Figure  1,  it  is 
possible to conclude that the correlation is: very low or low between IT knowledge and each one of the other 
variables; high (0.708) between the variable free access and the variable any time access; low or moderate in 
the remaining situations assessed. 

very high moderate very moderate very high

high low low high

-1 -0.9 -0.7 -0.4 -0.2 0 +0.2 +0.4 +0.7 +0.9 +1

Correlation coefficients
 
Figure 1: Classification of the correlation (Morais, 2000, p. 184) 
In the light of the results presented above, we verify a positive correlation between any pair of variables, being 
significant in all situations for a level of significance lower than 0.05. 
 
After  analyzing  the  digital  educational  resources’  features,  we  now  assess  the  knowledge  that  higher 
education  students  have  of  open  educational  resources  (OER).  Although  OER  are  not  exclusively  digital 
educational resources, we admit that their evolution is essentially associated with the development of digital 
educational resources. 
 

15
 
Paulo Alves, Luísa Miranda and Carlos Morais 

The data concerning the knowledge that students have of OER was obtained from the answers to the following 
question in the respective options: Mark with a cross (X) the option which best describes your knowledge of the 
concept of Open Educational Resources (OER): a) I have never heard of Open Educational Resources; b) I have 
heard  but  I  do  not  have  an  opinion  about  the  potentialities  of  Open  Educational  Resources;  c)  I  know  the 
potentialities  of  Open  Educational  Resources  but  I  have  never  used  such  resources;  d)  I  have  used  Open 
Educational Resources and I consider them very important in the teaching and learning process; e) I have used 
Open Educational Resources and I consider them of little importance in the teaching and learning process. In 
Table 4, we present the distribution of answers given by the sample subjects. 
Table 4: Knowledge concerning the concept of open educational resources (n=315) 
Knowledge of Open Educational Resources  n  % 
I have never heard of Open Educational Resources  198  62.9 
I have heard but I do not have an opinion about the potentialities of Open 
70  22.2% 
Educational Resources 
I know the potentialities of Open Educational Resources but I have never 
16  5.1% 
used such resources 
I have used Open Educational Resources and I consider them very 
28  8.9% 
important in the teaching and learning process 
I have used Open Educational Resources and I consider them of little 
3  1.0% 
importance in the teaching and learning process 
The  data  indicates  that  OER  are  completely  unknown  to  more  than  60%  of  the  sample  subjects  and  that, 
among those who have some knowledge, less than 10% give them importance. One of the concerns regarding 
the adoption of OER in higher education lies in finding strategies which can make OER desirable to institutions, 
teachers and students. The results obtained give clear evidence of such a need. Also, Conole (2012) highlights 
that neither students nor teachers have used OER extensively and suggests that the reasons are complex and 
multifaceted. The author adds that at first, there was a naïve belief that making OER available would by itself 
grant their use by students and teachers. It later became clear, as it is shown in this study that a generalized 
adoption of OER did not occur. 
 
It is important to notice that, although the answers to the previous question shown in Table 4 reveal that the 
majority  of  students  do  not  know  OER,  the  truth  is  that  according  to  the  answers  given  to  the  question 
regarding  the  features  they  appreciate  in  digital  educational  resources,  even  students  who  do  not  have  an 
opinion about OER were found to value their features. This happens because, as Downes (2011) refers, OER 
are  materials  which  can  be  freely  accessed,  reused,  modified  and  shared  by  anyone  in  order  to  support 
education. 
 
Another  aim  of  the  study  was  to  identify  the  level  of  knowledge  that  students  have  of  OER  platforms. 
Therefore, the sample subjects answered the following question in the respective options: Mark with a cross 
(X)  the  Open  Educational  Resources  Platforms  that  you  know:  a)  MIT  OpenCourseware;  b)  OpenCourseware 
Consortium; c) Carnegie Mellon University ‐ Open Learning Initiative; d) MERLOT; e) Others. 
 
The distribution of answers regarding the knowledge that students have of OER platforms is presented in Table 
5. 
Table 5: Knowledge of OER platforms (n=315) 
Open Educational Resources Platforms  Does not know  Knows 
(%)  (%) 
MIT OpenCourseware  91.1  8.9 
OpenCourseware Consortium  94.6  5.4 
Carnegie Mellon University ‐ Open Learning Initiative  94.9  5.1 
MERLOT  94.6  5.4 
Regarding option e) Others, here are the answers given as well as the number of times they were mentioned: 
IPB.Virtual (5), B‐On (3), Youtube (2), SCIELO (2), Khan Academy (1), W3Schools (1), Wikipedia (1). 
 
Based on the results directly related to OER and their platforms, we see that the OER issue is still unfamiliar 
within the teaching and learning context of higher education students, who simultaneously value the features 
of such resources. Therefore, there is an urgent need to promote the dissemination and use of OER, so that 

16
 
Paulo Alves, Luísa Miranda and Carlos Morais 

students can benefit from resources which are mainly developed to be useful, free, charge free, and used by 
anyone who wants to learn, regardless of their financial or social condition or of the place in the world where 
they happen to be. 

5. Conclusions 
The conclusions are drawn from the results obtained through a questionnaire administered during the school 
year of 2013/1014 to a sample of 315 students at a state higher education Portuguese institution. 
Among the results obtained, we highlight the following: 
ƒ We analyzed the digital educational resources features: free and open; free access; any time access; allows 
modification; allows reuse. Considering the options very important and extremely important together, the 
results show that the most valued features were any time access and free access; 
ƒ We assessed the sample subjects’ IT knowledge ranged as basic knowledge, intermediate knowledge and 
advanced  knowledge.  The  results  show  that  the  majority  of  students  stated  to  have  intermediate  IT 
knowledge. 
ƒ We assessed the correlation between IT knowledge and each of the variables associated with the digital 
educational  resources’  features.  We  concluded  that  the  correlation  is:  very  low  or  low  between  IT 
knowledge and each one of the other variables; high between the variable free access and the variable any 
time access; low or moderate in the remaining assessed situations.  
ƒ With respect to the knowledge and use of open educational resources (OER), the results show that most 
of the sample subjects have never heard of OER, and less than 10% of the students have used OER and 
consider them important. 
ƒ Regarding the knowledge of OER platforms, we found that only a very low percentage of the subjects have 
knowledge  of  the  platforms  MIT  OpenCourseware,  OpenCourseware  Consortium,  Carnegie  Mellon 
University,  and  that  the  MIT  OpenCourseware  platform  is  the  one  known  by  a  higher  percentage  of 
subjects. 
Thus, we conclude that the features which are considered most important within digital educational resources 
are free access and any time access. There is a significantly high percentage of students who do not know OER, 
their potentialities or OER platforms. 
 
The  use  of  OER  within  the  context  of  higher  education  still  has  a  long  way  to  go,  and  big  commitment  and 
effort are required from both institution stakeholders and teachers so that students’ interest in using OER in 
the teaching and learning process may increase in the higher education context. In addition to this, the data 
obtained may represent a wake‐up call for institutions, teachers and students, as those who know OER actually 
consider them very important and useful, but there is still simultaneously a very high percentage of students, 
at least within the sample of this study, to whom OER are totally unknown. 
 
This study indicates that higher investment is needed in promoting OER so that they can be more widely used 
by students. The study may also constitute an important element to provoke reflection on the level of use of 
open  educational  resources  in  higher  education,  especially  if  we  consider  the  importance  they  are  given 
worldwide as well as the view of several researchers, who see OER as essential and innovative elements in the 
support to knowledge building due to their price‐quality ratio and to the fact that they can be used by anyone 
regardless of their location in the world and their social or financial situation. 
 
As  future  work,  we  intend  to  implement  projects  associated  with  teaching  and  learning  strategies  which 
directly involve selecting, using and assessing open educational resources in the building of knowledge within 
the various areas of study. 
References 
Atkins, D. E., Seely Brown, J. & Hammond, A. L. (2007) “A review of the Open Educational Resources (OER) movement: 
achievements, challenges, and new opportunities”, [online], A Report to The William and Flora Hewlett Foundation, 
http://www.oerderves.org/wp‐content/uploads/2007/03/ a‐review‐of‐the‐open‐educational‐resources‐oer‐
movement_final.pdf. 
Butcher, N. (2011) “A basic guide to open educational resources (OER)”, [online], Commonwealth of Learning, UNESCO, 
Paris, http://www.col.org/PublicationDocuments/Basic‐Guide‐To‐OER.pdf. 

17
 
Paulo Alves, Luísa Miranda and Carlos Morais 

Conole, G. (2012) “Integrating OER into Open Educational Practices”, [online], In J. Glennie, K. Harley, N. Butcher, & T. van 
Wyk (Eds), Open educational resources and change in higher education: Reflections from practice, Commonwealth of 
Learning, Vancouver, http://www.col.org/resources/publications/Pages/detail.aspx?PID=412. 
Downes, S. (2007) “Models for sustainable open educational resources models”, Interdisciplinary Journal of Knowledge & 
Learning Objects, No. 3, pp 29‐44. 
Downes, S. (2011) “Open Educational Resources: A definition ‐ Half an hour”, [online], 
http:/halfaanhour.blogspot.com/2011/07/open‐educational‐resources‐definition.html. 
Downes, S. (2013) “The Role of Open Educational Resources in Personal Learning”, [online], In R. McGreal, W. Kinuthia, & S. 
Marshall (Eds.), Open Educational Resources: Innovation, Research and Practice, pp 207‐221, Commonwealth of 
Learning and Athabasca University, Vancouver, 
http://www.col.org/resources/publications/Pages/detail.aspx?PID=446. 
Knox, J. (2013) “Five critiques of the open educational resources movement”, Teaching in Higher Education, Vol. 18, No. 8, 
pp 821‐832. 
Lane, A. (2012) “Design and development of OER: A student perspective”, [online], In J. Glennie, K. Harley, N. Butcher, & T. 
van Wyk (Eds), Open educational resources and change in higher education: Reflections from practice, pp 141‐153, 
Commonwealth of Learning,  Vancouver, http://www.col.org/resources/publications/Pages/detail.aspx?PID=412 
Littlejohn, A., Falconer, I., & Mcgill. L. (2008) “Characterising effective eLearning resources”, Computers & Education, No. 
50, pp 757–771. 
Maroco, J. (2010) Análise estatística: Com utilização do SPSS, 3.ª edição, Edições Sílabo, Lisboa. 
Morais, C. (2000) Complexidade e comunicação mediada por computador na aprendizagem de conceitos matemáticos: Um 
estudo no 3.º ciclo do ensino básico, Tese de Doutoramento em Educação ‐ Área do Conhecimento de Metodologia 
do Ensino da Matemática, Universidade do Minho, Braga. 
Pawlowski, J. & Bick, M. (2012) “Open educational resources”, Business & Information Systems Engineering, pp 209‐212. 
Pawlyshyn, N., Braddlee, D., Casper, L., &  Miller, H (2013) “Adopting OER: A Case Study of Cross‐Institutional Collaboration 
and Innovation”, [online], Educause, http://www.educause.edu/ero/article/adopting‐oer‐case‐study‐cross‐
institutional‐collaboration‐and‐innovation. 
Pereira, A. (2004) Guia prático de utilização do SPSS: Análise de dados para ciências sociais e psicologia, 5.ª edição, Edições 
Sílabo, Lisboa. 
Ramos, J., Teodoro, V., Fernandes, J., Ferreira, F.,& Chagas, I. (2010) Portal das escolas ‐Recursos educativos digitais para 
Portugal: Estudo estratégico, Gabinete de Estatística e Planeamento da Educação (GEPE), Lisboa. 
UNESCO. (2002) “Forum on the impact of Open Courseware for higher education in developing countries”, [online], Final 
report, UNESCO, Paris, http://unesdoc.unesco.org/images/0012/001285/128515e.pdf. 
Wiley, D. (2010) “Openness as catalyst for an educational reformation”, EDUCAUSE Review, Vol. 45, No. 4, pp 14–20. 
Wyk, T. (2012) “Taking OER beyond the OER community: Policy issues and priorities”, [online], In J. Glennie, K. Harley, N. 
Butcher, & T. van Wyk (Eds), Open educational resources and change in higher education: Reflections from practice, 
Commonwealth of Learning, Vancouver, http://www.col.org/resources/publications/Pages/detail.aspx?PID=412. 

18
A Framework for the Analysis of Collaborative and Interactive 
Elements in MOOCs 
Rasmus Kvist Andersen1, Kristian Garp1, Kevin Nellemann1; Melissa Frost Nielsen1 and 
Rikke Ørngreen2 
1
Master of Science Students in Information Technology, Specializing in ICT, Learning and 
Organizational Change 
2
ResearchLAB: IT and Learning Design, Dep. of Learning and Philosophy, Aalborg 
University, Copenhagen, Denmark 
rior@learning.aau.dk  
 
Abstract:  The  number  of  Massive  Open  Online  Courses  (MOOCs)  and  the  number  of  participants  therein  have  exploded 
within  the  last  couple  of  years.  The  literature  on  MOOCs  (according  to  Clark,  Daniel  and  Kolowich)  mentions  several 
characteristics of MOOCs: flexible, free, and providing room for niche subjects of learning. Criticism points to questionable 
quality and lack of student activation. Few empirical investigations focus on systematic analysis of student interaction in 
MOOCs. In this paper, the argument is that interaction between participants’ of MOOCs on subject matter issues are a sign 
of  collaborative  knowledge  construction  processes  and,  as  such,  signs  of  learning  (in  line  with  the  CSCL  thinking  of 
Laurillard, Stahl, Sorensen, and Salmon). This paper presents a study whose objective is to identify methods for analyzing 
and evaluating the nature of collaborative knowledge construction in the discussion forums of an MOOC, and relate this to 
the  overall  learning  objective  and  educational  design  for  learning  of  the  specific  MOOC  that  is  analyzed.  The  analytical 
frame  builds  on  two  theoretical  mindsets  on  interaction  and  collaboration.  Language  Games  (LG)  (as  defined  by 
Wittgenstein  and  applied  in  Sorensen,  Takle,  and  Moser  in  CSCL)  are  applied  as  a  method  to  investigate  the  structural 
elements. That is, the participants are viewed as the ‘players’ that engage in LG, where, for example, both openings and 
closing are viewed as vital in a successful interaction. Here, the volume of structural elements in selected online dialogues 
and the exemplary LG that is implemented becomes interesting. Salmon’s Five‐Stage model is the second tool, where the 
same selected dialogues are analyzed to identify where in the Five‐Stage model (5S) the participants are interacting from, 
and if any progression occurs in the duration of the course. Moreover, the overall educational design is evaluated on the 
basis  of  Salmon’s  ideas.  In  the  winter  of  2013,  the  Coursera  course  ‘A  Brief  History  of  Humankind’  was  analyzed.  The 
findings  show  that  the  collaborative  knowledge  construction  process  occurs  from  the  first  week  onward,  and  that  the 
quality in a Salmon 5S view improved from week 1 to 10, but there are also contradicting findings regarding mutual respect 
and conversational tone. The analysis using LG finds that structural elements are important for the quality of the game, as 
responsibility and closing of games is seldom present, but that the games are initiated and many posts are made within the 
rules  of  the  games.  As  such,  this  framework  reveals  paradoxical  trends.  There  are  authentic  collaborative  knowledge 
construction processes, although the number of active participants may be very few compared to the number of people 
enrolled. There are signs of collaboration, where the disruptive nature of MOOCs as a learning innovation argues against 
the postulate that MOOCs are solely transmissive in nature. Perhaps, MOOCs instead transcend the traditional Computer 
Supported  Collaborative  Learning  CSCL  (CSCL)  perspectives  for  those  who  want  to  participate  actively.  This  is  discussed 
further in the paper. 
 
Keywords: CSCL, MOOC, language games, five‐stage model, knowledge construction 

1. Problem space 
The  research  in  MOOCs  is  divided.  Some  find  that  the  activation  of  and  interaction  among  students  is  not 
sufficient, while others oppose this viewpoint. However, our literature search revealed that there are barely 
any systematic analyses of student interaction that influence collaborative knowledge construction in MOOCs. 
This paper is such an example and provides a framework for similar investigations. 

1.1 The research field and research question 
MOOCs are divided into two different types. One builds on the extreme number of participants, scalability, and 
is  identified  as  building  on  individual  learning  and  teacher‐centric  pedagogies  (xMOOC)  and  the  other  on 
connectivism  and  student‐centric  pedagogies  (cMOOC).  In  particular,  critiques  indicate  questionable  quality 
and lack of engagement and activation of students. Others oppose this and find that MOOCs provide an ample 
platform for intra‐student interactions, although even cMOOC may have so many participants that meaningful 
collaboration  and  interaction  (connectedness)  is  difficult.  (Nkuyubwatsi  2013,  Daniel,  Casany,  &  Alier  2014). 
However, there are few empirical investigations that focus on systematic analysis of student collaboration and 

19
 
Rasmus Kvist Andersen et al. 

interaction and its influence on knowledge‐sharing activities. Many examples are on a vignette level and cases 
from peoples own experiences. 
 
Two  Danish  university  teachers  mention  in  an  interview  that  they  are  sceptical  regarding  MOOCs.  Rump 
criticizes lack of interaction with teachers and fellow students when the move from physical to online space is 
made; Bundsgaard supplements this with the perspective on learning being a social dimension, which cannot 
be moved online without complications, and that the body is a strong medium for communication and learning 
(Richter  2013).  In  contrast,  Daphne  Koller,  one  of  the  founders  of  Coursera,  claims  that  there  are  well‐
functioning  learning  processes  with  engaging  formats,  but  also  states  that  there  are  no  investigations  that 
compare the precise effect (Koller in Thiemann 2012). 
 
The research question under investigation here is: How can collaborative and interactive elements in a specific 
MOOC be analyzed and understood? Here, we investigate whether collaboration changes over the duration of 
a course and what can be learned from this for future analysis and design considerations.  

1.2 Choice of theoretical models applied 
Collaborative Learning (CL) originated in social learning theories as situated learning, and focuses on learning 
as  a  social  sense‐making  and  negotiation  in  communities  of  practice  and  in  theories  of  dialogue  and 
communication, which focus on mutual meaning construction through social interaction (Stahl et al., 2006). In 
a review of perceived sociability of CSCL, Kreijns et al. (2007) find that CL ‘leads to deeper level learning, critical 
thinking, shared understanding, and long term retention of the learned material’ (p. 337). 
 
CL researchers consider learning a social phenomenon, where interactions between peers foster collaborative 
construction  of  knowledge  (a  social  constructivist  learning  perspective).  The  traditional  CSCL  has  roots  in  a 
linguistic  interpretation  of  human  interaction  (Stahl  et  al.  2006,  Sorensen  et  al.  2006);  therefore,  the  focal 
point in the analysis of CSCL is often to investigate verbal communication in a type of conversational analysis. 
‘Of course, individuals are involved in this as members of the group, but the activities that they engage in are 
not individual‐learning activities, but group interactions like negotiation and sharing.’ (Stahl et al., 2006, s. 8). 
However,  there  are  also  more  action‐oriented  and  educational  design  perceptions  that  both  consider  the 
individual and the individual in the group (Salmon 2004, Laurillard 2002). They seek to investigate the type of 
behavior of participants which supports the CSCL design.  
 
From  a  classical  CSCL  perspective,  it  makes  sense  to  examine  written  dialogues,  which  develop  and  unfold 
while MOOC participants engage in the learning process. Sorensen et al. (2006) have applied the thoughts of 
Wittgenstein’s pragmatic‐philosophical principles regarding LG to the analysis and design of an online course. 
Here, they investigate the character of an utterance in a dialogue through nine structural elements: initiative, 
responsibility, closure, etc. The assessment of game quality is addressed by analyzing sequences of dialogues 
and  assigning them  codes,  depending  on  these  structural  elements,  even  counting  the  number  of  structural 
elements, as the number of games closes. The linguistic interaction can be viewed as the successful openings 
and closings of games (and sub‐games), where each game opened creates a number of expectations regarding 
the continuation of the game. As such, the analysis will reveal if the participants are aware of the game’s rules 
(by  looking  for  both  implicit  and  explicit  signs  of  this  awareness).  ‘The  theory  of  LGs,  in  contrast  to  other 
possible  theories,  therefore  seems  to  offer  a  promising  optic  for  assessing  the  learning  quality  of  online 
collaborative knowledge building dialogue.’ (Sorensen et al. 2006, p. 248).  
 
With this strong focus on structural elements, in the analysis of MOOCs in relation to our research questions, 
we also need to contemplate the actions in the dialogue, investigating how these evolve over time and how 
we can design games to encourage collaborative actions. Gilly Salmon’s Five‐stage model (5S) was developed 
to  support  student  learning  through  interaction,  as  in  a  discussion  forum  (Salmon  2004).  Salmon  quoted 
Jonassen  et  al.  (1995)  when  describing  her  beliefs  that  ‘knowledge  construction  occurs  when  participants 
explore issues, take positions, discuss their positions in an argumentative format and reflect on and re‐evaluate 
their positions’ (Salmon 2004, p. 45). However, she also acknowledges that such collaborations do not occur in 
a vacuum and requires facilitation; this is why she created the 5s model that includes Access and motivation, 
Online  socialization,  Information  exchange,  Knowledge  construction,  and  Development  (Salmon  2004).  The 
unfolding  of  the  model  explains  the  actions  and  forms  of  interactions  that  occur  at  various  stages,  and  also 
define the role and tasks of the teacher. Salmon works from a teacher’s perspective, where the teacher acts as 

20
 
Rasmus Kvist Andersen et al. 

a  facilitator  of  the  process  and  is called the  e‐moderator;  she  also  indicates  the necessary  form  of technical 
assistance.  As  such,  the  model  can  both  be  applied  to  an  analysis  of  the  MOOC  participants’  progression  as 
well  as  an  analysis  of  how  the  specific  courses  are  designed  to  support  the  objective  of  facilitating  and 
ensuring participant collaboration.  
 
Both  Wittgenstein  and  Salmon  are  well‐known  and  much  cited  researchers,  which  makes  it  interesting  and 
valid  to  investigate  their  models  in  this  setting.  Wittgenstein  was  considered  to  be  one  of  the  greatest 
philosophers in the twentieth century and today his work continues to be relevant for the analysis of language 
(cited from http://plato.stanford.edu/entries/wittgenstein/). Salmon is, among other things, recognized in her 
research on online education and approaches to learning; the 5S model has been adopted by numerous online 
teachers  (see  http://www.sddu.leeds.ac.uk/sddu‐salmon‐five‐stage‐model‐alternative‐version.html  and 
http://www.atimod.com/). 
Our assumption is that the two models, LG and 5S, used in conjunction and with an analytical focus can reveal 
the degree and quality of collaboration and interaction among participants in MOOCs. 

1.3 Choice of method, case and sampling  
Methodologically,  the  analyses  are  based  on  the  Coursera  course:  'A  Brief  History  of  Humankind'. 
https://class.coursera.org/humankind‐001/class/index. According to Salmon, it is important that a course has a 
duration of at least 10 weeks to ensure progression (Salmon, 2004). Consequently, the course chosen is one 
that lasts for 17 weeks. We have not conducted a random sampling of weeks. Instead, the beginning, middle, 
and  end  of  the  course  were  selected,  as  we  wanted  to  examine  the  progression.  We  selected  a  total  of  six 
dialogues,  two  each  from  weeks  1,  5,  and  10.  Thus,  a  comprehensive  analysis  of  the  entire  course  and 
specifically of six threads from these weeks was conducted. Table 1 presents the tittles of the threads and the 
number of posts in these threads, which are a total of 153. To ensure as high a correlation among the chosen 
weeks as possible, the discussion threads all stem from ‘lectures’—a discussion forum for issues related to a 
specific lesson. We analyzed all the posts in these threads, not just the selected comments. The coding of the 
data is based on a deductive process based on a priori selected concepts stemming from the two models. 
 
The six threads chosen were open and inviting in their offset. This is in line with LG's theoretical framework 
that  argues  for  a  link  between  games  that  are  open  and  the  possibility  of  closing  a  game,  thereby  enabling 
collaborative  knowledge  construction.  A  game  is  open  when  the  initiator  has  a  built‐in  intent  in  the  post, 
clarifying  a  specific  topic  and  issues  that  require  discussion.  To  ensure  the  possibility  of  interaction  and 
collaborative knowledge construction, we chose discussion threads with a minimum of 15 posts to ensure that 
the amount of data material is sufficient. The subject matter discussed in the threads played no major role in 
the  selection  process,  since  the  focus  is  exclusively  on  the  interaction  among  the  students  and  not  on  the 
subject matter (see Table 1). 
Table 1: Dialogues titles and number of posts  

 
By  signing  up for  the course,  four  students  from  the Masters  in  IT  and Learning program,  had  access  to  the 
module in general and were able to copy and analyze the selected dialogues. The material has been analyzed 
based on both a numerical coding (number of structural elements in relation to the number of threads) and 
from more qualitative considerations of how and with what consequence LG and 5S are part of what we see. 
The understanding that unfolds from an analysis of the selected dialogues are interpreted from our own self‐
understanding of collaborative knowledge construction, the context of the discussion dialogues, through the 
Coursera course, and predominantly from the viewpoints of the two models.  
 
As  the  research  is  centred  around  a  specific  case  (singular  case),  the  data  and  analysis  results  cannot  be 
immediately generalized into being applicable to all MOOCs. In contrast, this provides a unique insight into an 
isolated instance of the occurrence of collaborative knowledge construction among students participating in 
the  course.  The  findings  that  can be  of general  value  are  the  knowledge  on  interaction  and  collaboration  in 

21
 
Rasmus Kvist Andersen et al. 

MOOC  and  the  usefulness  of  the  research  design  as  a  framework  for  similar  analysis  of  other  MOOCs. 
(Flyvbjerg 2006).  

1.4 The case, the Coursera courses, and pedagogies 
The chosen course is divided into four sections, with 17 lessons in total. Each lesson contains, on average, 4 
video  lectures  of  approximately  20  minutes,  and  after  each  section  there  is  a  multiple‐choice  quiz  with  10 
questions. The quiz can be taken several times as preparation, the first three constitute a score of 10% each of 
the total score, and the last constitutes 70% of the total score. A combined score of 70% is needed to pass the 
course. However, even though the lectures can be viewed at one’s own pace and the quizzes are individual, 
the course has a number of rather active discussion forums (figure 1). 

 
Figure 1: Available discussion forums in the selected course 
Coursera  partners  with  a  number  of  universities,  who  provide  courses  and  teachers  for  a  vast  number  of 
courses.  Currently,  there  are  literally  millions  of  participants  (see  www.Coursera.org).  Many  courses  apply 
tests,  like  the  multiple  quizzes.  The  Coursera  team  emphasizes  that  tests  are  not  only  meant  for  evaluating 
students, but are a crucial element of participant commitment and function as a driving force for learning. ‘On 
Coursera, we typically give immediate feedback on a concept a student did not understand.’ (Mastery learning, 
Coursera, 2014). Due to the thousands of participants often present in an MOOC, it is not possible to provide 
individual  personal  feedback  to  assignments.  Instead,  Coursera  has  developed  automatic‐responses  to 
multiple‐choice tests, a setup which teachers can use for applying peer reviews, and a mechanism for students 
scoring the quality of the student‐to‐student feedback. Coursera considers this as a technological enabler that 
can replace some of the functions of a teacher (Coursera 2014, Daniel, Casany, & Alier 2014). 

2. Analysis of and discussion on language games (LG) 
The LG frame, as applied in Sorensen et al. (2006), has nine structural elements. In this analysis, all elements 
are utilized as the existence of all elements is essential for knowledge construction in online dialogues. Table 2 
summarizes the encoding result. 
 
Initiative:  The  first  post  defines  the  situation  and  the  role  of  all  participants.  Through  their  actions,  the 
participants  show  whether  they  have  accepted  or  rejected  the  roles,  either  by  obeying  the  rules  or  not. 
Initiative occurs six times in total and is a pre‐condition for the establishment of a game and the subsequent 
dialogues; moreover, it is a fundamental element for a game to be successful. 
 
Intention/original:  This  conveys  the  assumed  intentions  of  the  game.  The  establishment  of  a  comment  will 
always evolve from the assumed intention, but can of course evolve as sub‐games are initiated. In this study, 
the  initiative's  intention  is  related  to  elaboration,  resolving  a  conflict,  or  discussing  a  dilemma  of  the 
curriculum. Intention occurs six times in total and is a continuum of the initiative. 

22
 
Rasmus Kvist Andersen et al. 

Table 2: LG‐analysis of the weeks and threads in question  

 
Intention/sub‐game:  Sub‐games  appear  when  the  initiating  portion  or  another  participant  brings  up  a  new 
angle  or  new  issue  that  creates  a  new  perspective  on  the  original  game.  This  can  be  done  by  the  students 
referring to new information that opens up new angles in relation to the existing game. In total, there are 22 
sub‐games  in  the  6  discussion  dialogues  (coded:  intention/sub‐game).  In  this  context,  this  is  viewed  as  a 
positive sign, as the sub‐games bring a new dimension to the original post, thereby qualifying the collaborative 
learning process. 
 
Mutualness/reciprocity: This refers to the shared knowledge that is referred to in the game. In this course, this 
factor  is  considered  the  starting  point  for  the  discussions,  as  the  initiatives  are  all  based  on  these  direct 
references  to  the  literature  studied  or  to  the  teacher  and  his/her  teaching.  Common  knowledge  is  a 
constituting  element  of  a  successful  LG  and  the  determinant  of  a  high  level  of  collaborative  learning.  There 
seems to be a high degree of common knowledge, as there are 23 references in the 6 threads; moreover, as 
mentioned previously, a total of 153 posts are analyzed.  
 
Responsibility: The initiator has a responsibility to show interest in others posts, and thereby ensure that the 
game will be brought to an end. In the six discussions, the element responsibility occurs only three times. The 
initiators responsibility seems only partially implemented and other players/participants do not take over this 
role. This lack of responsibility results in a low level of authenticity in the discussion dialogues, which appear 
somewhat  disjointed  and  segmented.  This  implies  that  the  discussions  do  not  have  a  typical  progression  in 
communication, where typical links to how traditional oral dialogues would otherwise carry on.  
 
Expectations: Dialogue is considered a dynamic process, which implies that over time new expectations may 
arise. If a game is interrupted or a sub‐game is established, the overall expectations and goals for the game still 
apply  when  resuming  the  game.  Expectations  are  coded  in  the  selected  dialogues  if  a  comment  contains  a 
clear  indicator  that  is  related  to  the  topic.  Further,  Sorensen  et  al.  indicate  that  if  this  is  in  the  form  of  a 
request for clarification, conflict, or dilemma, there will be a strong likelihood that an LG is created, which can 
form the basis for collaborative learning. Such expectations appear 17 times. 
 
Frame: Each game occurs within a certain context, which can be termed the circumstances of the game. This is 
interpreted as the circumstances of the course in the broadest sense (details on this are given below). 
 
Move: Viewing the concept of the game in terms of social interaction, it becomes evident that LG is realized 
through sequences of moves made by participants. The code Move was applied when a post remained within 
the  rules  of  the  game,  that  is,  it  was  relevant  to  the  discussion  topic,  and  without  the  participant  violating 
unwritten or written rules (i.e., unexpected action was not coded). The occurrence of the actions in this case is 
proportional  to  the  activity  on  the  discussion  board,  but  says  nothing  specific  regarding  the  quality  of  the 
discussions. For example, this implies that only 27 posts of the total 153 were not in‐game. However, if these 
27  posts  are  in  any  way  not  only  out‐of‐game  but  also  disturbing  the  LG,  it  can  have  consequences  for  the 
collaborative learning process.  
 
Closure:  A  game  is  closed,  or  brought  to  an  end  in  accordance  with  the  rules,  when  no  new  expectation  or 
intention  sub‐games  are  made.  It  is  noteworthy  that  there  was  no  explicit  closure  in  the  six  selected  online 
discussions, in terms of how Sorensen et al. discuss closure. This can be considered as lack of authenticity in 
the discussions and can be interpreted as lack of quality in the learning process. This is in contrast to Sorensen 
et al.’s findings: ‘It is noteworthy, however, that if a game is created, there is a high likelihood it will be closed 
(85%)’ (p. 253) 

23
 
Rasmus Kvist Andersen et al. 

Repair: Repairs may occur if the rules of the game have been violated. Repairs are able to either ignore the 
actions that violate the rules and then continue the game, or to engage them in the discussion and turn them 
into  something  positive.  Repairs  reflect  the  players  awareness  with  the  rules  (not  necessarily  explicit,  but 
enough to distinguish a response from a non‐response). Compared to the case, a repair can occur only twice, 
and  is  expressed  by  a  comment  which  is  not  within  the  context  of  the  established  discussion  or  by  direct 
copying of text passages and then qualifying the discussion.  
 
Sorensen et al. (2006) argue that there is a high probability for collaborative learning if the appropriate frame 
for the game is established. Since there are no explicit closures and few repairs, combined with a few signs of 
responsibilities,  it  should  lead  us  to  conclude  that  the  dialogues  are  not  part  of  collaborative  learning 
processes.  Further,  it  must  be  noted  that  the  discussions  rarely  contain  a  comment  that  summarizes  or 
synthesizes, and produces a unique view of the lack of responsibility. The initiator, who begins a discussion, 
never  returns  to  follow  up  on  the  contributions  of  others.  However,  although  many  moves  (actions)  do  not 
directly  represent  answers  to  earlier  contributions,  they  do  arise  from  the  subjects  at  hand  and  previous 
comments, which reflect intersubjective communications to a certain extent. Moves or posts of actions range 
from  a  few  sentences  that  do  not  contribute  much  to  the  dialogue  to  actions  that  include  elements  as 
mutualness,  expectations  (or  clarification  of  such)  and  (some)  responsibility.  The  discussions  can  often  be 
characterized  as  multiple  monologues  rather  than  dialogues.  This  makes  the  dialogues  appear  somewhat 
scattered and fragmented, which could result in insufficient negotiation of sense‐making processes.  
 
According to the LG theory, an increase in the amount of closures and responsibilities indicate an increased 
amount  of  collaborative  learning  and  can,  therefore,  be  considered  as  structural  elements  that  should  be 
promoted to ensure that MOOCs are successful in this kind of interaction. This could be done by facilitating 
that dialogues are summarized and closed, and emphasizing to course teachers that they will have to focus on 
responsibility.  Such  responsibilities  can  also  be  distributed  among  participants  if  the  frame  for  such  actions 
were stronger (e.g., Daniel, Casany, & Alier 2014). 
 
Nevertheless,  the  initiated  game  and  sub‐games  which  adhere  to  the  rules  of  the  games  do  launch  a  large 
number of comments/posts; therefore, perhaps, it is the vast number of participants and the fact the course is 
rather dynamic (moving from one lesson to another and one section to another) which makes closure difficult. 
There will always one from among the thousands of participants who may make a new remark, and closure 
may  occur  in another thread,  in another week,  or  beyond  the  daily  practice  of  the participants.  As  such,  LG 
seem appropriate for indicating valid problems in interaction and collaboration; however as participants and 
co‐readers  of  the  course,  we  find  that  many  posts  are  important  for  our  understanding  and  that  they  bring 
something  new  and  valuable  to  our  mutual  understanding.  Therefore,  we  will  also  contemplate  the  kind  of 
actions associated with dialogues, through the 5S model.  
3. The five‐stage model (5S): Analysis and discussion 
In the analysis of the 5S model (figure 2), the coding of the empirical data on the basis of key concepts related 
to a specific stage was not pre‐defined but extracted from the actions described by Salmon (2014). Thus, the 
coding is based on actions she mentions as necessary to initiate and facilitate in online learning settings. If the 
key‐concepts  are  not  identified,  it  can  create  circumstances  that  obstruct  participants  from  reaching  higher 
stages. The analysis is both applied to the specific six discussion threads as well as to the overall educational 
design of the course. 
 
Stage  1:  Access  and  motivation  encompasses  a  number  of  general  issues  that  must  be  met  so  that  the 
students  feel  safe  and  secure  when  using  the  digital  learning  platform.  Thus,  the  first  stage  deals  with  the 
surrounding  structure  of  the  course,  which  is  vital  for  creating  a  scaffolding  for  the  construction  of 
collaborative  knowledge.  The  key  concepts  identified  include  structure,  clear  teacher  role  and  actions, 
registration and start‐up process, and welcome greetings. 
 
The  quick  registration  process,  and  the  fact  that  the  course  is  easy  to  navigate  (it  is  easy  to  find  your  way 
around  the  available  materials  and  discussion  threads)  can  enable  students  to  move  on  from  stage  1.  The 
course staff and the head teacher Dr. Harari are equivalent to e‐moderators, whose roles are to create a safe 
atmosphere and encourage student participation. This is exactly what we see signs of in the beginning in the 
course, in the section ‘common messages’, which are shown on the front /start page. There are two ways for 

24
 
Rasmus Kvist Andersen et al. 

students to handle the problems they encounter; a ‘technical issue’ forum and a ‘student support centre’. In all 
the  instances  where  a  participant  describes  a  problem  in  the  ‘technical  issue’  forum,  the  issue  is  addressed 
within 24 hours.  

 
Figure 2:  The five‐stage model (Source: Salmon 2004, p. 29) 
Stage  2:  Online  socialisation  requires  that  participants  are  familiar  with  the  online  environment  and  have 
learned  how  the  digital  platform  works  (navigation,  where  to  get  help,  and  how  to  post  messages).  The 
student should feel confident in contributing to, for example, a discussion forum. The key concepts identified 
here are mutual respect and communicating in a ‘good tone of voice’. 
 
The analysis reveals that aspects of these key concepts exist throughout all weeks, but there are also examples 
of lack of good tone and mutual respect. Even though there a vast number of discussions (particularly when 
contemplating the vast number of discussion forums, as shown in figure 1), they are often fragmented and this 
lack of mutual respect corresponds to lack of responsibility and lack of repairs in the LG‐analysis. An example is 
a student who engages in a discussion and utilizes both practical experience and knowledge from an external 
source.  However,  the  font  size  of  the  comment  is  significantly  larger  than  that  of  other  comments,  thereby 
resulting in a negative response from another student. Thus, a relevant post is met in a negative manner, as a 
larger font is interpreted as yelling, and there is no comment on the input in the response, only on the font 
size. Thus, the focus moves away from the topic of discussion, which works against collaborative knowledge 
construction. 
 
Stage  3:  Information  exchange.  In  this  stage,  students  see  the  online  learning  platform  as  an  active,  living 
human network, and they appreciate the vast amount of information that can be found online. Moreover, in 
this stage, students learn to share information and navigate the available information. They must learn to sort 
and select information, so that the amount of information is not considered a barrier. Successful information 
exchange among students is central to achieving full interaction at stage four. The key concepts identified here 
are overview of information, independence/self‐confidence, and enthusiasm. 
 
We  found  elements  of  self‐confidence  and  ability  to  overview  the  information  among  students  in  all  the 
weeks. Additionally, openness to other perspectives, support and encouragement, reasoning, and reflection is 
also present in all three weeks. Thus, it can be argued that already in the beginning of the course, there is a 
good basis for collaborative knowledge construction. 
 
Stage 4: Knowledge construction. In this stage, the students not only share information and reflections, but 
interact  collaboratively  by  answering  each  other’s  posts  and  comment  on  and  carry  the  comments  further, 
thereby constructing common knowledge in the learning community. The key concepts identified in this stage 
are answering comments, reasoning, reflection, new perspectives, and being supportive.  
 
In this MOOC, the collaborative knowledge process already takes off in the first week, as the analysis shows 
examples  of  posts  that  are  reflective,  build  up  arguments,  are  supportive  of  other  participants,  etc.  The 

25
 
Rasmus Kvist Andersen et al. 

analysis  finds  this  tendency  increasing  from  week  1,  over  week  5,  to  week  10,  as  in  week  10  there  are  an 
increased number of participants exhibiting stage 4‐behavior.  
 
Stage 5: Development. In this stage, participants have taken complete control of their own learning process 
and the e‐moderators play a more invisible role. The high levels of argumentation, constructive critiquing, and 
learners challenging each others are common signs of stage 5. Salmon argues how the high collaborative levels 
of discussion are of benefit for the individual learner. The key concepts identified are self‐criticism, high levels 
of reasoning and reflection, and challenge (own and others). 
 
In week 1, there are no signs of students who are in stage 5. However, the coding showed that participants in 
both  weeks  5  and  10,  who  reasoned,  had  deep  reflections  on  the  subject,  engaged  in  self‐criticism,  and 
challenges.  This  was  all  at  a  higher  level  than  what  was  coded  as  stage  4,  although  this  was  a  difficult  and 
rather subjective thin‐line difference. However, there are also examples of cases which worked against this, as 
there are signs of lack of good manners and mutual respect. 
 
In conclusion, there is a clear progression and very early onset to the phenomena that constitute the advanced 
stages, although occasionally coupled with lack of respect and good tone. This is not in line with the Salmon’s, 
according to which the model is dependent on the first stages to reach the latter ones. The analysis does not 
indicate if and how many participants withdraw from or never commence interaction into these threads due 
to the occasional use of somewhat hard tones. However, there are many examples of discussions continuing 
despite  a  scattering  of  semi‐disrespectful  posts.  This  could  be  one  of  several  reasons  for  the  large  drop‐out 
rate  which  some  mention  as  a  problem  in  MOOCs,  but  which  others  point  to  really  just  being  because  the 
learning  processes  at  play  are  not  the  same  as  those  in  traditional  formal  learning‐thinking  (Clark  2013, 
Kolowich 2013, Daniel, Casany & Alier 2014). 

4. Overall findings and perspectives of generalization and uniqueness 
In  the  analysis  of  both  models  which  use  different  aspects  of  focus  for  the  identification  of  collaborative 
learning, inherent problems were revealed in the occurrence of collaborative learning. However, Salmon’s 5S 
model, except for the examples of disrespect and poor tone, revealed a high use of key concepts. Further, LG 
showed  defragmented  discussions  that  were  illustrative  of  unsuccessful  games  on  one  hand,  but  very  long 
discussions  with  dynamic  in‐game  posts  (moves)  and  sub‐games  on  the  other  hand.  Sorensen  et  al.  (2006) 
indicate  that  collaborative  learning  only  occurs  if  a  game  has  ended.  Throughout  the  analysis,  the  focus  on 
endings surprised us because of its simplicity (there is a lot of ‘movement’ and evolvement in the dialogues, as 
well as creation of sub‐games).   
 
What  is  essential  for  the  use  of  both  models  is  that  they  are  researching  courses  that  are  built  on  more 
traditional CSCL thinking. This means that the courses have a more homogeneous target group and a limited 
number  of  known  participants  with  a  common  goal  (as  in  online  master  degrees  or  accredited  competence 
development  courses).  MOOCs  have  a  much  larger  and  wider  range  of  participants,  who  do  not  necessarily 
share the same goals. Therefore, the original two models can be applicable in new CSCL contexts. 
 
Kolowich  refers  to  a  chronicle  on  an  education  survey  that  found  a  median  of  33,000  registrants  for  the 
courses, with one course as high as 180,000, with an average completion rate of ~10%: ‘But most students who 
register  for  a  MOOC  have  no  intention  of  completing  the  course,’  said  the  company’s  co‐founders  (…)  ‘Their 
intent is to explore, find out something about the content, and move on to something else, said Ms. Koller (…) 
‘The  rates  of  completion  for  students  who  have  given  some  indication  that  they  plan  to  do  the  work  is 
substantially  higher.  For  example,  for  students  who  so  much  as  submit  the  first  assignment,  the  completion 
rate leaps to 45 percent.’  (Kolowich 2013, first page).  
 
Daniel, Casany, & Alier (2014) show that there are researchers that object to the connected CL approaches, as 
the  more  instructional/individual  learning  pathways  are  considered  important.  In  line  with  Stahl  (2006)  on 
group cognition, the cycle of personal understanding is pivotal, but collaborative learning dimensions are also 
significant; the vast use and high activity in the discussion thread mirror this need.  
 
However, there is an interesting dilemma here: How can an MOOC be both self‐paced and self‐directed and 
simultaneously  foster  peer‐to‐peer  collaboration  in  the  design  of  the  specific  course,  as  this  would  require 

26
 
Rasmus Kvist Andersen et al. 

some amount of synchronicity in pace (i.e., being at the same session at the same time). However, the vast 
number  of  participants  allows  for  many  perspectives  to  be  raised.  From  our  singular  case,  we  learn  that  as 
there are such a large number of participants, people find participants with similar focus, interest, and pace, 
which  may  be  more  difficult  in  more  closed/not  free  and  open  courses  than  MOOCs.  Similarly,  Clark  (2013) 
shows—when conveying numbers from the first trial of six Coursera courses by the University of Edinburgh—
that the main motivation for participants was learning (93%) and that there was a lower average interest in 
certification  (33%).  The  same  study  shows  that  out  of  the  over  300,000  participants  in  the  six  courses,  15% 
made individual posting(s). (Clark 2013, p. 7‐8). Although 15% is a small percentage, it is a big number in terms 
of number of people compared to traditional CSCL university courses. 
 
Seen  in  this  light,  the  analysis  of  the  LG  and  5S  models  shows  that  this  course  has  a  number  of  authentic 
collaborative language games that have been initiated and that some of the participants applied higher levels 
of knowledge sharing and construction processes. Moreover, the analysis also revealed problems with closure 
and responsibility, as well as signs of fragmented discussions, tone, and respect. Perhaps, this is the disruptive 
nature of MOOCs, as MOOCs are dramatically different from CSCL in terms of both volume and being able to 
accommodate both individual and collaborative synchronous learning paths simultaneously.  
5. Conclusion 
The research question that we investigated here is how can collaborative and interactive elements in a specific 
MOOC be analyzed and understood? For this purpose, we investigated whether collaboration changes over the 
duration of a course and what can be learned from this for future analysis and design considerations?  
 
In our work, we found a difference in the CL processes, roles, and functions as understood traditionally by CSCL 
compared to what is seen in the MOOC that we analyzed. The traditional CSCL perspectives view the teacher’s 
role as essential for creating a scaffolding. In MOOCs, teachers can act through the learning design, scaffolding 
and outlying task, actions and suggestions for interactions; however, the participants themselves can function 
as e‐moderators for those who wish to engage in the collaborative dialogues. Nevertheless, we found that the 
models brought to light interesting features, structures, and inherent barriers and opportunities. As such, we 
find the models useful. 
 
The MOOC teachers and administers could work with the two models as design and analysis tools, and suggest 
improvements for the discussions and thereby support collaborative learning even more. Teachers in MOOCs 
could  consider  facilitating  the  dialogue,  summarize  and  synthesize,  thereby  perhaps  not  closing  every 
discussion,  but  making  footprints  of  important  learning  paths  in  the  many  posts.  Similarly,  working  on 
maintaining  a  good  tone  could  be  useful.  However,  it  is  also  difficult  to  implement  in  practice,  as  the  huge 
number  of  posts  would  require  a  large  team  of  co‐teachers  to  work  through  the  content.  Instead  the  self‐
regulated peer‐to‐peer approach is clearly worth designing for, perhaps with the teacher in the role of creating 
the  scaffolding  and  learning  design.  On  the  other  hand,  the  knowledge  sharing  does  appear  to  initiate  very 
quickly  in  this  MOOC  (which  the  5S‐model  helped  identify)  and  the  participants  do  make  progress.  Thus, 
perhaps the signs of not ‘living up to’ the CSCL models could also be a sign of new methods of collaborative 
knowledge construction.  

References 
Clark, D. (2013) “Adaptive MOOCs”, A CogBook Whitepaper, [online], Retrieved 15 June 2014 from  
http://www.cogbooks.com/white‐papers‐AdaptiveMOOCs.html, 12 pages. 
Coursera (2014) “About Us”, [online], Retrieved 26 June 2014 from https://www.coursera.org/about  
Daniel, A. M.O., Casany, M.J., & Alier, M. (2014) “Approaches for Quality in Pedagogical and Design Fundamentals in 
MOOCs. Teoría de la Educación. Educación y Cultura en la Sociedad de la Información, Vol 15, No 1, pp 70–89. 
Flyvbjerg, B. (2006) “Five Misunderstandings about Case‐study Research”. Qualitative Inquiry, Vol 12, No 2, pp 219–245. 
Kolowich, S. (2013): “Coursera Takes a Nuanced View of MOOC Dropout Rates” in The Chronicle of Higher Education, April 
8, 2013, [online], Retrieved 14 June 2014 from http://chronicle.com/  
Kreijns, K., Kirschner, P.A., Jochems W. & van Buuren, H. (2007) “Measuring Perceived Sociability of Computer‐supported 
Collaborative Learning Environments. In: Computers and Education. Vol. 49, No 2, pp 176–192. 
Laurillard, D. (2002) Rethinking University Teaching. A conversational framework for the effective use of learning 
technologies. London, Routledge ISBN 0415256798 .  
Nkuyubwatsi, B. (2013) “Evaluation of Massive Open Online Courses (MOOCs) From the Learner’s Perspective” in 
proceedings of the European Conference on eLearning, Nice, France, pp 340–346 
Richter, L. (2013, 29. maj) “Netuddannelser kæmper med kvaliteten” in the newspaper Information. 

27
 
Rasmus Kvist Andersen et al. 

Salmon, G. (2004). E‐moderation. The Key to Teaching and Learning Online. London: Taylor & Francis Books Ltd. 
Sorensen, E.K., Takle, E.S. & Moser, H.M. (2006). Knowledge Building Quality in Online Communities of Practice: Focusing 
onLearning Dialogueue. In: D. McConnel (Red.): Imagining learning in the 21stcentury: The Role of e‐Learning. Special 
Issue of Studies in Continuing Education (SCE). Vol. 28. No. 3. pp 241–257. 
Stahl, G. (2006) Group Cognition: Computer Support for Building Collaborative Knowledge. Cambridge, MA: MIT Press. 
Stahl, G., Koschmann, T., & Suthers, D. (2006) Computer‐supported Collaborative Learning: A Historical Perspective. I: R. K. 
Sawyer (Ed.), Cambridge Handbook of the Learning Sciences (s. 409–426). Cambridge, UK,  Cambridge University 
Press.  
Thiemann, P. (2012) Professorer: Studerende lærer bedre af undervisning på nettet. Lokaliseret d. 16 December 2013 på: 
http://politiken.dk/udland/ECE1601526/professorer‐studerende‐laerer‐bedre‐af‐undervisning‐over‐nettet/ 

28
Learning Conversations to Support Peer Review in Online and 
Blended Learning Environments 
Trish Andrews1 Gail Wilson2 and Neroli Sheldon2 
1
The University of Queensland, Australia 
2
Southern Cross University, Australia 
t.andrews@uq.edu.au 
gail.Wilson@scu.edu.au 
neroli.sheldon@scu.edu.au 
 
Abstract: As a consequence of the continual adoption of Technology Enhanced Learning (TEL) online and blended learning 
have become  commonplace  activities  in  higher education.  While  TEL  can  provide  many  benefits  for  learners, many  staff 
struggle  to  develop  the  skills  and  understanding  necessary  to  design,  develop  and  deliver  high  quality  learning  in  these 
environments.  Peer  review  of  teaching  and  learning  is  acknowledged  as  a  powerful  professional  learning  tool  for  online 
and  blended  learning  environments  that  can  be  utilised  to  assist  staff  to  develop  their  skills  in  relation  to  teaching  and 
learning.  Peer  review  can  be  particularly  powerful  in  recognising  and  addressing  specific  areas  for  professional  learning 
about  one’s  teaching  practice.  However,  staff  can  find  such  approaches  judgmental  and  focused  on  metrics  and  show 
reluctance to participate in such activities. There is also a view that once a development task such as peer review becomes 
formalised,  the  meaning  of  development  is  changed  lessening  the  benefits  of  engagement  in  the  process.  This  paper 
reports on a work in progress relating to a funded Australian Government Office of Learning and Teaching (OLT) project in 
two universities that piloted a reciprocal ‘learning conversation’ approach to peer review. This approach encourages the 
development of an ongoing dialogue around teaching and learning that goes beyond an exchange of facts and ideas and 
creates an opportunity for mutual and reciprocal learning – a collaborative as opposed to a developmental model of peer 
learning.  The  paper  provides  a  definition  of  peer  learning,  examines  the  literature  in  relation  to  peer  review  of  online 
teaching,  and  provides  a  rational  for  exploring  “learning  conversations”  as  an  approach  to  peer  review.  It  outlines  the 
project features, processes, and progress to date. A second paper will report on the project’s deliverables and evaluation 
findings.  
 
Keywords: peer review, teaching, learning conversations, professional learning 

1. Introduction 
Adoption of Technology Enhanced Learning (TEL) is becoming increasingly commonplace in higher education 
environments,  for  a  range  of  delivery  contexts,  including  face‐to‐face,  blended,  distance  and  distributed 
environments. This adoption has been accelerated by the growing popularity of teaching approaches such as 
the flipped classroom (Bart 2013); MOOCs (Universities UK 2013; Yuan 2013); desire for more authentic and 
relevant  learning  experiences  (Lombardi  2007);  and  student  learning  preferences  (Andrews  &  Tynan  2012). 
However,  while  the  benefits and  advantages  of  TEL  are  well  recognised,  many  staff  lack confidence in  using 
technology tools effectively to support teaching and learning and often feel unable to exploit the potential of 
these  tools  (Yeung  et  al.  2012).  Additionally,  while  many  universities  mandate  minimal  usage  standards  for 
online  learning  there  is  often  a  lack  of  processes  to  ensure  quality  in  relation  to  these  standards.  Where 
feedback  is  obtained  it  is  often  not  addressed  and  does  not  always  translate  into  improvements  or 
enhancements to blended and online teaching and learning environments (Forsyth et al. 2010). 
 
Peer review has long been recognised as a powerful professional learning tool and can be useful in providing 
both targeted feedback to staff to incorporate into their teaching and learning processes as well as identifying 
opportunities  for  further  professional  learning  (Applebee  2014).  While  acknowledging  the  developmental 
aspects  of  peer  review,  peer  review  is  often  found  by  staff  to  be  judgemental  and  unhelpful  in  promoting 
longer term improvement an individual's teaching and learning practices (Gosling 2014). 
 
This  paper  outlines  a  recently  funded  Australian  Government  Office  of  Learning  and  Teaching  (OLT)  project 
that  explored  a  conversational  approach  to  peer  learning  in  two  Australian  universities  –  Southern  Cross 
University (SCU) and The University of Queensland (UQ). The paper discusses the literature in relation to peer 
review  and  the  rationale  for  selecting  a  conversational  approach  to  facilitate  exchange  as  a  means  of 
overcoming academics' resistance to peer review. Next, a description of key project features, processes and 
outcomes  to  date  are  provided.  We  conclude  by  looking  forward  to  the  final  stages  of  the  project  and 
foreshadow a second paper that will report on project deliverables and evaluation outcomes. 

29
 
Trish Andrews Gail Wilson and Neroli Sheldon 

2. Literature review 
Peer  review  can  be  defined  as  a  "process  of  making  scholarly  judgements  about  the  quality  of  learning  and 
teaching, and a process of scholarly professional learning" (McKenzie & Parker 2011, p.623). In the context of 
this paper the peer is conceived as a teaching colleague who may or not be more senior in terms of teaching 
experience (Harris et al. 2008,) and the context relates to teaching and learning in online and blended learning 
environments.  Typically,  peer  review  models  can  be  characterised  as  evaluative,  with  the  principal  function 
being  to  pass  judgement  on  the  quality  of  teaching  often  for  audit  or  performance  management  purposes; 
developmental,  where  a  more  experienced  or  knowledgeable  colleague  works  to  develop  the  skills  of  a  less 
experienced teacher; and collaborative, where colleagues are encouraged to engage in conversations in which 
both  parties  are  peers,  equals  in  the  process  and  where  the  power  relationship  is  one  of  equality.  The 
evaluative  and  developmental  models  are  often  formalised  in  a  structured  way  to  support  an  institution's 
audit and performance management systems including promotions (Ambler et al. 2014; Bennett & Santy 2009). 

3. Peer review of online teaching 
But what of peer review for the increasingly important blended and online context? How do we need to think 
differently with regards to blended and online environments in relation to what can be peer reviewed? The 
early literature on peer review of online and blended learning shows an emphasis on review of online courses, 
course  materials,  and  learning  objects  (Conole  et  al.  2004).  More  recently,  scholars  including  Harris  et  al. 
(2008),  Wood,  Scutter  and  Wache  (2011)  and  McKenzie  and  Parker  (2011)  have  developed  processes  and 
resources for peer review of online teaching that includes templates and checklists, sharing of good practice 
and  an  emphasis  on  recognition  and  rewarding  of  good  teaching.  From  a  continuing  professional  learning 
perspective,  peer  review  is  one  strategy  useful  for  sustainably  embedding  online  learning  (Philip  &  Wozniak 
2009).  Increasingly  featured  in  the  literature  are  discussions  about  peer  review  of  the  online  interactions 
amongst  teachers  and  students.  Here  the  community  of  inquiry  model  (Garrison,  Anderson  &  Archer  2000) 
with  its  emphasis  on  teacher,  social  and  cognitive  presence  provides  a  framework  for  peer  review  inquiry. 
However,  as  researchers  Bennett  and  Barp  (2008)  concluded  there  is  a  growing  understanding  of  the 
limitations of more familiar approaches to peer review and an acknowledgement of the need to explore new 
territory.  
 
It  is  also  acknowledged  that  the  very  nature  of  blended  learning  environments  may  complicate  peer  review 
because of the distribution of online and face‐to‐face instances of learning activities by McKenzie and Parker 
(2011). Unlike observation of face‐to‐face teaching, peer review of online learning activities cannot be defined 
always  by  the  concept  of  a  single  ‘class’  or  ‘tutorial’  and  so  scoping  the  extent  of  peer  review  within  this 
environment  is  essential.  The  introduction  of  online  learning  and  the  supporting  technologies  present 
challenges  in  the  ways  professional  learning  of  staff  and the  management  of  cultural  change  is  organised  in 
order to sustainably embed online learning (Philip & Wozniak 2009). 
 
There is extensive literature (Becton & Penney 2007; Gosling & O'Connor 2009; Wyllie 2011) supporting the 
argument that peer observation of online teaching is an effective way to increase teaching effectiveness and 
that the peer review process clearly benefits both the reviewer and the reviewee because many teachers do 
not  have  strong  experience  of  online  teaching  (Bennett  &  Santy  2009).  However,  despite  these  recognised 
benefits there is little evidence of its use in online teaching review. In particular, there is limited understanding 
of how the online environment impacts on the peer review process and vice versa, how academics experience 
peer review, and how it benefits staff who engage in this process (Gaskamp & Kintner 2014; Wyllie 2011). 

4. Resistance to peer review 
While resistance to peer review of teaching is well documented (Ambler et al. 2014; Clarke et al. 2013; Spencer 
2014)  the  notion  of  peer  review  is  not  new  to  academic  staff.  Peer  review  of  research  papers  in  order  to 
improve academics' chances of acceptance for publication is commonplace. So, why does the thought of peer 
review of teaching seem to be meet with resistance by academic staff?  
 
In  part  this  may  be  explained  by  the  fact  that  peer  review  in  relation  to  research  publications  is  generally 
anonymous,  usually  at  a  distance  and  involves  review  of  a  product  often  after  considerable  drafting  by  the 
author.  While  academics  may  typically  consider  themselves  to  be  experts  in  their  discipline  and  research 
capability, this is unlikely to be the case when it comes to their perception of their expertise in the teaching 
domain, particularly in online and blended learning environments. A review of teaching performance can place 

30
 
Trish Andrews Gail Wilson and Neroli Sheldon 

the teacher being reviewed in a vulnerable position. This sense of vulnerability is likely compounded for those 
grappling with technologies as well as the underpinning knowledge required to design and teach effectively in 
an online environment (Sachs & Parsell 2014.) 
 
This feeling of vulnerability and resistance by academic staff to engage in peer review activities is stimulated 
by  a  number  of  concerns  raised  in  the  literature  on  peer  review.  These  concerns  focus  on  the  reviewer's 
objectivity  and  the  perception  that  peer  review  is  a  time  consuming  management  initiative  that  lacks  any 
meaningful  function  beyond  satisfying  quality  audit  requirements  (Spencer  2014).  There  are  also  concerns 
expressed  about  an  institution's  use  of  formal  peer  review  for  monitoring,  appraisal  and  performance 
management, which can lead to reported hostility, perceived breaches of trust and resistance to peer review 
(Ambler et al. 2014; Clarke et al. 2013). Academics are also reluctant to invest time in peer review when there 
is a widespread belief amongst staff that good research rather than good teaching is rewarded (Clarke et al. 
2013). The literature also references concerns related to “implicit judgments being made” (Gosling 2009, p.7), 
the perceived intrusion into the professional practice of colleagues, and the loss of academic freedom (Gosling 
2009; Hatzpanagos & Lygo‐Baker 2006).  

5. Promoting collaboration through learning conversations 
In  order  to  address  this  issue  of  resistance  to  peer  review,  approaches  such  as  learning  conversations  have 
been introduced with some success (Gosling 2014). In learning conversations, there is an assumption that both 
participants stand to learn about the topic or issue relating to teaching and learning. As such this collaborative 
approach  is  distinguished  from  evaluative  and  developmental  forms  of  peer  review.  Learning  conversations 
can take many forms but all place the learner at the heart of the process. Learning conversations have come to 
represent  a  model  for  academics  to  reflect  on  the  progress  of  their  teaching  and  decide  what  to  do  next. 
Laurillard (2000) cited in QIA (2008, p.2) views such learning conversations as taking place during the learning 
itself,  describing  them  as  “discursive,  adaptive,  iterative  and  reflective”  and  “applicable  to  any  learning 
situation”. 
 
The literature supports learning conversations as an effective form of collaborative peer learning. A range of 
researchers (Ambler et al. 2014; Clarke et al. 2013; Gosling 2009) highlight the advantages of the collegiality 
and non‐judgemental dialogue that characterises learning conversations and that teachers are reported to feel 
safe to reflect on their established practices and underpinning values. Learning conversations can also trigger 
intrinsic  motivation,  “readiness  or  eagerness  to  carry  out  an  action  or  change  behaviour”  (Miller  &  Rollnick 
2002  cited  in  QIA  2008,  p.3).  The  following  table  summarises  attributes  of  collaborative  peer  review  and 
learning conversations.  
Table 1: Characteristics of collaborative peer review and learning conversations 
Characteristic  Description 
Participants  Teachers/peers/colleagues – all those involved in teaching 
Purpose  Improve practices through dialogue, mutual reflection to stimulate innovation 
Outcome  Analysis, reflection, openness to change opportunities 
Judgement  Shared understandings and perceptions, constructive and non‐judgemental 
Relationship  Equal, mutual, the reviewer asks questions to help reflection rather than providing feedback for 
developmental purposes 
Confidentiality  Between reviewer and reviewee, public outcomes with permission 
Focus  Any aspect of online teaching chosen by reviewee 
Benefits  For both peers and students 
Success  Culture in which teaching is valued and discussed 
Risks  Confirms existing practices of evaluation and development models, compliance, perception as 
being bureaucratic 
Adapted from Models of Peer Review of Teaching (Gosling 2009, p.14) 

6. Cautions in relation to peer review 
Despite peer review providing real benefits and improvements to teaching and learning, there is a need to be 
cautious. As Spencer (2014) points out, genuine peer review can be hijacked by mutual "back‐slapping" and to 
avoid  this,  peer  reviewers  should  be  selected  with  care  and  the  purpose  of  the  review  needs  to  be  clearly 
established.  Hitchens  (2014)  also  refers  to  the  importance  of  institutions  creating  the  right  kind  of  policy 

31
 
Trish Andrews Gail Wilson and Neroli Sheldon 

environment to appropriately support peer review if it is to be successful in enhancing teaching and learning 
practice and be widely adopted. 

7. Project overview 
In  this  section  we  describe  the  project  features  and  processes.  As  the  paper  reports  on  a  work  in  progress, 
elements of the project that have been completed to date the remaining project activities are highlighted. 
 
The  project  is  an  OLT  extension  grant  which  focuses  on  extending  the  outcomes  of  previous,  larger  grants. 
Funding for these grants is limited to A$30,000 along with the requirement to be completed within one year 
from the announcement of success. This reduces real time on the project to nine to ten months. This project 
makes use of resources, specifically peer review protocols and feedback processes developed from two earlier 
OLT projects listed below.  
ƒ Peer Review of Teaching in Australian Higher Education (Harris, Farrell, Bell, Devlin & James, 2008) 
ƒ Peer Review in Online and Blended Learning Environments (McKenzie & Parker 2011) 
A third project was also utilised by the project team – Social, Communicative and Interpersonal Leadership in 
the Context of Peer Review (Sachs & Parsell, 2013) in relation to the design of the peer review pilots and the 
video  resources  proposed  in  the  project  application,  and  the  process  guidelines  developed  for  staff 
participants in the extension project. 
 
Prompt questions to guide decision making around areas for peer review were developed from the McKenzie 
and Parker project (2011) noted above. 

8. Project aims 
The project has three main aims: 
ƒ to  facilitate  teachers'  professional  learning  about  their  online  and  blended  learning  teaching  in  a  peer 
environment  
ƒ to  enable  the  sharing  of  practice  about  teaching  and  learning  for  online  and  blended  learning 
environments within and across institutions  
ƒ to  develop  a  culture  where  peer  review  supports  and  encourages  the  development  of  professional 
practice around teaching and learning for online and blended learning environments. 
A number of incentives were offered to staff to encourage their participation in the project. These included 
ƒ ensuring a small amount of funding went to those involved from both institutions. 
ƒ making teaching and learning staff in both institutions available for encouragement and support 
ƒ emphasing  the  scholarship  of  teaching  element  (an  item  of  high  interest  to  all  participants)  through 
providing a baseline literature review that will enable participating staff to jumpstart an article about their 
experiences. We are also providing co‐writing and feedback as requested, so the shelf life of this project is 
certainly extended beyond the closing date of the project. 
Table 2: Project timetable 
Project activities 
April 14 

June 14 

Sept 14 
Sept 13 

May 14 
Mar 14 
Nov 13 

Aug 14 
July 14 
Dec 13 

Feb 14 
Oct 13 

Jan 14 

Grant awarded                           
Funding dispersed                           

Initial team meeting                           
All team meeting to clarify project                           
activities/timelines 

32
 
Trish Andrews Gail Wilson and Neroli Sheldon 

Project activities 

April 14 

June 14 

Sept 14 
Sept 13 

May 14 
Mar 14 
Nov 13 

Aug 14 
July 14 
Dec 13 

Feb 14 
Oct 13 

Jan 14 
Resource development                           
Orientation sessions                           
Pilots                           

Interviews                           
Workshops                           
Project evaluation                           
Final report                           

9. Project pilot 
The project pilots are key activities of the project. The project team designed and implemented two pilot peer 
review programs focused on online and blended teaching and learning. The pilots were conducted within one 
school in each partner institution (the School of Business at SCU and the School of Population Health at UQ), 
with each school representing a different discipline group. Staff were recruited from both institutions – seven 
staff across the three SCU campuses, and eight staff from the School of Population Health at UQ. 
 
The pilots involved the following steps:  
Step 1  Trialling existing processes for preparing staff for peer review 
Step 2  Trialling existing checklists (rephrased as prompt questions) which support staff to prepare for, engage in and 
receive feedback on, peer review of an aspect of their online and blended teaching and learning practice 
Step 3  Evaluating outcomes from both pilots 
 
As a first step in undertaking the pilots, meetings were held with the project team members in each university 
to  discuss  the  project  scope  and  implementation.  As  a  consequence  of  these  conversations  as  well  as  the 
thinking of the project leaders, a decision was made to amend the original project intention and to explore a 
conversational  approach  to  peer  review.  Additional  material  relating  to  the  conversational  approach  was 
incorporated  into  the  process  guidelines  developed  for  staff.  These  guidelines  were  presented  and  worked 
through at the orientation sessions held at two SCU campuses and at UQ.  
 
At  these  orientation  sessions  the  project  team  worked  through  the  guidelines  and  processes  for  the  peer 
review pilots. These processes included ‘Start Here’; ‘Why’; ‘What?’; ‘How?’; ‘Reporting’; ‘Follow‐up’; ‘Prompt 
Questions’; ‘Learning Conversations’ and ‘Key References’. The prompt questions were adopted from the 2011 
OLT peer review project mentioned earlier (Mckenzie & Parker, 2011) and rephrased as questions to assist in 
selecting the area for review as mentioned earlier. These questions covered the areas of administration and 
communication,  planning  and  preparation,  design  and  teaching.  The  prompts  provide  a  large  number  of 
options for consideration but were not considered definitive and staff were free to review any area they felt 
relevant to their teaching and learning practice.  
 
The concept of 'collaborative peer review' (Gosling 2014), as mentioned above, was discussed with particular 
emphasis  on  the  need  for  creating  dialogue,  rather  than  asking  questions  and  providing  definitive  answers. 
Discussion with staff focused on how to conduct these conversations and examples of learning conversation 
dialogues were provided. 
 
A project website in Blackboard was created at SCU to support the project and made available to all project 
participants.  All  documentation  relating  to  the  project  is  stored  on  this  shared  space.  Participants  are 
encouraged to make use of wikis and journals to communicate with each other and to share their reflections. 
At the time of writing this paper, we are beginning the interviews with project participants in relation to their 
peer  review  experience  in  order  to  ascertain  their  understanding  of  how  the  peer  review  of  online  and 
blended learning worked for them. Workshops are also being scheduled in each of the partner universities to 
explore the outcomes of the project and ways in which learnings from the project can be more widely adopted 
within  the  two  institutions.  Two  video  case  studies  nominated  as  one  deliverable  of  the  project  will  be 

33
 
Trish Andrews Gail Wilson and Neroli Sheldon 

presented at the workshops to provide stimulus to the discussion. A project advisor nominated in the project 
application  will  participate  in  the  workshops  to  provide  suggestions  for  effective  dissemination  of  project 
outcomes within both institutions. 
 
Evaluation of the project is iterative and has been ongoing since the project’s inception. 

10. Concluding comments  
To date the project is on time and  the pilot projects are almost completed. As the project began, there was 
initial  excitement  by  participants  in  relation  to  the  opportunities  the  project  provided  to  talk  about  their 
teaching  in  a  constructive  way.  The  post‐pilot  interviews  will  provide  greater  understanding  of  how  this 
excitement carried through the project. Among other things we are interested in exploring in these interviews 
the  effectiveness  of  the  different  online  spaces  for  supporting  reflection  for  peer  review  activities  and  the 
range of areas in online and blended learning that provided the context for the peer reviews. How much value 
will participants in this project place on the learning conversation approach that has been a key feature of the 
way feedback is shared between the peer partners in in this project? To what extent will we be able to say that 
this  approach  to  professional  learning  of  staff  in  relation  to  teaching  and  learning  practices  in  online  and 
blended  environments  is  scalable  across  our  respective  institutions?  Our  intention  is  to  produce  a  second 
paper which will focus on the key deliverables of the project, the results of the project evaluation and answers 
to these questions. 

References 
Ambler, T., Chavan, M., Clarke, J. and Matthews, N. (2014) “Climate of Communication: Collegiality, Affect, Spaces and 
Attitudes in Peer Review”, in J Sachs & M Parsell (eds.), Peer Review of Learning and Teaching in Higher Education, 
Springer, Dordrecht, pp 67–84 
Andrews, T., and Tynan, B. (2011) “Changing Student Learning Preferences: What does this mean for the Future of 
Universities?”, in G. Williams, P. Statham, N. Brown & B. Cleland (eds.), Proceedings of the Ascilite Changing Demands, 
Changing Directions Conference, Hobart, pp 118–122 
Applebee, A. (2014) “Peer Review for Distance Educators: Two Case Studies”, in J Sachs & M Parsell (eds.), Peer Review of 
Learning and Teaching in Higher Education, Springer, Dordrecht, pp 125–136 
Bart, M. (2013) “Survey Confirms Growth of the Flipped Classroom”, [online], Faculty Focus, 
www.facultyfocus.com/articles/edtech‐news‐and‐trends/survey‐confirms‐growth‐of‐the‐flipped‐classroom/htm 
Beckton, J. and Penney, W. (2011) “Peer Observation of On‐line Teaching in a Distance Learning Environment”, Paper read 
at the Blackboard Users Group Conference, Durham, UK, January 
Bennett, S. and Santy, J. (2009) “A Window on our Teaching Practice: Enhancing Individual Online Teaching Quality through 
Online Peer Observation and Support. A UK case study”, Nurse Education in Practice, Vol 9, No. 6, pp 403–406 
Clarke, J., Ambler, T., Chavan. M and Matthews, N (2013) “Communication and Peer Review in Higher Education: 
Conversations on Three Continents”, Paper read at the Clute Institute International Academic Conference, Colorado, 
August 
Conole, G., Dyke, M., Oliver, M. and Seale, J. (2004) “Mapping Pedagogy and Tools for Effective Learning Design”, 
Computers & Education, Vol 43, pp 17–33 
Forsyth, H., Pizzica, J., Laxton, R., & Mahoney, M.J. (2010) “Distance Education in an Era of elearning: Challenges and 
Opportunities for a Campus‐focused Institution”, Higher Education Research and Development, Vol 29, No 10, pp 15‐
28 
Gosling, D. (2014) “Collaborative Peer‐Supported Review of Teaching”, J. Sachs & M. Parsell (eds.), Peer Review of Learning 
and Teaching in Higher Education, Springer, Dordrecht, pp 13–32 
Gosling, D. (2009) A New Approach to Peer Review of Teaching, in D Gosling & K O’Conner (eds.), Beyond the Peer 
Observation of Teaching, Staff and Education Development Association, London, pp 7–17 
Gaskamp, C. and Kintner, E. (2014) “Development, Evaluation and Utility of a Peer Evaluation Form for Online Teaching”, 
Nurse Educator, Vol 39, No. 1, pp 22–25  
Harris, K., Farrell, K., Bell, M., Devlin, M. and James, R. (2008) Peer Review of Teaching in Australian Higher Education: A 
Handbook to Support Institutions in Developing Effective Policies and Practices, Australian Learning and Teaching 
Council, Sydney 
Hatzipanagos, S. and Lygo‐Baker, S. (2006). “Teaching Observations: A Meeting of Minds?”, International Journal of 
Teaching and Learning in Higher Education, Vol 17, No. 2, pp 75–105 
Hitchens, M. (2014) “Six Questions”, in J. Sachs & M. Parsell (eds.), Peer Review of Learning and Teaching in Higher 
Education, Springer, Dordrecht, pp 183–199 
Laurillard, D., Stratford, M., Luckin, R., Plowman, L. and Taylor, J. (2000) Affordances for learning in a non‐linear narrative 
medium. Proceedings of the American Educational Research Association Conference. 
Lombardi M. (2007) “Authentic Learning for the 21st Century: An Overview”, [online], Educause Learning Initiative, 
www.net.educause.edu/ir/library/pdf/ELI3009.pdf 

34
 
Trish Andrews Gail Wilson and Neroli Sheldon 

McKenzie, J. and Parker, N. (2011) “Peer Review in Online and Blended Learning Environments: ALTC Final Report” [online] 
University of Technology Sydney, http://www.olt.gov.au/resource‐peer‐review‐elearning‐uts‐2011 
Miller, W. and Rollnick, S. (2002) Motivational Interviewing: Preparing People for Change, 2nd edn, Guilford Publications Inc., 
New York. 
Philip, R. and Wozniak, H. (2009), “Peer Review of Teaching Practice and Resources: Exploring New Spaces to Embrace 
Cultural Change”, Paper read at the 26th Annual ASCILITE International Conference, Auckland, New Zealand, 
December 
Quality Improvement Agency (2008), “Learning Conversations” [online] 
www.tlp.excellencegateway.org.uk/tlp/pedagogy/assets/documents/qs_learning_conversations.pdf 
Sachs, J., and Parsell, M. (2013). “Social, communicative and interpersonal leadership in the context of peer review: OLT 
Final Report” [online] Macquarie University, http://www.olt.gov.au/project‐social‐communicative‐interpersonal‐
leadership‐macquarie‐2009 
Sachs, J. and Parsell, M. (2014) Peer Review of Learning and Teaching in Higher Education (eds.), Springer, Dordrecht 
Spencer, D. (2014) “Was Moses Peer Observed? The Ten Commandments of Peer Observation of Teaching’, in J. Sachs & M. 
Parsell (eds.), Peer Review of Learning and Teaching in Higher Education, Springer, Dordrecht, pp 183–199 
Universities UK. (2013) “Massive Open Online Courses: Higher Education’s Digital Moment?” Universities UK, [online] 
www.universitiesuk.ac.uk/highereducation/Documents/2013/MassiveOpenOnlineCourses.pdf 
Yuan, L. and Powell, S. (2013) “MOOCs and Disruptive Innovation: Implications for Higher Education”, eLearning Paper 33, 
[online], www.openeducationeuropa.eu/en/download/file/fid/27007 
Wood, D., Scutter, S. and Wache, D. (2011) “Peer Review of Online Learning and Teaching: OLT Final Report”, [online], 
University of South Australia, www.olt.gov.au/resources/good‐practice?text=academic%20promotion 
Wyllie, A. (2011) “Eager 'Weavers': Designing Assessment for an Online Environment”, Nurse Education in Practice, Vol 11, 
No. 2, 99–103  
Yeung, A., Lim, K., Tay, E., Lam‐Chiang, A. & Hui, C. (2012) “Relating Use of Digital Technology by Pre‐service Teachers to 
Confidence: A Singapore Survey”, Australasian Journal of Educational Technology Vol 28, No. 8, 1317–1332, [online], 
www.ascilite.org.au/ajet/ajet28/yeung.html 

35
Action Possibilities of Educational Technologies in Multicultural 
Learning Environments 
Edilson Arenas 
CQUniversity, Melbourne, Australia 
e.arenas@cqu.edu.au 
 
Abstract:  A  raft  of  studies  have  been  undertaken  in  higher  education  to  investigate  the  action  possibilities  and  the 
influence  information  and  communication  technologies  (ICT)  may  have  in  students’  learning  experiences  and  outcomes. 
Such  studies  have  given  rise  to  the  implementation  of  a  wide  range  of  educational  frameworks  with  a  great  deal  of 
empirical evidence on the benefits of using technologies to improve learning. However, these benefits do not appear to 
have fulfilled higher education expectations for more meaningful and transformative learning experiences. In this paper, I 
argue that part of the problem is either the content or teacher–centric perspective of these frameworks and the need to 
explore  the  benefits  from  a  more  student–centric  perspective.  Learning  is  contextual,  with  learners  having  different 
abilities to learn and preferences for educational technologies with greater potential to facilitate their learning activities. 
Drawing on an ethnographic study of culturally diverse computing students and teachers within learning environments that 
blend online and face‐to‐face pedagogies, I argue that, that our understanding of what ICT has to offer for the design and 
implementation of transformative learning activities is a far more complex issue than is often anticipated, particularly in 
the design and implementation of learning for computer science programs. 
 
Keywords: computing education, learner’s preferences, learning styles, learning technologies, media affordances, online 
learning 

1. Introduction 
There  is  an  extensive  body  of  research  on  the  action  possibilities  of  information  and  communication 
technology (ICT) to transform learning and teaching in higher education (see Collis 1997; Fowler & Mayes 1999; 
Goodyear  2005;  Laurillard  2002;  Oliver  2001).  For  example,  Laurillard  (2002)  claims  that  for  ICT  to  play  an 
effective  role  in  learning  and  teaching,  there  needs  to  be  mechanisms  to  support  the  interactive  dialogue 
between  teachers  and  students  with  the  subject  matter.  Fowler  and  Mayes  (1999)  take  a  similar  dialogical 
approach  but  primarily  focusing  on  ICT  to  support  the  three  essential  learning  stages  of  understanding: 
conceptualisation, construction and contextualisation; enabling the learner to move from a novice level to an 
expert  level  of  learning.  A  different  perspective  is  presented  by  Collis  (1997)  in  her  pedagogical  profile  of  a 
course, where the intention of incorporating ICT into the course is to maximise flexibility, with more student 
engagement  and  locus  of  control.  Collis  sees  two  ways  to  achieve  this:  either  through  the  pedagogical 
enrichment  of  the  course  profile  or  through  a  more  transformative  approach  known  as  the  pedagogical  re‐
engineering  approach  where  the  components  of  the  course  are  expected  to  be  radically  changed.  In  the 
Australian Flexible Learning Framework for the Vocational Education and Training sector, according to Oliver 
(2001),  the  underpinning  theme  is  for  the  use  of  ICT  to  support  the  design  of  the  three  learning  elements 
which  represent  critical  components  of  any  learning  setting  for  knowledge  construction:  learning  activities, 
learning  resources  and  learning  support.  Similarly,  in  Goodyear‘s  (2005)  conceptual  design  framework  for 
networked learning environments, the use of ICT is instrumental in supporting the institutional combination of 
two  elements:  the  teacher’s  pedagogical  approach  (teachers’  philosophy  to  teaching)  and  the  educational 
setting including the learning environment, the learning tasks and the learning activities.  
 
However,  despite  significant  investment  in  infrastructure  and  training  and  a  wide‐scale  uptake  of  such  ICT‐
mediated  educational  frameworks,  the  promised  transformative  effect  on  student  learning  is  yet  to  be 
actualised outside of small pockets of innovation (Arenas & Lynch 2012; Price & Kirkwood 2014). Of particular 
interest are students’ approaches to learning in multicultural learning environments where ICT is considered as 
integral  to  teaching  and  learning  activities.  The  above  discussed  models  appear  to  overlook  factors like  that 
learning  is  cross‐cultural,  that  learners  have  different  abilities  to  learn  and  modes  of  approaching  the 
intellectual inquiry; and that all these factors may affect the way students perceive the ICT‐mediated learning 
activities (Arenas 2012). Specifically, this research addresses the following questions: 
ƒ In  the  context  of  computing  education,  what  are  students’  preferences  for  ICT  media  in  their  learning 
activities? 

36
 
Edilson Arenas 

ƒ What is the relationship between the different types of ICT media, their action possibilities and the way 
these ICT media best support the learning of computer science? 

2. Related work  
Two interlocked aspects of learning and teaching appear to be critical in the choice of ICT to support learning: 
1) the nature of the subject matter (within an academic discipline) that we as teachers believe students need 
to  construct  their  knowledge  and,  2)  students’  learning  styles  of  intellectual  inquiry  (Becher  1994).  In  this 
respect, Biglan’s classic model on academic disciplines and Kolb’s learning styles theory might shed some light. 
 
With reference into the similarities and differences of academic disciplines, no other framework has been as 
extensively  cited  as  Biglan’s  classic  model.  Biglan  (1973)  uses  the  cultural  and  epistemological  uniqueness 
found  in  each  branch  of  knowledge  to  classify  the  nature  of  academic  disciplines.  In  doing  so,  Biglan  (1973) 
differentiates  the  academic  disciplines  according  to  their  specific  characteristics  including  the  object  of 
research,  body  of  knowledge,  theory,  principles  and  research  methods.  Two  dimensions  emerge  from  these 
characteristics. The first dimension distinguishes between paradigmatic and nonparadigmatic fields, i.e. hard 
or  soft  respectively.  For  example,  physical  sciences  are  ‘characterised  by  the  existence  of  paradigms  that 
specify  the  appropriate  problems  for  study  and  the  appropriate  methods  to  be  used’  (p.  195),  while  social 
sciences and nonsciences areas like history which ‘do not have such clearly delineated paradigms’ (p. 195). The 
second  dimension  perceives  the  subject  matter  in  terms  of  ‘its  requirements  for  practical  applications’,  i.e. 
pure  or  applied  (Biglan  1973).  On  those  grounds,  Biglan  (1973)  sees  academic  disciplines  divided  into  four 
groups: hard‐pure, hard‐applied, soft‐pure and soft‐applied.  
 
The context of this study is computing education and in terms of Biglan’s categorisation, it falls into the hard‐
applied category (Baldwin 2011; Clark 2003). According to Becher (1994), in the hard‐applied disciplinary group, 
the  nature  of  knowledge  is  purposive  and  pragmatic  where  individuals  are  concerned  with  the  technical 
mastery  of  physical  environments  to  build  products.  Consequently,  the  effective  choice  of  ICT  in  the  design 
and implementation of computing learning and teaching activities should consider these characteristics of the 
computing discipline. 
 
Kolb’s  experiential  learning  theory  (ELT)  has  been  influential  in  understanding  learner’s  preferences  and  the 
way  they  approach  learning.  According  to  Kolb  and  Kolb  (2005),  learning  is  a  process  where  the  learner 
constructs knowledge through his / her experiences with the environment. He sees knowledge as the result of 
combining  the  way  individuals  grasp  and  transform  their  experiences  (Kolb  &  Kolb  2005).  According  to  this 
theory,  there  are  two  dialectically  related  modes  of  grasping  experience:  Concrete  Experience  (CE)  and 
Abstract  Conceptualisation  (AC).  Similarly,  there  are  two  dialectically  related  modes  of  transforming 
experience:  Reflective  Observation  (RO)  and  Active  Experimentation  (AE).  For  example,  when  a  learner  is 
exposed  for  the  first  time  to  a  concrete  experience  (CE),  there  is  an  initial  stimulus  for  the  reflective 
observation  (RO)  of  the  new  experience,  which  in  turn  gives  rise  to  a  thinking  process  characterised  by 
abstraction  and  conceptualisation  (AC)  to  assimilate  the  new  experience.  Once  the  new  experience  is 
assimilated  the  learner  is  prepared  to  act  upon  and  transforming  it  into  something  different  through  active 
experimentation (AE). This learning cycle repeats in the construction of new knowledge and varies depending 
on the personality and experiences of the learner (Kolb & Kolb 2005). In other words, there is a preferred way 
of choosing amongst the four abovementioned modes of learning shaped by individual’s previous experiences, 
learning behaviours, prior learning and the learning environment. 
 
From the perspective of computing education, and in terms of Kolb’s modes of learning, computing students 
are  individuals  with  a  converging  style  of  learning  with  abstraction,  conceptualisation,  and  active 
experimentation as the main dominant learning abilities. Consequently, the choice of ICT for learning purposes 
should be consistent with the learning style of these individuals. 
 
In the spirit of Biglan and Kolb, this paper builds upon our knowledge about how computing students go about 
learning in learning environments with ICT as an integral component for the design of transformative learning 
and  teaching.  The  analysis  presented  below  elaborates  specifically  on  computing  science  students’  diverse 
responses  to  particular  ICT—mediated  learning  activities,  and  through  this  analysis  I  argue  that  our 
understanding of what ICT has to offer for the design and implementation of transformative learning activities 

37
 
Edilson Arenas 

is a far more complex issue than is often anticipated, particularly in the design and implementation of learning 
for computer science programs. 

3. About the study 

3.1 Participants 
This  paper  draws  on  an  ethnographic  study  (Arenas  2012),  conducted  at  two  universities  in  Australia,  that 
explored  the  behaviours,  attitudes,  perceptions  and  conceptions  of  teaching  and  learning  found  within 
multicultural learning environments that blend online and face‐to‐face pedagogies.  
 
Data  were  collected  from  participants  located  at  two  qualitatively  different  sites.  Within  each  site,  two 
postgraduate  computing  courses  (or  units  of  study)  were  targeted  for  data  collection:  NetSec  (Network 
Security) and SAD (Systems Analysis and Design) at Site 1; and BAM (Business Analysis and Modelling) and FOIS 
(Fundamentals of Information Systems) at Site 2. The first site (henceforth referred to as Site 1) was located in 
one  of  the  metropolitan  campuses  of  a  multi‐campus  medium‐sized  regional  Australian  university,  and  the 
second site (henceforth referred to as Site 2) was located in a large metropolitan Australian university. Site 1’s 
student body comprised international students only, whereas Site 2 was located in a university that catered 
mainly  for  domestic  students  with  a  relatively  smaller  population  of  international  students.  The  learning 
management system (LMS) used at Site 1 was a purpose in‐house built system whereas at Site 2 students used 
Blackboard™, a popular commercially available learning management system. 
 
The  purposive,  culturally  diverse  sample  from  both  sites  comprised  of  18  student  participants  from  nine 
countries  of  origin  and  their  respective  teachers.  The  following  is  a  description  of  the  sample  based  on 
participant‐reported background information.  
 
Student  participants  at  Site  1  included  twelve  students.  They  had  diverse  educational  backgrounds,  with 
different residency time in the country. Prior to the commencement of the semester term, Site 1’s students 
had been residing in Australia for a period of between 3 months and 18 months, with half of them for less than 
a  year  and  five  students  for  only  three  months.  Of  the  twelve  student  participants,  six  were  men  and  six 
women, including nationalities from Pakistan, China, Bangladesh, Kuwait and India. Before participating in this 
study, six students already held a postgraduate degree and three had more than two years’ experience in the 
field  of  information  technology.  All  students  who  provided  information  about  their  skills  reported  that  they 
were experts at writing academic arguments in the English language. They also reported to have expert level 
knowledge  using  computer  hardware  and  software  and  discussion  forums;  however,  only  three  students 
reported to have experience using blogs. 
 
At  Site  2,  there  were  six  student  participants:  three  men  and  three  women  including  nationalities  from 
Australia, Oman, Vietnam, Indonesia and China. Prior to the commencement of the semester term, except for 
one domestic student, Site 2’s students had been living in Australia for a period of between one month and 
two  years,  with  two  students  residing  in  Australia  for  fewer  than  three  months.  Also  in  contrast  to  Site  1, 
where six students already held a postgraduate degree, at Site 2 all students held an undergraduate bachelor 
degree  before  the  conduct  of  this  study.  Three  students  had  between  four  to  thirteen  years’  experience 
working  in  an  information  technology  field.  Only  one  student  claimed  to  have  novice  expertise  in  computer 
hardware  and software  and discussion  forums  compared  to  the  rest who  reported to  be  highly  experienced 
using  those  tools.  Similarly,  two  students  reported  having  novice  experience  writing  academic  arguments  in 
English, with the rest reporting to have expert level essay writing skills. Except for one student, they did not 
have substantial team work and management experience.  
 
The  teacher  participants  at  Site  1  were  two  young  but  experienced  teachers:  Georgina  taught  NetSec  and 
Richard taught SAD (pseudonyms are used throughout to refer to teacher and student participants). Before the 
conduct  of  this  study,  Georgina  had  more  than  three  years’  experience  teaching  information  technology 
subjects on a sessional basis, that is to say, through contracts for the duration of each semester term. Georgina 
combined her professional academic practice with full‐time paid work in a senior systems administration role 
at a prominent Australian financial organisation. She held a Masters degree in information technology from an 
Australian  university.  Richard  was  a  full‐time  academic  staff  member  with  three  years’  experience  teaching 
information  systems  subjects.  Before  his  full‐time  academic  tenure,  Richard  was  part  of  Site  1’s  alumni  and 

38
 
Edilson Arenas 

after  his  graduation  he  worked  as  a  teacher  on  a  sessional  basis  at  Site  1.  He  held  a  Masters  degree  in 
information systems and a Graduate Certificate in university teaching. 
 
In  terms  of  Site  2’s  teachers,  BAM  staff  was  larger  than  FOIS,  and  included  three  experienced  professionals 
with  different  industrial  and  academic  backgrounds.  Sophia,  the  principal  academic  teacher  and  teacher 
participant  responsible  for  this  subject,  had  completed  a  PhD  in  Computer  Science  and  also  a  Graduate 
Certificate  in  university  teaching.  She  had  extensive  experience  as  a  research  scientist  in  information 
architecture;  and  usability  analysis  and  design  for  various  industrial  and  research  projects  locally  and 
internationally. The other two teachers did not form part of the sample.  
 
While BAM had three academic staff, FOIS was managed and taught by a single staff member, Shane. Shane 
was a senior lecturer within the Faculty of Science at Site 2 with extensive experience teaching online courses. 
He held a PhD in Information Systems and a Graduate Certificate in university teaching.  

3.2 Data collection 
I  used  multiple  data  sources  to  gain  insights  into  the  behaviours,  attitudes,  perceptions  and  conceptions  of 
teaching  and  learning  found  within  these  multicultural  blended  learning  environments.  The  data  included 
digital  textual  records  of  online  discussions,  semi‐structured  interviews,  field  notes  from  classroom 
observations, a reflective research journal, course‐associated documentation, and students’ assignments. 
 
The  first  source  of  data  consisted  of  digital  texts  produced  by  both  student  and  teacher  participants  during 
their  interactions  with  the  online  component  of  the  learning  environments  at  each  site.  During  the  term, 
teachers provided the students with various online learning activities for individual and group work. At Site 1, 
student  participants  were  required  to  maintain  an  electronic  journal  (blog)  to  reflect  on  their  own  learning 
experiences and perceptions of the course. The blog at Site 1 was based on nine topical questions spread over 
the  last  nine  weeks  of  the  semester  and  was  assessed.  The  teaching  staff  provided  structured  marking 
guidelines  to  promote  quality  work  and  to  ensure  each  student  contributed  the  nine  expected  reflections. 
They  also  monitored  students’  progress  and  provided  weekly  feedback.  At  Site  1,  students  also  used  a 
laboratory simulator (LabSimTM), a simulation tool where students could experiment with real world problems 
in  a  virtual  environment.  The  LabSimTM  acted  as  a  virtual  tutor  guiding  the  students  through  complex  and 
technical  configurations  of  secured  networks.  The  system  could  challenge  the  student  to  conduct  tasks  that 
replicated the real world providing immediate feedback after the completion of the task. At Site 2, students 
were required to use a discussion forum to extend their engagement with learning activities initiated in face‐
to‐face  forums.  There  were  six  discussion  forums.  Three  of  them  were  designed  for  individual  participation 
where  students  were  asked  to  challenge  or  critique  at  least  one  of  the  questions  raised  by  the  lectures  or 
fellow  classmates  during  the  classes.  There  was  a  general  discussion  forum  to  discuss  general  issues  arising 
from  the  course  and  two  group‐project‐related  discussion  boards.  Of  the  six  forums  only  the  general 
discussion  forum  was  moderated  by  the  teaching  staff.  The  other  forums  were  only  moderated  to  check 
students’ progress and to prevent language flaming.  
 
Classroom observations were conducted at both sites to record reflective notes and descriptions of students’ 
face‐to‐face  classroom  activities  and  behaviours,  stimulate  personal  views  of  participants  in  interview,  and 
record  events  such  as  student  consultations  and  class  participation.  The  classroom  observations  were 
instrumental in the selection of the purposive sample for the student interviews.  
 
Individual  interviews  were  conducted  with  both  teachers  and  students.  The  duration  of  each  interview  was 
between  30  and  45  minutes.  The  purpose  of  these  semi‐structured  interviews  was  to  gather  participants’ 
reflective  views  of  their  teaching  and  learning  experiences  in  the  learning  environment.  Semi‐structured 
interviews  were  preferred  to  structured  interviews  because  this  method  is  more  consistent  with  the 
ethnographic aspect of this study. Through the use of open‐ended questions, semi‐structure interviews allow 
for the exploration of new ideas and themes, something hard to achieve with the rigorous setting of questions, 
commonly found in structured interviews (Creswell 2007). 
 
The  identification  of  potential  interviewees  was  based  on  the  criterion‐based  selection  as  recommended  by 
Schensul  and  LeCompte  (1999).  Specifically,  four  teachers  responsible  for  the  delivery  of  the  subjects  were 
interviewed: two at Site 1 and two at Site 2. Student participants were interviewed in the middle of the second 

39
 
Edilson Arenas 

semester,  by  which  point  I  had  had  the  opportunity  to  observe  the  students  and  assess  the  level  of 
engagement  and  participation  in  both  face‐to‐face  and  online  forums.  I  sought  to  maximise  diversity  in  our 
sample by choosing students from the following groups: those who were quiet in the classroom but very active 
online;  those  who  were  active  online  but  not  in  face‐to‐face  sessions;  those  who  were  very  active  in  both 
environments; and, those who were passive face‐to‐face and online.  
 
The  interviews  contained  a  range  of  open‐ended  questions  that  asked  participants  to  reflect  on  the 
multicultural, pedagogical and technological aspect of the units of study.  
 
I used additional data sources such as a research journal, subject outlines, profiles, content and accreditation 
documents,  and  students’  assignments,  to  investigate  the  relationship  between  students’  reported 
perceptions of the subject and the documented learning aims, course content and student behaviours in the 
course. 

3.3 Data analysis  
Data  files  were  iteratively  examined  in  search  of  themes  that  were  meaningful  in  relation  to  the  aim  of  the 
study  in  that  they  related  to  students’  behaviours,  attitudes,  perceptions  and  conceptions  of  teaching  and 
learning within a blended, multicultural context. Through this process I developed forty‐six codes (facilitated 
by  NVivo™),  referring  to  both  expected  elements  of  the  study,  as  well  as  to  unexpected  elements  that 
represented  unusual  information  to  the  researchers  and/or  participants  (Creswell  2007).  Codes  were  then 
hierarchically clustered and some were merged.  

4. Discussion of the findings 
The  process  described  above  resulted  in  a  total  of  thirty‐six  codes  organised  into  five  broad  themes:  1. 
Adapting  to  a  new  learning  environment  –  cultural  and  social  dimensions;  2.  Preparing  to  learn;  3.  Keeping 
pace with the learning activities; 4. ICT integration; and, 5. Perceptions of pedagogical practices. It is beyond 
the scope of this paper to discuss each of these themes, which are reported elsewhere (Arenas 2012). Instead, 
here I focus on the ICT integration theme, which incorporates codes associated with the affordances of ICT in 
learning and the types of ICT‐mediated learning activities that appear to be a better fit with the expectations 
and behaviours of computer science students than others. 
 
In relation to educational technology, the term integration means different things in different contexts and it is 
often used without precise explanations of what it might mean to different people and for different authors. In 
this  paper,  a  number  of  ideas  and  practices  related  to  integration  are explored  in  the  context  of computing 
students  using  ICT  in  their  learning  activities  and  could  be  interpreted  as  any  of  the  following:  the  way 
different online tools and their access are presented to students, the relationship between online and face‐to‐
face  components  of  a  unit  of  study,  the  link  between  learning  aims  and  the  use  of  ICT,  the  link  between 
assessment tasks and the way ICT is used; and the underlying assumptions of teaching and learning tasks for 
different aspects or components of a unit of study and how this relates to the way ICT is used. Having said that, 
this study showed that the vast majority of student participants perceived the integration of ICT into learning 
activities  as  useful,  convenient,  flexible,  encouraging  reflection  and  good  for  knowledge  sharing  and 
asynchronous interactions. These findings are consistent with those reported by similar studies (e.g. Stacey & 
Rice 2002), where the use of learning technologies is seen to be a positive experience for students, enabling 
them to engage in learning activities even when the parties were spread geographically, at their convenient 
times, providing resources, idea sharing and a sense of a learning community. However, in terms of the action 
possibilities of ICT in transformative learning and teaching; two findings are relevant to the discussion: 1) the 
alignment of ICT‐mediated learning activities with students’ learning needs and preferences; and 2) students’ 
diverse responses to different types of digital media. 

4.1 Alignment of ICT‐mediated learning activities 
While  the  integration  of  ICT  into  learning  activities  was  seen  by  many  students  to  be  beneficial  for  their 
learning, many also reported difficulties with the particular array of ICT‐mediated learning activities that they 
experienced.  
 

40
 
Edilson Arenas 

There were students’ reported perceptions that the ICT‐mediated learning environment did not give them the 
option  to  choose  from  learning  tasks  and  that  somehow  they  were  misaligned  with  their  preferences  and 
needs. From the findings, the requirement to do all the learning tasks was not well received. They would have 
preferred  a  learning  environment  with  a  higher  level  of  flexibility  in  terms  of  content  management  and  the 
mode  of  learning  consistent  with  their  professional  interests  and  learning  needs  (Biggs  2003;  Cornelius, 
Gordon  &  Ackland  2009;  Guest  2005;  Marton  &  Booth  1997).  The  approach  to  learning  should  support 
program designs which include a wide array of ICT‐mediated learning activities but where students are given 
scope  to  both  pursue  learning  activities  that  align  with  their  interests  and  preferences,  as  well  as  being 
supported to engage with non‐preferred modes.  

4.2 Students’ diverse responses to different types of digital media 
Particular technologies are understood to have particular affordances and constraints (Laurillard 2002), that is, 
any  one  technology  can  be  analysed  and  understood  to  afford  some  types  of  usages  and  behaviours  while 
constraining  others.  Laurillard’s  (2002)  analytical  framework,  which  identifies  the  affordances  of  both 
communicative media and adaptive media, is useful in terms of the findings of this study. This study found that 
the  students  responded  differently  to  different  types  of  digital  media.  Using  Laurillard’s  terminology,  some 
students  found  the  use  of  communicative  media  (e.g.  blogs  and  discussion  forums)  to  be  problematic,  and 
some  teachers  and  students  were  dissatisfied  with  the  use  of  these  technologies,  specifically  in  relation  to 
supporting reflection, discussion and collaboration. The main sources of this dissatisfaction are evident in the 
findings of this study. First, although social constructivist theories of learning suggest that students learn best 
through  collaboration,  dialogical  conversations  and  critical  thinking,  for  some  students  their  willingness  to 
learn  collaboratively  and  to  participate  in  the  communicative  environments  was  inhibited  by  a  number  of 
socio‐cultural  factors  such  as  cultural  differences  and  attitudes  towards  cultural  diversity.  Second,  although 
these  types  of  skills  and  interactions  are  promoted  at  the  level  of  policy  (e.g.  through  stated  graduate 
attributes),  the  fit  between  these  types  of  reflective  and  dialogical  activities  and  the  culture  of  computing 
science (Dijkstra et al. 1989; Lynch et al. 2001) is not necessarily good, such that computing students do not 
necessarily understand the potential value of engaging in the reflective, dialogical learning activities afforded 
by communicative media.  
 
Where the use of communicative media appeared to be problematic in the context of this study, the use of 
interactive  and  adaptive  media  in  the  form  of  the  LabSimTM  (Laboratory  Simulator)  was  a  different  story. 
Laurillard (2002) states that interactive media support the investigating and exploring nature of the learning 
experience.  Adaptive  media  support  the  experimenting  and  practising  culture  that  dominates  in  computing 
education.  The  learning  activities  that  made  use  of  adaptive  media  (i.e.  through  the  use  of  the  LabSimTM) 
were  well  received  by  the  student  participants  who  could  see  their  value.  Further,  the  sorts  of  activities 
afforded by the adaptive media did not present challenges to the students’ socio‐culturally laden conceptions 
of, and skills in, learning in the same way that the communicative media did. In essence, the findings suggest 
that  some  types  of  ICT‐based  learning  activities  appeared  to  be  a  better  fit  with  the  expectations  and 
behaviours of international computing students. While other types offer much potential for developing desired 
learning outcomes and providing flexibility and accessibility, they are not as easily “sold” to these students. 
5. Conclusion and implications 
This  study  contributes  further  evidence  of  the  complex  issues  associated  with  the  effective  integration  of 
online tools in learning. The finding that some types of ICT‐based learning activities appear to be a better fit 
with  the  expectations  and  behaviours  of  computer  science  students  than  others  makes  a  significant 
contribution  to  computing  education  because  of  the  implications  it  has  for  learning  design.  The  cultural 
preference found amongst computing students for adaptive rather than communicative media suggests a very 
significant cultural barrier to effective engagement in online dialogical exchanges, barriers that are not easily 
overcome. The study sheds more light on the advantages and disadvantages of different types of ICT media to 
be integrated in computing education scenarios. There is a need for further exploration of the affordances of 
communicative and interactive media and for the appropriate integration of such media in computing learning 
activities that best prepare computing students. 

References 
Arenas, E. (2012). Blended Learning in a Higher Education Multicultural Environment. Doctoral Thesis, Deakin University, 
Australia. 

41
 
Edilson Arenas 

Arenas, E., & Lynch, J. (2012). Techno‐literacy and learning in blended, multicultural course environments. E‐Learn 2012 : 
Proceedings of the World Conference on E‐Learning in Corporate, Government, Healthcare, and Higher Education, 1–
10. 
Baldwin, D. (2011). Is Computer Science a Relevant Academic Discipline for the 21st Century? Computer, 44(12), 81–83. 
doi:10.1109/MC.2011.369 
Becher, T. (1994). The significance of disciplinary differences. Studies in Higher Education, 19(2), 151–161. 
doi:10.1080/03075079412331382007 
Biggs, J. B. (2003). Teaching for quality learning at university : what the student does. Buckingham ; Philadelphia, Pa.: 
Society for Research into Higher Education : Open University Press. 
Biglan, A. (1973). The characteristics of subject matter in different academic areas. Journal of Applied Psychology, 57(3), 
195–203. doi:10.1037/h0034701 
Clark, M. (2003). Computer Science: A hard‐applied discipline? Teaching in Higher Education, 8(1), 71–87. 
doi:10.1080/1356251032000052339 
Collis, B. (1997). Pedagogical Reengineering: A Pedagogical Approach to Course Enrichment and Redesign with the World 
Wide Web. Educational Technology Review, (8), 11–15. 
Cornelius, S., Gordon, C., & Ackland, A. (2009). Towards flexible learning for adult learners in professional contexts: An 
activity‐focused course design. Interactive Learning Environments, 19(4), 1–13. doi:10.1080/10494820903298258 
Creswell, J. W. (2007). Qualitative inquiry and research design : choosing among five traditions (Vol. Second Edition). 
Thousand Oaks, Calif.: Sage Publications. 
Dijkstra, E., Denning, P., Parnas, D., Scherlis, W., Ven Emden, M., Cohen, J., … Winograd, T. (1989). A debate on teaching 
computing science. (talk by Dr. Edsger Dijkstra and responses by colleagues). Communications of the ACM, 32(12), 
1397(18). 
Fowler, C. J. H., & Mayes, J. T. (1999). Learning Relationships from Theory to Design. Association for Learning Technology 
Journal, 7(3), 6–16. 
Goodyear, P. (2005). The emergence of a networked learning community: lessons learned from research and practice. In G. 
Kearsley (Ed.), Online learning. Personal Reflections on the Transformation of Education (pp. 113–127). Englewood 
Cliffs NJ: Educational Technology Publications. 
Guest, R. (2005). Will flexible learning raise student achievement? Education Economics, 13(3), 287–297. 
doi:10.1080/09645290500073761 
Kolb, A. Y., & Kolb, D. A. (2005). The Kolb Learning Style Inventory – Version 3.1: 2005 Technical Specifications. Boston, MA: 
Hay Group. Retrieved from http://www.whitewater‐rescue.com/support/pagepics/lsitechmanual.pdf 
Laurillard, D. (2002). Rethinking university teaching : a conversational framework for the effective use of learning 
technologies. London ; New York: RoutledgeFalmer. 
Lynch, J., Collins, F., Hurst, J., Carbone, A., Eley, M., Ellis, A., Tuovinen, J. (2001). Teaching ICT. Higher Education Division ‐ 
Department of Education, Training and Youth Affairs. 
Marton, F., & Booth, S. (1997). Learning and awareness. Mahwah, N.J.: L. Erlbaum Associates. 
Oliver, R. (2001). Seeking best practice in online learning: Flexible Learning Toolboxes in the Australian VET sector. 
Australian Journal Of Educational Technologies, 17(2), 204–222. 
Price, L., & Kirkwood, A. (2014). Using technology for teaching and learning in higher education: a critical review of the role 
of evidence in informing practice. Higher Education Research &amp; Development, 33(3), 549–564. 
doi:10.1080/07294360.2013.841643. 
Schensul, J. J., & LeCompte, M. D. (1999). Designing and conducting ethnographic research. Thousand Oaks, Calif.: AltaMira 
Press. 
Stacey, E., & Rice, M. (2002). Evaluating an online learning environment. Australian Journal of Educational Technology, 
18(3), 323–340. 

42
Online Formative Assessment in Higher Education: Its Pros and Cons 
Zwelijongile Gaylard Baleni 
Centre for Learning and Teaching Development, Walter Sisulu University, South Africa 
zbaleni@wsu.ac.za 
 
Abstract: Online and blended learning has become common educational strategy in higher education. Lecturers need to 
reconceptualise  fundamental  issues  of  teaching,  learning  and  assessment  in  non‐traditional  spaces.  These  issues  include 
concepts such as validity and reliability of assessment in online environments in relation to serving the intended purposes, 
as well as understanding how formative assessment functions within online and blended learning. This article’s concern is 
how  and  if  formative  assessment  in  an  online  course  improves  learning.  A  mixed  method  questionnaire  on  formative 
assessment  with  a  key  focus  on  application  of  formative  assessment  within  blended  and  online  contexts  was  used  to 
collect  data  from  courses  using  Blackboard.  Lecturers  and  students  at  a  comprehensive  university  were  the  population. 
Various techniques for formative assessment linked with online tools such as discussion forums and objective tests were 
used. The benefits identified include improvement of student engagement, faster feedback and centrality in the process as 
both students and lecturers were engaged, including the development of a learning community. The key findings are that 
effective  online  formative  assessment  can  nurture  a  student  and  assessment  centred  focus  through  formative  feedback 
and  enhanced  student  engagement  with  valuable  learning  experiences.  Ongoing  authentic  assessment  activities  and 
interactive  formative  feedback  were  identified  as  important  characteristics  that  can  address  threats  to  validity  and 
reliability within the context of online formative assessment. 
 
Keywords: online formative assessment, formative feedback, student engagement, learning 

1. Introduction 
The prominent intonation in assessment circles a decade ago was use of assessment for learning (formative 
assessment)  rather  than  assessment  of  learning  (summative  assessment).  The  focus  has  shifted;  the  use  of 
online  and  blended  learning  has  become  common  in  21st  century  higher  education  learning  and  teaching 
environment.  Larreamendy‐Joerns  and  Leinhardt  (2006,  p.572)  review  of  the  literature  “observed  two 
complementary movements in the educational landscape: the merging of online teaching and learning into the 
stream  of  everyday  practices  at  universities,  and  the  increasingly  salient  role  of  distance  programmes  in 
institutions of higher education”. In the online environment, the lack of physical space and face‐to‐face contact 
between lecturers and students leads to different ways of assessing learning in a class. 
 
Classroom assessment is important because it has a strong impact on learning. Assessment is at the heart of 
formal  higher  education.  As  identified  by  Bransford,  Brown,  and  Cocking  (2000),  assessment  is  a  core 
component  for  effective  learning.  How  the  lecturer  approaches  assessment  influences  the  way  students 
perceive  the  class,  the  material  for  study,  and  their  own  work  (Brookhart  1997).  Teaching  and  learning 
processes  need  to  be  assessment‐centred  to  provide  learners  with  opportunities  to  demonstrate  their 
developing  abilities  and  receive  support  to  enhance  their  learning.  Most  importantly,  assessment  practices 
influence students by directing their attention to particular aspects of course content and by specifying ways 
of processing information. Students concentrate their efforts towards whatever content or cognitive skills they 
believe will be tested (Bull & McKenna, 2004). So not only does assessment influence what content students 
spend time learning, but also the type of learning occurring. Different forms of assessment encourage different 
types of learning. 
 
Formative  assessment  plays  a  critical  role  in  learning  environments,  specifically  embedded  formative 
assessment.  It  is  very  important  to  recognise  the  value  of  embedded  formative  assessment  and  its  role  in 
increasing student learning as essential in not only meeting the intended outcomes of the course, but also in 
closing  the  feedback  loop  in  quality  online  courses.  Instruction  and  assessment  are  an  integral  part  of  each 
other; thus, assessment should be viewed as a process which lecturers must use throughout the course, not 
just as an afterthought or for summative purposes at the end. 
 
With accountability in mind and the explosion of online learning environments the need for best assessment 
practices in online learning environments surges. Formative assessment is commonly applied in the classroom 
as a source of ongoing feedback with the aim to improve teaching and learning (Hargreaves, 2008). It can also 
be referred to as assessment for learning that occurs during the course of instruction with the aim to support 
learning  (Vonderwell  et  al.,  2007).  Formative  assessment  activities  are  embedded  within  instructions  to 

43
 
Zwelijongile Gaylard Baleni 

monitor learning and assess learners understanding for the purposes of modifying instruction and informing 
further learning through ongoing and timely feedback until the desired level of knowledge has been achieved. 
Formative  assessment  is  defined  “as  the  iterative  processes  of  establishing  what,  how  much  and  how  well 
students  are  learning  in  relation  to  the  learning  goals  and  expected  outcomes  in  order  to  inform  tailored 
formative feedback and support further learning, a pedagogical strategy that is more productive when role is 
shared among the teacher, peers and the individual learner “(Gikandi et al. 2011, p. 2337). The convergence of 
formative  assessment  with  technological  perspectives  brings  to  life  the  concept  of  online  formative 
assessment. In describing this convergence, Pachler et al. (2010, p. 716) used the term formative e‐assessment 
which they defined as “the use of ICT to support the iterative process of gathering and analysing information 
about student learning by teachers as well as learners and of evaluating it in relation to prior achievement and 
attainment of intended, as well as unintended learning outcomes”. The Pachler et al ’s definition encompasses 
application of formative assessment in all forms of e‐learning environments including the complementary role 
of ICT in f2f settings as well as in blended and online learning settings. In the same tone, Gikandi et al (2011), 
define  online  formative  assessment  as  the  application  of  formative  assessment  within  learning  online  and 
blended settings where the lecturer and learners are separated by time and/or space and where a substantial 
proportion of learning/teaching activities are conducted through web‐based ICT. 
 
Effective  integration  of  formative  assessment  in  online  learning  environments  has  the  potential  to  offer  an 
appropriate  structure  for  sustained  meaningful  interactions  among  students  and  the  lecturer,  and  foster 
development of effective learning communities to facilitate meaningful learning and its assessment (Sorensen 
&  Takle,  2005).  Moreover,  this  can  provide  a  systematic  structure  for  effective  student  support  through 
ongoing monitoring of learning and provision of adequate formative feedback. Ongoing support for scaffolding 
learning  is  critical  in  online  learning,  and  can  be  essentially  facilitated  through  sustained  interactive 
collaboration  between  the  lecturer  and  students  (Ludwig‐Hardman  &  Dunclap,  2003).  This  is  because  it 
supports  students  to  engage  productively,  and  assists  them  in  the  development  of  self‐regulated  learning 
dispositions. This in turn supports them to take primary responsibility for their learning which is an important 
requirement  for  success  in  online  learning.  This  can  ultimately  foster  meaningful  engagement  and  deep 
learning  in  online  higher  education.  Effective  application  of  formative  assessment  in  online  learning 
environments can offer an innovative pedagogical strategy to facilitate such opportunities (Gikandi et al 2011).  
 
What worked in the past in face‐to‐face settings does not necessarily work in online environments (Goldstein 
& Behuniak, 2012). The pedagogical theory is the same, however the implementation varies. As Vonderwell, 
Liang,  and  Alderman  (2007)  indicated,  assessment  (whether  formative  or  summative)  in  online  learning 
contexts  encompasses  distinct  characteristics  as  compared  to  f2f  contexts  particularly  due  to  the 
asynchronous nature of interactivity among the online participants (the lecturer and students). Therefore, it 
requires  lecturers  to  rethink  online  pedagogy  in  order  to  achieve  effective  formative  assessment  strategies 
that  can  support  meaningful  (higher‐order  or  deep)  learning  and  its  assessment.  Not  only  does  assessment 
need to be an integral part of designing the course, assessment needs to begin even before the course begins 
or at the very latest within the first couple of weeks of class. Students need to be able to demonstrate their 
ability to complete tasks in an online environment, prior to learning the content which can later be assessed. 
As  such,  formative  assessment  needs  to  be  done  early  in  an  online  or  blended  course  to  make  sure  that 
technological obstacles are not preventing students from succeeding in this environment. 
 
In addition, the delivery method in online learning environments allows for opportunities in student learning 
that  are  unique  to  this  type  of  learning  environment.  Technology  plays  a  positive  roll  on  student  learning 
(Bakerson and Rodriquez‐ Campos, 2006), and provides an opportunity for closing the feedback loop. If done 
correctly,  online  learning  environments  can  "provide  student  and  lecturer  with  richer,  more  immediate 
feedback"  (Bajzek,  D.,  Brooks,  J.,  Jerome,  W.,  Lovett,  Rinderle,  Rule  &  Thille,  2008,  p.1)  which,  in  turn,  will 
increase productivity and learning. Assessment in this type of environment benefits students and instructors 
(Dewald,  Scholz‐Crane,  Booth  &  Levine,  2000).  At  all  levels  of  education  from  Pre  all  the  way  to  higher 
education, accountability has a firm grip that is not going to loosen anytime soon. 
 
Reliability  and  validity  issues  surmount  in  online  assessments,  however  interactive,  formative  embedded 
feedback address these threats of reliability and validity. For All aspects of embedded formative assessment, 
technology  can  be  used  for  implementing  and  fostering  enhanced  student  engagement  through  learning 
experiences.  The  following  discussion  is  the  procedure  followed  in  investigating  how  and  if  formative 
assessment in an online course improves learning. 

44
 
Zwelijongile Gaylard Baleni 

2. Methodology 
The  lecturers  and  students  using  Blackboard,  a  VLE  platform  in  a  comprehensive  university  in  Eastern  Cape 
comprised the population. The sample included 2 modules one form Faculty of Education and the other from 
the Faculty of Science, Engineering and Technology made up of two lecturers and 220 first year undergraduate 
students in 2013 term 2. 
 
In both modules, online discussion forums and multiple choice tests were introduced in Blackboard as modes 
of formative assessment. Two processes were followed firstly; topics were posted in the discussion forum for 
interaction after class activity based on that particular learning outcome. Only participation in the discussion 
forum had grading not the content. An assignment then followed for individual/group submission and grading. 
Secondly,  a  pool  of  objective  questions  (multiple‐choice,  true/false)  was  uploaded  online.  Students  were 
allowed two (2) attempts to answer after getting feedback online. They also had time to revisit their reading 
material  before  making  next  attempt  based  on  the  scaffolding  their  received  from  the  automated  online 
feedback.  The  test  items  were  randomised  to  avoid  memorising  answers.  Feedback  was  immediate  after 
submission but only included submitted answer and feedback no correct answers in the first attempt, then the 
correct answer would be shown in the second and final attempt.  These tasks were not graded. A summative 
test would follow a week later based on the same learning outcome. Then at the end of the semester, students 
and staff surveys were conducted on how both the lecturers and students felt about the process. 

3. Results 
Responses  from  students  on  the  use  of  discussion  forums  were  mainly  positive  although  there  were  some 
challenges identified. Mostly students praise online discussion forums as informative and guiding in concepts 
dealt  with  in  class.  By  the  time  they  have  to  write  the  summative  assignment,  such  discussion  forums  have 
moulded their thinking to be more focused and intended outcome oriented.  
 
Examples of such positive comments are: 
“I have certainly learned a lot through this discussion not just from my own work but also from 
the other students” 
“It requires us to think out of the box” 
“It contributed to the communication between fellow – students” 
“It encouraged me to read more” 
“It kept me focussed and curious” 
“It made me understand concepts much easier” 
“A relaxed atmosphere to ask my peers” 
“Could respond anytime, anywhere” 
“Guidance from the lecturers kept me on track” 
“Comments from peers helped a lot towards preparing my assignment” 
Negative comments included:‐ 
“Challenge to access internet” 
“I had to filter good facts from bad ones when compiling my assignment” 
“Some peers said negative things in their responses” 
On the use of formative objective tests, the table below shows the students’ responses in % using Likert scale 
ranging from strongly agree (SA), Agree (A), Not Sure (NS), and Disagree (DA) to Strongly Disagree (SDA). 
Table 1: Students’ responses on formative tests 
Items  SA  A  NS  DA  SDA 
Online tests are more accessible than paper‐based  70  30       
exams. 
Marking is more accurate, because computers  80  20       
don’t suffer from human error. 

45
 
Zwelijongile Gaylard Baleni 

Items  SA  A  NS  DA  SDA 

The technology used in online assessments is  55  25  20     
reliable. 
Online assessments favour some students more          100 
than others 
Randomised questions from a bank means that      55  20  25 
sometimes you get easier questions 
Feedback given was fast  100         
Feedback was easy to understand  60  40       
Feedback scaffold my learning  22  70  8     
Multi attempts were helpful  68  32       
Improved my engagement with learning  70  20  5  5   

Took serious preparation for test 1st attempt than  20  60    20   

nd
2  one 
Online assessment can do things paper‐based  50  10  40     
exams can’t 
Online assessment can add value to my learning  20  70    10   

Online assessment is just a gimmick that does not      10  40  50 

really benefit learning 
Online assessment goes hand‐in‐hand with e‐ 20  60  10  10   
learning (e.g., using Blackboard 

4. Discussion 
Formative  assessment  was  used  as  an  integral  part  of  instruction.  For  example,  students  were  given  two 
attempts on their tests. Implementing this system of formative testing throughout the semester gives students 
the opportunity to: study before each of the first attempts on the review quizzes; complete the test, view the 
results, and use the information to redirect further study before the second attempt; retake each quiz; and use 
the results of the second attempts to advantage in preparation for the cumulative summative test. In addition, 
because  all  items  on  the  summative  final  test  are  drawn  from  the  formative  quizzes,  the  opportunity  for 
students to achieve mastery of the content is substantially increased. This strategy of using the content from 
the quizzes as ‘feeder items’ for the summative test has proven to be extremely beneficial.  
 
From  the  comments  and  results  above,  like  “Comments  from  peers  helped  a  lot  towards  preparing  my 
assignment”,  it  shows  that  students  appreciated  and  enjoyed  online  formative  assessment.  The  majority  of 
them are very positive about the process as it has nurtured them to better understanding and more learning. 
There  are  several  variables  which  affect  students’  success  rate  when  using  formative  assessment.  Unlike 
summative  testing,  which  merely  indicates  the  content  areas  in  which  a  student  lacks  understanding, 
formative  tests  give  students  an  opportunity  to  (a)  realize  which  areas  of  the  content  they  need  to  further 
explore;  and  (b)  go  back  and  learn  that  content.  It  is  because  of  this  fact  that  students  seem  willing  to 
reinvestigate the areas of the content which they had not fully understood before the first attempt. This then 
serves  as  a  significant  variable  influencing  students’  ultimate  success.  As  asserted  by  Smith  (2007,  p.32), 
“Formative  assessment  does  not  benefit  all  students  if  they  do  not  fulfil  their  responsibility  to  learn”.  For 
instance,  when  students  are  given  a  specific  number  of  attempts,  and  one  averages  the  scores  rather  than 
using a substitution model, this system becomes one which encourages studying before each attempt.  
 
Although some academics may perceive the practice of offering second attempts as compromising the integ‐
rity  of  the  assessment’s  results,  seeing  it,  at  minimum,  as  being  inappropriate  and,  at  worst,  as  condoning 
cheating. Yet in actuality, being given the opportunity to learn from one’s mistakes promotes that which is at 
the core of the educational system: the opportunity of learning from one’s mistakes and thereby developing 
genuine  competence  (Chappuis  &  Chappuis,  2007/  2008;  Phelps,  2010;  Renfro  &  Grieshaber,  2009;  Smith, 
1997). This strategy also helps to deliver the message to students that the institution and lecturer are on their 
side.  It  makes  the  statement  that  their  lecturers’  emphasis  is  on  development,  rather  than  on  test‐taking 
ability. Implementing this method not only encourages multiple study sessions, but also serves to combat the 
element of anxiety which can interfere with the student’s accurate demonstration of his or her comprehen‐
sion. These efforts ensure that the summative final is an evaluation which gauges the students’ understanding 
of  the  intended  outcomes  of  the  course.  Such  an  approach  also  makes  certain  that  the  final  assessment  is 

46
 
Zwelijongile Gaylard Baleni 

representative  of  the  course’s  effectiveness;  it  serves  as  a  literal  summation  of  the  content  learned,  as 
opposed  to  one  which  is  more  reflective  of  what  content  was  perceived  to  be  covered  by  the  lecturer.  The 
lecturers  also  felt  closer  to  their  students  during  the  discussion  forums  as  a  result  even  shy  student  asked 
questions for clarity and there was better engagement with them than in a normal class. 

5. Conclusion 
Online  formative  assessments  are,  in  a  way,  more  privatised  attempts  to  learn;  and,  when  given  an 
opportunity  to  make  multiple  attempts  and  have  the  scores  of  each  averaged,  they provide  a  much  greater 
opportunity  to  achieve  a  high  level  of  success  (Rovai,  2000).  Generally,  although  it  is  not  guaranteed,  once 
students have taken the quiz the first time, it is completely within their ability to obtain a perfect score on the 
second attempt. I have found that, with undergraduate students, the use of formative assessment practices is 
an  invaluable  and  highly  beneficial  method  of  enhancing  student  understanding  and  promoting  success.  In 
essence,  formative  assessment  leads  to  students  being  able  to  measure  their  own  progress.  It  is  also  a 
tremendous  value  to  lecturers  as  it  can  provide  very  important  feedback  about  what  exactly  students  are 
learning; the exact nature and extent of their difficulties. 

References 
Bajzek, D., Brooks, J., Jerome, W., Lovett, M., Rinderle, J., Rule, G. & Thille, C. (2008). Assessment and Instruction: Two 
Sides of the Same Coin. In C. Bonk et al. (Eds.), Proceedings of World Conference on E‐Learning in Corporate, 
Government, Healthcare, and Higher Education 2008 (pp. 560‐565). Chesapeake, VA: AACE. Retrieved from 
http://www.editlib.org/p/29661. 
Bakerson, M. & Rodriguez‐Campos, L. (2006). The evaluation of internet usage within the graduate‐level classroom. The 
International Journal of Learning, 13, 15‐72. 
Bransford, J. D., Brown, A. L., & Cocking, R. R. (2000). How people learn: brain, mind, experience, and school (expanded). 
Washington, DC: National Academy Press. 
Brookhart, S. M. (1997). The Relationship of Classroom Assessment to Student Effort and Achievement in the College 
Classroom: Pilot Study Technical Report. American Educational Research Association Conference Proceedings, 
Chicago, IL 
Bull, J. and C. McKenna. (2004). Blueprint for Computer‐Assisted Assessment, London: Routledge Flamer, 
Chappuis, S., & Chappuis, J. (December 2007/January 2008). The best value in formative assessment. Educational 
Leadership. 65 (4), 14‐18.  
Dewald, N., Scholz‐Crane, N., Booth, A., & Levine, C. (2000). Information literacy at a distance: Instructional design issues. 
Journal of Academic Librarianship 26(1), 33‐45. 
Gikandi, J.W., Morrow, D, Davis N.E. (2011). Online formative assessment in higher education: A review of literature. 
Computers & Education 57, 2333‐2351 
Goldstein, J., & Behuniak, P. (2012). Can Assessment Drive Instruction? Understanding the Impact of One State's Alternate 
Assessment. Research & Practice for Persons With Severe Disabilities, 37(3), 199‐209. 
Hargreaves, E. (2008). Assessment. In G. McCulloch, & D. Crook (Eds.), The Routledge international encyclopaedia of 
education (pp. 37–38). New York: Routledge. 
Larreamendy‐Joerns, J., & Leinhardt, G. (2006). Going the distance with online education. Review of Educational Research, 
76(4), 567–605. 
Ludwig‐Hardman, S., & Dunclap, J. C. (2003). Learner support services for online students: scaffolding for success. 
International Review of Research in Open & Distance Learning, 4(1), 1–15. 
Pachler, N., Daly, C., Mor, Y., & Mellar, H. (2010). Formative e‐assessment: Practitioner cases. Computers & Education, 54, 
715–721. 
Phelps, M. (Spring 2010). Real‐time teaching and learning. Kappa Delta Pi Record. 46 (3), 132‐134. 
Renfro, L., & Grieshaber, A. (Fall 2009). Focus, feedback, follow‐through. Journal of Staff Development. 30 (4), 26‐8, 30‐31.  
Rovai, A. P. (2000) Online and traditional assessments: What is the difference? Internet and Higher Education 3 (3), 141‐
151. 
Smith, G. (July/August 2007). How does student performance on formative assessments relate to learning assessed by 
exams? Journal of College Science Teaching. 36 (7), 28‐34. 
Sorensen, E. K., & Takle, E. S. (2005). Investigating knowledge building dialogues in networked communities of practice. A 
collaborative learning endeavor across cultures. Interactive Educational Multimedia, 10, 50–60. 
Vonderwell, S., Liang, X., & Alderman, K. (2007). Asynchronous discussions and assessment in online learning. Journal of 
Research on Technology in Education, 39(3), 309–328. 

47
Digital Narratives: Examining Evolving Teacher‐Learner Roles in 
Authentic Online Communities 
Wendy Barber  
University of Ontario Institute of Technology, Oshawa, Canada 
wendy.barber@uoit.ca 
 
Abstract:  This  paper  is  a  qualitative  narrative  exploration of  the  changing  roles between  teachers  and  learners  in  online 
communities. The author uses arts‐based narrative inquiry to examine how Digital Moments and Digital Narratives become 
powerful tools to create an authentic online community. Based on research conducted in 4 synchronous graduate classes 
in Adobe Connect, classes of 20‐25 students shared weekly Digital Moments as part of each class. This created a sense of 
ownership  and  accountability  as  well  as  an  opportunity  for  significant  relationships  to  develop.  These  relationships 
extended  beyond  the  class  time  through  social  media  and  problem‐based  group  work.  Within  the  context  of  this 
environment,  traditional  roles  of  teacher  and  learner  became  reciprocal  and  symbiotic.  The  author  chronicles  how  this 
sense  of  community  was  created  and  sustained  using  Digital  Moments.  This  simple  pedagogical  strategy  empowered 
teachers  and  learners  to  step  beyond  their  traditional  roles,  and  created  a  safe  learning  environment  within  which  the 
balance  of  power  became  equally  shared.    As  a  result  of  this  strong  learning  community,  students  became  more 
responsible for directing the course of their learning and designing their curriculum within the confines of the course. This 
strategy  placed  the  learner  at  the  centre  of  the  process,  and  boundaries  between  teacher  and  learner  became  virtually 
invisible.    While  traditional  pedagogy  has  placed  the  teacher  at  the  centre,  this  paper  argues  that  the  artistry  in  online 
teaching now requires the teacher to step aside; to act as facilitator and guide and to model the behaviour of the curious 
and  engaged  learner.  Further  to  this,  as  the  instructor  gradually  released  responsibility  to  the  students  for  their  own 
learning, they were also included in the development of some assessment strategies.  Students worked in groups to create 
rubrics  and  other  assessment  tools  with  which  they  would  evaluate  their  own  and  others’  work.  While  evaluation  and 
grading often creates stress and anxiety for students who are products of a grade‐based teacher‐driven system, this paper 
demonstrates that evolving shifts in teacher‐learner roles can decrease both the importance of, and anxiety from, these 
grading processes. By using Digital narratives to tell learners’ stories each week, the instructor invested a small amount of 
class time for a large return in developing an authentic online community. The relationships developed in class allowed for 
the participants, both teacher and students, to become the directors of their own learning journey in a safe and stimulating 
virtual classroom. 
 
Keywords: teacher‐learner role shifts, digital learning, online pedagogy, 21C teaching and learning 

1. Introduction 
Digital  learning  environments  require  significant  pedagogical  shifts  on  the  part  of  the  teacher.  The  pace  of 
information  flow  and  knowledge  mobilisation  in 21C  learning  environments  mean  that  instructors  no  longer 
act as top down experts. Rather, they become facilitators, guides, collaborators and learners themselves. This 
work  follows  a  qualitative  approach  to  investigating  best  practices  in  online  pedagogy.  Qualitative  research 
approaches based on narrative methodology and story‐telling are effective means through which theoretical 
constructs such as digital learning environments and adult education can be observed. Several authors, (Schon, 
1987;  Kilbourn,  1999;  Eisner,  1998;  Hunt  1987)  discuss  various  facets  of  using  these  qualitative  research 
methods  to  assess  learning  from  the  perspective  of  stories  told  by  the  self.  A  common  thread  among  these 
authors  is  the  knowledge  of  self  as  a  professional  practitioner  through  reflection  on  learning.  There  are, 
however, parameters that can help to define that a piece of qualitative research is noteworthy, and that it has 
emerged from mere storytelling to achieve educational significance. Eisner reiterates that it is critical to pay 
attention to “conviction, aesthetics and context” (1998, p. 30).  Eisner concludes by advising the researcher to 
recognize that  
the shaping of a research proposal, the conduct of the research itself and its preparation in text 
form  a  significantly  artistic  and  aesthetic  undertaking.  Method  and  content  are  in  a  state  of 
mutual definition. When you have a conviction about what you believe is important to study or 
how  you  think  it  should  be  studied,  my  advice  is  to  pursue  that  conviction.  As  long  as  your 
convictions about your aims and your methods are supportable, your own rationality will provide 
the deepest source of your security.      (1992, p.29)                                  
2. Theoretical framework 
This  work  is  grounded  in  a  theoretical  framework  based  on  4  pillars.  The  first  pillar  is  arts‐based  qualitative 
inquiry,  based  on  the  work  of  Eisner  (1997,  1998).  This  qualitative  approach  to  inquiry  is  the  lens  through 

48
 
Wendy Barber 

which  we  examine  the  Digital  Moments  (pictures,  photos,  paintings)  shared  each  week  as  visual 
representations of the teacher’s and students’ stories.  Further to this, the second pillar of this work resides in 
narrative inquiry and story‐telling based on work by Connelly and Clandinin (1990), and Bullogh and Pinnegar 
(2001). The value of examining one’s practice qualitatively through the lens of participants’ stories is a valuable 
pillar which allows for constructivist notions of the teacher‐learner roles to emerge. In these online classes, the 
stories  of  teacher  and  leaners  were  shared  weekly  through  qualitative  inquiry  using  arts‐based  Digital 
Moments  and  sharing  of  narratives.    The  third  pillar  which  grounds  this  work  is  the  nature  of  teaching  and 
learning in the digital age, and the significant changes facing both teachers and learners in the 21C. Here we 
rely on the work of Cousins and Bissar (2012), Kaufman (2013), Badge, Saunders and Cann (2012), Flavin (2012) 
and McNeill, Gosepr and Xu (2012). These authors examine the nature of how teachers and learners adapt to 
the  digital  age.  The  fourth  pillar  of  this  theoretical  framework  revolves  around  the  teacher’s  view  of  self, 
teacher  identity  and  expertise.  Here  we  ground  the  research  in  the  writings  of  Palmer  (1998)  on  teacher 
identity, Schon (1987) on reflection, Atkinson and Claxton (2000 on the role of intuition and the value of not 
always knowing what one is doing, and Bereiter and Scardamalia’s (1993) work on the nature of expertise.  
 
Using the first pillar of qualitative inquiry, one can attest that our humanity does not become invisible in the 
digital  world.  In  fact,  it  becomes  ever  more  present  in  how  we  use  technology  and  the  modes  we  chose  to 
express ourselves. Eisner agrees that  
there  are  multiple  ways  in  which  the  world  can  be  known.  Human  knowledge  is  a  constructed 
form  of  experience  and  knowledge  is  made,  not  simply  discovered.  The  forms  through  which 
humans represent their conception of the world have a major influence on what they are able to 
say about it. (1998, p. 7)  
Thus, digital  ways  of  representing  knowledge  and  understanding  are unique  and  ever‐changing  with current 
technology,  as  such,  alternative  means  of  representing  knowledge  must  be  one  aspect  of  effective  online 
pedagogy.  Further  to  this,  a  second  pillar  indicates  that  the  telling  of  digital  narratives  extends  beyond  the 
sharing of artistic representations of our stories. As Connelly and Clandinin attest,  
narrative  inquiry  has  a  long  intellectual  history  both  in  and  out  of  education,  it  is  increasingly 
used in studies of educational experience. One theory in educational research holds that humans 
are  storytelling  organisms  who,  individually  and  socially,  lead  storied  lives.  Thus,  the  study  of 
narrative is the study of the ways humans experience the world. (1990, p. 2)  
Bullogh and Pinnegar (2000) agree that “the story form may enable special insights into teaching and learning, 
where linearity gives way to a different sense of time, where emotion drives action” (p. 18). 
 
Cousins and Bissar speak to a third pillar referencing the nature of knowledge and the pace of information flow 
in the digital age. They ask  
what  stories  can  be  told  about  the  fast‐changing  world  of  higher  education  and  what  can  we 
learn  from  them?  Adapting  to  new  situations,  conquering  fears  and  overcoming  obstacles  are 
familiar  storylines,  with  particular  relevance  for  university  lecturers  having  to  introduce  new 
technologies in their working practices. (2012, p. 1)  
Instructors’ roles in digital classes must adapt to the new situations created by new and evolving technologies. 
Being grounded in personal stories can facilitate the confidence required to become learners and, as Palmer 
says, allow teachers to confront the fear of ‘not knowing it all’. He states that “if we want to grow as teachers 
we must do something alien to academic culture: we must talk to each other about our inner lives – risky stuff 
in a profession that fears the personal and seeks safety in the technical, the distant, the abstract” (1998, p.12). 
Kaufman concurs that “educators who teach in 21C classrooms must possess a flexible skill set to foster 21C 
initiatives” ( 2013, p. 79). McNeill. Gosper and Xu (2012) refer to the pressures on universities and academics 
to  integrate  technology  to  achieve  learning  outcomes,  however  many  do  not  have  the  competence  or 
confidence to do so. Thus, there is a need for role shifts between teachers and students, as students tend to 
be more adept at using new technologies effectively. As a result, Flavin concurs that  
when  digital  technologies  are  brought  into  a  classroom  setting,  the  lecturer  may  have  to 
relinquish some of their authority (thus impacting on the ‘rules’ and ‘division of labour’) in order 
to enable enhanced learning. A new technology can disrupt existing practices but also…can go on 
to change the practice itself. (2012, p. 104)  

49
 
Wendy Barber 

Finally, the fourth pillar refers to teacher roles, and whether or not teachers should be considered “experts”.  
Bereiter and Scardamalia Bereiter and Scardamalia (1993) reiterate, 
the  difference  between  experts  and  non‐experts  is  not  that  one  does  things  well  and  the  other 
does  things  badly.  Rather,  the  expert  addresses  problems  whereas  the  experienced  non‐expert 
carries out practiced routines. It is only when the routines fail that the difference between experts 
and non‐experts becomes manifest. (p. 11) 
Schon  reveals  that  this  ability  to  ‘reflect‐in‐action’  is  essential  to  dealing  with  the  new  and  novel  situations 
created in online environments. He states that “this kind of reflection‐in‐action is central to the artistry with 
which practitioners sometimes make new sense of uncertain, unique, or conflicted situations” (1987, p. 35). 
This type of intuitive shift, and willingness to be put in situations where one does not exactly know what one is 
doing  can  be  frightening,  however,  it  is  this  exact  moment  when  real  learning  and  growth  can  occur.  As 
Atkinson and Claxton state, “the literature contains suggestions that intuition, in one of its forms, is a way of 
knowing that is pre‐eminently suited to complex situations” and they “develop a model of the teacher as an 
intuitive actor in a complex world” (2000, p. 10). By this definition, teachers are challenged to be experts in 
online pedagogy. In a digital classroom, expert status may be given to student with high technology skills.  In 
addition, the rapid pace of change means that if we are to breed expertise in our students, then we need to 
ensure they are placed in new and changing environments, given support to learn what they need from the 
peer  teachers  they  select,  and  have  their  confidence  nurtured  in  a  safe  and  collegial  environment.  Palmer’s 
notion of being an expert may actually prevent one from learning new material. He states that traditionally 
experts are people trained to know objects in their pristine form. This training transpires in a far‐
off place called graduate school, whose purpose is so thoroughly to obliterate one’s sense of self 
that one becomes a secular priest, a safe bearer of the pure objects of knowledge. (1998, p. 100)  
This notion is contrary to what must happen in digital learning environments, where expertise is shared and 
teacher‐learner roles are fluid and changing. At the center of this framework rests a pivot point around which 
the ideology moves depending on the learner’s personal and professional story. Digital Narratives depend on 
each  of  these  elements  of  the  framework:    arts‐based  qualitative  inquiry,  narrative  storytelling,  experts  vs. 
novices, and the nature of teaching and learning in the digital 21C environment. Essentially, each individual in 
the class  resides  at  the center  of  the  framework;  each member  takes  a  role  in  moving  the process  forward. 
This is what drives the role shifts between teacher and learners. The community structure empowers students, 
puts them in peer teaching roles and increases accountability for, and ownership of, their learning. In addition, 
it allows the instructor to take the role of learner, to relinquish traditional roles and power, and become a real 
role model for students about what it means to learn in the digital age. While this may be antithetical to the 
traditions of academia, 21C learning demands that we re‐inject our humanity into the process.  

 
3. Methodology 
This  research  occurred  in  three  phases  and  was  used  to  analyse  the  teacher‐learner  role  shifts  in  the 
synchronous  online  learning  environment.    The  design  of  this  work  followed  narrative  qualitative  self‐study 

50
 
Wendy Barber 

methods and purposely aligns with the work of Eisner (1997;1998). In addition, the stories of participants were 
collected to align with the work on narrative story‐telling by Connelly & Clandinin (1990). Data was collected 
weekly based on Blackboard journal entries, audio recordings of Adobe classes transcribed to word docs, chat 
room entries emailed to participants and field notes from the primary investigator. These data were collated 
by the instructor and discussed with two critical colleagues who participated in blind review of the data.  By 
doing so, the investigators were able to triangulate the data and identify key themes emerging from the Digital 
Moment experiences. 
 
Phase  1  –  Creating  a  Professional  Learning  Community  Online:  This  involved  using  Digital  Narratives  and 
story‐telling  in  online  synchronous  graduate  courses  as  a  way  to  create  a  professional  learning  community. 
Students in each phase took a graduate course in education. There were 20‐25 participants from a variety of 
backgrounds  including  education  policy‐makers,  administrators,  teachers  and  department  heads.  The 
instructor was an Assistant Professor in the Faculty of Education. Classes met three times a week for two hours 
over a 6 week period in the fall term. The purpose of using Digital Narratives was to simulate the social and 
community building network that evolves naturally during the first minutes of a face to face class environment 
when students and teachers share the stories of their personal experiences.  Each week, 20 pods were created 
in  Adobe  Connect,  and  students  entered  the  virtual  room  ahead of  class  time  to  post  their  Digital  Moment. 
Students were given some exemplars as to what a Digital Moment might look like, (words, phrases, pictures, 
colours,  musical  links)  but  were  not  limited  in  their  creativity.  Digital  Moments  were  used  as  visual  cues  to 
frame  their  narrative  for  that  week.  Anecdotal  reflections  from  students  were  recorded  in  Blackboard  chat 
rooms,  and  audio  recordings  of  Adobe  Connect  classes  and  field  notes  from  the  professor  were  collected. 
Students  completed  a  pre‐class  focus  group  to  assess  their  confidence  and  competence  in  taking  leadership 
roles in class. 
 
Phase 2 Peer to Peer Teaching: During weeks 4‐8 of the course, students took on the responsibility of teaching 
peers how to use new technological tools. Each week 1 hour of the course was dedicated to improving digital 
literacy  for  students  and  the  instructor.  While  traditional  teaching  at  the  graduate  level  involved  submitting 
some  text  based  essays  and  final  papers,  students  were  also  allowed  to  fulfil  their  requirements  by  using 
alternative  modes  (youtube,  video,  audio,  photojournal)  as  long  as  the  work  demonstrated  evidence  of 
competence,  critical  thinking,  and  was  clearly  grounded  in  the  literature.  Students  in  this  phase  began  to 
facilitate  others’  uses  of  new  technologies  in  order  to  submit  their  assignments  in  different  formats.  Having 
gained confidence and trust, two important elements of a virtual professional learning community, they began 
to ask the instructor if they could submit their final assignments using alternate means to text‐based artefacts. 
Finally,  students  worked  in  groups  to  create  assessment  tools  that  were  collaboratively  designed  and 
implemented. 
 
Phase 3 Demonstrating Leadership and Growth: During weeks 9‐12, students began to emerge as confident 
peer teachers and took on the role of leaders in the virtual class.  Expertise in different areas was shared, and 
students  shared  equally  in  the  leadership  of  the  class.    Each  3  hour  class  contained  2  hours  of  student  led 
activities, followed by student led discussion of assigned readings. In addition, the final portion of each class 
was used for students to share new information that they had found in the literature or in the practice based 
journals  on  digital  technology.  This  information  was  recorded  and  documented  on  Blackboard  and  through 
audio  recordings  of  Adobe  Connect  sessions.  Students  were  asked  to  participate  in  a  post‐class  focus  group 
which  measured  their  perceptions  of  how  much  of  the  teacher  role  they  had  taken,  and  what  factors  had 
influenced  and/or  prevented  them  from  taking  some  form  of  a  leadership  role  in  class.  The  instructor  also 
recorded field notes on her own journey towards taking the learner’s role through the course. 
4. Results 
Data Collection: 
 
The  university  ethical  review  was  passed  and  students  signed  informed  consent  forms  prior  to  taking  the 
course.  Data  from  pre  and  post  focus  groups  was  recorded  and  stored  on  a  secure,  password  protected  
university server and audio recordings of Adobe classes were transcribed and stored. These recordings were 
available for students to review during the 6 weeks of the course but stored securely with access only by the 
researcher once the course had ended. Anecdotal comments recorded in the Blackboard LMS were copied and 
stored securely.  These comments were coded thematically and data was triangulated and blind reviewed by a 

51
 
Wendy Barber 

second  researcher.  Once  reviewed,  the  researchers  identified  key  themes  that  emerged  to  document  the 
transition of teacher‐learner roles in the online class. 
 
Sample Digital Narratives Links: 
 
Digital Moments Samples:   http://www.youtube.com/watch?v=RJPLvWATbsA&feature=em‐share_video_user 
Steve N.  ‐ Physics:  http://www.youtube.com/watch?v=s23NGxRAN9Y 
Sylvia B. ‐ Art:  http://www.youtube.com/watch?v=kO_iXocqFQw&feature=youtu.be 
Kate D. ‐ Avatar/special education:  http://www.youtube.com/watch?v=c_gibuFZXZw 
Joel C. ‐ Flow state meets digital technology:  http://www.youtube.com/watch?v=kduOsBKmy2Q 
 
Discussion: 
 
Key Themes: 
 
Several themes emerged that provide evidence for teacher‐learner role shifts during the experience of these 
online graduate courses. First, the pedagogical strategy of sharing Digital Narratives was a key point in creating 
a safe, trusting and meaningful professional learning community. This shifting of roles happened as a result of 
significant investment of time and effort in the building of a strong and personalized learning community This 
is  an  essential  foundation  on  which  teachers  and  learners  build  confidence  and  competence  to  shift  roles. 
Second, as the roles began to change, there was also a shift in perceived power. Those who held the teacher 
role  in  class  had  earned  the  respect  of  their  peers.  Third,  the  traditional  notion  of  instructor  as  expert  and 
keeper  of  the knowledge  changed  significantly.  In  fact,  because  students  consistently  went  to  peers  or  you‐
tube to learn new technologies the instructor was viewed more as a learning peer. Fourth, students’ long held 
beliefs  about  the  value of grading  also  shifted,  when  students created assessment  tools  collaboratively  with 
the instructor. They began to value learning more and marks less. This leads to the fifth theme which reiterates 
how the nature of teaching and learning has changed dramatically in 21C online classes. Students have access 
to  online  tutorials  and  social  media  where  they  get  immediate  feedback,  thus  the  instructor’s  role  in  a 
synchronous class was less as a subject expert or source of knowledge, but more as a respected community 
leader, facilitator, curious colleague, learner and guide.  
 
Online  community:  Student  comments  revealed  that  the  development  of  a  meaningful,  caring  and  trusting 
community was a central factor in giving them the confidence and competence to take the teacher role during 
classes. The use of Digital Moments began to take on a life of its own beyond the scheduled class time.  Some 
students created their own learning communities on Facebook and LinkedIn in order to stay in touch once the 
course  had  ended.  In  addition,  Twitter  feeds  were  used  to  follow  each  other  and  sustain  friendships  and 
learning experiences. These extended connections through technology became a web within which students 
connected  on  a  personal  level,  a  professional  level,  both  emotionally  and  digitally.  This  is  evidence  that 
“learners  are  responding  to  the  new  technical  and  social  opportunities  with  little  help  from  the  formal 
education  system”  and  there  is  “evidence  of  deep  networking  and  knowledge  building  in  learners’  informal 
practices”  (Littlejohn,  Beetham  &  McGill,  2012,  p.  551).  Learning  that  is  situated  in  digital  worlds  must  also 
have a social component to be effective. Kearney, Shuck, Burden and Aubusson concur that learning is a social 
endeavour.  They  identify  three  distinct  features  of  mobile  or  virtual  learning  that  include  “authenticity, 
collaborations and personalisation” (2012, p. 2). They refer to a socio‐cultural model for virtual learning and 
the importance of “enhanced collaboration, access to information and deeper contextualisation of learning” 
(2012, p. 2). 
 
Shifts  in  Perceived  Power:  The  traditional  vesting  of  power  in  the  role  of  course  instructor  shifted 
dramatically.  Further,  it  became  less  and  less  important  who  had  power  in  the  class  as  there  was  shared 
ownership  of  outcomes.  Through  the  consistent  sharing  of  personal  stories,  class  members  noticed  that 
regardless of titles and academic credentials, each member of the class had ownership, power and expertise. 
This fluid and shared nature of expertise, power and class control was an element that emerged over time, and 
the greater sharing and valuing of personal stories the more dynamic the classes became. One student stated 
he was shocked at the level of trust and sharing, that he had never before experienced in a class, let alone an 
online  class  which  had  often  been  impersonal  log‐ins  to  chat  rooms  and  discussion  boards.  Finally,  the 
collective sharing of power increased accountability, responsibility , creativity and respect for the diversity of 
assignments  produced.  Students  congratulated  each  other  on  trying  new  technologies,  laughed  when  the 

52
 
Wendy Barber 

technology  didn’t  work  and  produced  work  that  was  of  a  very  high  standard  as  graded  by  peers  and  the 
instructor. This is referenced in the literature through observations about the nature of teaching and learning 
in the digital age. Cousins and Bissar (2012), Kaufman (2013), Badge, Saunders and Cann (2012), Flavin (2012) 
and McNeill, Gosepr and Xu (2012) examine how teachers and learners adapt to the digital age 
 
Experts  vs  Novices:    Notions  of  expert  vs.  novice  were  seamless,  and  students  commented  that  due  to  the 
“just in time” nature of digital learning, they appreciated the opportunity to ask peer experts how to use the 
type of digital technology they needed to complete course requirements. The instructor also learned several 
new technologies and was tutored by a student in the class. This levelling of the learning field was a necessary 
bi‐product of several things; the fast pace of the information age, the seeming impossibility for any one person 
to  keep  up  to  every  technological  innovation,  and  thus  the  absence  of  “experts”  in  any  one  sense.    Shared 
expertise and changes in the power balance in the class required students to step up to the plate and become 
peer tutors. This increased self‐responsibility for learning, a feature of 21C classrooms also allowed for greater 
creativity  and  originality  in  assignments  produced.    There  was  greater  diversity  in  how  the  students 
represented  their  knowledge  and  less  emphasis  on  content.  As  Bereiter  and  Scardamalia  agree,  “the  expert 
addresses  problems  whereas  the  experienced  non‐expert  carries  out  practiced  routines.  It  is  only  when  the 
routines fail that the difference between experts and non‐experts becomes manifest” (1992, p. 11).  
 
Grading:  Students  who  had  graduated  from  a  K‐12  system  that  was  marks‐driven  often  held  long‐standing 
beliefs that the role of school was to achieve grades, which led to greater credentials and merit. Shaking the 
foundation of this belief was challenging, but the inherent reward of passing the power of assessment to the 
students resulted in more emphasis on the learning process. This allowed for greater variety of assignments, 
diverse representations of knowledge and more creative and original work. It also allowed students to use new 
technologies, as long as they created an agreed upon assessment tool to use when grading the product. This 
collaborative  process  also  lifted  the  grades  out  of  individual  responsibility,  where  they  resided  more  in  the 
collective  experience  of  the  group,  as  students  were  less  competitive  and  more  helpful  to  one  another. 
Rosemartin  (2013),  Herrington  &  Parker  (2013)  and  McCarthy  (2013)  talk  about  21C  students’  needs  for 
continuous  feedback,  much  like  they  receive  from  video  games,  and  that  authentic  assessment  means  less 
focus  on  grades  and  more  on  using  technology  as  a  cognitive  tool  through  assessment  as,  and  for  learning. 
Kohn’s  (1994)  paper  “Grading,  the  issue  is  not  how  but  why”  raises  similar  issues  regarding  the  purpose  of 
grades. He states that grades are a form of sorting students and we need to consider that “in reality, a critical 
and qualitative difference exists between intrinsic and extrinsic motivation – between an interest in what one 
is  learning  for  its  own  sake,  and  a  mind‐set  in  which  learning  is  viewed  as  a  means  to  an  end”  (p.  2)  Using 
Digital  Moments  can  tap  into  intrinsic  motivation  and  thus  improve  students’  ownership  of  the  work  and 
chances of achieving successful results. 
 
21C Skills and the Nature of Knowledge:  Students commented that the pace of information flow in their lives 
made it nearly impossible to keep up to all of the latest technology, but they acknowledged that they knew 
who to go to in the class for help in particular modes. Individual students were perceived as experts in some 
areas, while they were clearly novices in others. Focus groups revealed overwhelmingly that the students’ first 
source  of  information  when  learning  a  new  technology  was  the  internet,  you‐tube  or  a  peer.  This  reflects  a 
new role for teachers and learners. No longer does the instructor hold the only key to knowledge, in fact the 
learner  takes  on  new  responsibilities  for  finding  knowledge  and  sharing  it  quickly  through  social  media  and 
rapid  mobilisation  of  knowledge  through  other  digital  means.  As  Flavin  states,  “disruptive  technologies  are 
those  that  disrupt  established  practices”  (2012,  p.  103)  and  we  must  disrupt  the  traditional  teacher  learner 
roles  if  we  are  to  shape  best  practice  in  online  pedagogy.  Further  evidence  to  support  this  is  stated  by 
Littlejohn,  Beetham  &  McGill  who  concur  that  learners  no  longer  use  supports  from  the  formal  education 
system but turn to peers, online sources and social media. They state that “learners are responsible to the new 
technical and social opportunities with little help from the formal education system”. (2012, p. 551)  Thus, we 
must unleash instructors from their formal education system shackles and re‐empower them as co‐learners in 
a digital world. 
5. Conclusions 
Merriam (1998) states that there are four major features that characterize a good qualitative study and these 
were demonstrated in this paper. First, the researcher is interested in understanding the meaning people have 
constructed. Individual cases in this study focused on the meaning that the subjects have placed on selecting 

53
 
Wendy Barber 

and sharing their weekly Digital Moments. Second, the researcher was the major instrument of data collection 
and analysis. Third, this qualitative research involved field work, which in this study entailed class recordings 
and  direct/indirect  observation.  Fourth,  this  qualitative  research  used  inductive  strategies.  In  this  work,  the 
research applied existing models of narrative inquiry to the subjects in order to broaden our understanding of 
how engaging online communities have an impact on learning.  
 
Finally,  Merriam  (1998)  believes  that  the  product  of  a  qualitative  research  study  is  richly  descriptive.  This 
researcher  used  learners’  stories  to  describe  the  process  of  developing  meaningful  learning  and  human 
relationships  online.  In  addition  to  this,  Eisner  concurs  that  there  are  several  features  of  qualitative  inquiry 
that make it the methodology of choice for this study. He refers to the unique quality of narrative research by 
saying, 
qualitative  inquiry  places  a  high  premium  on  the  idiosyncratic,  on  the  exploitation  of  the 
researcher’s  unique  strengths,  rather  than  on  standardization  and  uniformity.  Hence, 
investigators who study schools or classrooms and who engage in that craft called field work will 
do things in ways that make sense to them, given the problem in which they are interested, the 
aptitude they possess and the context in which they work. (Eisner, 1998, p. 169) 
It is clear that each phase of the methodology can be connected to one or more of the five emerging themes. 
These  themes  included  online  community,  shifts  in  power,  experts  vs.  novices,  grading  and  21C  learning 
models.  In phase one of the project, the building of online community and the questioning of what students 
need  in  21C  learning  environments  became  evident.  During  phase  two,  the  peer  to  peer  teaching  models 
emerged as shifts in perceived power and expertise changed. Students with expertise in one technology were 
the  leaders  and  those  with  special  skills  in  other  areas  shared  knowledge  elsewhere.  Thus,  the  sharing  of 
power became a dynamic that emerged as a class norm. In phase three, students took on seminar leadership 
roles  and  demonstrated  growth  in  how  they  used  the  technology  as  cognitive  tools.  This  culminated  in  a 
stronger online community, based on shared power, where each individual gained respect for their particular 
level of expertise, as well as  embracing the idea that to be a learner in 21C environments requires us to be 
beginners as well.  Ultimately,each phase of the project connected directly to the themes that emerged. The 
ultimate success of this pedagogical study was measured in the reactions of students in focus groups, as they 
indicated  a  high  level  of  satisfaction  with  the  learning  environment.  Students  commented  that  the  Digital 
Moment strategy was a key component that they had not experienced before in other grad classes and this 
was an important element in their comfort, willingness to challenge themselves, and to learn in greater depth.  
By being part of this safe community, they perceived greater success in their learning experiences. 
 
During the course, the roles in this professional learning community became almost indecipherable. While still 
within the university context, the instructor fulfilled the responsibility to assign grades to students. But in the 
learning environment, the power differential became almost invisible. The students with expertise in particular 
technologies took on the role of instructor, the teacher became the learner, thus empowering learners with 
the confidence to take risks, make mistakes, and ask for help. This supports the notion that 21C learners must 
be  able  to  think  critically,  be  problem‐solvers  and  work  collaboratively.  In  particular,  for  21C  learners  in  a 
virtual  classroom,  they  must  be  able  to  go  beyond  the  class  and  use  their  digital  literacy  within  the  context 
where they work and live. “It is obvious that not only learners, but also teachers need to acquire 21st century 
competencies  as  well  as  become  competent  in  supporting  21st  century  learning”  (Voogt,  Erstad,  Dede  & 
Mishra, 2013, p.408). In order to create environments where these role shifts are encouraged, teachers need 
to  learn  how  to  design  classes  where  21C  skills  are  developed.    Cousins  and  Bissar  surveyed  academics  and 
found that many continued to struggle learning new technologies. Their work revealed that helping academics 
adapt to the digital age can be done successfully using narrative sharing of instructors’ stories. “This forum for 
telling  and  sharing,  it  is  proposed,  might  be  more  effective  than  broad‐sweep  institutional  policies  and 
strategies” (2012, p. 10). As Cappelli and Smithies articulate, “a top‐down vision rarely works and instead it is 
the community who realise the vision and begin to set the agenda (2009, p. 73). 
 
This  research  argues  that  if  Digital  Narratives  can  be  used  to  create  learning  environments  that  support 
academics  to  learn  new  skills,  then  they  may  create  more  relevant  21C  learning  outcomes  for  their  own 
students.  In  the  digital  world,  it  is  imperative  that  teachers,  regardless  of  academic  standing,  continually 
redefine themselves as life‐long learners and model this for their students. As Badge, Saunders and Cann state, 
“engagement is more than participation – it requires emotion and sense‐making as well as activity. Most, if not 
all of the published studies of any size focus on the softer, social side of student engagement rather than on 

54
 
Wendy Barber 

academic outcomes” (2012, p. 2). Ultimately, this softer side of learning, our human underbelly, must emerge 
if we are to allow students full autonomy in online classes. Imagination and curiosity are key elements in 21C 
classes,  and  we  need  to  empower  and  challenge  our  students  to  shift  roles  with  instructors  and  share 
expertise. In order to demonstrate best practices in digital pedagogy, one must 
groom one’s curiosity like a high‐spirited thoroughbred, climb aboard and gallop over the thick, 
sun‐struck  hillls  every  day.  Where  there  is  no  risk,  the  emotional  terrain  is  flat  and  unyielding, 
and, despite all its dimensions, valleys, pinnacles, and detours, life will seem to have none of its 
magnificent geography, only a length. It began in mystery, and it will end in mystery, but what a 
savage and beautiful country lies in between (Palmer, 1998, p. 113) 
As instructors and academics, it’s time to let the reins loosen, enjoy the ride, and move courageously through 
this brand new digital world. 

References 
Atkinson, T. & Claxton, G. (Eds.)(2000). The Intuitive Practitioner: On the Value of Not Always Knowing What One is Doing. 
Open University Press, Buckingham,PA. 
Badge, J., Saunders, N. & Cann, A. (2012). Beyond marks: new tools to visualise student engagement via social networks. 
Research in Learning Technology, 20(16283). doi: 10.3402rlt.v2010/16283 
Bereiter, C. & Scardamalia, M. (1993). Surpassing Ourselves. Peru, IL: Open Court Publishing. 
Bullogh, R. & Pinnegar, S. (2001). Guidelines for quality in autobiographical forms of self‐study research. Educational 
Researcher 30(3) 13‐21. 
Cappeli, T. & Smithies, A. (2009). Online communities of practice as agents of change in curriculum development. 
Proceedings of the International Conference on E‐learning, Toronto, ON. P68‐74. 
Connelly, M. & Clandinin, J. (1990). Stories of experience and narrative inquiry.Educational Researcher, (June‐July) 2‐14. 
Cousins, S. & Bissar, D. (2012). Adapting to the digital age: a narrative approach. Research in Learning Technology, 
20(18976), 1‐13. 
Eisner, E. (1997). The promise and perils of alternative forms of data representation. Educational Researcher, (Aug‐Sept), 4‐
10. 
Eisner, E. (1998). The Enlightened Eye: Qualitative Inquiry and the Enhancement of Educational Practice. Upper Saddle 
River, NJ: Prentice Hall. 
Flavin, M. (2012). Disruptive technologies in higher education. Research in Learning Technology, ALT‐C 2012 Conference 
Proceedings. http://dx.doi.org/10.3402/rlt.v2010.19184 
Herrington, J. & Parker, J. (2013). Emerging technologies as cognitive tools for authentic learning. British Journal of 
Educational Technology. 44(4) 607‐615. Doi:10.1111/bjet.12048 
Kaufman, K. (2013). 21 Ways to 21st century skills: why students need them and ideas for practical implementation. Kappa 
Delta Pi Record, 49(2), 78‐83. doi: 10.1080/00228958.2013.786594 
Kearney.M., Schuk, S., Burden, K. & Aubusson, P. (2012). Viewing mobile learning from a pedagogical perspective. Research 
in Learning Technology, 20(14406). doi: 10.3402/rlt.v2010.14406  
Littlejohn, A., Beetham, H. & McGill, L. (2012). Learning at the digital frontier: a review of digital literacies in theory and 
practice. Journal of Computer Assisted Learning, 28, 547‐556. doi: 10.1111/j.1365‐2729.2011.00474.x 
McCarthy, G. (2013). Authentic assessment – key to learning. In E. Doyle, P. Buckley & C. Carroll, (Eds) Innovative Business 
School Teaching – Engaging the Millennial Generation. 81‐92. United Kingdom: Routledge. 
McNeill, M., Gosper, M. & Xu, J. (2012). Assessment choices to target higher order learning outcomes: the power of 
academic empowerment. Research and Learning Technology, 20(17595) doi: 10.3402/rlt.v2010.17595 
Merriam, S. (1998). Qualitative Research and Case Study Applications in Education. San Francisco, CA: Jossey‐Bass. 
Palmer, P. (1998). The Courage to Teach: Exploring the Inner Landscape of a Teacher’s Life. Jossey‐Bass. San Francisco,CA. 
Rosemartin, D.S. (2013) Assessment for learning: Shifting our Focus. Kappa Delta Pi Record, 49(1) 21‐25. Doi: 
10.1080/00228958.2013.759826 
Schon, D. (1987). Educating the Reflective Practitioner. San Francisco, CA: Jossey‐Bass. 
Voogt, J., Erstad, O., Dede, C. & Mishra,P. (2013). Challenges to learning and schooling in the digital networked world of the 
st
21  century. Journal of Computer Assisted Learning, 29, 403‐413. doi: 10.1111/jcal.12029 

55
Using Tablets for e‐Assessment of Project‐Based Learning 
Elvira Bolat and Milena Bobeva 
Bournemouth University, Bournemouth, UK 
ebolat@bournemouth.ac.uk  
mbobeva@bournemouth.ac.uk  
 
Abstract:  Technology  is  confirmed  to  be  an  effective  tool  for  computer‐assisted  assessment  (Irons,  2008;  Challis,  2005), 
producing feedback (Heinrich et al., 2009) and publishing feedback (Bloxham and Boyd, 2007; Denton, 2003; Denton et al., 
2008). The arrival of affordable mobile devices has introduced a new means for enhancing the above practices (Fabian and 
MacLean, 2014; Plimmer and Mason, 2006; Salem, 2013). Student preferences to smart phones and tablet devices steer 
further the technological innovation towards ubiquitous mobile connectivity. Inspired by the benefits of such life and study 
style, educators have started exploring the use of these technologies. Tablet computers prove to become their preferred 
choice  as  they  resolve  some  of  the  limitations  associated  with  the  design,  readability  and  comprehensiveness  of  the 
feedback  delivered  through  mobile  devices  with  smaller  screens  (Strain‐Seymour,  2013,  Rootman‐le  Grange  and  Lutz, 
2013).  This  paper  reports  how  tablets  and  the  Form  Connext  mobile  app  have  been  used  for  engaging  a  sample  of  300 
Business Studies students in in‐class online assessment and designing and providing timely comprehensive feedback. The 
study has followed an action research strategy that is grounded on a continuous and dynamic process of reflection (Carr 
and Kemmis, 2003) on  the effectiveness of assessment of student projects documented electronically through  wikis and 
electronic portfolios. It refines the use of tablets for summative and formative assessment of the project‐based learning 
tasks  through  three  review  cycles,  each  of  which  incorporated  a  Reflection  and  Improvements  stage.  The  experience 
resulted  in  enhancement  of  assessment  strategies  and  contribution  to  the  development  of  contemporary  models  of 
learning through effective assessment and feedback (Carr and Kemmis, 2003). The results of the work confirm that tablet 
computers are an effective tool in assessing e‐materials in larger classes for two primary reasons. Firstly, design of e‐forms 
facilitates  rigorous  process  of  reflection  and  understanding  assessment  criteria  that  in  turn  benefit  students  when 
preparing  for  the  assessment.  Legible  and  detailed  feedback  could  be  produced  anytime  anywhere  with  synchronous 
updates within the marking team. Secondly, students benefit from immediate comprehensive feedback allowing them to 
reflect  on  and  improve  their  understanding  of  subject  matters,  as  well  as  to  engage  in  discussing  specific  details  of  the 
work that are captured through the form. An unexpected outcome was the enhanced reputation and respect for the tutors 
amongst students, the triggering of student curiosity and enthusiasm in applying similar approach to their own work. The 
diffusion of the practice amongst other units and identifying other purposes for which the mobile app could be used are 
also seen as achievements exceeding the expectations of the project team.   
 
Keywords:  tablets; assessment; project‐based learning 

1. Introduction 
Pedagogic  innovations  using  digital  technologies  have  challenged  the  traditions  of  the  instructivist  approach 
underpinning the education system over the last few centuries and have offered opportunities to connect and 
encourage  engagement  between  those  involved  in  the  education  process.  Such  shift  towards  connectivism 
(Siemens, 2005) pedagogical paradigm that reflects that through digital means educators can facilitate not only 
a  connection  among  learning  participants  but  a  connection  between  learning  objects,  e.g.  a  feedback  form,  
and learning participants. Such connections could affect the co‐creation of knowledge, effective and engaged 
learning.  Tablet computers are found to be an effective tool in assessing group presentations in class for two 
primary reasons. Firstly, the design of e‐forms that are to be shared with students, facilitates rigorous process 
of  tutor’s  reflection  and  understanding  assessment  process  and  criteria  that,  in  turn, benefit  students  when 
preparing for the assessment. Secondly, students benefit from immediate, creative and personalised feedback 
allowing  them  to  reflect  on  and  improve  their  understanding  of  the  subject.  Henceforth,  students  are 
motivated  to  engage  with  and  action  on  the  feedback.  Previous  study  by  Denton  et  al.  (2008)  proves  that 
immediacy of the feedback is a critical factor in engaging students with their feedback. 
 
This paper reports on the process, outcomes and challenges of the use of tablet computers for formative and 
summative assessment of student individual and group work.   

2. Theoretical background 
Educators’ digital literacy as part of an effective student engagement 
 
Within a higher education environment digital revolution has become a catalyst for rethinking and innovation 
of pedagogical paradigms and institutional approaches to learning. This reconsideration happens on all level of 

56
 
Elvira Bolat and Milena Bobeva 

activities that build modern model of scholarship, one that integrates teaching, research and engagement with 
industries (Burdick and Willis, 2011). Primary focus, however, is to aim at the development of 21st century skills 
and competencies for the increasing population of digital citizen, i.e. people whose daily activities encompass 
consumption  of  social  networking  and  sharing  information  (Olsen  and  Horgen,  2013),  and  who  are 
comfortable  with  multitasking  (Ie  et  al., 2012),  especially  such  that  is  enabled by  a  “bring your  own  device” 
(BYOD) culture and the proliferation of accessible digital tools. In his blog, Professor Stephen Heppell (2013) 
focuses  on  the  meaning  of  curriculum  in  contemporary  education  practices,  arguing  that  “In  a  world  awash 
with content, much of it free” the emphasis should be not on content, but on learning to learn. This requires 
rethinking  of  both  pedagogical  approaches  and  the  targeted  set  of  employability  skills.  Apart  from  skills  in 
using and applying technology, integration of digital literacy in a curriculum is proven to foster critical thinking 
(Marty et al., 2013), collaboration skills (Mercier and Higgins, 2014; Raes et al., 2012) and independent self‐
st
directed learning (Heppell, 2013), all skills that are found to be crutial for 21  professionals.  
 
Digital  literacy  that  more  often  than  not  defined  as  ability  to  use  digital  technology  (Buckingham,  2010) 
extends  its  impact  on  students’  ability  to  utilise  digital  technology  in  a  critical  manner  with  effective  fit 
between requirements of the task and analysis of what digital tools are appropriate to assist in a completion of 
task. Buckingham (2010) names digital technology as cultural forms which digital citizens use in their daily lives 
to  enable  interaction  with  the  world,  exchange  of  information  and  creative  problem  solving.  Educators  are 
these  who  are  to  help  students  in  understanding  how  use  of  such  cultural  forms  can  be  extended  to  a 
professional  context.  To  do  so  effectively  educators  themselves  are  required  to  understand  digital 
technologies,  use  them  in  educational  processes  and  demonstrating  innovative  approaches  to  an 
enhancement of educational and learning practices. Ubiquitous digital literacy and digital competences among 
educators,  according  to  Krumsvik  (2008),  remain  a  milestone  in  an  aspiration  to  a  modernisation  of 
st
educational systems globally but mostly importantly in engaging with 21  century students in an effective and 
familiar to them manner.  
 
Irrespective  of  an  underlying  device,  system  or  software  application,  technology  has  held  the  potential  of  a 
mechanism  for  fostering  creativity  and,  most  importantly,  for  supporting  lifelong  learning.    Benefits  for  an 
educator are two‐fold:  external and internal.  
ƒ External  benefits  are  in  relation  to  students  where  students  engage  with  the  learning  content  (Saddik, 
2008; Mercier and Higgins, 2014) and co‐create knowledge (Raes et al., 2012). Mercier and Higgins (2014) 
argue  that  content  is  the  third  critical  party  involved  in  the  educator‐students  interaction  and 
demonstrate  that  technology  enables  access  to  this  key  constituent  of  the  relationship..  Irrespective  of 
technological  devices  used  in  learning  processes  (due  to  the  fact  that  new  technologies  emerge 
continuously), content is a critical element which through transformations over solving learning problems, 
turns  into  a  shared  and  co‐created  knowledge.  Therefore,  technology  needs  to  be  perceived  as  a 
facilitating mechanism and as a tool to be embraced by educators to keep curriculum and its delivery in 
tune  with  changes  that  concern  professional  environments  today.  Furthermore,  digital  learning  spaces 
supported  by  technology  (examples  include  social  networking  sites  or  tools  such  as  Wikis,  discussion 
boards)  became  a  powerful  mechanism  in  facilitating  collaborative,  participative  and  informal  learning 
experiences,  wherein  students  feel  more  comfortable  to  communicate,  take  risks  and  demonstrate 
ownership for their learning activities and outcomes. Higher education institutions in the UK have not yet 
fully embraced the breath of opportunities afforded by digital technology for generating greater student 
engagement with the learning content, increasing interaction and connection with peers and educators, 
providing  more  inclusive  learning  experiences,  facilitating  a  shift  away  from  passive  toward  more  active 
learning (Draskovic et al., 2013; Patrut et al., 2013).  
ƒ Internal benefits of integrating technology into educational practices cover professional development of 
education  providers  through  self‐reflection  (Rich  and  Hannafin,  2009)  and  continuous  evolution  of 
pedagogical  paradigms  in  line  with  the  recent  notion  of  connectivism  introduced  by  Siemens  (2005). 
Connectivism  reflects  that  through  digital  means  educators  can  facilitate  not  only  a  connection  among 
learning  participants  but  a  connection  between  learning  objects  (feedback  from,  digital  content)  and 
learning participants (Siemens, 2005). Such connections result in co‐creation of knowledge, effective and 
engaged learning.   
Technology‐assisted assessment and feedback are core activities within a learning process that illustrates both 
internal and external benefits of utilising technology for an educator. For example, Rich and Hannafin (2009) 

57
 
Elvira Bolat and Milena Bobeva 

show that simple feature of video annotations as a means to provide feedback to students enables increased 
engagement  with  the  feedback  among  students  but  also  assisted  in  educators’  reflections  on  a  curriculum 
design.  The  obvious  and  simplest  way  to  integrate  technology  into  computer‐assisted  assessment  and 
feedback process is to publish and produce (Bloxham and Boyd, 2007; Challis, 2005; Denton, 2003; Denton et 
al.,  2008;  Heinrich  et  al.,  2009)  feedback  using  technological  tools.  Denton  (2003)  and  Denton  et  al.  (2008) 
report on advantages and drawbacks of using Microsoft (MS) Office tools to assist in assessment. In particular, 
they note educators’ enthusiasm to save time on assessing student work by building a database of comments 
that  can  be  used  across  written  assignments  to  save  time  in  typing  similar  comments.  HEFCE  in  2007 
emphasised  the  importance  of  the  time  in  assessment  in  producing  good  quality  comprehensive  feedback. 
Moreover, technology enables clarity in producing the feedback where students engage more with the typed, 
‘legible’ text over the handwritten comment (Bloxham and Boyd, 2007; Irons, 2008). Publication of feedback 
through  online  means,  most  importantly,  enables  flexibility  and  increases  students’  engagement  with  the 
feedback  due  to  opportunities  to  access  this  anywhere  anytime  (Bloxham  and  Boyd,  2007;  Denton,  2003; 
Denton et al., 2008). 
 
Additionally,  computer‐assistance  in  the  assessment  and  feedback  process  goes  beyond  production  and 
publication of grades but improves assessment setting itself (Maclellan, 2001; Parkin et al., 2012). In particular 
building  the  database  of  comments  and  communicating  assessment  criteria  to  students  in  advance  prompt 
educators to carefully think about assessment and its link to intended learning outcomes (Parkin et al., 2012). 
Despite  the  fact  that  substantial  scholarly  work  focuses  on  personal  (stationary  and  fixed  network  desktop) 
computer assisted assessment and feedback (Bloxham and Boyd, 2007; Challis, 2005 Denton, 2003; Denton et 
al., 2008; Heinrich et al., 2009; Parkin et al., 2012). Hepplestone et al. (2011) conclude that such literature is of 
limited  nature  with  description  of  practices  and  no  reflection  on  implications  for  pedagogic  practices  given. 
Although  being  in  part  the  description  of  an  action  learning  process  this  paper’s  authors  went  through, 
reflection on outcomes and lessons learned through the prism of existing pedagogical paradigms is provided 
when discussing results.  
 
Deploying mobile technology in teaching practices 
 
Mobile  technology  brings  the  possibility  to  transmit  information  irrespective  of  time  and  location 
(Balasubramanian et al., 2002). Mobile technology invaded all the aspects of social existence with education 
setting being a perfect context to expand opportunities for independent and mobile learning (Donelly, 2009).  
By using mobile technology individuals/users experience a set of four values (Bolat, 2014): 
ƒ Functional  value  indicates  that  irrespective  of  underlying  mobile  technology  devices  and  software 
applications  intuitive  in  nature,  easy  to  use  technical  features  of  mobile  technology  enable  fast  and 
flexible transmission and exchange of data in different formats, multitasking, and ability to communicate 
on demand anywhere anytime.  
ƒ Social value covers purposes of communication where immediacy in response and, therefore, relevance of 
timely engagement are benefits for an individual/user.  
ƒ Independence of time and location that encourages exercising freedom in creative thinking: when using 
mobile technology users are not constrained by time and specific locations.  
ƒ Finally, controversially mobile technology allows balancing personal and professional lives.  
Education  research  has  focused  on  the  impact  of  mobile  devices  on  student  engagement  and  demonstrates 
how set of four values derive through practical applications. Existing studies report that tablet computers are 
proven to motivate students through interactive learning (Geist, 2011; Manuguerra and Petocs, 2011; Shifflet 
et al., 2012; Schreiber and Hunt, 2013) and improve students’ performance through effective problem‐solving 
learning experiences in class (Enriquez, 2010; Kruger and Bester, 2013; Strain‐Seymour et al., 2013) wherein 
functional, social and creative values derive from integrating mobile technology into educational practices.   
 
The arrival of affordable mobile technologies has introduced a new means for enhancing the assessment and 
feedback  practices.  Examples  include  effective  use  of  student  response  system  via  mobile  devices  to 
formatively  assess  students’  understanding  and  providing  immediate  formative  feedback  via  mobile  phones 
(Rootman‐le Grange and Lutz, 2013). The latter study, however, raised concerns about the readability of the 
feedback  and  warned  that  screen  size  could  challenge  both  tutors  and  students  who  would  like  more 
comprehensive assessment feedback. Tablet computers address some of the limitations of mobile devices with 

58
 
Elvira Bolat and Milena Bobeva 

smaller screens and have been used for designing and developing content as part of assessment (Fabian and 
MacLean, 2014), as well as for providing feedback (Plimmer and Mason, 2006; Salem, 2013). 
 
In relation to application of mobile technology in the assessment and feedback process Strain‐Seymour (2013) 
published  a  study  reflecting  on  experience  of  using  touch  screen  devices  to  assess  students  in  class  with  a 
feedback  form  that  has  been  developed  on  computer  first.  Strain‐Seymour  (2013)  reports  that  developing 
forms on stationary and fixed network desktop computers prevents educator to think about characteristics of 
devices to be used and contextual settings in which the assessment will take place. Hence, using such forms on 
touch screen devices was found to be challenging due to screen size limitations, not taking into consideration 
differences  between  the  uses  of  keyboard and  touch  screen.  To  the  authors’  knowledge no  published  study 
reports on experiences in integrating tablets into the assessment and feedback practices taking into account 
distinct nature of mobile technology. This study, therefore, addresses the gap in the educational literature by 
focusing  on  using  tablets  for  engaging  students  in  in‐class  online  assessment,  designing  the  feedback  form 
using tablets, and providing timely comprehensive feedback through tablets.   

3. Method 
This  study  follows  an  action  research  strategy  that  is  grounded  on  a  continuous  and  dynamic  process  of 
reflection  (Carr  and  Kemmis,  2003)  on  the  effectiveness  of  assessment  of  student  projects  documented 
electronically through wikis and electronic portfolios. Action learning process, according to Dall’Alba (2005), is 
a continuous ‘must’ exercise for transforming and enhancing educational practice. Teaching in the scenario of 
action learning process for both an educator and the student implies ongoing learning for the educator to be 
able  to  reflect  and  transform  approaches  to  teaching  students  how  to  learn  (Dall’Alba,  2005).  This  paper 
illustrates action learning educational practice of innovation in the assessment and feedback part of a first year 
Bachelor’s  degree  unit  on  Developing  Management  Competencies  delivered  to  300+  Business  Studies 
students. The change involved digitising the assessment forms in a tablet format and redesigning the processes 
using these forms. The objectives for the project were to make the assessment process more transparent to 
students  and  provide  immediate  and  comprehensive  feedback  that  is  engaging  and  matching  closer  the 
lifestyle of those assessed.  
 
The unit is designed around the project‐based learning (PBL) model. In particular students are working on set 
of  four  main  projects,  called  ‘missions’,  which  involve  complex  tasks  that  students  autonomously  solve  and 
investigate  individually  or  in  groups  (Thomas,  2000).  Mission  1  ‘Managing  productivity  tools’,  and  Mission  2 
‘Managing projects’ were the subject of this study. Mission 1 required students to work individually to develop 
a decision making tool unit MS Excel and create an electronic portfolio on Mahara, a social network supported 
by the University.  Mission 2 required students to work in teams on a live business‐community engagement 
project and evidence command of project management, marketing and communications skills.  
 
Teaching  team  of  two  academics  (referred  to  as  tutors  hereafter)  has  used  tablets  for  both  summative  and 
formative assessment for the two missions. There were three action‐learning cycles in the assessment:  
ƒ In‐class individual formative assessment (used for providing feedback on the draft for Mission 1) 
ƒ In‐class individual summative assessment (on the final work on Mission 1) 
ƒ Summative assessment of online group portfolio delivered via a wiki. (i.e. for Mission 2) 
Assessment was completed using a software application (app) for iPads (two iPads were used by tutors only), 
called  FormConnect  (http://www.formconnections.com/).  FormConnect  allows  designing  assessment  and 
other  types  of  forms  to  be  used  for  learning,  business  and  personal  purposes.    Forms  developed  were 
customised to include title of the unit, text field to type student’s name, group number and date. Apart from 
that,  available  functions,  in‐class  assessment  context,  use  of  tablets  urged  the  teaching  team  to  think  on 
criteria  of  assessment  that  could  be  captured  using  drop‐down,  radio  button  options  for  quick  and  easy 
selection  when  assessing  students’  work  (see  Figure  2).  Nevertheless,  customisation  using  text  boxes  where 
short individual comments can be types is also possible in a mobile marking context.   
 
The app allows for forms and assessment records to be shared in a number of formats, including PDF, Excel 
spreadsheet  and  HTML,  and  channels  (Dropbox,  email,  Skype).      The  criteria  have  been  communicated  to 
students prior the assessment dates. The final results were exported into MS Excel spreadsheet with detailed 
data with all criteria listed (see Figure 1). This enabled various mathematical manipulations with data including 

59
 
Elvira Bolat and Milena Bobeva 

calculation  of  final  individual  results  as  well  as  filtering  data  to  allow  publish  results  online  anonymously. 
Completed feedback forms were converted into PDF format and communicated back to students. 
 
With each cycle actions were followed by reflections on the design of the form, the process of assessment, the 
tutors’  actions  and  the  student  feedback,  on  the  basis  of  which  improvements  to  both  the  design  of  the 
marking form were designed. 

 
Figure 1: FormConnect – exporting options and example of criteria break‐down 

 
Figure 2: FormConnect – design elements and customisation tools 

60
 
Elvira Bolat and Milena Bobeva 

4. Results and discussion 
The  experience  with  using  tablets  for  assessment  and  feedback  resulted  in  enhancement  of  assessment 
strategies  and  contribution  to  the  development  of  contemporary  models  of  learning  through  effective 
assessment and feedback.   
 
Bolat’s  (2014)  model  of  mobile  technology  values  was  used  below  to  summarise  the  findings  of  the  project 
(Table  1)  and  group  these  into  four  distinct  categories  based  on  the  value  they  have  for  the  assessment 
process stakeholders. Where the values are shared by more than one group of stakeholders, this is denoted by 
merging the cells. 
Table 1: Values experienced throughout the project 
Values  Students  Tutors  Other stakeholders 
Functional  Results were shared with students immediately after the completion of  Administrative 
the assessment.  arrangements were 
Legible and detailed feedback was produced, covering both the  streamlined by 
elements of the content and how the intended learning outcomes for  sharing the MS Excel 
the assignment were achieved.  version of the results 
Photo evidence/Screenshot of the work helped to highlighting any  with the Learning 
elements of good practice or such in need of improvement  technologist who 
The design of the form could accommodate both a checklist on how  enabled automatic 
complete the work is and also reflect the assessment criteria. Whilst it  upload of the 
span over a few pages, using the tablet computer allows for going  feedback onto the 
through these very swiftly.  Virtual Learning 
Environment (VLE) 
Social  Establishing rapport between  The use of the app has been   
tutors and students that enables  reported at staff development 
future co‐creation and co‐ workshops and TEL (Technology 
production  Enhanced Learning) events. This 
offered more opportunities for 
networking at professional level 
and using the FormConnect and 
similar apps for other in‐class and 
offline assessments. 
Independence  Assessment results were  Tutors were able to conduct the  Feedback forms were 
from time and  published online through the VLE  offline assessment in an  emailed to Admin 
location  and students engaged with tutors  environment of their choice and  immediately upon 
constraints  for clarification and discussion  discuss the progress with  completion of the 
(Independence)  immediately upon their release.  assessment using the latest  assessment. 
records 
Assessment in class through the mobile devices allowed for a more 
personal approach, immediate confirmation of student’s competencies 
and resolution of any concerns about the originality of the work. 
Formative feedback was initiated by students with the opportunity for 
immediate application and clarification of student comprehension of 
the advice. 
Balancing    Completing the feedback in a   
personal and  timely fashion and the 
professional lives  automaton of uploading the 
(Wellbeing)  results on to the VLE has freed up 
time for other personal and 
professional engagements 
In line with existing studies on using tablets to enhance students’ learning (Enriquez, 2010; Kruger and Bester, 
2013;  Strain‐Seymour  et  al.,  2013),  this  study  demonstrates  that  mobile  technology  introduces  functional, 
social  and  creative  values  into  educational  practices.  It  focuses  particularly  on  key  distinctive  features  of 
mobile technology and recognises that mobility allows for flexibility in assessment. This flexibility could be in 
the  form  of  physical  independence  from  tutors’  location  and  assessment  and  feedback  time.  This,  in  turn, 
allows tutors to balance their personal and professional lives.  
 

61
 
Elvira Bolat and Milena Bobeva 

This paper is the first to demonstrate the use of tablets for designing forms prior to an assessment, something 
what Strain‐Seymour (2013) notes as drawback in existing practices, where forms are designed on stationary 
and fixed networks desktop computers first. It can be concluded that designing forms on mobile devices is of 
benefit  to  thinking  through  assessment  criteria  where  appropriate  functionalities  (drop‐down,  radio  button 
options)  can  help  with  assessing  technical  in  nature  tasks  (i.e.  making  calculations,  developing  Excel  spread 
sheet  and  forms).  Furthermore,  such  design  enables  a  quick  and  easy  selection  of  predefined  feedback 
comments or grades when assessing students’ work on the go (like with Mission 1 assessment scenario where 
assessment took place in class).  
 
In  addition,  Thomas  (2000)  reported  that  PBL  has  two  issues  to  be  resolved  by  educators,  integration  of 
technology  into  the  classroom  and  challenges  of  developing  assessment  that  can  capture  students’ 
understanding. Table 1 clearly illustrates that use of tablets can be a solution to the above‐mentioned issues. 
In particular use of tablets in PBL enabled: 
ƒ Rigorous process of reflection and understanding the assessment criteria. 
ƒ Immediacy, relevance, customisation, and creativity in the assessment and feedback process. 
ƒ Triggers for student and colleagues curiosity and enthusiasm. 
Based on tutors’ reflections, drawbacks of using this method for assessment include: 
ƒ Free format text feedback in in‐class settings are not easy to complete when assessing interactively due to 
the mobility of the tutor and the time constraints of the schedule.  
ƒ Immediacy of the feedback should be done with due care to any emotions that students could go through.  
ƒ Tutors  could  be  subjected  to  influence  of  individual  student  behaviour  and  should  be  mindful  of  this 
threat to the objectivity of their assessment.  
ƒ If the assessment form is very detailed, tutors could inadvertedly miss out on completing elements of the 
form. 
ƒ Quality  assurance  through  second  marking  needs  to  be  agreed  up  front  and  communicated  to  students 
through appropriate disclaimer.   
5. Conclusion 
Innovative  solutions, particularly,  use  of  mobile  devices  to  assess  and  provide  feedback,  are  in  line with  the 
High Education Academy (HEA)’s (2014) strategic goal of encouraging academics to adopt and integrate digital 
technologies  to  support  contemporary  pedagogic  practice.  The  findings  of  the  project  on  using  tablets  for 
assessment  reported  here  confirm  that  tablet  computers  have  been  an  effective  change  tool  for  diffusing 
innovation in educational practices, and in particular, in assessing larger classes. Their impact extends beyond 
the  functional  benefits  to  cover  social,  independence  and  wellbeing  values.  Tablets  are  found  to  be  an 
effective  technology  to  be  incorporated  in  the  PBL  classroom  as  well  as  assist  in  the  design  and 
implementation stages of the assessment and feedback practices.  An unexpected outcome was the enhanced 
reputation and respect to the tutors amongst students, the triggering of student curiosity and enthusiasm in 
applying similar approach to their own work.  
 
The  diffusion  of  this  practice  amongst  other  units  and  identifying  other  purposes  for  which  the  mobile  app 
could be used are also seen as achievements exceeding the expectations of the project team.  An extension of 
the project could be through a longitudinal study that focuses on analysing student development as evidenced 
by their reflections. Applicability for students with additional learning needs (ALNs) could also be explored in 
depth  to  understand  how  mobility  element  allows  accommodating  needs  of  such  students.  Applicability  of 
tablets  to  different  forms  of  learning  and  assessment  could  be  investigated  further  to  understand  whether 
tablet is a task‐specific technology to be integrated into educational practice. This will help to prove whether 
educators and mobile technology have provided opportunities for students to develop “the skills, knowledge, 
ethical frameworks, and self‐confidence” to learn within more participatory cultures (Jenkins, 2006). 

References 
Balasubramanian, S., Peterson, R. A., & Jarvenpaa, S. L. (2002) “Exploring the implications of m‐commerce for markets and 
marketing”, Journal of the Academy of Marketing Science, Vol 30, pp 348‐361. 
Bloxham, S. and Boyd, P. (2007) Developing effective assessment in higher education, Maidenhead, Open University Press. 

62
 
Elvira Bolat and Milena Bobeva 

Bolat, E. (2014) “Mobility: Unveiling the essence and value of mobile technology”, Presented at the European Academy of 
Marketing Conference, Valencia, Spain, 3‐6 June.   
Buckingham, D. (2010) “Defining digital literacy”. Presented at Medienbildung in neuen Kulturräumen, VS Verlag für 
Sozialwissenschaften. 
Burdick, A., & Willis, H. (2011) “Digital learning, digital scholarship and design thinking”, Design Studies, Vol 32, No 6, pp 
546‐556. 
Carr, W. and Kemmis, S. (2003) Becoming critical: Education, knowledge and action research, London, Routledge. 
Challis, D. (2005) “Committing to quality learning through adaptive online assessment”, Assessment and Evaluation in 
Higher Education, Vol 30, No 5, pp 519–27. 
Dall’Alba, G. (2005) “Improving teaching: Enhancing ways of being university teachers”, Higher Education Research and 
Development, Vol 24, No 4, pp 361‐372. 
Denton, P. (2003) “Returning feedback to students via email using Electronic Feedback”, Learning and Teaching in Action, 
Vol 2, No 1.  
Denton, P., Madden, J., Roberts, M. and Rowe, P. (2008) “Students’ response to traditional and computer‐assisted 
formative feedback: A comparative case study”, British Journal of Educational Technology Vol 39, No 3, pp 486–500. 
Donnelly, K. (2009) “Learning on the move: How m‐learning could transfer training and development”, Development and 
learning in organisations, Vol 23, pp 8‐11. 
Draskovic, N., Caic, M., and Kustrak, A. (2013) “Croatian perspective(s) on the lecturer‐student interaction through social 
media”, International journal of management cases, Vol 15, No 4, pp 331‐339. 
Enriquez, A. G. (2010) “Enhancing student performance using tablet computers”, College Teaching, Vol 58, No 3, pp 77‐84. 
Fabian, K. MacLean, D. (2014) “Keep taking the tablets? Assessing the use of tablet devices in learning and teaching 
activities in the Further Education sector”, Research in Learning Technology, Vol 22, pp 1‐14. 
Geist, E. (2011) “The game changer: using ipads in college teacher education classes”, College Student Journal, Vol 45, No 4, 
pp 758‐768. 
HEA (2014) “Digital innovation in higher education: changing the learning landscape”, The Guardian Professional. Available 
from: http://www.theguardian.com/higher‐education‐hea‐partner‐zone/changing‐the‐learning‐landscape‐hea  
HEFCE (2007) “2007 Teaching Quality Information Data”, Higher Education Funding Council for England. Available from: 
http://www.hefce.ac.uk/learning/nss/data/2007/  
Heinrich, E., Milne, J., Ramsay, A. and Morrison, D. (2009) “Recommendations for the use of e‐tools for improvements 
around assignment marking quality”, Assessment and Evaluation in Higher Education, Vol 34, No 4, pp 469–79. 
Heppell, S. (2013) “Curriculum is not content”. Posted in the Professor Stephenn Heppell Writing Blog, 22 October. 
Available from: http://workshop.heppell.mobi/2013/10/i‐wrote‐this‐for‐financial‐times‐and‐it.html  
Hepplestone, S., Holden, G., Irwin, B., Parkin, H. J., and Thorpe, L. (2011) “Using technology to encourage student 
engagement with feedback: a literature review”, Research In Learning Technology, Vol 19, No 1, pp 117‐127. 
Ie, A., Haller, C. S., Langer, E. J., and Courvoisier, D. S. (2012) “Mindful multitasking: The relationship between mindful 
flexibility and media multitasking”, Computers in Human Behavior, Vol 28, No 4, pp 1526‐1532. 
Irons, A. (2008) Enhancing learning through formative assessment and feedback, Abingdon, Routledge. 
Jenkins, H. (2006) Convergence Culture: Where Old and New Media Collide, New York, New York University Press. 
Kruger, M. and Bester, R. (2013) “Mobile learning: A kaleidoscope”. Paper presented at In 8th International Conference on 
e‐ Learning, Cape Town, South Africa, 27‐28 June.  
Krumsvik, R. J. (2008) “Situated learning and teachers’ digital competence”, Education and Information Technologies, Vol 
13, No 4, pp 279‐290. 
Maclellan, E. (2001) “Assessment for learning: The differing perceptions of tutors and students”, Assessment and 
evaluation in Higher Education, No 26, No 4, pp 307–18. 
Manuguerra, M., & Petocz, P. (2011) “Promoting Student Engagement by Integrating New Technology into Tertiary 
Education: The Role of the iPad”, Asian Social Science, Vol 7, No 11, pp 61‐65. 
Marty, P. F., Alemanne, N. D., Mendenhall, A., Maurya, M., Southerland, S. A., Sampson, V., and Schellinger, J. (2013) 
“Scientific inquiry, digital literacy, and mobile computing in informal learning environments”, Learning, Media and 
Technology, Vol 38, No 4, pp 407‐428. 
Mercier, E. and Higgins, S. (2014) “Creating joint representations of collaborative problem solving with multi‐touch 
technology”, Journal of Computer Assisted Learning, pp 1‐14. 
Olsen, T. O., and Horgen, S. A. (2013) “Social media in blended learning”. Presented at the INTED2013 Proceedings, pp 240‐
246. 
Parkin, H. J., Hepplestone, S., Holden, G., Irwin, B., and Thorpe, L. (2012) “A role for technology in enhancing students’ 
engagement with feedback”, Assessment and evaluation in Higher Education, Vol 37, No 8, pp 963‐973. 
Patrut, B., Patrut, M., and Cmeciu, C. (2013) Social Media and the New Academic Environment: Pedagogical Challenges, IGI 
Global. 
Plimmer, B., and Mason, P. (2006) “A pen‐based paperless environment for annotating and marking student assignments”.  
Paper presented at the Seventh Australian User Interface Conference (AUIC2006), Darlinghurst, Australia, January 
16–19. 
Raes, A., Schellens, T., De Wever, B. and Vanderhoven, E. (2012) “Scaffolding information problem solving in web‐based 
collaborative inquiry learning”, Computers and Education, Vol 59, No 1, pp 82‐94. 

63
 
Elvira Bolat and Milena Bobeva 

Rich, P. J., and Hannafin, M. (2009) “Video annotation tools technologies to scaffold, structure, and transform teacher 
reflection”, Journal of Teacher Education, Vol 60, No 1, pp 52‐67. 
Rootman‐le Grange, I. and Lutz, M. (2013) “Making Cell Phones User‐ Friendly Formative Assessment and Immediate 
Feedback Tools for First‐Year Chemistry”. Paper presented at the 8th International Conference on e‐ Learning, Cape 
Town, South Africa, 27‐28 June. 
Sadik, A. (2008) “Digital storytelling: a meaningful technology‐integrated approach for engaged student learning”, 
Educational technology research and development, Vol 56, No 4, pp 487‐506. 
Salem, A. (2013) “Enlightening Mobile Computer Aided Learning Assessment Tool”. Paper presented at the 8th 
International Conference on e‐ Learning, Cape Town, South Africa, 27‐28 June. 
Schreiber, M. L. and Hunt, A. (2013) “Integrating Electronic Tablets to Improve Student Performance in the 21st Century 
th
Classroom”, Educational research paper (EDPD 6303‐1), 5  March, pp 1‐11. 
Shifflet, R., Toledo, C., and Mattoon, C. (2012) “Touch tablet surprises: A preschool teacher's story”, Young Children, Vol 67, 
No 3, pp 36‐41. 
Siemens, G. (2005) “Connectivism: A Learning Theory for the Digital Age”, International Journal of Instructional Technology 
and Distance Learning, Vol 2, No 1. 
Spires, H. A., Oliver, K., and Corn, J. (2011) “The New Learning Ecology of One‐to‐One Computing Environments: Preparing 
Teachers for Shifting Dynamics and Relationships”, Journal of Digital Learning in Teacher Education, Vol 28, No 2. 
Strain‐Seymour, E., Craft, J., Davis, L. L., and Elbom, J. (2013) “Testing on Tablets: Part I of a Series of Usability Studies on 
the use of Tablets for K‐12 Assessment Programs”. White paper in Pearson Always Learning series, July, pp 1‐35. 
rd
Tesseras, L. (2014) “Shareable stories help luxury brands reach global travelers”, Marketing week, 23  April.  
Thomas, J. W. (2000) A review of research on project‐based learning, San Rafael, California, The Autodesk Foundation.  
 

64
Virtual Pedagogical Meetings Using Contextualized Forums and 
Opinion Mining  
Farida Bouarab‐Dahmani1, Razika Tahi2 and Tayeb Bouazid3 
1
Computer science Department, Mouloud Mammeri of Tizi‐Ouzou University, Tizi‐Ouzou, 
Algeria 
2
Electrification of industrial enterprises laboratory, Economics Department, Boumerdes 
University, Boumerdes, Algeria 
3
M’sila university, Algeria 
farida.bd2011@Yahoo.fr 
raztahi@Yahoo.fr 
tbouazid@yahoo.fr 
 
Abstract:  Different  meetings  are  planned  in  university  structures  to  discuss  different  pedagogical,  administrative  or 
scientific  questions.  Always,  the  concerned  with  the  meeting  are  required  to  free  themselves  for  these  different 
appointments. Also, sometimes, they are forced to give up some tasks such as teaching. In addition, certain points of the 
topic of discussion require time for reflection and additional data to enable the participants to give meaningful opinions 
and/or propositions what is not possible when these points are presented during the meeting. Sometimes, for important 
subjects, other appointments are necessary, a fact that sends the group involved in the meeting to the same constraints. 
The third problem is related to the persons to invite to the meeting: the question can involve all students and all teachers 
for example, however, it is not possible to have everyone on the place of the meeting. The organizers will then be faced 
with  the  sensitive  issue  of  choice  of  persons.  The  chosen  ones  will  propose  opinions/suggestions  in  place  of  the  others 
which  can  lead  to  conflicting  situations  that  disrupt  university  or  department  operating.  Virtual  meetings  will  avoid  all 
these problems and improve the transparency and quality of discussions. In this paper, we focus on asynchronous virtual 
meeting proposed as a web service that can be integrated to virtual campus structures, university Web sites or e‐learning 
platforms. It is a way for participants (students, teachers, staff) to discuss for a defined period, one or more topics. These 
virtual meetings are implemented in our case as contextualized forums to be created by the department administrator or 
teachers.  After  that  the  forum’s  members  have  to  give,  respectively,  their  opinions  and/or  suggestions  joined  to  their 
respective responses to the discussion. In real time, specific processes for opinion mining and/or text mining suggestions 
give a progressive synthesis of the discussions visible for all participants. We developed a prototype for an e‐department 
from Tizi Ouzou University where virtual pedagogical meetings are integrated. The prototype was tested with a group of 
students,  administrators  and  teachers.  The  results  were  interesting  since,  as  reported  by  the  participants  to  the 
experiment,  everyone,  with  this  Information  and  Communication  Technology  tool,  can  “simply”  participate  to  a 
pedagogical meeting. 
 
Keywords: virtual meetings, asynchronous virtual meetings, educational digital work spaces, contextualized forums  

1. Introduction 
A  department  is  (at  least  in  the  Algerian  universities  context)  the  smallest  education  unit  in  the  university 
generally  designed  for  one  or  two  specialities.  After  the  Information  and  Communication  Technology  (ICT) 
challenges,  different  academic  tasks  use  technologies  to  enhance  the  department  management  and 
teaching/learning  processes.  Technology  in  general  has  not  only  improved  knowledge  storing  methods  and 
learning  techniques  but  has  also  acted  as  a  catalyst  to  combat  the  barriers  of  inflexible  organisational 
structures  (Shabha  2000).  Hence,  some  universities  move  to  virtual  workspaces  or  e‐university  (that  will  be 
composed also of e‐departments) where networks, Internet, computer science processes ... are used to do or 
help the departments activities. We are analyzing nowadays the use of ICTs for concrete add‐ons to education 
institution,  so  we  have  to  analyze  problematic  situations  and  try  to  solve  them  using  the  existing  and  rich 
technology tools. Garrison and Anderson (2003) assert that “to realize that potential of e‐Learning as an open 
but  cohesive  system  to  support  learning,  it  is  essential  that  we  rethink  our  pedagogy”.  One  among  these 
problematic  situations  that  affect  pedagogy  is  related  to  academic  meetings.  Indeed,  different  meetings  are 
scheduled in a department to discuss different pedagogical, administrative or scientific questions. Always, the 
concerned  with  the  meeting  are  required  to  make  efforts  to  free  themselves  for  the  appointment  and 
sometimes, they are forced to give up some tasks such as teaching. In addition, some issues discussed during 
the  meeting  require  serious  reflection  and  maybe  even  data  to  provide  a  successful  review  or  proposition. 
However  when  these  issues  are  presented  during  the  meeting,  a  participant  can  just  give  shallow  opinions 
and/or suggestions. Sometimes, for important subjects, these can lead to other appointments to continue the 

65
 
Farida Bouarab‐Dahmani, Razika Tahi and Tayedb Bouazi 

discussion and the same constraints are repeated for the group involved in the meeting. The third problem is 
related  to  the  number  of  persons  to  invite  to  the  meeting:  the  question  can  involve  all  students  and  all 
teachers for example, however, it is not possible to have everyone on the place of the meeting. The organizers 
will  then  be  faced  with  the  sensitive  issue  of  persons’  choice.  The  chosen  ones  will  propose 
opinions/suggestions in place of the others which can lead conducing to conflicting situations that disrupt s the 
department activities.  
 
In  this  paper,  we  propose  asynchronous  virtual  academic  meetings  integrated  in  the  e‐department.  The 
majority  of  the  existing  works  on  virtual  meetings  concern  the  synchronous  virtual  meetings  such  as 
videoconferencing 1 . “A videoconference is a set of interactive telecommunication technologies which allow two 
sites  or  more  to  interact  through  bidirectional  video  and  audio  transmissions  simultaneously”  (GIVP,  2008). 
However,  synchronous  meetings  can  have  the  same  constraints  than  the  face  to  face  ones.  For  that,  we 
studied  the  case  of  meetings  seen  as  contextualized  forums  that  can  improve  the  quality  of  the  meetings' 
results and decrease the participation constraints for the academics. We first give an overview about digital 
workspaces and virtual meetings. After that, in the third section, we develop our view of asynchronous virtual 
meetings  as  contextual  forums  discussing the  modalities  of  analyzing  the  participants’  proposals.  Before  the 
conclusion, we discuss the evaluation of our contribution.  

2. Digital workspaces and virtual meetings  
A  digital  workspace  for  an  education  institution  called  virtual  school;  virtual  campus  …  allows  its  students, 
teachers and staff to access individualized information and services at any time, from any place, only with an 
Internet connection and a web browser. In different developed countries, these spaces are used and managed. 
They offer many services accessed via a secured user account already created and activated by the workspace 
administrator. Among these services we have:  
ƒ news about the current and upcoming events, whether academic, scientific, community, cultural, related 
to sports, etc; 
ƒ access  to  administrative  information  for  students:  back‐to‐school  calendar,  personal  timetable, 
assessment information: regulations, calendar, results and grades,  
ƒ access to teaching services: submission of practical work,  
ƒ access to e‐learning modules; to library resources and services,  
ƒ online access to existing computing services: management (reading/sending/sorting) of emails, access to 
personal document storage space;  
ƒ additional services such as: access to personal files (whether of studies or career), access to local intranet, 
online personal or shared calendar, access to shared document storage spaces, allowing, for example, a 
teacher and his/her students to share documents, ... 
A  meeting  is  any  situation  where  two  or  more  people  are  gathered  for  discussions  about  work.  It  becomes 
‘virtual’  when  those  people  aren’t  physically  in  the  same  room.  The  meeting  is  synchronous  when  those 
people will discuss at a particular time. This is possible with different tools that can include telephone calls, 
voice  conference  calls,  videoconferences  and  meetings  that  use  online  platforms.  Groups  are  increasingly 
starting  to  have  virtual  forums  that  follow  up  their  face‐to‐face  events,  with  the  aim  of  sustaining  the 
momentum that has already been created. We can also just have an asynchronous meeting as a forum to an 
open discussion on a subject until a deadline time. In all cases, the success of a virtual meeting relies on a well 
defined remit. Indeed, if a group has a clear remit, this establishes the purpose, and increases the likelihood of 
getting  people’s  commitment  to  participate  in  the  virtual  meeting.  Julia  Young  defines  six  critical  success 
factors for running a successful virtual meeting (Young, 2009): planning a viable agenda or series of agendas, 
effective  use  of  technology,  preparing  participants  and  pre‐work,  keeping  participants  focused  and  engaged 
during a virtual meeting, building trust and social capital and maintaining momentum between meetings. In a 
contextualized  forum,  these  factors  are  simplified  since  the  participants  are  involved  in  the  subject  and  are 
concerned by the meeting results and are not obliged to be online. However, as in face to face meetings, each 
participant can be influenced by the other’s opinions to build his/hers.   
 

                                                                 
1
 http://searchcio.techtarget.com.au/news/2240101017/What‐is‐videoconference 

66
 
Farida Bouarab‐Dahmani, Razika Tahi and Tayedb Bouazi 

This  paper  is  about  virtual  meetings  integrated  to  an  e‐department,  a  digital  work  space  for  a  university 
department.  Pedagogical  encounters  or  academic  meetings  are  defined  as  situations  where  the  learner  and 
the teacher/facilitator/professional meet and interact for the purpose of learning. The pedagogical encounters 
always  take  place  in  a  context  influencing the  learning  and  teaching  processes.  We  have  different  academic 
meetings in a university department:  
ƒ pedagogical meetings (PM) that focus on courses, exams, teaching, ... 
ƒ scientific meetings (SM) related to research activities and theirs management 
ƒ administrative meetings (AM) about the management of trainings and resources 
We can also sort each of the meetings above according to different other parameters such as the participants, 
subjects, moderators/creators ... In our framework, we choose the “participants” parameter that defines who 
from the three possible university communities: students, teachers and staff or administrators will be involved. 
We  have  mainly:  Students  &  Teachers  (S&T),  Teachers  &  Teachers  (T&T),  Students  &  Teachers  & 
Administrators  (S&T&A)  and  Teachers  &  Administrators  (T&A).  Figure  2  shows  the  virtual  meetings  (VM) 
hierarchy considered in our research work. 

VM

VPM VSM VAM

T&S-VPM T&S-VSM T&S-VAM

T&T-VPM T&T-VSM T&T-VAM

T&S&A-VPM T&S&A-VSM T&S&A-VAM

T&A-VPM T&A-VSM T&A-VAM

 
Figure 1: Virtual meetings hierarchy  
Each of these department meetings may be: 
ƒ A face to face one: one place and one time for all participants 
ƒ A virtual synchronous one: one time and different places and generally with a specific virtual meeting tool 
(such as Adobe Connec2 , WebEx 3  ...). 
ƒ A virtual Asynchronous one: different places and different times for the participants. 
In this paper, we are interested by virtual asynchronous meetings. We focus indeed, for the evaluation of our 
propositions on asynchronous virtual pedagogical meetings that have these principle advantages:  
ƒ no temporal technical problems, those related to connexions, outage, case of absolute necessity, ...  
ƒ every participant have time to build a complete opinion/suggestion,  
ƒ each  member  of  the  community  (particularly  the  students’  one)  concerned  with  the  meeting  may 
participate  since  there  are  technological  tools  (such  as  those  from  the  text  mining  and  data  mining 
domains) to handle the generated data, 
ƒ no face to face interventions what gives more freedom to express an opinion,  
ƒ every  intervention  is  recorded  what  can  make  the  participant  more  responsible  in  regards  to  his/her 
opinions and suggestions, 
ƒ the  final  decision  will  be  normally  a  coherent  result  according  to  the  different  interventions  especially 
when the data is automatically analyzed. These results are also visible for every participant,   

                                                                 
2
 http://www.adobe.com/fr/products/adobeconnect.html 
3
 http://www.webex.com/ 

67
 
Farida Bouarab‐Dahmani, Razika Tahi and Tayedb Bouazi 

ƒ asynchronous  virtual  meetings  (AVM)  avoids  some  negative  behaviors  that  turn  out  pedagogical 
encounters to other purposes (political, social, personal …) as indicated in (Démosthène, 2001), since the 
creator is obliged to be objective and precise when creating the context of the forum. 
In  the  following  point,  the  proposed  representation  for  virtual  asynchronous  meetings  as  contextualized 
forums is described.  

3. Asynchronous virtual meetings  

3.1 Context and objectives 
In general, our objective is to get an asynchronous virtual meetings (AVM) manager as a web service that can 
be  integrated  to  university  departments  digital  workspaces,  university  portals,  e‐learning  management 
systems, … This module will allow academics (students, teachers, staff) to discuss for a defined period, one or 
more topics. These virtual meetings are implemented in our case as contextualized forums to be created by 
department  administrators  or  teachers.  After  that  the  forum’s  members  have  to  give  respectively  their 
opinions and/or suggestions joined to their respective responses to the discussion.  
 
We consider in our framework that a student can’t be a creator of an AVM, he/she can just post responses. 
However, the administrators and the teachers can be creators (and be “moderators” too) and also responders. 
The AVM manager module is composed mainly on these tasks: 
ƒ AVM creation where the subject points are defined as parameters, the participants are designed and the 
deadline fixed. In the background, adequate controls are to be added as triggers to accord the participants 
to the subject points (e.g.: if a point is about the databases teaching the students and teachers added are 
respectively teaching or learning databases). 
ƒ Responses upload gets the different parts of a response with an adequate dynamic Web page 
ƒ The  AVM  displayer  gives  a  view  for  a  participant  to  see  the  subject,  the  different  responses  and  the 
temporary/final results for each forum selected. 
ƒ The  responses  analyzer  is  based  on  different  computer  science  technologies  such  as  data  analysis, 
statistics, data mining and text mining. It gives synthesises about each point of a meeting subjects in real 
time. It is a decision support module.   
In the following point, the AVM parameters are detailed. 

3.2 The AVM parameters  
We will present in this point the different parameters used to define an asynchronous virtual meeting. This last 
is  seen  as  a  contextualized  or  specialized  forum.  Consequently  it  has  a  creator,  a  subject,  participants  and 
different comment messages as responses. In an open forum, we don’t know who will be the participant and 
either  a  deadline  for  comments.  We  are  speaking  here  about  contextualized  forums  in  the  way  that  each 
forum has a context defined by the participants concerned, the period and the “professional” subjects since 
there is a management objective behind the forum. In a certain way contextualized forums are more “precise” 
and limited forums. Indeed, the main constraints imposed by the forum’s context are: 
ƒ The  respect  of  the  “close  world”  principle  since  only the subscribers  to the  digital  work  space  or  the  e‐
learning platform can participate. 
ƒ After the deadline of the forum, no response will be considered. 
ƒ Two  possible  participations:  the  first  is  by  giving  a  response  to  the  creator  message  where  a  “value”  is 
associated to each point of the subject. The second one is by posting just a comment (textual “value”) to 
one  of  the  participants’  responses.  In  this  paper,  the  experiments  don’t  integrate  this  last  kind  of 
participation  
In our framework, an AVM is described with four parameters (see figure 2). Each parameter is composed of 
one or a set of descriptors. 
 
The  subject  parameter  is  a  set  of  descriptors  that  are  related  respectively  to  the  different  points  or  issues 
discussed in the meeting. Each point descriptor is defined by its identifier, the main text of the point and the 
type of the expected response. We propose three possible types for this last: 

68
 
Farida Bouarab‐Dahmani, Razika Tahi and Tayedb Bouazi 

ƒ Boolean:  true/false  parameter  such  as  a  response  to  a  precise  question  as  “do  you  agree  to  a 
supplementary course next week?” 
ƒ Enumerated: it is a response where the responder will choose between a set of given values (numbers, 
chars, strings ...). For example “when would you do the presentation of the mini projects: Monday April 25, 
Saturday May 2 or Saturday May 7?” 
ƒ Textual: Open response, generally, it is a short text where a participant expresses a comment, suggestion 
or opinion concerning the point. For example, for a pedagogical meeting, we can put this point to discuss 
the possible improvements for a course: “what do you think about the teacher’s courses?” 

Subject Parameters

Participants Parameters
Creator parameters

Validity Period Parameters

 
Figure 2: Virtual meetings parameters 
The participants’ parameter indicates who is allowed to participate in the meeting from the different groups, 
sections of students, teachers and administrators (department staff members). It depends on the kind of the 
VM (T&T, T&S ...). When a participant is added to a forum, this last will be displayed in his/her user space as 
current forum.  
 
The creator’s parameters describe the creator of the forum and the validity period parameter indicates mainly 
the creation date and the deadline for the forum. 

3.3 Analysis of the virtual meeting data 
The  analysis  of  the  AVM  contributions  is  done  by  the  study  of  the  collected  data  brought  in  the  different 
responses.  Statistics,  data  analysis,  data  mining  and  text  mining  processes  can  be  used  at  this  step  for  an 
automated analysis. At this level of our work, statistical analysis techniques are used to process Boolean and 
enumerated variables.  
 
For  the  textual  responses,  we  are  currently  developing  a  text  mining  module  with  its  different  tasks  with  a 
particular  interest  for  opinion  mining.  “The  objective  of  Text  Mining  is  to  exploit  information  contained  in 
textual  documents  in  various  ways,  including  discovery  of  patterns  and  trends  in  data,  associations  among 
entities,  predictive  rules,  etc.”  (Grobelnik  &  al.,  2001).  Current  research  in  the  text  mining  domain  tackles 
problems of text representation, classification, clustering, information extraction or the search for patterns. In 
this context the selection of characteristics and also the influence of domain knowledge and domain‐specific 
procedures play an important role. In the background or text mining processes, there are always tasks from 
different domains such as data mining, information retrieval, natural language processing, statistical analysis ... 
Opinion  mining  is  an  emerging  research  direction  for  text  mining.  Opinion  mining  and  sentiment  analysis 
actually focus on polarity detection and emotion recognition (Cambria & al. 2013).  
 
We will focus first, in our work, on polarity detection. Indeed, using opinion analysis processes we can analyse 
the position of a participant to the AVM subject points. For example if the point question is “Is the databases 
teaching going on well for every one?”  We can have direct and simple response as Boolean response (yes/no) 
and also have detailed opinions where points of views are described. The opinions will be analysed according 
to the chosen polarities such as: positive, negative, without opinion. Details about this module will be seen in a 
future paper. 
4. Evaluation of the proposals  
First, the theoretical propositions were discussed in a face to face meeting with all the pedagogy vice deans 
and pedagogy vice president of Tizi Ouzou university. The eight vice deans agreed with the project and thought 

69
 
Farida Bouarab‐Dahmani, Razika Tahi and Tayedb Bouazi 

that the AVM management is among the interesting tasks for the university work space that will begin by its 
concretization  in  an  e‐department.  After  that,  the  development  of  a  prototype  for  an  e‐department  with  a 
module for AVM management was started. We used the Java IDE Netbeans with some other tools and APIs 
such as the glassfish application server and Mysql databases server.  
 
The prototype focuses, in its first version, on asynchronous virtual pedagogical meetings (AVPM). The creation, 
display and analysis tasks are developed. Figure 3 shows a screen sheet where an administrator is creating an 
APVM (in French: “conseil pédagogique (CP)”) for the first year academic licence in computer science students. 
We just indicate here that within this prototype the participants, from the teachers, will be among the chosen 
students’ teachers in the e‐department database.  

 
Figure 3: AVPM creation from a department administrator’s space 
After the forum creation and its activation, the participants will see it in their respective spaces. Figure 4 for 
example shows a student’s space where she can see the existing AVPM and the details about a given “CP” by 
clicking  on  the  “consulter”  button.  After  each  response  to  the  forum,  the  analyzer  works  to  give  temporary 
results  visible  to  each  participant.  At  this  time  the  prototype  can  give  “vote”  results  after  Boolean  or 
enumerated variables analysis. Figure 5 shows an example about the display of the analyzer results. 

 
Figure 4: AVPM consultation from a department student space 

70
 
Farida Bouarab‐Dahmani, Razika Tahi and Tayedb Bouazi 

 
Figure 5: Example about the display of the analyser results in a participant’s space 
The  opinion  and  text  mining  analysis  module  is  now  under  testing.  The  opinion  mining  developed  is  mainly 
based  on  the  detection  of  three  opinions:  positive,  negative  and  neutral  according  to  an  analysis  objective 
which is in our case a subject point. Other text mining processes are also under development for: suggestions 
classification, entities extraction ... that we will discuss in our future papers.  
 
The first version of the e‐department prototype with the AVM management module was tested with a group 
of  volunteers  from  the  Computer  Science  Department  of  Tizi  Ouzou  University.  The  group  is  composed  of 
twenty (20) students from Master 1 group, seven (7) teachers and two administrators. Two different forums 
were created by the administrators and implicated the twenty students and the seven teachers. The subjects 
points were about the different teaching of the given master1 training, so we are with the AVPM category. The 
duration  for  each  of  the  two  successive  forums  is  one  week.  We  could  test  with  the  developers  that  the 
different  functions  of  the  e‐department,  particularly  those  related  to  the  AVM  management  are  good.  In 
addition  we  got  different  textual  opinions  and  suggestions  that  are  currently  used  for  the  opinion  and  text 
mining processes tests.  
 
After  that,  we  asked  the  participants  about  their  opinions  on  the  AVM  module  and  on  its  impact  on  their 
different activities in the department. All were positives and thought that it will be “easy” to participate to a 
meeting, increase transparency and quality of decisions. It remains indeed the management of the change to 
the  new  mode  of  communication,  easy  for  computer  science  community  but  not  evident  for  other 
departments  where  the  staff  is  not  lapped  in  the  use  of  technology.  In  this  respect,  we  have  to  conduct  an 
experiment with these kinds of departments in a further work.  

5. Conclusion 
We presented in this paper asynchronous virtual meetings, a way for academics from a department to meet 
and  discuss  pedagogical,  scientific  or  administrative  subjects  without  time  and  place  constraints.  The  AVM 
module  is  a  plug  in  tool  that  can  be  added  to  university  digital  workspaces,  academic  websites  or  the  e‐
learning  management  systems.  We  developed  and  tested  a  prototype  for  this  purpose  with  a  group  of 
participants  (students,  teachers  and  administrators)  from  the  computer  science  department  of  Tizi  Ouzou 
university. In this prototype, the AVM module is a part of the e‐department which is a digital workspace. The 
results are positive and interesting. We are currently finalizing a first version of the textual variables analysis 
with  text  mining  and  opinion  mining  technologies.  We  have  also  the  perspective  to  conduct  an  experiment 
with a department from humanities.  

References  
Cambria, E., Schuller, B., Xia, Y. and C. Havasi, (2013): New avenues in opinion mining and sentiment analysis. In IEEE 
intelligent systems, Published by the IEEE Computer Society, March/April 2013.  

71
 
Farida Bouarab‐Dahmani, Razika Tahi and Tayedb Bouazi 

Démosthène, M. (2001). Laguigne anime le conseil pédagogique: Impulser, coordonner et réaliser la partie pédagogique du 
projet d’établissement. Communication professionnelle du ministre français et de la recherche. © Démosthène 2001, 
www.esen.education.fr.  
Garrison, D. R., Anderson, T., and Archer, W. (2000): Critical inquiry in a text‐based environment: Computer conferencing in 
higher education. The Internet and Higher Education, Vol. 2 No 2‐3, pp 87‐105. 
GIVP (2008): Lignes directrices sur l’utilisation de la videoconference. From the work group GiVP, seen at: 
http://www.givpedu.org/files/toolkit/PIMprotection10f.pdf on June 23, 2014. 
Grobelnik, M., Mladenic, D. and N. Milic‐Frayling (2000): Text Mining as Integration of Several Related Research Areas: 
Report on KDD’2000 Workshop on Text Mining. 2000. 
Shabha, G. (2000): Virtual universities in the third millennium: an assessment of the implications of teleworking on 
university buildings and space planning. Facilities. Vol.18, No.5, pp235‐244. 
Young, J. (2009): Six Critical Success Factors for Running a Successful Virtual Meeting. Read in http://www.facilitate.com/.  

72
One Among Many: The iPad in Shifting Material Cultures of 
Learning 
Mie Buhl1 and Bente Meyer2 
1
Department of Communication, Aalborg University, Copenhagen 
2
Department of Learning and Philosophy, Aalborg University, Copenhagen 
mib@hum.aau.dk 
bm@learning.aau.dk 
 
Abstract: In this paper we shall discuss how the iPad becomes an actor in socio‐material contexts of schooling and how it 
becomes  significant  for  learning  as  an  artifact  with  specific  affordances  within  these  contexts.  We  argue  that  the 
implementation of the iPad may expose the diversity of artifacts that are already present as actors in learning contexts.  As 
one among many artefacts used in orchestrating learning, the iPad acts in shifting material cultures of schooling where for 
instance pens, paper, books or interactive whiteboards are used in combination with the tablet.  At other times the iPad 
itself acts as a book that mediates learning in specific ways, for instance by involving the reader through interaction or by 
new forms of visual representation. In its shifting representational forms, modalities and relationships the iPad provides 
specific affordances for learning and contributes to the transformation of e.g. textual and visual cultures in areas such as 
reading and science education. This indicates the need for discussing how curricula knowledge and skills can be understood 
in the socio‐material contexts of learning where iPads are involved. The paper builds on data from two research projects 
that  investigated  the  iPad  as  a  learning  device  in  the  context  of  primary  and  lower  secondary  schooling  in  Denmark.  In 
these  projects  learning  with  the  iPad  focused  on  1)  the  role  of  the  iPad  in  inclusive  learning  environments  2)  children’s 
visual  cultures  and  the  development  of  the  iBook  iTAVS.    Based  on  these  projects  the  paper  will  give  examples  of  how 
empirical observation and analysis can contribute to understanding learning cultures in which iPads are embedded as part 
of the learning. 
 
Keywords: socio‐material cultures of learning, learning with iPads, visual cultures in schooling 

1. Introduction 
The iPad is a relatively new technology in education that promises to provide teachers and learners with new 
potentials  for organizing  learning, creating and accessing learning content.  Contrary  to  other  mobile  devices 
such as mobile phones, iPads have been introduced into schools and have been accepted as significant actors 
in educational change. Like the mobile phone and other portable devices it therefore promises personalization 
of  learning,  situated  and  student  driven  use  of  technologies  and  new  time‐space  relationships  in  learners’ 
access to learning (Burden et al 2012, Melhuish & Falloon 2010). 
 
However, as a new a flexible device in learners’ lives the iPad cannot be divorced from the social and material 
cultures  in  which  it  is  ‘seamlessly’  embedded  and  interwoven  (Henderson  &  Yeow  2012,  Traxler  2010).  We 
therefore  propose  that  what  becomes  visible  in  the  research  of  ‘learning  with  iPads’  is  not  only  the  iPads 
themselves as drivers of change but the relationships, networks and circulations in which they are involved as 
embedded agents of change (Meyer forthcoming). In the following we shall develop this argument based on 
empirical  and  theoretical  work  done  in  two  projects  where  iPads  were  involved  as  emergent  actors  in 
schooling. 

2. Approaches 
The  study  of  flexible  mobile  technologies  such  as  the  iPad  will  engage  theories  that  are  highly  sensitive  to 
socio‐material  practices  as  iPads  are  embedded  in  learners’  life  worlds  and  entangled  in  a  variety  of 
educational  activities  (Burden  et  al  2012,  Henderson  &  Yeow  2012).  As  flexible,  mobile  devices  iPads  are 
culturally  embedded  resources  that  allow  users  to  engage  in  knowledge  “distributed  across  people, 
communities, locations, time, social contexts, sites of practice” (Cook et al 2011, 187).  
 
However, whereas the time‐space transformations of learning environments may be significant in the study of 
learning  with  mobile  devices,  these  approaches  to  some  extent  fail  to  identify  the  ways  in  which  mobile 
technologies circulate within material and visual cultures of formal schooling. According to Lawn & Grosvenor 
(2001, 2005) material cultures have defined educational activities since the formation of schools as specialist 
th
institutions in the early 19  century.  Schools have generally come equipped with – or developed – material 
cultures in which teachers and learners have had to constitute learning by linking activities to different kinds of 

73
 
Mie Buhl and Bente Meyer 

artefacts that have been established as relevant for schooling over time. Highly profiled technologies such as 
the iPad are, we shall argue, just a recent addition to this complex web of artefacts in schooling which shapes 
the ways in which learners can learn and teachers can teach. In addition to this the design of learning material 
for  the  iPad  may,  we  propose,  remediate  existing  material  cultures  and  their  affordances  in  similar  webs  of 
material relationships. Thus, the making of an iBook for the iPad may for instance draw on established formats 
such as the book while adding new visual repertoires and agency for learners. The emergence of technologies 
has  exposed  new  opportunities  for  visualization  in  learning.  The  visual  practices  form  and  are  formed  by  a 
formal as well as an informal and global visual culture of learning, where exchange and use of visual material 
calls for new approaches to understanding the role of the visual in learning. 
 
In  our  studies  we  are  inspired  by  theories  that  capture  the  complex  material  and  semiotic  relationships  in 
teaching  and  learning  in  which  the  iPad  becomes  an  actor,  specifically  Actor  Network  Theory  (ANT)  (Latour 
2005, Sørensen 2009, Johri 2011, Fenwick, Edwards and Sawchuk 2011, Fenwick and Edwards 2012) studies in 
the history of schooling (Lawn & Grosvenor 2001, 2005, Burke et al 2010), semiotics (Kress 2010) and visual 
culture  studies  (Mirzoeff  2009,  Pauwels  2006).These  theoretical  inspirations  contribute  to  understanding 
mobile devices such as the iPad as elements of a shifting material culture of schooling. 

2.1 ANT and emergent approaches to educational change 
According to Bruno Latour one of the significant contributions of ANT has been “to have transformed the social 
from what was a surface, a territory, a province of reality, into a circulation” (1999, 17). In education studies 
this  can  be  translated  into  an  understanding  of  how  artefacts  are  enrolled  in  webs  of  socio‐material 
negotiations that constitute processes of learning such as for instance writing, reading or doing biology. In this 
understanding,  according  to  for  instance  McGregor  (2004)  artefacts  should  not  be  understood  as  passive 
presences  or  mechanistic  manipulators,  but  as  actively  participating    in  constituting  spaces,  trajectories  and 
relationships in education.  
 
In his discussion of the role of socio‐material theory for learning Aditya Johri draws on a number of sources, 
but significantly Latour (2005) and Levi‐Strauss (1967) to define how the concept of socio‐material bricolage 
can  be  used  as  an  analytical  framework  for  understanding  emergent  practices  with  learning  technologies. 
Building on Levi‐Strauss, Johri argues that educational actors often use the tools that are available to them, i.e. 
they make do with what is at hand, rather than sticking to planned approaches that would require them to use 
tools that are not immediately available in their local space of practice. These actions are conceptualized by 
the term bricolage which may therefore support understandings of “the emergent and socially and materially 
intertwined  nature  of  human  practices”  (2011,  212)  in  which  iPads  become  actors.  Furthermore,  the  iPad 
facilitates a remediation of traditional formats, such as the book, where the interface allows access to practice 
learning activities in the mixture of own experiences and a global context of visual cultures, which calls for a 
research  approach  of  curiosity  (Rogoff  1998)  of  ethnographical  presence  and  of  anthropological  distance 
(Hastrup 1992, Buhl 2013).    
3. Methodology and data 
The  paper  builds  on  data  from  two  research  projects  that  investigated  the  iPad  as  a  learning  device  in  the 
context of primary and lower secondary schooling in Denmark. In these projects learning with the iPad focused 
on 1) the role of the iPad in inclusive learning environments 2) children’s visual cultures and the development 
of the iBook iTAVS. These projects illustrate how the iPad is involved in both redesigns of existing educational 
formats such as the book and in socio‐material relationships in everyday schooling.  In the projects described 
below we used qualitative methods to understand how iPads are afforded agency in learning and contribute to 
redefining practices, relationships and representational forms in education.    

3.1 Case 1: The role of iPads in inclusive learning environments 
The  shifting  enactments  of  iPad  usage  in  practice  and  its  relationships  with  the  socio‐material  culture  of 
schooling was the focus of a research project that followed teachers and pupils in “Middletown school” in the 
west of Denmark in the school year of 2012‐13.The project followed 5 classes of 7 graders (aged 13‐14) who 
were given iPads on a one pupil one device basis to keep for the entire school year. Two of the classes were 
special  needs  classes  as  one  of  the  questions  asked  by  the  research  project  was  how  the  use  of  iPads  in 
teaching  and  learning  could  support  inclusive  learning  environments  and  facilitate  different  learners’  needs. 

74
 
Mie Buhl and Bente Meyer 

Pupils  in  all  five  classes  were  followed  for  three  months  at  the  beginning  of  the  school  year  through 
observations of their daily lives in school and interviews with groups of pupils. In addition to this teachers were 
followed in classes, at meetings and during breaks and introductory courses. What emerged from the project 
was  an  empirically  based  understanding  of  how  iPads  become  actors  in  education  through  for  instance 
assemblages  of  materials  and  bricolage.  Processes  of  iPad  usage  were  captured  through  photographs  and 
videos of selected learning scenarios. 

3.2 Case 2: Children’s visual cultures and the development of the iBook ITAVS 
The development project Experiencing Literature with new Media – from eBook to iBook studied how students 
from 6th‐9th grade engage with and experience literature on screen. Furthermore, the project engaged with 
the  creation  of  an  iBook  based  on  these  experiences.  The  point  of  departure  was  the  Danish  graphic  novel 
TAVS (Silent) for children and adolescents written by Camilla Hübbe and illustrated by Rasmus Meisler, who 
aimed at producing an interactive version of their book in cooperation with the target group.  
 
The  project  was  a  cooperation  between  authors,  publisher,  libraries  and  four  schools  and  headed  by  Quist 
Henkel  and  Bonde  Nissen  during  2012‐2013.  The  students  took  part  in  the  development  of  the  aesthetic 
production of the iBook throughout reading experiences and meetings with the author and illustrator, and the 
results revealed an increased interest for reading among the students involved in the process. 
 
Development of an iBook can take many forms where students are more or less involved in telling the story. In 
this  particular  project  the  story  was  already  told  and  a  first  edition  of  the  paper  graphic  novel  had  been 
published before the project started. This implied that the realisation of the students’ suggestions and ideas 
for  the  iBook  were  mainly  of  an  aesthetic  nature  drawing  on  the  possibilities  connected  with  the  different 
modes of visuals, sounds, text and animations. For instance, the students had ideas for how to use sound and 
animations  in  the  iBook  version  which  were  implemented.  The  students’  ideas  emerged  from  reading  and 
working  with  the  book  chapter  in  class  and  later  from  user  involvement  in  testing  different  prototypes  and 
discussing them with the authors.  
 
One might argue that this approach does not fully utilize the potential of digital interactivity in the final iBook, 
which  is  true  since  the  story  is  fixed.    But  the  developmental  process  takes  the  students’  experiences  with 
games and social media from leisure activities into account. The manga themes activates the visual cultures of 
comics, food (sushi) and sport games that is a well‐known part of their everyday lives and give the students  
the  opportunity  to  connect  to  the  literary  content  as  well  as  to  contribute  with  ideas  to  the  aesthetic 
formation of it.  
 
Thus, the set‐up constitutes the stage for creating a mosaic of text, visual repertoires and sound effects that 
refers  to  an  actual  experience  of  facts  and  fiction,  and  a  mix  of  geographic  and  virtual  locations.  A  mosaic 
where a modern Western city life is combined with Japanese manga culture creates a magic universe which 
appeals to the target group.   
4. Analysis 
In  the  following  we  shall  account  for  and  analyze  how  the  different  uses  of  the  iPad  –  in  respectively  the 
learning design for an iBook and classroom usage – contributes to our knowledge of how iPads can participate 
in education.  

4.1 Case 1: iPads in the socio‐material culture of schooling 
IPads  are  often  seen  as  transformative  technologies  that  may  replace  or  marginalize  other  technologies  in 
order to redefine learning spaces and reform teaching and learning. However, as the study followed teachers, 
pupils  and  iPads  into  the  classrooms  of  Middletown  school,  it  became  immediately  obvious  that  the  iPads 
would not simply outdate or make other learning resources superfluous. On the contrary, it seemed that in a 
number  of  cases  the  iPad  facilitated  new  relationships,  combinations  and  links  in  the  elaborate  material 
culture  of  schools  that  supported  specific  and  subject  specialized  uses  of  artefacts  and  modes.  In  language 
education, the iPad might for instance be used as a voice recorder that pupils could combine with their reading 
or writing in the target language. In maths, the iPad would be used as a calculator linked to pupils’ work with 
sums  in  their  jotters  or  as  a  jotter  itself,  where  students  could  take  notes  or  document  results.  In  science 

75
 
Mie Buhl and Bente Meyer 

education, the iPad would be enrolled as a search machine to access images of the solar system, or it might 
operate as a camera that could capture visual representations of the solar system from for instance books that 
could then be copied onto a poster. These links between materials, modes and activities seemed to be defined 
by  ritualized  rhythms  of  practice  that  had  been  established  over  time  through  teachers’  and  learners’ 
improvisations in practice or through teachers’ theories of practice (Schön 1983) . 

 
Figure 1: Doing German 
In  the  Middletown  school  study  rhythms  of  practice  were  observed  in  the  circulation  of  materialities  in  the 
classroom,  where  learning  was  often  enacted  through  the  piling  or  linking  of  resources  in  assemblages  that 
included  iPads,  and  that  were  unique  expressions  of  pupils’  emergent  organisations  of  learning  practices. 
Inspired by Johri (2011) we use the term socio‐material bricolage as an analytical framework to describe the 
entanglement of material and social aspects of teaching and learning with technologies which will underline 
the  emergent  and  improvisational  nature  of  change  when  seen  from  a  practice  perspective.  In  these 
improvisational rhythms the iPad became a central actor because of its flexibility and availability, i.e. the fact 
that it is at hand and immediately accessible to the user (Levi‐Strauss 1967, Johri 2011). 
 
Bricolage  is  one  kind  of  learning  activity  where  iPads  are  enrolled  as  significant  actors  in  learning  that  in 
different  ways  contribute  to  the  stabilization  as  well  as  the  transformation  of  practice.  When  teachers  and 
learners  engage  in  bricolage,  iPads  are  enrolled  in  the  role  of  for  instance  calculators,  jotters,  cameras  or 
sound recorders in different kinds of relationships with other resources. These relationships are understood to 
afford different kinds of learning, for instance in maths, German or science.  

 
Figure 2: Doing maths 
In socio‐material bricolage resources such as calculators, cameras and books are remediated through the iPad 
as  a  flexible  learning  device.  Remediation  entails  a  translation  or  re‐representation  of  one  medium  into 
another,  such  as  when  the  iPad  is  used  as  a  calculator  (Bolter  &  Grusin  1999).  Remediation  is  therefore  to 
some  extent  what  gives  agency  to  the  iPad  in  the  specific  learning  context,  as  for  instance  when  the  iPad 

76
 
Mie Buhl and Bente Meyer 

becomes  a  jotter  that  can  support  how  knowledge  is  documented  or  stored  more  easily  than  on  paper.  
However, as part of the socio‐material bricolage the iPad is awarded agency only as one actor in a hybrid of 
assemblages that are constantly shifting. In these assemblages, links and associations contribute to affording 
the learning potentials of the device, for instance by allowing shifts between modes. As an example, the pupils 
in Middletown school have discovered the potential of what Kress (2010) calls “capturing” i.e. the copying of 
content  by  photographing,  sharing  and  storing  information  on  smart  devices  such  as  the  iPad.  According  to 
Kress  the  capturing  of  images  and  copying  of  semiotic  material  from  the  internet  has  gained  priority  over 
producing  written  content.  Kress  argues  that  this  process  of  convergence  “changes  the  way  we  conceive  of 
representational means and meaning‐making in the world, favouring selection, ‘capture’ and transformation 
rather that ‘production from scratch’” (2010, 188). This capturing of content adequately describes one of the 
significant  processes  associated  with  the  links  between  iPads  and  other  learning  materials  in  Middletown 
school where pupils ‐ by for instance capturing content from the blackboard onto the iPad ‐ would transform 
note‐taking from a hand written text activity to an image that could be saved. Capturing therefore became a 
significant activity that the iPads added to the system of socio‐material enactments in Middletown school.  

4.2 Children’s visual cultures and the development of the iBook TAVS  
The iPad’s entrance into the classroom does not only function as a general facilitator of new learning forms.  
The technology mediates learning resources in former well‐known formats as e.g. books which generates new 
representational forms. A book in literature class is not necessarily a paper book with text in a linear structure. 
Rather it represents a chain of mediations for literature experiences. The emergence of iBooks forms an area 
of multimodal reading experiences where the text is one among many modes of expression and iBooks point 
to  the  ‘generic’  qualities  of  traditional  paper  books.  Graphic  novels  are  an  example  of  how  images  and  text 
interact in one literary expression drawing on the structure of comics. Graphic novels exemplify a re‐mediation 
of  the  literary  content  of  the  paper  book  (Bolter  &  Grusin  1999).  The  iPad  makes  it  possible  to  further  re‐
mediation by transforming the paper book into an interactive book (iBook).  
 
One  obvious  aspect  of  this  re‐mediation  chain  is  the  transformation  of  materials;  another  aspect  is  the 
transformation  of  representational  forms  which  affects  and  draws  on  children’s  visual  cultures.  Previous 
studies  in  the  field  of  visual  representations  reveal  results  similar  to  Kress’  (2010)  of  how  meaning‐making 
comes  about  as  visual  selections  rather  than  visual  productions  from  scratch  (Buhl  2002,  2004).  Visual 
repertoires  appear  to  re‐cycle  in  never  ending  variations,  from  which  visual  cultures  develop.    iTAVS 
exemplifies the emergence of a trans‐geographical practice of visual culture drawing on a local interpretation 
of globalized repertoires.  
 
TAVS  is  the  story  of  a  Danish  boy  who  lost  his  twin  brother  and  while  struggling  with  loss  and  grief,  he 
experiences  adolescence  and  the  beginning  of  an  adult  life  where  relations  to  parents,  friends,  love  and 
sexuality  are  reflected  on.  He  lives  a  life  that  requires  the  ability  to  adapt  to  various  contexts  following  his 
parents  and  their  professional  career  which  brings  them  to  different  parts  of  the  world.  When  the  reader 
meets him, he has just landed in Tokyo and is about to have breakdown brought about by a pressure on him to 
perform  at  his  parents’  dinner  party.  This  is  also  the  starting  point  of  his  mental  journey  into  a  fiction  of 
Japanese universes of manga in a mix of myths and modern life.  

 
Figure 3: Illustrations from the iBook TAVS by Author: Camilla Hübbe & Illustrator Rasmus Preisler 
The representational forms of the book are constituted by a visual interplay between texts and pictures which 
are  enhanced  by  animations  in  the  interactive  version.    The  interactive  version  of  the  book  has  a  strong 

77
 
Mie Buhl and Bente Meyer 

reference  to  a  paper  book  and  the  story  starts  up  in  the  traditional  way  with  text  pages.  Along  with  the 
development of the story, the text starts moving on the pages, drawings are applied, and the sound is added 
the  moment  the  main  character.  breaks  into  the  fiction  world  sitting  on  the  back  of  a  big  frog.  After  this, 
modes of images, sounds and animations together with texts become drivers of the story. 

 
Figure 4: Illustrations from the iBook TAVS by Author: Camilla Hübbe & Illustrator Rasmus Preisler 
What we see here is a content driven use of representational forms, which supports and expands the literary 
content.    Text  and  pictures  take  on  different  functions  and  constitutes  a  domain  of  meaning‐making  (Elkins 
1999). In comics there are different visual conventions for expressing modes of sound like e.g. SHOUTING is 
expressed with capital letters. In the iBook version this is further enhanced.  
 
The  structure  of  TAVS  seems  to  have  two  principles  for structuring  the  literary  experience  through  text  and 
images.  One  principle  is  that  the  visual  domain  either  should  support  the  reader’s  decoding  or  expand  the 
reader’s  experience  (Buhl  2010);  the  other  principle  is  that  the  experience  must  never  disconnect  from  the 
reference of the ‘paper book’. Interactivity is driven by the affordances of the touch screen, which allows the 
user  to  peruse  through  the  book  pages  which  is  a  remediation  of  a  physical  activity  (i.e.  turning  pages) 
referring to a paper book. The tactile experience of touching a paper page is replaced by a smooth surface. The 
effect of this is not a kind of concrete translation to an intended book‐like experience because the touchscreen 
is  already  too  integrated  in  young  readers’  every‐day  lives.  It  is  rather  a  narrative  that  TAVS  is  to  be 
approached like a book where some of the pages come alive.  To the target group the touch screen may even 
be the most well‐known and the paper book is the new experience. In connecting the literary experience of 
the iBook to a conventional paper book, the iPad becomes one among many material cultures in school while 
referring to these cultures. 
 
The visual repertoire of TAVS draws on a western interpretation of Japanese culture and is performed mainly 
in  the  art  form  of  coloured  drawings  by  the  book  illustrator.  TAVS  is  an  example  of  a  mix  of  visual 
representational  forms  drawing  on  global  visual  repertoires  of  references  that  generate  new  meaning  when 
they  appear  in  a  new  context.  In  visual  culture  studies  this  refers  both  to  a  field  of  images  and  visual 
phenomena  and  to  a  particular  practice  for  generating  knowledge  (  Mirzoeff  2000,  Mitchell  2002;  Buhl  & 
Flensborg  2011).  For  instance,  a  cat  is  a  key  and  symbolic  character  throughout  the  story  and  goes  through 
various transformations from a stuffed toy over a living animal to a Japanese girl with cat ears. All illustrated 
with references to Western as well as Japanese representations of the cat‐theme in children’s books, in comics, 
in movies (e.g. Cat Woman in Batman or a cat girl in Tokyo in Lost in translation), in illustrated nature books, 
which  refers  to  a  broad  visual  culture  of  science  drawing  on  an  interest  in  visualizing  a  phenomenon  as 
precisely possible (Pauwels 2006).  
 
From  the  point  where  the  iTAVS  refers  to  a  paper  book,  one  can  ask  what  the  interactive  version  actually 
contributes with.  The project indicates that integrating images and animations into the narrative of the story 
activates  visual  perception  as  well  as  visual  repertoires  as  drivers  for  literary  experience.  Furthermore,  the 
physical interaction with the screen activates the students’ skills from using social media and participating in 
visual cultures on the Internet. iTAVS creates experiences which are driven by concrete reading activities and 
practices  of  visual  culture  and  motivates  the  students  to  seek  for  factual  knowledge  about  Japan  (Henkel  & 
Nissen  2013).  In  class,  iTAVS  facilitates  social  processes  where  the  students  approach  the  literary  content 
through discussions and negations of meaning, which indicates a field of aesthetic experience which is social 
and known from their activities with social media. 
 
From the perspective of the project, the iPad serves as an artifact that can turn into a representation of a book 
with  pages.  The  iPad  serves  as  the  interface  for  a  universe  of  fiction  and  facts  promoting  a  multimodal 

78
 
Mie Buhl and Bente Meyer 

experience achieved through various modes and narrative structures.  Furthermore, it serves as the driver of 
diverse visual cultures and aesthetic experiences as an expansion of a literary experience.  

5. Conclusions 
Our  research  shows  that  the  iPad  acts  not  as  an  autonomous  device  but  as  one  among  many  in  shifting 
material  cultures  of  schooling  where  links  and  references  give  agency  to  the  tablet  in  specific  and  changing 
learning contexts. An example of this is when the iPad acts as a calculator that is used with a jotter and book to 
do maths. At other times the iPad itself acts as a book that mediates learning in specific ways, for instance by 
involving  the  reader  through  interaction  or  by  new  forms  of  visual  representation.  Educational  change  is 
generated within these material cultures and networks of representational forms where the iPad is linked up 
with  different  modalities,  formats  and  practices.  In  these  relationships  and  assemblages  change  happens 
continually, but slowly, in the sense that what can be identified as change may not be revolutionizing practice 
but rather reconceptualising, transforming or enhancing it in the moment.  
 
On the basis of our analysis of data it can be suggested that one of the interesting aspects of emergent change 
in learning with the iPad can be identified in the ways in which visual repertoires, cultures and practices are 
referenced through the connection of iPads to existing material cultures and formats. One example of this is 
the  capturing  of  information  observed  in  the  Middletown  school  study,  where  pupils  used  the  camera  and 
recording  functions  of  the  iPad  to  store,  share  and  work  with  knowledge.  Another  example  is  the  ways  in 
which the creation of the iBook taps into visual cultures that are global and specific for children’s cultures in a 
variety of contexts. The studies reveal new constellations of material artifacts and interfaces rather than the 
indication of a radical change in the practice and use of the iPad. The learning potentials are therefore more 
closely related to the pedagogical choices than to the artifact as such. Furthermore the development of means 
for literary experiences is more closely related to the artistic ideas than to the technological possibilities. The 
two cases indicate that change happens at the pace of practice and that the iPad takes its role as part of the 
situations in which it is embedded and the visual cultures through which it is connected.  
References 
Bolter, J.D. & & Grusin, R.A. (1999). Remediation – Understanding new media,. Camebridge: MIT Press 
Buhl, M. (2013). iTAVS som visuel kultur og læringsressource [iTAVS as visual culture and learning resource] in: Frausing, G. : 
Bevægende børnelitteratur [moving childrens literature], Copenhagen: Kommunernes Biblioteksforening 
Buhl, M. & Flensborg, I (2011): Visuel Kulturpædagogik. Copenhagen: Hans Reitzels Forlag 
Buhl, M (2010). Images and Visuality in ICT educational design. In: Min, Weifang & Qvortrup, L. (ed.). Frameworks for 
Lifelong Learning. Beijing:  
Buhl, M. (2004). Visual culture as a strategy of reflection in education. In: Nordisk Pedagogik, Vol. 24/ 4,   
Buhl, M. (2002), Paradoksal Billedpædagogik [Paradoxical visual arts pedagogy]. Copenhagen: The Danish University Press 
Burden, K., Hopkins, P., Male, T., Martin, S., and Trala, C. (2012) iPad Scotland Evaluation. Faculty of Education, University 
of Hull  
Burke, C., Cunningham, P. & Grosvenor, I. (2010) Putting education in its place: space, place and materialities in the history 
of education. History of Education: Journal of the History of education Society. Vol 39, no 6  
Cook, J. , Pachler, N. & Bachmair, B. (2011) Ubiquitous Mobility with Mobile Phones: a cultural ecology for mobile learning. 
E‐learning and Digital Media, (8, 3) 
Elkins, J. (1999). The Domain of Images. London: Cornell University Press 
Fenwick, T., Edwards, R. and Sawchuk, P. (2011) Emerging Approaches to Educational Research. Tracing the sociomaterial. 
Routledge 
Fenwick, T. and Edwards, R. (eds.) (2012) Researching education through actor‐network theory. Wiley‐Blackwell 
Hastrup, K. (1992). Det antropologiske projekt: om forbløffelse. [The anthropological project: About amazement] 
5th 
Henderson, S. & Yeow, J. (2012) IPad in Education: A case study of iPad adoption and use in a primary school. 4 Hawaii 
International Conference on System Sciences. IEEE Computer Societies  
Henkel, A.Q  & Nissen, A. (2013). Det kommer ind i hovedet og kører rundt – Når børn læser multimodal og interaktiv 
børnelitteratur på skræm [It comes into the head and spin around – When children read multimodal and interactive 
childrens literature on screen. Viden om læsning [knowledge about reading) 
Johri, A. (2011) The socio‐materiality of learning practices and implications for the field of learning technology. Research in 
Learning Technology. Vol 19, no 3 
Kress, G. (2010) Multimodality. A social semiotic approach to contemporary communication. Routledge 
Latour, B. (1999). On recalling ANT. In J. Law&J. Hassard (Eds.), Actor network theory and after (pp. 15–25). Oxford, UK: 
Blackwell Publishers/The Sociological Review Lawn & Grosvenor 2005,  
Latour, B. (2005) Reassembling the social: An introduction to actor‐network theory. Oxford: Oxford University Press 
Levi‐Strauss (1967) The savage mind. University of Chicago Press 

79
 
Mie Buhl and Bente Meyer 

Lawn, M. & Grosvenor, I. (2001) ‘When in doubt, preserve’: exploring the traces of teaching and material culture in English 
schools. History of Education, vol 30, no 2, 117‐127 
Lawn, M. & Grosvenor, I. (eds) (2005) Materialities of schooling. Design, technology, objects, routines. Comparative 
Histories of Education. Symposium Books 
Meyer, B. (forthcoming) IPads In Inclusive Classrooms: Ecologies Of Learning. Sampson, D.G., Spector, J.M. & Ifenthaler, D. 
(eds.) E‐Learning Systems, Environments and Approaches: Theory and Implementation. Springer, New York 
McGregor, J. (2004) Spatiality and the Place of the Material in Schools. Pedagogy, Culture and Society. Vol 12, No 3 
Melhuish, K. and Falloon, G. (2010) Looking to the Future: M‐learning with the iPad. Computers in New Zealand Schools: 
Learning, Leading, Technology, (22, 3) 1‐15 
Meyer 2013 
Mirzoeff, N. (2000). An Introduction to Visual Culture. London: Routledge,  
Mitchell, W.J.T. (2002). Showing Seeing. A Critique of visual culture. Journal of Visual Culture, 1(2):165‐181   
Pauwels, L. (2006). Visual Cultures of Science. Hanover & London: Darthmouth College Press 
Rogoff, I. (1998). Studying visual culture. In: Mirzoeff, N. (ed.). The Visual Culture Reader. London & New York: Routledge      
Schön, D. (1983) The Reflective Practitioner: How professionals think in action. Temple Smith 
Sørensen, E. (2009) The Materiality of Learning: Technology and Knowledge in Educational Practice. Cambridge University 
Press 
Traxler, J. (2010) Will Student Devices Deliver Innovation, Inclusion and Transformation? Journal of the Research Center for 
Educational Technology. (6,1) 3‐15 

80
Introducing the Collaborative Learning Modeling Language (ColeML) 
Jeppe Bundsgaard 
Aarhus University, School of Education, Copenhagen, Denmark 
jebu@edu.au.dk 
 
Abstract: Various kinds of inquiry, scenario, and project based teaching and learning have been promoted by educational 
thinkers  over  the  last  100  years,  but  they  are  by  no  means  typical  in  mainstream  classrooms:  “[…]  projects  offer  many 
attractive promises, but they are often difficult to implement” (Barron et al., 1998, p. 306; cf. Bundsgaard, 2005, p. 315ff.). 
At  least  five  challenges  can  be  identified  (Barron  et  al.,  1998;  Bundsgaard,  2009,  2010;  Gregersen  &  Mikkelsen,  2007; 
Krajcik et al., 1998): Organizing collaboration, structuring workflows, integrating academic content, sharing products, and 
differentiating teaching. Technology can help respond to these challenges (Brush & Saye, 2008; Bundsgaard, 2009, 2010; 
Ge,  Planas,  &  Er,  2010;  Helic,  Krottmaier,  Maurer,  &  Scerbakov,  2005;  Daniel  Schneider  &  Synteta,  2005;  D.  Schneider, 
Synteta, & Frété, 2002), but platforms are very expensive to build from the ground up. If these platforms are to find their 
way into everyday teaching and learning, they have to be easy and cheap to develop. Thus there is a need for easy to use 
application  programming  platforms.  This  paper  argues  that  a  visual  modeling  programming  language  would  be  an 
important part of such a platform. The Collaborative Learning Modeling Language (ColeML) makes it possible to articulate 
complex designs for learning visually and to activate these design models as interactive learning materials. ColeML is based 
on research in workflow and business process modeling. The traditional approach in this area, represented by, for example, 
the Workflow Management Coalition (Hollingsworth, 1995) and the very widespread standard Business Process Modeling 
and Notation (BPMN), has been criticized on the basis of research in knowledge work processes. Inspiration for ColeML is 
found in this research area, which calls for interactive process modeling: “An interactive process system should / ‐ Enable 
modelling  by  end  users,/  ‐  Integrate  support  for  ad‐hoc  and  routine  work,  /  ‐  Dynamically  customise  functionality  and 
interfaces, and / ‐ Integrate learning and knowledge management in everyday work” (Jørgensen, 2004, p. iii) It should not 
only  be  expert  process  modelers  who  are  able  to  model  processes;  knowledge  workers  should  also  be  able  to  do  so 
themselves  while  the  model  is  in  use.  ColeML  is  developed  according  to  Jørgensen's  (2004)  design  principles:  1)  The 
modeling  language  should  be  simple  with  a  few  basic  concepts,  2)  the  language  should  make  possible  a  visual  graphic 
representation  of  the  model,  3)  elements  of  the  model  should  be  able  to  change  status  during  the  articulation,  4)  the 
system should accept unfinished models, 5) models should be able to be built by integrating other models, and 6) it should 
be  possible  to  build  a  systematically  designed  and  searchable  repository  of  models  and  templates  (Jørgensen,  2004,  pp. 
27f., 32, 36). In addition to these design demands it should be possible to integrate software components that solve sub‐
tasks in the process, for example, interactive assistants (cf. Bundsgaard, 2005, 2009). In this paper the basics of ColeML are 
presented together with the logical architecture of a system based on ColeML. 
 
Keywords: digital learning platforms, CSCL, modeling language, project based learning 

1. Introduction 
We  are  witnessing  an  explosion  of  digital  learning  material.  Most  of  it  is  in  the  form  of  simple  repetitive 
learning tools (learning games, training apps, etc.) that support a traditional practice of instruction focusing on 
communicating  well‐defined  knowledge  and  procedures  to  students,  often  without  the  intermediation  of  a 
teacher. But newer learning theory (Sawyer, 2006), large international projects (Griffin, McGaw, & Care, 2012), 
and  even  international  governmental  organizations  like  the  OECD  (Dumont,  Istance,  &  Benavides,  2010)  are 
promoting a different kind of teaching and learning: Students should work collaboratively, actively, and in an 
engaged way to seek solutions to real world problems, and in the process develop entrepreneurial, critical, and 
social competences. This movement is not new, as various kinds of theories and practices of inquiry, scenario, 
and project based teaching and learning have been developed by educational thinkers over the last 100 years. 
But there seems to be gap between the theories of what should be happening, which we could call innovative 
teaching  (Shear,  Gallagher,  &  Patel,  2011),  and  what  is  actually  happening  in  schools.  Teaching  is  still 
characterized  for  the  most  part  by  teacher  led  discussions  and  individual  work  with  the  content  and 
assignments (Bietenbeck, 2014). There can be many explanations for this situation. One of them is that “[…] 
projects offer many attractive promises, but they are often difficult to implement” (Barron et al., 1998, p. 306; 
cf. Bundsgaard, 2005, p. 315ff.). 
 
In order to facilitate more innovative teaching we have to understand what the difficulties are for teachers and 
students. And we have to find ways to support teachers and students in overcoming the challenges.  
 
At least five challenges of innovative teaching and learning can be identified (Barron et al., 1998; Bundsgaard, 
2009, 2010; Gregersen & Mikkelsen, 2007; Krajcik et al., 1998): 

81
 
Jeppe Bundsgaard 

ƒ Organization: Students and teachers must collaborate, but how is this collaboration organized? 
ƒ Structure: How do students get to know the phases, steps, and procedures of the project they are working 
on? 
ƒ Learning  academic  content:  How  do  students  learn  the  methods,  procedures,  and  knowledge  of  the 
disciplines while working on their project? 
ƒ Student  work:  How  do  students  and teachers  share  documents,  data, and  work  in  progress,  and  how  is 
communication (guiding, response etc.) about this work organized? 
ƒ Differentiation: How are students given assignments that fit their competences, and how are they taught 
academic content on their level? 
There is some evidence that technology can help respond to these challenges, and a number of digital learning 
materials and platforms have shown how this can be done (Brush & Saye, 2008; Bundsgaard, 2009, 2010; Ge et 
al.,  2010;  Helic  et  al.,  2005;  Schneider  &  Synteta,  2005;  Schneider  et  al.,  2002).  But  the  problem  is  that 
developing  platforms  that  help  organize,  structure,  integrate  academic  content,  share  products,  and 
differentiate teaching are very expensive to build from the ground up. If these platforms are to find their way 
into everyday teaching and learning, they have to be easy and cheap to develop. 
 
This paper proposes a way to facilitate the design and development of digital learning material that supports 
innovative teaching. This paper presents an outline of a visual modeling language, ColeML, which can be used 
in  authoring  tools  to  design,  describe,  and  support  the  execution  of  the  phases,  steps,  and  processes  of 
innovative courses. 

2. Foundations and design principles of ColeML 
The  goal  of  ColeML  is  to  enable  learning  designers,  including  spearhead  teachers,  editors,  and  content  and 
professional  experts,  to  interactively  model  complex  learning  designs.  The  second  goal  is  to  make  these 
learning  designs  active,  that  is,  readily  usable  in  actual  teaching  and  learning  to  organize  collaboration 
between students and teachers, support communication on student work, and keep track of progress. 
 
The  development  of  ColeML  has  been  inspired  by  the  work  in  the  area  of  workflow  and  business  process 
modeling.  The  traditional  approach  in  this  area  was  introduced  by  the  Workflow  Management  Coalition 
(WfMC)  and  reached  a  landmark  with  the  release  of  the  first  Workflow  Reference  Model  (Hollingsworth, 
1995). It has been gaining worldwide acceptance in the standard for Business Process Modeling and Notation 
(BPMN)  (Object  Management  Group,  2011).  In  recent  years  these  approaches  have  been  challenged  by 
research done in relation to knowledge work processes. Jørgensen phrases the critique this way:  
Contemporary  business  process  systems  are  built  to  automate  routine  procedures.  Automation 
demands  well‐understood  domains,  repetitive  processes,  clear  organisational  roles,  an 
established  terminology,  and  predefined  plans.  Knowledge  work  is  not  like  that.  Plans  for 
knowledge  intensive  processes  are  elaborated  and  reinterpreted  as  the  work  progresses. 
Interactive process models are created and updated by the project participants to reflect evolving 
plans.  The  execution  of  such  models  is  controlled  by  users  and  only  partially  automated.  An 
interactive process system should / ‐ Enable modelling by end users,/ ‐ Integrate support for ad‐
hoc  and  routine  work,  /  ‐  Dynamically  customise  functionality  and  interfaces,  and  /  ‐  Integrate 
learning and knowledge management in everyday work (Jørgensen, 2004, p. iii). 
Teaching  and  learning  is  knowledge  work  by  definition.  Although  Jørgensen  is  referring  to  a  completely 
different area, he presents a very accurate description of innovative teaching. In the area of interactive process 
modeling  a  central  point  is  not  only  that  modeling  experts  model  processes,  but  that  knowledge  workers 
themselves  also  need  to  have  access  to  model  and  re‐model  the  processes  before  and  in  use.  This  is  a 
fundamental break with the hierarchic structure that is incorporated in the WfMC model. Interactive process 
modeling  comprises  three  functions  (Jørgensen,  2004;  Krogstie,  2007):  1)  Articulation,  a  description  of  the 
domain in model terms, where the articulation should be interactive in the sense that users should be able to 
clarify and elaborate on a general model, 2) activation, the use of the model in relation to the domain either 
automatically,  where  the  computer  controls  the  process,  manually,  where  users  use  the  visual  model  as  a 
management  tool,  or  interactively,  where  the  computer  controls  the  process  automatically,  but  where  the 
computer leaves some decisions in the process up to the users’ manual decisions. The third function is 3) re‐
use of models from one domain in another domain, or re‐use of sub‐models inside the same process model. 

82
 
Jeppe Bundsgaard 

Setting up these kinds of demands for the modeling systems makes interactive process models an example of 
the movement away from a Turing Machine paradigm towards an interactive paradigm (Jørgensen, 2004, p. 
15; Wegner, 1997). 
 
These three functions are obviously relevant in a school context, considering the five challenges of innovative 
teaching  mentioned  above.  Often  designs  for  learning  involve,  for  example,  student  work  with  teacher 
response,  and  the  modeling  of  such  a  practice  would  be  re‐usable  across  many  learning  designs.  Such  sub‐
models  are  called  templates.  In  a  school  context  each  class  is  different,  in  terms  of  both  the  number  of 
students and the differences in age, competences, and social relations. Therefore interactive activation is a key 
function,  enabling  the  teacher  to  organize  how  students  collaborate  to  a  greater  or  lesser  extent  or  to 
concentrate  on  extending  certain  parts  of  the  structure of  the pre‐designed  model  (e.g.  by  making  students 
work  more  intensely  on  giving  responses,  preparing  an  interview,  or  designing  a  research  question).  In 
continuation of this, interactive articulation is of vital importance because the computer can support student 
collaboration,  keep  track  of  where  students  are  in  the  process,  and  provide  access  to  previously  produced 
work when it is needed. This also facilitates differentiated teaching because computers can articulate different 
levels of support for collaboration and for structuring the work process, making it possible, for example, to let 
some  students  have  a  very  detailed  set  of  steps  to  perform,  and  others  to  have  a  more  broadly  described 
process. 
 
1
A  distinctive  characteristic  of  processes  in  schools,  where  the  goal  is  not  only  the  product   but  also  the 
learning that takes place through and on the basis of the production of the product, is that there will often be 
several  simultaneous  and  to  a  certain  extent  parallel  processes  working  at  the  same  time.  These  processes 
have the same structure, and might just go on in parallel and lead to a number of products that are unique, but 
of the same kind. But the process might also let the students merge into new groups and spread again – for 
example, students might work as engineers, investigating a phenomenon from different expert viewpoints in 
groups, then meet other experts in cross‐groups to discuss which solutions to work toward, and later return to 
their “expert” group to carry out the decisions. In order to activate that kind of model, the teacher needs to 
elaborate  on  the  general  model  by  relating  it  to  the  actual  class  size,  the  specific  students,  and  the  optimal 
number of groups for this class and these students to indicate the number and position of lessons assigned for 
the  course  programme  and  to  adjust  the  model  for  particular  students  with  special  needs  or  special 
competences and so forth. There is thus clearly a need for an easily accessible possibility for the teacher to re‐
model the processes on the basis of a learning design model template. 
 
Therefore, the goal is to develop a modeling language for collaborative teaching and learning and to lay the 
foundation for an activation machine (Collaborative Learning Modeling System, ColeMS) that makes possible 
articulation, activation, re‐use, and end‐user modeling of parallel processes. 
 
Given  these  basic  principles,  it  is  clear  that  the  design  principles  have  to  promote  a  simple,  easily 
understandable, and accessible modeling practice. Jørgensen (2004) has framed a few core design principles: 
ƒ The modeling language should be simple with a few basic concepts, 
ƒ the language should make possible a visual graphic representation of the model,  
ƒ elements of the model should be able to change status during the articulation,  
ƒ the system should accept unfinished models,  
ƒ it should be possible to build models by integrating other models, and  
ƒ it should be possible to build a systematically designed and searchable repository of models and templates 
(cf. Jørgensen, 2004, pp. 27f., 32, 36).  
In addition to these design principles the central focus in a school context on learning content while working 
on a project gives way to an extra principle: 
ƒ it should be possible to integrate software components that handle sub‐tasks in the process. 

                                                                 
1
  In  fact,  the  product  (e.g.  a  beautiful  drawing,  a  newspaper  with  a  professional  appearance,  a  suggestion  for  the  renovation  of  the 
schoolyard) could very well be considered the goal by the students, and even by the teachers. But seen from an institutional perspective 
the product, and especially the production process, can only be a means to the end of the students' learning.. 

83
 
Jeppe Bundsgaard 

These  software  components  could  be  learning  apps,  simulation  tools,  academic  content,  and  all  kinds  of 
interactive teaching material, for example, interactive assistants (cf. Bundsgaard, 2005, 2009). 

3. The ColeML language 
In his thesis, Jørgensen presents a modeling language for emergent workflow modeling that complies with the 
principles he presents. He calls the language and the system he has built to activate the models WorkWare (a 
contraction  of  Workflow  and  Groupware).  The  WorkWare  language  builds  on  the  Action  Port  Modeling 
Language  (APM)  (Carlsen,  1998)  but  simplifies  the  language  and  integrates  interactive  activation.  ColeML 
builds on Jørgensen's WorkWare. 
 
The basic constructs in ColeML are listed in figure 1.  

Figure 1: Basic constructs in ColeML 
The core construct in ColeML is an activity (corresponds to a workitem in WorkWare, and an action in APM). In 
other  modeling  languages  there  would  typically  be  a  number  of  classifications  of  activities  (into  processes, 
tasks, actions etc.), but Jørgensen's point is that this only adds complexity, making it more difficult to learn and 
necessitating  thorough  training.  Activities  are  connected  by  flows,  which  are  lines.  In  WorkWare  and  most 
other  modeling  languages,  flows  have  arrows  to  show  the  direction  of the  flow.  But  this  is  not  necessary  in 
ColeML  as  all flows  go  in  on  the  left  of the  activity  and out  on  the  right.  Flows go  into decision connectors, 
which can either just lead the flow into a new activity or call for a decision. Decisions can be either And (all 
flow lines are followed), Or (one or more flow lines are followed), or Xor (exclusive or) (only one flow line is 
followed). Decisions are taken by the primary actor of the surrounding activity. 
 
An activity can have input, output, actors, and resources, which are inserted into the four boxes in the lower 
half of the activity construct. Output is typically used as input in later activities; an output can be given a form 
of identification (id), for example, a number or a letter, to point out where it is used as input. 
 
Resources are all kinds of objects, tools, and instructional material (called books, which could also be websites, 
movies, music, etc.). In principle, one single construct could constitute all kinds of objects, but ColeML has four 
different  types  (book,  object,  tool,  and  software  tool)  to  make  visible  which  kind  of  object  is  to  be  used. 
Resources are inserted in the lower right corner of the activity. An activity has actors performing their part of 
the activity: a single student, a group of students, a class of students and/or a teacher. Actors are inserted into 
the lower left corner of an activity. 
 
Activities can be simple and performed in a short span of time (reading a text, preparing for a presentation), or 
they can comprise a complex of sub‐activities (preparing and performing an interview, exploring the state of 
the local lake, etc.). A complex of activities can be described as a model template, which can be dragged into a 
model from a repository of templates. 
 
A distinctive phenomenon in teaching and learning is that students or groups of students often perform the 
same kind of activity in parallel, and therefore ColeML has a construct for parallel activity. All input, output, 
actors, and  resources  are  multiplied  accordingly.  Output  from  parallel activities  can go  into  the  next  activity 
and be treated as one single output, or it can be split into the different activities. 
 

84
 
Jeppe Bundsgaard 

Besides  these  core  constructs,  ColeML  includes,  among  other  features,  a  clock  for  specifying  the  start  and, 
optionally, end time (typically specified by the teacher, when preparing for the lessons), timers for specifying 
the typical maximum and minimum time use, and automated decision connectors (testing output for certain 
characteristics). 
 
Figure 2 is an example of a model designed using ColeML illustrating most of the core constructs and concepts 
of modeling with ColeML. 

 
Figure 2: Example model: Plan a Building Project 
A model is always an activity itself, which could be used as a template in other models. Plan a Building Project 
has  no  input,  but  yields  document  8  as  output.  Document  8  is  also  the  output  from  the  last  activity,  titled 
Presentation, in the model. There are a number of actors in the model as a whole: the teacher, the class, and 
different  constellations  of  groups.  An  actor  can  be  identified  by  a  number  or  otherwise,  and  a  superscript 
number or interval tells the user (typically the teacher) how many students should be put into each type of 
group. 
 
Plan  a  Building  Project  begins  with  an  introduction  where  the  teacher  and  the  students  watch  a  movie  (the 
book resource) and the teacher introduces the plan for the activities the class is going to carry out. The next 
activity  is  a  parallel  activity  where  groups  with  id  1,  consisting  of  four  to  five  students,  envision  how  the 
building could look. This activity uses a model template for teacher response, see figure 3 and the explanation 
of the template below. The students use specific software (in this case, drawing and text editing software) to 
solve the task. The output from each of the parallel activities is a document (id 1). These documents are used 
as  input  for  a  class  decision,  and  the  output  of  this  activity  is  a  new  document  (id  2).  The  next  group  of 
activities  is  performed  by  all  of  the  students  (see  the  And  decision),  and  the  primary  actor  (the  teacher) 
decides  who  goes  where.  The  next  three  activities  are  performed  at  the  same  time,  each  with  their  own 
specific task. These three activities are parallel activities, which makes the model adaptable to different class 
sizes.  Each  of  the  groups  2,  3,  and  4  should  comprise  three  to  four  students.  Each  of  the  activities  has 
document 2 as an input, but they have different documents (ids 3, 4, and 5) as their output. In the next activity 
the groups present their work to the class and the class decides which of the groups' suggestions to choose. 
The  software  resources  in  this  activity  are  idea  selection  software,  e.g.  Padlet,  and  decision  software  like 
clickers. In the next activity each group works on a part of the building, calculating statics, electricity etc. using 
software and instructional material. 

85
 
Jeppe Bundsgaard 

Figure 3. Model template: Teacher gives response on student product 
In  the  template  Teacher  gives  response  on  student  product,  see  figure  3,  a  group  of  one  or  more  students 
produces  a  product  (document,  id  1),  and  this  document  is  an  input  to  the  next  activity,  where  the  teacher 
gives response and outputs it as a document, id 2. If the teacher does not think it needs more work, she can 
finish the activity. Otherwise, students get the response together with their own product as input and work on 
it  again.  When  they  are  done,  the  teacher  decides  (in  the  Xor  decision)  whether  the  document  needs  more 
response or the work is done. Output from the template is the revised version of the student product. 

3.1 Interactive modeling 
A  core  principle  in  the  WorkWare  conceptual  framework,  and  also  in  ColeML,  is  the  acceptance  of 
incompleteness.  Models  do  not  need  to  be  complete,  and  they  do  not  need  to  be  completely  automated. 
Models  are  most  often  preliminary  or  temporary,  built  to  support  the  practice  of  actors.  This  is  a  suitable 
principle in educational practice, where teachers and students need to adapt in accordance with  factors such 
as participants, time, resources, and space. Thus an activity or other constructs can be added to a model by 
actors  (students  and  teachers)  planning  their  own  activities  or  the  activities  of  others,  it  can  be  modified  
during  activation  of  the  model,  that  is,  re‐planned,  replaced  by  other  activities  or  complexes  of  activities, 
removed, or reported as performed, ignoring the advisory decomposition (cf. Jørgensen, 2004, p. 86). 

3.2 Activating models 
Activation can be automated, manual, or interactive (Krogstie, 2007, p. 306). In business and production, the 
goal  of  models  could  be  to  completely  automate  processes  that  have  previously  involved  humans.  But  in 
school the goal is not to get rid of human interaction; on the contrary, the goal is to get students to work with 
the activities they learn the most from. Of course, highly automated models could make teachers dispensable, 
but  modern  learning  theory  does  not  support  the  notion  of  well‐defined,  uniform  learning  trajectories 
(Sawyer,  2006,  p.  28ff.).  Participants  in  learning  practices  must  act  intelligently  and  wisely  in  order  for  the 
students to engage in practices of which they learn the most important things in the best way and develop as 
human beings. This means that both teachers and students need to be sensitive to their co‐participants and 
the  processes  they  are  participating  in.  Therefore,  even  though  models  in  ColeML  to  a  great  extent  can  be 
automated by letting students work on a computer, carrying through the processes the computer prescribes, 
models typically will be incomplete and even re‐built while activated. This calls for interactive activation, which 
means that some parts are taken care of by the computer, while other parts are taken care of by teachers and 
students.  

4. Logical architecture of a collaborative learning modeling system 
ColeML can function as a simple analog description of designs for learning, helping participants to keep track 
of what to do, how, and with what resources, input, and output. But the real potential of designing models is 
of course automation of some parts of the process. Jørgensen presents a WorkWare Modelling System (WMS), 
which the Collaborative Learning Modeling System (ColeMS) presented in figure 4 builds on. 
 

86
 
Jeppe Bundsgaard 

User Interface 
Modeling  Interactive activation 
Model Interactors 
Modeling and    Interactive    Model Driven  Model Driven  Model Driven  Model Driven    Etc. 
Visualization  Activation   Notification  Access  Collaboration  Document 
Machine  Machine  Control  Support  Management 
 
Model Repository 

Figure 4: Logical architecture of a Collaborative Learning Modeling System (ColeMS) (cf. Jørgensen 2004, p. 92) 
The Model Repository is the basis of the system where models are stored and where model designers fetch 
templates  when  articulating  new  models.  The  Model  Repository  is  a  very  important  part  of  ColeMS,  as 
teaching and learning consists of a number of often repeated activities, like teacher response, students' study 
activities, and as more explicitly developed cooperative learning structures or similar approaches. 
 
The User Interface has two main views, one where the modeling (articulation) takes place and one where the 
model is interactively activated. When the model is revised on the fly, both views are used by the participants. 
The  user  interface  can  be  adapted  in  order  to  hide  the  model  behind  a  more  customized  interface.  This  is 
typically the case when publishers and other professional learning designers build their products in ColeMS. 
 
Model  Interactors  are  software  functions  that  work  with  models  to  solve  particular  tasks.  An  example  of an 
interactor is the document management, which takes care of the uploading and presentation of resources and 
documents  produced  during  the  model  activation.  The  set  is  extensible  and  research  should  be  done  to 
identify what interactors are useful to include in the system (cf. Jørgensen, 2004, p. 92). 

5. The way ahead 
This paper presents the core concepts of ColeML, a visual modeling language intended for use in educational 
settings. ColeML makes it possible for learning designers to design models that support students and teachers 
working on complex projects, helping them to structure the processes and organize collaboration, keep track 
of  their  work,  and  customize  the  process  to  meet  the  needs  of  different  students  and  groups  of  students. 
These  design  features  make  ColeML  suitable  for  complex  teaching  methods  like  project  based  learning, 
storyline, inquiry based education, and so on. 
 
As has been stated several times, ColeML is heavily inspired by the work done by Jørgensen with WorkWare, 
and by him and his colleagues at the Norwegian University of Science and Technology (NTNU) with the Action 
Port Model (APM). EEML (Extended Enterprise Modelling Language) (Krogstie, 2008) is an extension of APM 
focusing  on  three  other  modeling  domains  that  could  also  be  modeled  in  an  educational  context,  namely, 
Resource  modeling  (facilities,  instruments,  sub‐products,  participants'  competences,  etc.),  Goal  modeling 
(product goals and learning goals), and Data modeling.  
 
In order for ColeML to gain ground, a number of prerequisites must be met: 
ƒ A prototype of ColeMS, including core Model Interactors, must be built. 
ƒ A standardized XML‐based model description format for exchanges between different ColeMS'es must be 
designed. 
ƒ A model repository of typical activities must be produced. 
ƒ Models should be built by learning designers to test the limitations of the modeling language so that more 
constructs can be added. 
ƒ A variety of models should be interactively activated in real life settings. 
References  
Barron, B. J., Schwartz, D. L., Vye, N. J., Moore, A., Petrosino, A., Zech, L., & Bransford, J. D. (1998). Doing with 
Understanding: Lessons From Research on Problem‐ and Project‐Based Learning. Journal of the Learning Sciences, 
7(3).  
Bietenbeck, J. (2014). Teaching practices and cognitive skills. Labour Economics, (0). doi:10.1016/j.labeco.2014.03.002 

87
 
Jeppe Bundsgaard 

Brush, T., & Saye, J. (2008). The Effects of Multimedia‐Supported Problem‐based Inquiry on Student Engagement, Empathy, 
and Assumptions About History. Interdisciplinary Journal of Problem‐Based Learning, 2(1). doi:10.7771/1541‐
5015.1052 
Bundsgaard, J. (2005). Bidrag til danskfagets it‐didaktik : med særligt henblik på kommunikative kompetencer og på 
metodiske forandringer af undervisningen. Odense: Ark. 
Bundsgaard, J. (2009). A practice scaffolding interactive platform. In Proceedings of the 9th international conference on 
Computer supported collaborative learning ‐ Volume 1 (pp. 522–526). Rhodes, Greece: International Society of the 
Learning Sciences.  
Bundsgaard, J. (2010). Supporting the processes of teaching and learning. European Conference on E‐Learning, (9), 81–89. 
Carlsen, S. (1998). Action Port Model: a mixed paradigm conceptual workflow modeling language, 300 – 309. 
doi:10.1109/COOPIS.1998.706274 
Dumont, H., Istance, D., & Benavides, F. (Eds.). (2010). The nature of learning : using research to inspire practice. Paris: 
OECD. 
Ge, X., Planas, L. G., & Er, N. (2010). A Cognitive Support System to Scaffold Students’ Problem‐based Learning in a Web‐
based Learning Environment. Interdisciplinary Journal of Problem‐Based Learning, 4(1). doi:10.7771/1541‐5015.1093 
Gregersen, C., & Mikkelsen, S. S. (2007). Ingen arme, ingen kager!: en Bourdieu‐inspireret praksisanalyse af skolens sociale 
sortering. Unge Pædagoger. 
Griffin, P., McGaw, B., & Care, E. (Eds.). (2012). Assessment and Teaching of 21st Century Skills. Dordrecht: Springer 
Netherlands.  
Helic, D., Krottmaier, H., Maurer, H., & Scerbakov, N. (2005). Enabling project‐based learning in WBT systems.(Web‐based 
training). International Journal on ELearning.  
Hollingsworth, D. (1995). Workflow Management Coalition The Workflow Reference Model (No. TC00‐1003) (p. 55). 
Hampshire, UK: Workflow Management Coalition. 
Jørgensen, H. D. (2004). Interactive process models. Norwegian University of Science and Technology, Trondheim, Norway.  
Krajcik, J. S., Blumenfeld, P., Marx, R. W., Bass, K. M., Fredricks, J., & Soloway, E. (1998). Middle school students’ initial 
attempts at inquiry in project‐based science classrooms. Journal of the Learning Sciences, 7(3 & 4), 313–350. 
Krogstie, J. (2007). Modelling of the People, by the People, for the People. In Conceptual Modelling in Information Systems 
Engineering (pp. 305–318). Springer.  
Krogstie, J. (2008). Using eeml for combined goal and process oriented modeling: A case study. In Proceedings of EMMSAD 
(p. 113).  
Object Management Group. (2011). Business Process Model and Notation (BPMN). 
Sawyer, R. K. (2006). The Cambridge handbook of the learning sciences. Cambridge: Cambridge University Press. 
Schneider, D., & Synteta, P. (2005). Conception and implementation of rich pedagogical scenarios through collaborative 
portal sites. In A. Senteni & A. Taurisson (Eds.), ICOOL 2003 & Colloque de Guéret 2003 selected papers, a University 
of Mauritius publication, under the auspices of the UNESCO. 
Schneider, D., Synteta, P., & Frété, C. (2002). Community, Content and Collaboration. Management Systems in Education: A 
new chance for socio‐constructivist scenarios? In Proceedings of the 3rd Congress on “Information and 
Communication Technologies in Education, Rhodes, September 26th–29th 2002]. 
Shear, L., Gallagher, L., & Patel, D. (2011). Innovative Teaching and Learning 2011 Findings and Implications. Menlo Park, 
CA: SRI International.  
Wegner, P. (1997). Why interaction is more powerful than algorithms. Communications of the ACM, 40(5), 80–91 

88
Weak Student Identification: How Technology Can Help 
Hana Bydžovská and Lubomír Popelínský 
Faculty of Informatics, Masaryk University, Brno, Czech Republic 
bydzovska@fi.muni.cz 
popel@fi.muni.cz 
 
Abstract: Predicting students' academic performance has long been an important research topic in many academic disci‐
plines. When students enroll in a course, a teacher usually does not know their knowledge and skills. The teacher is faced 
with a difficult situation how to estimate the students. The knowledge about students' performance can be used for assign‐
ing students to seminar groups with respect to their skills needed for the course. The reliable prediction would also help 
teachers to identify weak students in order to help them to achieve better grades. The main aim of this research is to clar‐
ify relationship between students' behavior and their performance at the beginning of the term when there are no data 
about students' attitude and motivation towards the course. We inspect different data mining techniques how to recognize 
weak and good students and how to validate designed methods. We also aim to develop a model of students' performance 
indicators. Results can be beneficially used by teachers to enhance the teaching process. The model will be utilized in the 
university information system accessible to teachers and the faculty management. The first part of the paper describes the 
university information system with the focus on the data stored in its database. The paper also contains the description of 
the preprocessing stage and feature selection algorithms in order to reveal the most significant attributes. The next section 
introduces the experiments that aim to  identify students' performance. The experiments are based on a combination of 
data mining methods and social network analysis and are evaluated on the historical data originated from the information 
system. The final section concludes the paper with comparing the designed methods and emphasizing the best fitting ap‐
proaches. We also describe the prediction model and discuss the results in detail. 
 
Keywords: student performance, social network analysis, educational data mining, prediction, university information sys‐
tem 

1. Introduction 
Teachers are responsible for education of students and thus influence the next generation. They do not only 
prepare lessons and exercises. Today, teachers make use of different approaches and technologies to engage 
students,  inspire  them,  and  motivate  them  towards  achieving  their  goals.  They  create  various  educational 
games, quizzes, interactive tutorials, or e‐learning tests. Opinions differ on the question what is the most ef‐
fective way to educate students. 
 
Meseke et al. (2008) present that collaborative learning seems to be one of a successful and attractive ways. 
Researchers  conclude  that collaborative  testing  has  a positive  impact  on  student  achievements  by providing 
the  opportunity  for  students  to  become  more  engaged  in  a  course,  the  possibility  to  discuss  problems  and 
solutions and improve their critical thinking. Based on related conclusions researchers explore the social ties 
among students because they influence each other. 
 
With the advent of information age, a question, if on‐line courses are better than traditional ones, is very fre‐
quent in the educational environment. This task is explored by Atchley et al. (2013) where authors conclude 
that  students  gain  more  knowledge  and  are  more  successful  when  they  attend  traditional  courses.    On  the 
other  hand,  the  combination  could  be  very  beneficial.  Researchers  explore  how  to  improve  teaching  tech‐
niques. They aim at different methods to help teachers to design their courses to be appropriate and interest‐
ing for most students. They create different e‐learning quizzes or tests and prepare multimedia materials to 
attract students (Hawkins et al. (2013)). 
 
A related issue is if students make effort or have skills or knowledge to pass a course. Exploring student poten‐
tial is also an interesting task in the educational environment. Researchers explore what influences students 
and what can be done to help them to improve their achievements. The more teachers know their students, 
the easier is to estimate students’ final results. In higher education teachers usually do not know their students 
and our goal is to help them to estimate students. This knowledge can be beneficially used for assigning stu‐
dents to seminar groups with respect to their skills needed for the course or to identify weak students in order 
to help them to achieve better grades.  
 

89
 
Hana Bydžovská and Lubomír Popelínský 

The  aim  of  this  research  is  to  clarify  relationship  between  students'  behavior  and  their  performance  at  the 
beginning of the term when there are no data about students' attitudes to a course. We present methods suit‐
able  for  predicting  the  success  or  failure  of  students  in  selected  courses.  We  extend  the  work  published  in 
Bydžovská  et  al.  (2014)  where  the  influence  of  social  behavior  data  of  students  is  presented.  We  show  im‐
provement of accuracy about 3% when such data are added to datasets in comparison with using only study‐
related data. The improved results are presented in this paper. This analysis is performed on a representative 
data sample obtained from the Information System of Masaryk University (IS MU). 
 
In the following section, we give a brief overview of related work. The data extraction and processing phase 
are introduced in Section 3. In Section, 4 we describe data and used machine learning techniques. The next 
section presents improved results in comparison with Bydžovská et al. (2014). The summary and directions for 
future work can be found in the last section. 

2. State of the art 
A typical way how to discover regularity in data is using data mining techniques that are suitable for exploring 
a vast amount of data. The techniques allow us to build predictive models by defining valid and exact rules. 
These methods can be divided into five categories: prediction, clustering, relationship mining, discovery with 
models and the data retrieval for human judgment. 
 
The  application  of  educational  data  mining  methods  can  be  oriented  to  different  groups  of  users:  students, 
teachers  and  administrators  (Romero  et  al.  (2010)).  Students  are  interested  in  information  resources  and 
learning tasks that would improve their skills and enhance their knowledge. They appreciate tools that would 
monitor  their  duties  and  show  them  either  easy  or  interesting  way  to  graduate.  Teachers  are  interested  in 
objective feed‐backs for their instructions to students, the evaluation of the structure of courses and the effec‐
tiveness  of  the  whole  learning  process.  Administrators  are  interested  in  ways  how  to  better  organize  their 
resources and how to improve the learning conditions for students. 
 
As it was mentioned, exploring student performance is very popular. The task involves the prediction of stu‐
dent grades or student course difficulties. These findings can identify students with a greater potential as well 
as students who do not meet the course difficulty criteria to whom teachers or friends should help in time. 
Arnold et al. (2010) conclude that a good motivation for weak students is to show them that they are at risk. 
Feedback  is  one  of  the  most  important  help  for  students.  Only  small  warning  made  by  a  teacher  can  make 
students to think about their attitude. 
 
It is important to predict student failure as soon as possible. The task is difficult because the less data we have 
the  less  accurate  the  prediction  we  obtain  is.  The  approach  is  published  in  Vandamme  et  al  (2006).  We  are 
interested in similar problem but our task is prediction of student success in the course not in the study. 
 
Researchers  mostly  examine  study‐related  data  stored  in  university  information  systems  which  contains  for 
example  grades,  gender,  field  of  study,  or  age  (Nghe  et  al.  (2007)).  Authors  conclude  that  better  results  for 
student success prediction are gained using decision trees rather than Bayesian networks. Dekker et al. (2009) 
explore the early drop‐out prediction according to drop out rate of freshmen of about 40% at Electrical Engi‐
neering department. They search for students that are being at risk and thus may need some special attention. 
They also confirmed the results that decision trees algorithm fits the task very well. In comparison with Nghe 
et al. (2007) we tested broader spectrum of machine learning algorithms including ensemble learners. Com‐
pared to Dekker et al. (2009), we also employed more study‐related attributes. For student success prediction, 
we obtain the best results using support vector machines (SMO), AdaBoost in the combination with Decision 
Stump, and Bagging with SMO or REP‐Tree (Witten et al. (2011)). 
 
In Marquez‐Vera et al. (2011) authors utilize questionnaires to get more detailed information about students’ 
lives  directly  from  students  because  this  type  of  data  cannot  be  obtained  from  an  information  system,  e.g. 
family size, smoking habits or time spent doing exercises. They prove that these data can improve predictions 
of  student  failure.  Unlike  Marquez‐Vera  et  al.  (2011)  who  depend  on  answers  from  questionnaires,  we  use 
only  verifiable  data  from  the  university  information  system  since  the  questionnaires  tend  to  have  lower  re‐
sponse rate. 
 

90
 
Hana Bydžovská and Lubomír Popelínský 

Vihavainen et al. (2013) are interested in the same task but they use the data about student progress in an 
investigated course—the introductory mathematics course. They build their model on students programming 
behavior during the 14‐week course. They conclude that after few weeks they are able to predict the success 
or failure with high accuracy. They also present that students with a tendency to start working or submit their 
work close to the deadline, they are at risk. Unlike Vihavainen et al. (2013) we are interested in the beginning 
of term when we have no data. 

3. Data extraction and processing 
It is important to select attributes that describe student characteristics accurately. Based on such data, we can 
better predict what will be crucial to students. We try to obtain such study‐related attributes that tell us all 
useful  information  about  a  student  and his  or  her  life.  We  selected attributes  such  as  gender, year of  birth, 
score in the entrance test, credits gained, number of parallel studies, number of the utilized second resits or 
average grades, etc. We already added information about previously passed courses of students. 
 
Relationships between students influence their decisions and behavior. The popularity of social ties explora‐
tion is growing. Social network analysis is a set of methods for capturing the complexity of relationships among 
groups or individuals. Findings obtained from a social network analysis can be helpful for better understanding 
of student behavior.  
 
Some social behavior attributes can be achieved from the Information System of Masaryk University (IS MU), 
e.g.  e‐mail  communication,  publication  co‐authoring,  post  posted,  comments  made,  discussion  forum  mes‐
sages marked as important, files uploaded into someone else's depository or personal pages visited. Based on 
this data we can compute the relations between every pair of users in IS MU.  
 
We  created  sociograms  using  Pajek  (Nooy  et  al.  (2011))  where  nodes  denoted  users  and  edges  represented 
ties among them. We took into consideration all ties, or only selected ones with respect to the strength of ties. 
We also took all users in the network, or only teachers and student, or only students. Subsequently, we gener‐
ated ten different sociograms with different thresholds and limitations. For each sociogram we employed so‐
cial network analysis methods to calculate attributes such as degree—represents how many relations the stu‐
dent  is  involved  in,  weighted  degree—degree  with  respect  to  strength  of  the  ties,  closeness  centrality—
represents  how  close  a  student  is  to  all  other  students  in  the  network,  betweenness  centrality—represents 
student's  importance  in  the  network.  We  also  computed  average  grade  of  neighbors  which  indicates  how 
clever friends the student has. 
 
Further, we collected data such as the strongest tie with a teacher of the investigated course, course marked 
as  favorite,  course  attendance  disclosure,  course  seminar  group  disclosure,  course  examination  date  disclo‐
sure, and application for the study disclosure. 

4. Data analysis 
Our goal was to identify weak or good students. The measure of students' skills depends on the task. Some‐
times teachers wish to know only those who need a special attention because of potential fail. Sometimes they 
need more separations depending of the number of seminar groups. 
 
Because the task was vague, we performed three experiments: 
ƒ prediction of a grade, 
ƒ prediction of good grade/bad grade/failure, 
ƒ prediction of success/failure. 
This analysis covered 62 courses offered to students of the Faculty of Informatics of Masaryk University. The 
data comprised of 7,457 students enrolled in courses in the year 2010‐2012 and their 148,750 grades. 

4.1 Data sets 
We extracted six data sets for each course for machine learning processing as follows:  
ƒ study‐related data (SR: 42 attributes), 

91
 
Hana Bydžovská and Lubomír Popelínský 

ƒ social behavior data (SB: 131 attributes), 
ƒ study‐related and social behavior data (SS: 173 attributes), 
ƒ study‐related data  enriched with  data  about  passed  courses  (SRC:  around  60  attributes  depending  on  a 
course), 
ƒ social behavior data enriched with data about passed courses (SBC: around 150 attributes depending on a 
course), 
ƒ study‐related and social behavior data and data about passed courses (ALL data—around 200 attributes 
depending on a course). 

4.2 Used MACHINE LEARNING TECHNIQues 
Machine learning (ML) algorithms implemented in Weka (see Witten et al. (2011)) were utilized with different 
data sets in order to find out the improvement using social behavior data and data about previously passed 
courses. We aimed at prediction of students’ success according to the probability of passing the investigated 
course.  

4.2.1 Classification tasks 
Three experiments were performed that differ in the granularity of a class—prediction of an exact grade (A, B, 
C, D, E, F, ‐), prediction into three classes: good/bad/failure and two‐class prediction of success/failure. 
 
Following  machine  learning  algorithms  were  used  for  classification:  Bayes  (NB),  support  vector  machines 
(SMO), instance based learning (IB1), classification rules (PART), one rule (OneR) and decision tree (J48), Ran‐
dom  Forests  and  also  ensemble  learning  methods,  namely  AdaBoost  and  Bagging.  AdaBoost  algorithm 
achieved the best results in the combination with Decision Stump and Bagging with SMO or REP‐Tree. 
 
We have already explored this task in Bydžovská et al. (2014) where the positive influence of social behavior 
data about students was presented. We showed improvement of 3% in accuracy when such data are added to 
datasets in comparison with using only study‐related data. There results were improved in this following sec‐
tion. 

4.2.2 Cost matrix 
The main advantage of the classification was that the results were easily understandable but disadvantage for 
the prediction of an exact grade and the prediction of good/bad/failure was that there was no difference of 
measure of error. When a student acquired A and the model predicted B, it was the same error as if it pre‐
dicted F.  
 
To overcome this problem we used confusion matrix obtained by classification to compute the measure of an 
error. Grades could be transformed into real numbers: A = 1, B = 1.5, C = 2, D = 2.5, E = 3, F, ‐ = 4 and good = A, 
B = 1, bad = C, D, E = 2 and failure = F, ‐ = 4. Error of a model was computed as a sum of absolute differences 
between all real values of prediction variable (Vr) and predicted values of prediction variable (Vp): 
 
Err = ∑ | Vr − Vp |  
 
For example, when a student acquired A and the model predicted B, the model error increase of |1‐2| = 1. 
When the model predicted F, the error increase of |1‐4| = 3. The best model was the model with the lowest 
total error. 

4.2.3 Regression task  
Regression techniques were also suitable for such tasks when there was an order for prediction variable (using 
real numbers instead of grades). We employed the following machine learning algorithms for regression: Lin‐
earRegression, REPTree, IBk, AdditiveRegression, Bagging, Vote, and DecisionStump. 
 

92
 
Hana Bydžovská and Lubomír Popelínský 

4.2.4 FeaturesSelection 
The study‐related data contained 42 attributes, social behavior data contained 131 attributes in total where 29 
were general attributes and the rest were derived variants. Data about previously passed courses contained 20 
attributes in average depending on the investigated course. This amount of data could mislead the algorithms 
so we employed feature selection algorithms to reduce it. To achieve this, we used meta‐classifier that takes a 
search algorithm and evaluator for selecting features and base classifier to process only reduced data. 
 
We  selected  aforementioned  algorithms  for  base  classifier.  We  utilized  BestFirst  and  Ranker  algorithms  for 
evaluation. We tried different settings of Ranker: threshold 0.01, or selection of top 5, 10, 15, 20, or 50 attrib‐
utes.  Following  methods  were  used  for  searching:  CfsSubsetEval,  ClassifierSubsetEval,  ReliefFAttributeEval, 
ChiSquaredAttributeEval, and GainRatioAttributeEval. 

4.2.5 Evaluation of results 
We used 10‐fold cross validation for evaluation of results. It is well‐known technique for estimating the per‐
formance of a predictive model. The data set is divided into 10 subsets, and the holdout method is repeated 
10 times. Each time, one of the 10 subsets is used as the test set and the other 9 subsets are put together to 
form a training set. Then the average error across all 10 trials is computed. 

5. Results 

5.1 Classification task 
In Bydžovská et al. (2014) we calculated baseline (classification to the majority class) for all 62 courses. Then 
we calculated average of these baselines. We also computed average accuracy using study‐related data in the 
same way. When we added social behavior data, the accuracy was improved by 3% for almost the third of 62 
courses (All attributes). 
 
These results were improved when we used feature selection algorithms (Selected attributes). The difference 
in accuracy for grade prediction can be seen in Figure 1. The maximum improvement was almost 21% in accu‐
racy. For 11 courses, the improvements were better than 4%. 

Baseline SR All Selected

60

55

50

45
Accuracy

40

35

30

25

20

Course
 
Figure 1: Classification of exact grade 
All  differences  in  average  accuracy  per  task  can  be  seen  in  Table  1.  The  biggest  average  improvement  was 
achieved for grade prediction task—2.38%. We consider this as successful outcome in order to difference in 
mining  all  attributes  with baseline  only  around 10%.  Maximum  number  of  attributes  in  dataset  was 200  (all 

93
 
Hana Bydžovská and Lubomír Popelínský 

data) that could mislead algorithms. Less than 21 attributes in average were sufficient for predictions depend‐
ing on the task. 
Table 1: Classification results (average accuracy %) 
Classification  Grades  Good/bad/failure  Success/failure 
Baseline  31.48%  52.21%  74.20% 
Study‐related data (SR)  39.31%  62.50%  80.26% 
All attributes  39.70%  63.19%  81.43% 
Selected attributes  42.10% (19 attributes)  65.33% (20 attributes)  83.62% (21 attributes) 
Data about previously passed courses were never chosen by feature selection algorithms. Distribution of the 
datasets on which machine learning algorithms reached the best accuracy can be seen in Figure 2. Diagrams 
showed  that  study‐related  data  still  gained  the  most  information.  Regardless  the  fact,  social  behavior  data 
were very beneficial. In comparison with results from Bydžovská et al. (2014) social behavior data with combi‐
nation  of  feature  selection  algorithms  improved  results  in  more  cases  but  the  improvements  were  almost 
same, around 3%. 

 
Figure 2: Distribution of the best dataset for machine learning algorithms for classification 
The 5 most frequent attributes selected by feature selection algorithms when machine learning algorithms for 
classification achieved the best results can be seen in Table 2. 
Table 2: Selected attributes by feature selection algorithms 
Ranking  Grades  Good/bad/failure  Success/failure 
1.  Ratio of number of gained credits to  Ratio of number of gained  Ratio of number of gained 
number of credits to gain  credits to number of credits to  credits to number of credits 
gain  to gain 
2.  Average grade  Average grade  Average number of credits 
gained in term 
3.  Weighted average grade  Weighted average grade  Weighted average grade 
4.  Average number of credits gained in  Field of study  Average grade 
term 
5.  Difference of average number of credits  Average number of credits  Number of gained credits 
gained in semester with recommended  gained in term 
30 credits/term 
The most often accurate machine learning algorithms depended on the task:  
ƒ grades: SMO, AdaBoost and J48, 
ƒ good/failure: SMO, J48 and AdaBoost, 
ƒ success failure: AdaBoost, SMO and Bagging. 

5.2 Cost matrix 
We  were  interested  in  precise  predictions  regardless  of  the  measure  of  an  error.  But  when  we  needed  to 
group students with similar skills, we needed to know how big was the error of the prediction. In this situation 
we could not use classification. We computed the cost of transformation of predicted values to the real values. 
The total error of predictions can be seen in Table 3. The lower the total value of an error, the better. 
 

94
 
Hana Bydžovská and Lubomír Popelínský 

Table 3: Cost matrix results (average total error) 
Classification  Grades  Good/bad/failure 
Baseline  647.98  516.48 
Study‐related data (SR)  465.30  401.31 
All attributes  450.89  387.01 
Selected attributes  315.64 (16 attributes)  266.35 (16 attributes) 
Distribution of the datasets on which machine learning algorithms reached the best results can be seen in Fig‐
ure 3, it is slightly different than in the previous case. 

 
Figure 3: Distribution of the best dataset for machine learning algorithms using cost matrix 
The  5  most  frequent  attributes  selected  by  feature  selection  algorithms  when  machine  learning  algorithms 
achieved the best results can be seen in Table 4. 
Table 4: Selected attributes by feature selection algorithms 
Ranking  Grades  Good/bad/failure 
1.  Ratio of number of gained credits to number of  Average grade 
credits to gain 
2.  Average grade  Ratio of number of gained credits to number of 
credits to gain 
3.  Field of study  Field of study 
4.  Average number of credits gained in term  Weighted average grade 
5.  Number of gained credits  Average number of credits gained in term 
The most often accurate machine learning algorithms were:  
ƒ grades: AdaBoost, SMO and NaiveBayes, 
ƒ good/failure: AdaBoost, SMO and J48. 

5.3 Regression task 
We also utilized regression for good/bad/failure and exact grade prediction. We decided to use Mean absolute 
error (MAE) for measure how close predictions were to actual values. The lower the value of MAE, the better 
predictions. Results show that applying feature selection algorithms to the study‐related data reached better 
average results than using all dataset. All results can be seen in Table 5. It was very interesting that better re‐
sults were achieved for prediction of exact grade. 
Table 5: Regression results (MAE) 
Regression  Grades  Good/bad/failure 
Baseline  0.7974  0.8420 
Study‐related data (SR)  0.6641  0.6996 
All attributes  0.6565  0.6896 
Selected attributes  0.6123 (14 attributes)  0.6446 (16 attributes) 
Distribution of the datasets on which machine learning algorithms for regression reached the lowest MAE can 
be seen in Figure 4. 

95
 
Hana Bydžovská and Lubomír Popelínský 

 
Figure 4: Distribution of the best dataset for machine learning algorithms for regression 
The 5 most frequent attributes selected by feature selection algorithms when machine learning algorithms for 
regression achieved the best results can be seen in Table 6. 
Table 6: Selected attributes by feature selection algorithms 
Ranking  Grades  Good/bad/failure 
1.  Ratio of number of gained credits to number of  Ratio of number of gained credits to number of 
credits to gain  credits to gain 
2.  Average grade  Average grade 
3.  Weighted average grade  Weighted average grade 
4.  Average grade of investigated course  Information if the student repeat this course 
5.  Number of successful finished studies at faculty  Average grade of investigated course 
Three the most accurate algorithms for predictions were:  
ƒ good/bad/failure—LinearRegression, IBk, and DecisionStump, 
ƒ grade— LinearRegression, AdditiveRegression, and Bagging. 

6. Conclusion and future work 
We investigated the possibilities of prediction of student success or failure. We improved previously published 
results by utilizing feature selection algorithms. The best results were achieved by mining less than 21 attrib‐
utes (in comparison of 200 attributes in all data). The most frequent selected attributes were: ratio of number 
of gained credits to number of credits to gain, average grade and weighted average grade. We presented the 
best  fitting  machine  learning  algorithms  for  these  tasks  (SMO,  AdaBoost).  We  also  confirmed  that  study‐
related data were the most important from aforementioned types of data but social behavior data improved 
result significantly. 
 
The  results  of  classification  indicated  suitable  predictions  for  good/bad/failure  (accuracy:  65%)  and  suc‐
cess/failure tasks (accuracy: 83%). The accuracy was relatively high when we took into consideration the fact 
that we predicted the final scores of students at the beginning of the term when there were no data about 
students’ attitude to a course. Contrarily, the predictions of exact grades were not sufficient (accuracy: 42%). 
 
For prediction of exact grade and good/bad/failure tasks, we revealed disadvantage of using classification and 
we presented two different approaches to overcome them: using cost matrix or using algorithms for regres‐
sion. The aforementioned observations obtained by classifications were still valid for both of them. The best 
fitting machine learning algorithm for this task was LinearRegression in most cases. Mean average error was 
around 0.6 which was sufficient improvement. 
 
We proved that these techniques could be used for weak student identification. This outcome can help teach‐
ers with their estimations of students’ skills. This knowledge can be beneficially used for better motivation to 
students or assigning them to the suitable seminar groups at the beginning of a term. 
 
We plan to utilize different approaches on this data, e.g. the technique published by Vialardi et al. (2009, 2010) 
and to enrich it with social behavior data. We also plan to construct temporal features that allow us to observe 
a student progress during the study and to enrich the original data set to improve the quality of predictions.  
 

96
 
Hana Bydžovská and Lubomír Popelínský 

Acknowledgements 
We  thank  Michal  Brandejs  and  all colleagues  of  IS MU development  team  and  Knowledge Discovery  Lab  for 
their assistance. This work has been partially supported by Faculty of Informatics, Masaryk University. 

References 
Arnold, K. E. (2010) “Signals: Applying academic analytics”. EDUCAUSE Quarterly, 33(1), ISSN 1528‐5324. 
Atchley, W. and Wingenbach, G. and Akers, C. (2013). “Comparison of Course Completion and Student Performance 
through Online and Traditional Courses”, A refereed e‐journal to advance research, theory, and practice in open  and 
distance learning worldwide, Vol. 14, NO 4. 
Bydžovská H. and Popelínský L. (2014). “The Influence of Social Data on Student Success Prediction”. Proceedings of the 
18th International Database Engineering & Applications Symposium – IDEAS 2014, ISBN 978‐1‐4503‐2627‐8. 
Dekker, G.W. and Pechenizkiy, M. and Vleeshouwers, J.M. (2009) ”Predicting students drop out: a case study”. In T. Barnes, 
M. Desmarais, C. Romero, and S. Ventura, editors,  Proceedings of the 2nd International Conference on Educational 
Data Mining (EDM’09), pages 41–50. 
Hawkins A., Graham Ch. R , Sudweeks R. R., Barbour M. K (2013). “Academic performance, course completion rates, and 
student perception of the quality and frequency of interaction in a virtual high school”. Distance Education, ISSN 
0158‐7919. 
Marquez‐Vera, C. and Romero, C. and Ventura, S. (2011) ”Predicting school failure using data mining”. In Mykola Pecheniz‐
kiy, Toon Calders, Cristina Conati,  Sebastián Ventura, Cristóbal Romero, and John C. Stamper, editors, EDM, pages 
271–276. www.educationaldatamining.org. ISBN 978‐90‐386‐2537‐9. 
Meseke A. Ch. and Nafziger R E.; Meseke J. K. (2008) ”Sudent Course Performance and Collaborative Testing: A Prospective 
Follow‐on Study”.  Journal of manipulative and physiological therapeutics, volume:  31, 2008, ISSN:  1532‐6586 
Romero, C. and Ventura, S. (2010). “Educational data mining: a review of the state‐of‐the‐art”. IEEE Trans. Syst. Man Cy‐
bern. C Appl. Rev. pp. 601–618. 
Thai Nghe, N. and Janecek, P. and Haddawy, P. (2007). ”A comparative analysis of techniques for predicting academic per‐
formance”, IEEE, Milwaukee, WI. 
Nooy, W. and Mrvar, A. and Batagelj, V. (2011) Exploratory Social Network Analysis with Pajek. Structural Analysis in the 
Social Sciences. Cambridge University Press. 
Vandamme, J.P. and Superby, J.F. and Meskens, N. (2006). ”Determination of factors influencing the achievement of the 
first‐year university students using data mining methods”. In Proceedings of the 8th international conference on intel‐
ligent tutoring systems, Educational Data Mining Workshop,Taiwan, pages 37–44. 
Vialardi, C. and Agapito, J. and Shafti, L. and Ortigosa, A. (2009) ”Recommendation in higher education using data mining 
techniques”. In EDM, pages 191–199. 
Vialardi, C. and Chue, J. and Barrientos, A. and Victoria, D. and Estrella, J. and Ortigosa, A. and  Peche, J. (2010) ”A case 
study: Data mining applied to student enrollment”. In Proceedings of Third Educational Data Mining Conference, 
Pennsylvania, USA, pages 333–335. 
Vihavainen, A. and Luukkainen, M. and Kurhila J. (2013). “Using Students’ Programming Behavior to Predict 
Success in an Introductory Mathematics Course”, Proceedings of the 6th International Conference on Educational Data 
Mining (EDM’13). 
Witten, I. and Frank, E and Hall, M. 2011. Data Mining: Practical Machine Learning Tools and Techniques, 3rd edition, Mor‐
gan Kaufmann Publishers, ISBN: 978‐0‐12‐374856‐0. 

97
Promoting a Community of Practice Online: How Important is Social 
Presence? 
Maggie Carson 
School of Health in Social Science, The University of Edinburgh, UK 
m.n.carson@ed.ac.uk 
 
Abstract:  Encouraging  interpersonal  exchanges  to  support  collaborative  learning  which  require  an  element  of  self‐
disclosure can be problematic at the best of times but this can be more difficult in an online environment.  It can take time 
for a diverse group of distance learners to bond with each other sufficiently to ensure meaningful relationships are formed 
which promote trust and give the students confidence to share their experiences.  Often this time is not available. Using an 
innovative  approach  to  support  students,  which  has  been  used  successfully  face‐to‐face  but  never  before  online,  we 
explore how students undertaking an online asynchronous leadership course as part of their MSc or as a stand‐alone CPD 
module,  felt  supported  by  a  ‘tool’  more  commonly  used  as  an  icebreaker,  and  often  referred  to  as  the  ‘Jelly  Baby  Tree’ 
(JBT).  We have adapted this tool so that it can be used online to foster a sense of community. Preliminary analysis suggests 
the students have found the JBT to be a much valued aspect of the course.  They report that “the Jelly Baby Tree is the best 
bit of this course” giving it “the ‘human touch’”, that “best of all is the Jelly Baby Tree – my stress relief and where I found so 
much support” while others “come away inspired every time I read someone else’s jelly baby posting”. Arguably, the JBT 
has allowed and encouraged students to be reflective and to feel able to disclose personal information about themselves 
and their leadership style in a safe and supportive environment.  Significantly, in a diverse cultural group the JBT appears to 
have been perceived as a neutral, safe and non‐threatening means through which students could connect with each other 
without misunderstanding.  There has been a clear correlation between the students’ interactions with the JBT, the degree 
of social presence and their active participation throughout the course. 
 
Keywords social presence, community of practice, online environment, asynchronous e‐learning, student engagement, 
Jelly Baby Tree 

1. Introduction 
Social  presence  has  been  defined  as  “the  ability  of  participants  in  a  community  of  enquiry  to  project 
themselves  socially  and  emotionally  as  ‘real’  people  through  the  medium  of  communication  being  used” 
(Garrison  et  al,  2000,  p94).  It  is  recognised  as  an  important  factor  affecting  the  development  of  a  sense  of 
community  among  learners  (Rourke  et  al,  1999;  Aragon,  2003).    Positive  social  presence  correlates  with 
students’  positive  perceptions  of  their  learning  (Picciano,  2002)  and  is  a  significant  predictor  of  a  student’s 
overall satisfaction (Tu, 2002).  This is important for many reasons including attracting and retaining students 
(Rovai, 2002). This paper will explore the use of an ice‐breaker tool, known locally as the Jelly Baby Tree (JBT) 
and  adapted  for  use  within  an  asynchronous  online  course  to  demonstrate  the  positive  effect  this  had  on 
community building, course engagement and social presence. Moreover, the evaluation of the JBT over several 
iterations of the leadership course within Nursing Studies demonstrates that this tool can be used successfully 
in both face to face (f2f) and online environments.  
 
Exploring  the  significance  of  the  JBT  and  its  usage  in  an  online  course  provides  a  greater  awareness  of  how 
Web  2.0  technology  can  be  used  within  twenty  first  century  Higher  Education.  This  is  significant  as  the 
University of Edinburgh (UoE) is expanding its online provision of taught postgraduate programmes. Moreover, 
the  University’s  Strategic  Plan  2012‐2016  sets  out  a  number  of  objectives,  one  of  which  is  to  combine 
“recognised teaching excellence with an outstanding student experience both on‐campus and online” (p.25). 
Therefore, the use of innovative approaches to teaching and learning is at the forefront of online programme 
delivery.   

2. Methodology  
The  analysis  for  this  paper  draws  from  existing  findings  (Garrison  et  al.,  2000;  Carson  2012),  as  well  as 
qualitative and quantitative data from a number of iterations of leadership courses delivered within Nursing 
Studies (NS) at the UoE between 2008‐13.  
 
In  the  academic  year  2012‐13,  fourteen  students  enrolled  on  the  online  MSc  leadership  course  and  the 
demographics  of  this  cohort  are  shown  below.  Figure  1  illustrates  the  gender  split  and  Figure  2  shows  the 
percentage of home versus international students. Of the home students four (28%) were qualified nurses who 

98
 
Maggie Carson 

were undertaking the course as part of their continuing professional development (CPD).  Of the other home 
students one (7%) was full time and the other three (21%) were part time.  The international students were all 
full time.  The international students were younger (26‐29 years; mean = 27) than the home students (30‐47 
years; mean = 36) and the CPD students (28‐50 years; mean = 42). 

   
Figure  1:  Gender  split  (2012‐13  online  leadership  Figure  2:  Home  &  International  students  (2012‐13 
course)  online leadership course) 

2.1 Use of the Jelly Baby Tree in a face to face context 
The JBT has been used in many contexts as an icebreaker by the course leader. Within the University, it has 
been used successfully in NS.  During each iteration of the f2f MSc leadership course (2008/9‐2010/11), the 
JBT(see Figure 3) was introduced to the students and used by the instructor as a tool to help and encourage 
the students to state where they saw themselves in terms of their current leadership position and to establish 
where they were on their leadership ‘journey’.  
 
The JBT was then used each week to gauge how the students were feeling in terms of their involvement with 
the  course  and  how  they  perceived  themselves  in  terms  of  how  well  they  were  balancing  their  various 
academic, professional and personal commitments.  At the start of the class each student was asked to identify 
with a particular Jelly Baby and use this to articulate and share their feelings with the rest of the group. This 
meant that every student had spoken aloud and shared a personal reflection within the first few minutes of 
the class. 
 
In this way, the JBT was being used as a conventional ice‐breaker which is what is was originally designed for.  
Significantly, it was found that, having done this, the students were more inclined to contribute to discussions 
and  ask  questions  during  the  remainder  of  the  class.    A  sense  of  community  was  created  and  the  students 
were able to offer and receive support from both their peers and the instructor.  Every year, student course 
evaluations have consistently identified the JBT as one of the best features of the course and comments such 
as  “The  Jelly  Baby  Tree  made  you  feel  cared  for  within  the  group”  (2008/9),  “I  liked  the  jelly  baby  men” 
(2009/10) and “The Jelly Baby Tree was very, very helpful” (2010/11) appeared frequently on these evaluation 
forms. 

2.2 The need for change 
The  UoE  is  committed  to  increasing  opportunities  for  online  distance  learning  (ODL).    In  addition,  the  UoE 
Strategic Plan 2012‐2016 has highlighted the need to support Postgraduate Taught Students (PGT) and sets out 
three strategic goals for excellence in education, research, and innovation. Accordingly, the evolving area of 
online distance learning requires staff to deliver quality and excellence to students.  
 
NS  wanted  to recruit  more  postgraduate  students  by  expanding  the  number  of  programmes  offered  and  by 
making existing programmes more attractive. The first step in this objective was market research.  The results 
indicated that prospective students were looking for flexibility, whilst balancing various commitments, offered 
by online courses. This is further supported by studies focusing on nursing students who participated in online 
learning (Ali et al., 2004; Sit et al., 2005). As a result, the course leader was asked to redesign the on campus 
f2f leadership course so it could be delivered online. 
 

99
 
Maggie Carson 

   
Figure 3: The original JBT (UK Grad, 2003)  Figure  4:  The  online  version  of  the  JBT  (adapted  by 
Carson and Squires, 2012) 

2.3 What do nursing students want from online learning? 
Consideration  was  given  to  Sit  et  al’s  (2005)  study  of  an  online  learning  initiative  within  a  post  registration 
nursing degree that looked at the student experience of online learning, in order to apply their knowledge to 
the  development  of  the  online  leadership  course.  While  56.7%  of  respondents  to  their  questionnaire  were 
satisfied  or  very  satisfied  with  the  online  learning  experience,  63.3%  listed  the  biggest  hindrance  to  their 
learning as inadequate opportunities to establish peer support.  Similar findings were obtained from the open‐
ended questions in their study where the most frequently identified hindrance to their learning online (36%) 
was given as the inadequate opportunity for human contact and interaction.  This can be captured by a quote 
from one of the respondents: “Sometimes it is boring to study on my own.  It seems that I am talking to the 
computer...I felt lonely and not sure if I was on the right track.” (Sit et al 2005, p146).Suggestions for future 
improvements  included  building  an  infrastructure  into  the  online  design  that  would  facilitate  peer  support.  
Based  on  their  findings,  Sit  et  al  (2005,  p146)  suggested  that  “innovation  and  creativity  are  needed  in 
enhancing human‐machine interface communication to facilitate peer interaction, support and socialisation in 
the online learning process (Bentley et al, 2003; Espeland and Inrehus, 2003; Kozlowski, 2002)”. 
 
In another study of graduate nursing students’ experiences of online learning, social isolation was found to be 
a significant problem.  One student reported “You felt like you were just all alone.  I just thought I was typing 
into space or something” (Ali et al 2004, p112). 

2.4 Use of the Jelly Baby Tree in an online context 
Before undertaking the design of any online course it is important to have some understanding of the needs of 
online  learners  and  also  if  possible  to  be  aware  of  any  specific  needs  of  the  student  cohort  being  taught.   
Consequently it was important not only to review what was personally known and understood about online 
learning  (Carson,  2012)  but  to  also  review  specific  literature  on  online  learning  in  postgraduate  nurse 
education.   
 
It was also important to think very carefully about whether what was effective f2f would work online (Carson, 
2012).    Evidence  from  Car‐Chellman  and  Duschastel  (2001)  indicates  that  simply  transposing  a  traditional 
course  to  an  online  medium  runs  the  risk  of  diluting  the  content  and  leads  to  an  unsuccessful  learning 
experience.  White  (2003),  states  that  an  effective  online  course  is  designed  differently  from  a  face‐to‐face 
course while the UoE’s Manifesto for Teaching Online (2011) states that “The possibility of the ‘online version’ 
is overstated. The best online courses are born digital”.   
 

100
 
Maggie Carson 

The intention was therefore to retain what had worked well f2f but to avoid falling into this trap.  The question 
which arose in relation to the JBT was therefore ‘Can teaching strategies that have worked well in a classroom 
setting be successfully transposed to an online environment?’ i.e. ‘Would the JBT work online?’  
 
As has been demonstrated, while the JBT had successfully been used in the f2f leadership courses it had never 
before been implemented in an online course.  Its selection was seen as an innovative approach to encourage 
social presence within an online context and it was hoped that its use would help to support and develop the 
PGT students taking this course.  
 
One of the first things was to redesign the JBT (see Figure 4). This was done by removing of some of the Jelly 
Babies, rearranging the groupings of others, numbering them all and adding colour to make it more visually 
appealing. The visual element online is important as only two of the five senses are present here and so the 
visual dimension can become the prominent sense in which to engage with others. Visual content can be used 
as indicators for emotion, for example the use of emoticons in discussion boards. In addition visual cues, such 
as symbols or images can be used as a signposting mechanism within the virtual learning environment. There 
may  also  be  activities,  such  as  the  JBT  which  use  visuals  to  engage  with  the  students.  Therefore,  the  visual 
element  within  online  distance  learning  can  provide  a  means  in  which  to  develop  social  presence  and 
community  building  (Garrison  et  al,  2000).  Importantly,  the  visual  content  in  online  courses  contributes 
towards  a  better  student  experience.  Providing  a  means  by  which  to  build  an  emotional  and  behavioural 
aspect  into  the  online  experience  further  highlights  the  important  place  that  the  element  of  trust  has  in 
activities  where  disclosure  of  feelings  (and  emotions)  directly  relates  to  the  building  of  community, 
(Ravenscroft, 2005, p.137), as is found in the JBT forum. 
 
The  setting  up  of  the  JB  forum  included  a  separate  weekly  discussion  board  with  a  single  thread  which  was 
called ‘The Jelly Baby Tree’ (see Figure 5 for a breakdown of the number of posts each week).  The idea was 
that  students  would  be  introduced  to  the  JBT  during  the  induction  to  the  course  and  thereafter,  as  before, 
would be asked each week to use the JBT to reflect on where they were and how they were feeling (see Box 1).  
It  can  be  seen  from  this  that  the  Jelly  Baby  forum  was  conceptualised  differently  from  the  main  discussion 
board as it was seen as a place for developing community through social interaction.  The instructor(s) would 
do  the  same  in  order  to  ‘model  the  way’  and  connect  with  the  students  thereby  fostering  a  sense  of  social 
presence for themselves as well. The course content was divided into weekly topics and each week had its own 
discussion thread(s). Excluding the Jelly Baby posts, which were not assessed, all other discussion board posts, 
which  were  structured  and  focused  on  the  completion  of  set  activities  as  part  of  the  course  contents,  were 
marked each week using a rubric and the marks from these posts contributed to 40% of the students’ overall 
course  marks.  At  the  end  of  Week  5  these  marks  were  shared  with  the  students  in  the  form  of  formative 
feedback.  The number of posts each week is shown in Figure 6. 
Box 1: Guidance on how to use the Jelly Baby Tree. 
 
Please have a look at the 'Jelly Baby' Tree. You will see it consists of a series of numbered 'Jelly Babies' in, on 
and around a tree. Some appear confident, happy and relaxed while others appear to be less content. Some 
are  giving  and  some  are  offering  support.  Some  are  alone  while  others  appear  in  pairs  or  in  a  group.  Some 
appear to be solitary and/or isolated while others appear to be part of a crowd.  Each week we will be asking 
you to have a think and reflect on where you are currently on your own personal leadership journey in terms 
of:  
• how you are feeling about being/becoming a leader  
• how  well  supported  you  are  feeling  on  this  course  by  both  your  fellow  students  and  the  course 
leaders  
• what effect any external factors (work, home, relationships etc) have had on your week and how this 
might be impacting on how you are feeling today  
We will ask you to do this by selecting the coloured Jelly Baby that best corresponds to how you are feeling 
and  asking  you  to  provide  a  short  summary  on  this  week's  discussion  board  once  you  have  considered  the 
above.  

3. Discussion  
The  following  discussion  focuses  on  three  areas  in  relation  to  the  JBT,  namely  the  importance  of  online 
community  and  engagement;  the  discussion  boards;  and  social  presence  in  relation  to  learning.  The 

101
 
Maggie Carson 

implementation of this ice‐breaker tool enabled a sense of social presence to develop and as a result improved 
the student experience and engagement on the online leadership course. 

3.1 Importance of online community and engagement 
One of the challenges of online courses is the sense of isolation which can contribute to attrition rates. This 
problem has been addressed by many, such as Patterson and McFaddon (2009), who state that attrition rates 
are higher in online courses. Therefore, developing a course which fosters a sense of community can help to 
reduce  feelings  of  isolation  (Gerlock  and  McBride,  2013).  Moreover,  there  is  evidence  to  suggest  that  both 
retention  and  satisfaction  rates  improve  if  online  learners  experience  a  sense  of  community  (Ali  and  Leeds, 
2009; Lee et al, 2011; Tirrell and Quick, 2012). 
 
These  factors  were  considered  when  developing  the  online  leadership  course.  The  course  delivery  tried  to 
avoid the notion that web‐based learning can leave students feeling that they have been communicating with 
machines  and  not  human  beings.    The  aim  of  using  the  JBT  was  to  build  a  sense  of  community  and  thus 
increase engagement by providing a forum through which to foster the development of an online community. 
If this is looked at more closely, a sense of community develops when a common interest or environment is 
shared  (Dawson,  2006).    Baran  et  al  (2012,  p436)  state  that  “Online  teachers  should  be  encouraged  to 
promote community building around online teaching.” 
 
Rovai  (2002,  p4)  defines  classroom  community  in  terms  of  spirit,  trust,  interaction  and  commonality  of 
expectations  and  goals.  The  element  of  trust  should  not  be  underestimated  in  an  online  course,  as  it  is 
significant  for  building  and  maintaining  communities.  The  JBT  exercise  further  reinforces  the  importance  of 
trust  as  it  exposes  the  students  to  a  reflective  and  ongoing  shared  group  activity.    This  is  articulated  by  the 
following student comments from 2011‐12 (sic):  
“I share your feelings too. I quite appreciate the level of bonding despite the differences in space 
and  time  and  the  vulnerability  based  trust  which  makes  communication  easier.    I  took  on  this 
course as a challenge because I dislike social science courses which are usually abstract and non 
specific.  But  I  must  say  that  nine  weeks  down  the  line,  I  am  glad  I  did.  The  support  from  my 
course mates and facilitators has been excellent and I feel like Jelly Baby 1 and 4.”   
“It  is  really  nice  knowing  that  others  are  working  hard  too.  It  is  so  overwhelming  at  times  and 
then I read your posts and realize that there is so much dedication and everyone cares for each 
other even though we don't see each other eye to eye. That encourages me every day. Come to 
think of it, I feel someone pushes me up the tree when life gets hard.”  
Preliminary  analysis  suggests  that  students  have  found  the  JBT  to  be  a  much  valued  aspect  of  the  course. 
Direct feedback from students on the online course (2011‐12) confirms this:  
“I think the Jelly Baby Tree is the best bit of this course.  Amidst all the pressures of a full‐time job 
and a part‐time course I found this to be therapeutic and gives the course the ‘human touch’.” 
“I have enjoyed the Jelly Baby forum, sharing our thoughts together, I did not feel alone”  
“I’ve done at least 3‐4 courses on leadership etc so to be honest I’ve got quite bored with them.  
Thus  my  expectations  were  low  –  but  I’m  pleased  to  say  they  were  easily  exceeded  –  mainly 
because I think everyone offered something of themselves (rather than sterile theory) in the Jelly 
Baby Tree.  Life is so much more fulfilling when everyone is real (even in a virtual environment!).” 
“Coming from a research‐based background where one is quite insular, I felt I had very little to 
contribute  as  most  times  I  felt  like  Jelly  Baby  1,  always  being  helped  up  the  tree  by  all  of  you 
(students and lecturers) through your wisdom and experience which shines through every topic. 
Best of all is the "Jelly Baby Tree" ‐my stress relief and where I found so much support! A place 
where I felt I could air all, and learnt so much again! 
The  comments,  above,  highlight  the  significant  contribution  the  JBT  is  making  in  relation  to  the  sense  of 
connection felt by the students and the formation of an online community. Self reflection is encouraged as is 
community  building  (Brown,  2001).    Consequently,  the  sense  of  an  online/offline  paradigm  is  lessened  and 
students  here,  unlike  those  in  Sit  et  al.’s  (2005)  and  Ali  et  al.’s  (2004)  studies,  have  achieved  a  sense  of 
community.  As the Connected Learning Manifesto (2012) states: “Connected learners are never lonely” and 

102
 
Maggie Carson 

this is supported by the UoE Manifesto for Teaching Online (2011) which says “Community and contact drive 
good online learning”. 

3.2 Discussion boards 
The  JBT  was  used  in  conjunction  with  the  discussion  board  within  the  Virtual  Learning  Environment 
(Blackboard  Learn).  The  discussion  board  enables  participants  to  post  messages  and  respond  to  others 
asynchronously.  Understanding  how  discussion  boards  can  be  implemented  to  develop  social  presence  and 
community is fundamental within this type of group activity.   
 
There are a number of benefits to using discussion boards for this type of activity, including the flexibility in 
which  students  can  post  comments  at  a  time  which  suits  them;  enables  students  to  critically  evaluate  their 
response before posting; and provides a forum in which to build a community online. 
 
During  the  ten  week  leadership  course  there  were  a  total  of  274  posts  to  the  Jelly  Baby  thread.    Figure  5 
highlights  the  weekly  breakdown  of  these  posts.    All  fourteen  students  not  only  commented  regularly 
themselves (which is requested) but many also responded to each others’ posts.  It could be argued that the 
success of the JBT can be illustrated here by the volume of posts alone. 
 
Figure  6  shows  the  activity  each  week  on  the  discussion  boards.    As  shown,  this  activity  was  maintained 
throughout the entire course with the majority of students (71%) posting multiple comments each week.  Four 
of the fourteen students on nine occasions between them did not post (0.06%), which equates to 9/140 weeks 
where they did not post. The circumstances for this varied but included special circumstances, being on annual 
leave or on night shift. 
 
Furthermore, as was mentioned earlier, the JBT activity on the discussion boards was not assessed and so it is 
worth  noting  that  the  motivational  drivers  for  students  to  post  to  the  discussion  board  were  likely  to  be 
intrinsic rather than extrinsic, which is often not the case (Ravenscroft, 2005, p.137). This further highlights the 
significance that this activity had for the cohort and the importance that they placed on it. 

 
Figure 5: Number of posts per week to the JBT (2012‐13  Figure  6:  Number  of  posts  per  week  (2012‐13 
online leadership course)  online leadership course) 

3.3 Social presence and learning 
Positive social presence correlates with students’ positive perceptions of their learning (Picciano, 2002) and is 
a  significant  predictor  of  a  student’s  overall  satisfaction  (Tu,  2002).  Fabro  and  Garrison  (1998)  found  social 
presence to be crucial in establishing a critical community of learners. This is important in terms of attracting 
and retaining learners to online courses (Rovai, 2002). In 2012‐13 the online leadership course was completed 
by all fourteen students.  During this time they remained engaged with the JBT and contributed to the weekly 
discussion  boards.  Garrison  et  al  (2000,  p95)  argue  that  cognitive  presence  is  more  easily  sustained  when  a 
significant degree of social presence has been established (Garrison, 1997; Gunawardena, 1995). That is, socio‐
emotional  interaction  and  support  are  important  and  sometimes  essential  in  realizing  meaningful  and 
worthwhile educational outcomes. 
 

103
 
Maggie Carson 

The  learning  obtained  from  the  reflective  practice  and  participation  with  other  students  contributes  to  the 
student  transferring  skills  from  an  online  context  to  the  offline  context.  As  a  result  of  this  they  implement 
leadership  skills  into  other  environments  and  take  responsibility  for  their  own  learning.    The  correlation 
between reflective practice and building a community through social presence marks a qualitative difference 
between a collaborative community of inquiry and a simple process of downloading information (Garrison et 
al., 2000, p96). 

4. Conclusion 
This paper has focused on the importance of social presence in an online course and how the innovative use of 
an ice‐breaker tool, known as the JBT has made a significant contribution to the formation and maintenance of 
an  online  community  within  a  leadership  MSc  course  in  NS.    The  findings  indicate  that  the  JBT  has  directly 
contributed  to  student  satisfaction  and  improved  their  engagement  with  the  course  thereby  enhancing  the 
student  experience.  The  volume  of  posts  and  comments  from  the  students  corroborate  this  conclusion.   
Student  comments  highlight  that  the  JBT  provides  a  means  through  which  they  feel  present  and  connected 
with both their fellow students and instructors: 
“When I started this course I was not quite clear whether I would manage the online environment 
considering  that  I  would  never  see  my  classmates  or  tutors  hence  and  yet  I  wanted  a personal 
touch.  Honestly, I did not understand the concept of the Jelly Baby Tree and I did not see where 
the  tutors  were  heading  with  this.    Looking  back,  I  must  say  I  am  so  overwhelmed  with  the 
encouraging words from my classmates whom I have never met.  No words can ever state how 
grateful I am for the jelly baby forum.” 
“This  course  has  been  a  rewarding  and  enjoyable  one.  There  is  so  much  to  be  learned.  When  I 
started the course, I thought oh leadership‐I have done so many of those, it’s going to be boring 
but it truly was not.  The Jelly Baby Tree was really inspiring. The support from fellow students 
and teachers were remarkable.” 
It could be suggested that the JBT has allowed and encouraged students to be reflective and to feel able to 
disclose  personal  information  about  themselves  and  their  leadership  style  in  a  safe  and  supportive 
environment.  Significantly, in a diverse cultural group the JBT appears to have been perceived as a neutral, 
safe  and  non‐threatening  means  through  which  students  could  connect  with  each  other  without 
misunderstandings  and  we  believe  it  has  helped  to  foster  a  sense  of  social  presence  thereby  promoting  a 
community of learning in an asynchronous online course. 
 
It is hoped that by disseminating the findings from this study that there will be further insight gleaned into the 
development  of  online  courses  and  the  importance  that  social  presence  has  in  relation  to  promoting  and 
sustaining communities of practice.   Given that the JBT is a generic tool which is not discipline specific it could 
be  applied  to  other  online  environments  to  promote  an  online  community.    Further  research  into  online 
presence  and  the  use  of  this  and  other  icebreaker  tools  within  other  disciplines  would  provide  a  greater 
understanding  of  how  students  can  be  supported  in  online  environments  and  the  impact  this  may  have  on 
their engagement with their studies and their peers. 

References 
Ali N S, Hodson‐Carlton K and Ryan M (2004) Students’ Perceptions of Online Learning Nurse Educator 29(3) 111‐115 
Ali R. and Leeds E M (2009) The impact of face‐to‐face orientation on online retention: A pilot study.  Online Journal of 
Distance Learning Administration 12 (4) http://www.westga.edu/~distance/ojdla/winter124/ali124.html accessed 31 
May 2013 
Aragon S R (2003) Creating social presence in online environments.  New Directions for Adult and Continuing Education 100 
57‐68 
Baran E, Correia A‐P and Thompson A (2011) Transforming online teaching practice: critical analysis of the literature on the 
roles and competencies of online teachers.  Distance Education 32(3) 421‐439 
Bentley G W, Cook P P, Davis K, Murphy M J and Berding CB (2003) RN to BSN program: transition from traditional to online 
delivery. Nurse Educator 28(3) 121–126 
Brown R E (2001) The Process of Community Building in Distance Learning Classes.  Journal of Asynchronous Learning 
Networks 5(2) 18‐34 
Car‐Chellman A and Duschastel  P (2001) The ideal online course.  Library Trends 50(1) 145‐158 
Carson M N (2012) “Lost in Translation: Can a face‐to‐face taught Masters course be equally successful online?”   Health 
and Social Care Education Issue 1 (Winter 2012) 17‐18 

104
 
Maggie Carson 

Connected Learning Manifesto (2012)  http://plpnetwork.com/2012/07/23/connected‐learning‐manifesto/ accessed 31 
May 2013 
Dawson S (2006) A study of the relationship between student communication interaction and sense of community.  The 
Internet and Higher Education 9(3) 153‐162 
Espeland Vand Inrehus O (2003) Evaluation of students’ satisfaction with nursing education in Norway. Journal of Advanced 
Nursing 42(3) 226–236 
Fabro, K. R., & Garrison, D. R. (1998). Computer conferencing and higher‐order learning. Indian Journal of Open Learning, 
7(1), 41‐ 54. 
Garrison, D. R. (1997). Computer conferencing: The post‐industrial age of distance education. Open Learning, 12(2), 3 ‐ 11. 
Garrison D R, Anderson T and Archer W (2000) Critical enquiry in a text‐based environment: Computer conferencing in 
higher education.  The Internet and Higher Education 2 (2‐3) 87‐105 
Gerlock  J A and McBride D L (2013) Managing Online Discussion Forums: Building Community by Avoiding the Drama 
Triangle.  College Teaching 61(1) 23‐29 
Kozlowski D (2002) Using online learning in a traditional face‐to‐face environment. Computer in Nursing 20(1) 23–30 
Lee  S J S, Srinivasa T T, Lewis D and Lopez S (2011) Examining the relationship among student perception of support, 
course satisfaction and learning outcomes in online learning.  Internet and Higher Education 14(3) 158‐163 
Leong P (2011) Role of social presence and cognitive absorption in online learning environments.  Distance Education 32(1) 
5‐28 
Manifesto for teaching online (2011) http://www.swop.education.ed.ac.uk/manifesto.html accessed 31 May 2013 
Patterson B and McFadden C (2009) Attrition in Online and Campus Degree Programmes.  Online Journal of Distance 
Learning Administration 7(2) http://www.westga.edu/~distance/ojdla/summer122/patterson112.html accessed 31 
May 2013 
Picciano A (2002) Beyond student perceptions: Issues of interaction, presence and performance in an online course.  
Journal of Asynchronous Learning Networks 6(1) 21‐40 
Ravenscroft, A. (2005) E‐learning Communities in R. Land and S. Bayne (eds.), Education in Cyberspace. Routledge, Falmer: 
London, New York. 
Rourke L, Anderson T, Garrison D R and Archer W (1999) Assessing social presence in asynchronous text‐based computer 
conferencing.  Journal of Distance Education 14(2) 51‐70 
Rovai A P (2001) Building classroom community at a distance: A case study.  Educational Technology, Research and 
Development Journal 49(4) 35‐50 
Rovai A P (2002) Development of an instrument to measure classroom activity.  Internet and Higher Education 5(2) 197‐211 
Sit J W H, Chung J W Y, Chow M C M and Wong T K S (2005) Experiences of online learning: students’ perspectives.  Nurse 
Education Today 25(2) 140‐147 
Tirrell T and Quick D (2012) Chickering’s Seven Principles of Good Practice: Student attrition in Community College online 
courses.  Community College Journal of Research and Practice 36(8) 580‐590 
Tu C‐H (2002) The measurement of social presence in an online learning environment.  International Journal on E‐learning 
1(2) 34‐45 
UK Grad (2003) http://skills.library.leeds.ac.uk/lecturer/exams/handouts/jelly_bean_tree.pdf accessed 31 May 2013 
University of Edinburgh Strategic Plan 2012‐2016 http://www.ed.ac.uk/schools‐departments/governance‐strategic‐
planning/strategic‐planning/strategic‐plan‐2012‐16 accessed 31 May 2013 
Wade C E, Cameron B, Morgan K and Williams K C (2011) Are interpersonal relationships necessary for developing trust in 
online group projects?  Distance Education 32(3) 383‐396 
White A Roberts V and Brannan J (2003) Returning nurses to the workforce: Developing an online refresher course.  The 
Journal of Continuing Education in Nursing 34(2) 59‐64 

105
Computer‐Adaptive  Testing:  Item  Analysis  and  Statistics  for 
Effective Testing 
Ivana Cechova, Jiri Neubauer and Marek Sedlacik 
University of Defence, Brno, Czech Republic 
ivanacechova@unob.cz 
jiri.neubauer@unob.cz 
marek.sedlacik@unob.cz 
 
Abstract: Every year, hundreds of secondary school students take university entrance exams, and their results determine 
entry into universities or possible alternatives, such as employment. In the same way, every year university teachers face 
the  following  questions:  How  is  it  possible  to  cope  with  the  number  of  students?  And  how  can  entrance  testing  be  as 
effective as possible? One possible solution is computerized testing, which creates new opportunities as well as challenges 
for the production and administration of test forms. This paper presents on‐going research at the Faculty of Economics and 
Management of the University of Defence in Brno on test item analysis as well as students’ success during entrance exams. 
Item  analysis  is  a  procedure  to  increase  the  reliability  and  validity  of  a  test  by  separately  evaluating  each  test  item  to 
determine whether or not that item discriminates in the same way that the overall test is intended to discriminate. There 
are  many  ways  to  conduct  item  analysis  (Tuckman  1972,  Michael  1981,  Nelson  2008)  and  ITEMAN  is  a  useful  tool  to 
analyse objective data. For this reason, the authors of this article focused on test item selection via the ITEMAN test/scale 
analysis  program,  which  provides  item  statistics,  test/scale  statistics,  frequency  distribution  with  a  histogram,  and  item 
response analysis. The authors’ ultimate goal is to find out how successful the students are in their entrance tests, which 
consist of the Learning Potential Test and the English Language Test. Careful item analysis and entrance test composition, 
together with entrance exam analysis, are factors that might predict academic achievement in tertiary education. 
 
Keywords: computer‐adaptive testing (CAT), test assessment, item construction, item analysis, ITEMAN 

1. Introduction 
Computer technologies have opened up new possibilities not only for optimizing the administration of tests, 
but also – and especially – for test development and assessment. Computer Assisted Testing (CAT) allows for a 
redesign  of  psychological  and  educational  tests  for  effective  and  efficient  administration  by  interactive 
computers; its objective is to select, for each examinee, a set of test questions that measures that person on 
the given trait effectively and efficiently (Van der Linden and Glas 2000).  According to Thompson and Weiss, 
CAT  is  a  sophisticated  method  of  delivering  examinations,  and  has  nearly  40  years  of  technical  research 
supporting it (Thompson and Weiss 2011). 
 
CAT has many positive aspects that can be used to improve the assessment process as well as to  overcome 
many  of  the  prevailing  problems  in  the  field  of  traditional  testing.  Many  advantages  of  CAT  have  been 
indicated  in  recent  research  (e.g.  Johnson  and  Weiss  1981,  Cudeck  1985,  Koch  et  al.  1990,  Rudner  1990, 
Kingsbury  and  Houser  1999,  Weiss  2004,  Vanova  et  al.  2012).  Roever  states  that  the  biggest  logistical 
advantage of a CAT test is its flexibility in time and space (Roever 2001). In general, CAT greatly increases the 
flexibility of test management. Some other benefits include the following: 
 CAT reduces the number of excessively easy or difficult items; 
 CAT reduces item exposure and subsequent security risks;  
 CAT provides a valid and reliable measurement of students’ competence.  
 Tests are given "on demand" and scores are available immediately 
 Tests are individually paced so that an examinee does not have to wait for others to finish before going on 
to the next section. Self‐paced administration also offers extra time for examinees who need it, potentially 
reducing one source of test anxiety; 
 Tests are automatically tailored to the proficiency level of the individual examinees; 
 CAT  offers  a  number  of  options  for  timing  and  formatting,  and  therefore  has  the  potential  to 
accommodate a wider range of item types (Vanova et al. 2012, Rudner 2014). 
Despite the advantages listed above, CAT has several limitations, and can raise some technical problems, such 
as: 
 CAT requires a facility with a large number of computers and the examinees must be computer‐literate. 

106
 
Ivana Cechova, Jiri Neubauer and Marek Sedlacik 

 CAT is not appropriate for all subjects and skills.  
 Test administration procedures are different and this could cause problems for some examinees. 
Overall,  however,  CAT  represents  a  significant  improvement  over  traditional  assessment  methods  used  at 
many schools and universities by providing more accurate scores for all students, a more detailed picture of 
where students excel or need additional support for teachers, and more accurate ways to evaluate students’ 
achievement.  CAT  and  computerized  assessment  allow  both  teachers  and  students  to  get  test  results 
immediately, and faster results mean that teachers can use the information from optional interim assessments 
throughout the school year to modify instruction and better meet the unique needs of their students. 

2. Entrance exams at the faculty of economics and management 
Predictions of academic success have been a contentious issue in educational research for a long time. This is 
one  reason  why  entrance  exams  have  been  so  important  for  all  universities  and  the  University  of  Defence 
(UoD) is not an exception. The University of Defence (UoD) provides education of both Czech Army specialists 
and  civilian  students  within  accredited  bachelor,  master  and  doctoral  study  programmes.  All  these 
programmes  have  two  basic  forms  of  study  –  full‐time  and  combined,  which  are  authorized    by  Act  no. 
111/1998 Coll., on universities § 44. The UoD strives to accommodate the interests of both military and civilian 
study candidates, who wish to complement their existing education in accordance with the rising demands of 
qualifications and respond to the change of professional orientation or the needs of requalification. In this, the 
UoD is reflecting European and worldwide life‐long learning trends. Students of both forms have to fulfil the 
same requirements, although students of the combined form have to combine their study with a regular job 
and everyday duties. 
 
The  Faculty  of  Economics  and  Management  provides  Bachelor’s  degree  programmes,  subsequent  Master’s 
degree programmes,  continuous Master’s  degree  programmes,  and  PhD degree programmes.  Applicants  for 
military  full‐time  study  programmes  take  the  following  tests  in  their  entrance  exam:  the  Learning  Potential 
Test (a written test); the English Language Test (also written); and a Physical Fitness Test. Applicants for the 
military part‐time study programme, as well as all civilian applicants (both full‐time and part‐time) take only 
the Learning Potential Test (LPT). The LPT is divided into three parts; each part always contains ten questions. 
The  first  part  deals  with  numeric  thinking  and  logic;  the  second  part  focuses  on  spatial  imagination  and 
abstract  thinking;  and  the  last  part  concentrates  on  basic  mathematical  skills.  The  Learning  Potential  Test 
result is assessed on a scale between 0 and 60 points; a passing grade for this test is 30 (Sedlacik et al. 2013). 
 
All  applicants  take  the  English  language  test  (ELT),  which examines  reading  comprehension,  vocabulary,  and 
grammar. The minimal entrance level should be at least A2 according to the Common European Framework of 
Reference for Languages, or SLP 1 (Standardized Language Profile) according to NATO STANAG 6001. The ELT is 
assessed on a scale between 0 and 50 points; a passing grade for this test is 25. With regard to this article, the 
authors will not describe Learning Potential Test and the physical fitness test, and will concentrate only on ELT 
analysis. Detailed information regarding the entrance exam is available at the University of Defence web site. 

3. Test development, item construction and analysis 
A proper test is a collection of well‐combined elements. First, the construction of test items is a crucial step for 
the  validity  of  a  test.  A  good  item  construction  process  enhances  the  discrimination  power,  score  variance, 
reliability, and evidence of validity for the intended interpretation and use of scores from the overall test (Suen 
and McClellan 2003). According to Sikolova et al. (2009), text and task authenticity, attractiveness and balance 
of distracters, length of texts, and relevance of topics in terms of the examinees’ age, education, and common 
interests  are  other  aspects  that  must  be  considered  during  test  development.  The  ability  to  construct  high‐
quality test items requires knowledge of the principles and techniques of test construction and skills in their 
application. Crocker states that a process of test development must include the following steps: 
 Primary objective for which the test scores will be used. 
 Initial test items’ development, a pool of test items’ construction. 
 Moderation and revision of test items. 
 Analysis of test items (ITEMAN, exploratory statistics).  
 Test piloting. 
 Reliability and validity studies.  

107
 
Ivana Cechova, Jiri Neubauer and Marek Sedlacik 

 Guidelines for administration and scoring (Crocker and Algina 2014). 
The decisions that have to be made at the beginning of the process of the development of the ELT at the UoD 
are strongly influenced by several external factors: these include the level of test difficulty, time allotment, and 
testing  techniques.  According  to  UoD  regulations,  the  ELT  must  be  administered  within  60  minutes.  Even 
though the requirements of the proficiency level clearly indicate the need to include all four macro‐skills in the 
test  (i.e.  listening,  speaking,  reading,  and  writing),  time  constraints  do  not  allow  it.  As  a  result,  tests  of 
speaking, writing, and listening, although of high importance, had to be excluded from the test (Sikolova et al. 
2009). 

3.1 Pre‐testing 
Item  construction  and  moderation  is  followed  by  test  piloting/pre‐testing  on  a  limited  number  of  students. 
Since the sample population cannot be chosen from secondary school students (they might become potential 
applicants for the entrance exams at the UoD), a decision was made to test first‐year students at the Faculty of 
Economics and Management, whose proficiency level in English is still at the required entrance level (Stanag 
SLP 1+, or B1 according to the Common European Framework of Reference for Languages).  
 
After  the  questions  were  written  and  reviewed,  many  were  pretested  with  a  sample  group  similar  to  the 
population to be tested. The results enable test developers to determine: 
 The difficulty of each question 
 If questions are ambiguous or misleading 
 If questions should be revised or eliminated 
 If incorrect alternative answers should be revised or replaced. 
The authors pre‐tested 63 students and then analysed each item via the ITEMAN:  

3.2 Item analysis 
The next step in test construction is item analysis, which is a process of examining class‐wide performance on 
individual test items. Item analysis can be defined as a process which examines student responses to individual 
test items (questions) in order to assess the quality of those items and of the test as a whole (“Understanding 
Item Analysis Reports” 2005).  
 
Each  item  on  a  test  should  be  of  appropriate  difficulty  –  it  should  not  be  too  difficult  or  too  easy,  as  this 
influences  the  discrimination  power  of  a  test.  Additionally,  it  must  be  fair  to  all  students.  However,  it  is 
impossible to decide which item is fairer, as there is no generally accepted definition of “fairness” with respect 
to  testing  (Cole  and  Zieky,  2001).To  meet  the  goals  of  reliability  and  validity,  testers  and  teachers  must 
carefully inspect each individual test item, the test as a whole and any descriptive or preparatory materials to 
ensure  that  language,  symbols,  words, phrases  and content generally  regarded  as  sexist,  racist  or otherwise 
inappropriate or offensive to any subgroup of the test‐taking population are eliminated. 
 
There  are  three  common  types  of  item  analysis  which  provide  teachers  with  three  different  types  of 
information: the difficulty index, the discrimination index, and the analysis of response options. The ITEMAN 
software  program  is  designed  to  provide  detailed  item  and  test  analysis  reports  using  Classical  Test  Theory 
(CTT).  The  program  analyses  item  response  data  and  provides  conventional  item  analysis  statistics  for  each 
item in order to assist in determining the extent to which items contribute to the reliability of a test and which 
response alternatives are functioning well for each item (User’s manual for ITEMAN).   

4. ITEMAN analysis 
The analysed test consists of 50 items and was answered by 63 students. As can be seen in Figure 1 describing 
the  frequency  distribution  of  the  total  test  score,  the  minimum  score  obtained  was  25  points  and  the 
maximum  was  48.  The  mean  score  value  was  37.619  with  the  standard  deviation  4.661.  The  value  of  the 
median was 38.     

108
 
Ivana Cechova, Jiri Neubauer and Marek Sedlacik 

 
Figure 1: Frequency distribution of total test score  
The ITEMAN software offers a classical item and test analysis. We will briefly describe its basic outputs, namely 
the  difficulty  index,  the  index  of  endorsement,  the  discrimination  index  and  the  point  biserial  correlation 
coefficient (Kerlinger and Lee 2000). In tests where answers are evaluated as either being correct or incorrect, 
the difficulty level can be described as follows 
 

 
The index of endorsement defined by the formula 

 
 
is  the  proportion  of  people  selecting  a  particular  answer  (in  our  case  answer  ‘a’,  ‘b’,  ‘c’,  or  ‘d’).  Most  test 
creators agree that the best test items in terms of difficulty are those with values between 0.5 and 0.7.  
 
After  difficulty  and  endorsement,  the  next  index  for  the  item  analysis  is  the  item  discrimination  index.  This 
statistic evaluates how effectively the item was able to discriminate between high scores and low scores. It is 
necessary  to  determine  the  high  and  low  scoring  group.  The  total  scores  are  used  to  do  this.  The  item 
discrimination  index  is  the  difference  between  the  proportion  of  people  in  the  high  scoring  group  who 
answered the item correctly and the proportion of people in the low scoring group who answered this item 
correctly. We can write 
 

 
 
where NH  is the number of people in the high scoring group that got the item correct and NL  is the number of 
people  in  the  low  scoring  group  that  got  the  item  correct.  If  the  index  is  negative,  the  item  has  reverse 
discrimination.  Good  items  are  expected  to  have  positive  values.  The  higher  the  value  is,  the  greater  is  the 
discrimination. For the analysed test, the low scoring group has 21 people whose score was less or equal to 36 
points, the high scoring group consists of 24 people with the score greater or equal to 40 points.  
 
The  point  biserial  correlation  coefficient  (item‐to‐total  score  correlation)  describes  how  the  answers  of  the 
given item correspond to the total score obtained. One can expect that the correlation of each item should be 
high.  An  item  that  correlates  low  with  the  total  score  can  be  interpreted  as  an  item  that  is  measuring 
something  that  differs  from  what  the  other  items  are  measuring;  the  item  is  not  homogenous  with  other 
items. 
 

109
 
Ivana Cechova, Jiri Neubauer and Marek Sedlacik 

The following table summarises the item analysis results of the test.  
 
Table 1: Item analysis results 
Item  1  2  3  4  5  6  7  8  9  10  11  12  13  14  15  16  17 
Difficulty  0.8 0.5 0.8 0.9 0.9 0.7 0.7 0.9 0.5 0.5 0.6 0.1 0.7 0.2 0.9 0.7 0.9
4  4  4  2  2  1  8  2  7  6  5  7  3  5  2  1  4 
Discriminati 0.1 0.1 0.2 0.1 0.1 0.1 0.1 0.1 0.2 0.1 0.4 ‐ 0.4 0.1 0.0 0.2 0.1
on  5  5  9  0  9  7  1  4  7  4  5  0.0 8  4  5  1  4 
2 
Correlation  0.2 0.2 0.3 0.1 0.1 0.2 0.1 0.2 0.3 0.2 0.4 0.0 0.4 0.1 0.0 0.1 0.1
4  4  3  6  6  9  5  0  4  6  5  3  8  7  4  2  7 
Item  18  19  20  21  22  23  24  25  26  27  28  29  30  31  32  33  34 
Difficulty  0.5 0.8 0.8 0.7 0.8 0.6 0.9 0.9 0.8 0.7 0.8 0.7 0.8 0.8 0.9 0.8 0.9
7  4  6  1  6  0  5  5  1  3  4  9  9  7  5  4  4 
Discriminati 0.2 0.2 0.0 0.4 0.3 0.5 0.1 0.0 0.0 0.0 0.3 0.3 0.1 0.1 ‐ 0.2 0.0
on  3  5  2  9  4  4  4  1  3  8  8  0  1  5  0.0 9  5 
8 
Correlation  0.2 0.2 0.0 0.4 0.5 0.4 0.2 0.0 0.0 0.1 0.5 0.4 0.1 0.2 ‐ 0.3 0.0
2  3  6  7  8  8  2  0  4  7  0  3  9  2  0.1 7  2 
5 
Item  35  36  37  38  39  40  41  42  43  44  45  46  47  48  49  50   
Difficulty  0.6 0.8 0.9 0.8 0.9 0.8 0.8 0.3 0.4 0.6 0.7 0.9 0.6 0.7 0.5 0.7  
0  6  2  4  2  9  4  5  4  5  1  0  7  1  7  3 
Discriminati 0.3 0.2 0.1 0.2 0.1 0.2 0.1 0.2 0.1 0.0 0.1 0.1 0.1 0.3 0.1 0.0  
on  2  9  9  4  5  0  5  7  6  9  3  5  8  6  5  8 
Correlation  0.2 0.4 0.3 0.1 0.3 0.3 0.1 0.3 0.1 0.0 0.1 0.3 0.1 0.3 0.2 0.2  
4  4  0  5  5  5  1  0  3  7  6  0  3  2  3  3 
Reliability of the test is often estimated by Cronbach alpha 
 

 
 
where k denotes number items var(Ij) are the variances calculated for each item(Ij) and var(Ic) is the variance of 
the total score of the test. The value of these statistics is usually expected to be larger than 0.7. The estimated 
reliability of the analysed test is 0.659 which is slightly below this limit.  
 
According to the result obtained (see Table 1), we can identify several items which can be considered very easy 
(the difficulty index is greater than 0.9 meaning that more than 90% of students answered this item correctly), 
namely items 4, 5, 8, 15, 17, 24, 32, 34, 37 and 39.  Items 12 and 14 have a difficulty index of less than 0.3, 
which indicates that those items are too difficult. The discrimination index for such items is usually very small; 
these items do not help to discriminate between good and bad results. If we focus on the items 20, 26 and 44, 
we  will  see  that  the  difficulty  indices  have  acceptable  values  but  the  discrimination  indices  and  correlation 
coefficients are very low. The responses to these items do not correspond to the total score obtained. 
 
Figure  2  shows  the  output  from  ITEMAN  software  (version  3.6).  It  contains,  beside  other  information,  the 
values  of  the  difficulty  index  (‘Prop.  Correct’),  the  discrimination  index  (‘Disc.  Index’),  the  point  biserial 
correlation coefficient (‘Point.  Biser.’)  and the  index  of  endorsement  for  the  low  and high group  (‘Endorsing 
Low’ and ‘Endorsing High’). Three items of the test were selected as examples of ‘good’ and ‘bad’ questions. 
Item no. 11 represents properly a constructed question. Item no. 12 is an example of a question which is too 
difficult. It has a negative discrimination index and almost zero correlation coefficient. The third item, no. 32, 
represents a very easy question with a negative discrimination index and correlation coefficient.   

110
 
Ivana Cechova, Jiri Neubauer and Marek Sedlacik 

 
Figure 2: Example of ITEMAN output (version 3.6)  
Based  on  the  item  analysis  (values  of  the  difficulty  and  discrimination  index,  the  correlation  coefficient),  it 
would be appropriate to modify some items in the proposed test. Such modification may cause an increase in 
test reliability. 

5. Conclusion 
Today  the  use  of  computer  technology  in  the  field  of  language  assessment  and  testing  has  become  so 
widespread and so inclusive that it is regarded as an inseparable part of today’s education system. The item 
analysis  shows  the  teachers  and  testers  what  further  steps  must  be  done  to  ensure  the  entrance  test’s 
reliability and validity. It gives them useful information dealing with item appropriateness. If an item analysis 
shows that an item does not work properly (Figure 2), it must be replaced or its distracters must be changed. 
 
The ITEMAN item analysis provides teachers and testers with a user friendly tool to analyse a test. If all above 
mentioned steps (Chapter 3) are followed, a test is reliable and fair enough to test what it claims to be tested. 
CAT  as  well  as  ITEMAN  are  viable  technologies  with  good  potential  to  provide  improved  test  analysis  and 
measurement.  
 
In  conclusion,  a  testing  process  that  provides  a  fair,  reliable,  efficient,  and  cost‐effective  assessment  of 
applicants  remains  the  main  objective  for  the  University  of  Defence  educational  programs.  The  established 
system  of  test  design,  moderation,  pre‐testing,  item  analysis,  and  administration  has  become  a  viable  and 
transparent way of selecting candidates to the university according to their knowledge level.  

References 
Cole, N. S. and Zieky, M. J. (2001) “The new faces of fairness.” Journal of Educational Measurement, Vol. 38, no 4, pp. 369‐
382. 
Crocker, L. and Algina, J. (2014) Introduction to classical and modern test theory. [online], University of Florida, 
http://myweb.facstaff.wwu.edu/~graham7/crocker.pdf, accessed 19 May 2014. 
Cudeck, R. (1985) “A structural comparison of conventional and adaptive versions of ASVAB.” Multivariate Behavioral 
Research, Vol. 20, No. 3, pp. 305‐322. 
Kerlinger, F. N. and Lee, H. B. (2000) Foundations of Behavioral Research. 4th ed. Belmont: Cengage Learning. 
Johnson, M. F. and Weiss, D. J. (1981) “Effects of immediate feedback and pacing of item presentations to testing.” 
Research Report 81‐2. Minneapolis: University of Minnesota. 
Kingsbury, G. G. and Houser, R. L. (1999) “Developing computerized adaptive tests for school children.” In: F. Drasgow and 
J. B. Olson‐Buchanan (eds.), Innovations in Computerized Assessment, Malwah, NJ: Erlbaum, pp. 93‐115. 
Koch, W. R., Dodd, B. G. and Fitzpatrick, S. J. (1990). “Computerized adaptive measurement of attitudes.” Measurement 
and Evaluation in Counseling and Development, Vol. 23, pp. 20‐30.  

111
 
Ivana Cechova, Jiri Neubauer and Marek Sedlacik 

Michael, A. (1981) "Multiple choice tests: Analysis", Nutrition & Food Science, Vol. 81, No. 6, p. 18. 
Moore, E. L., Galindo, J. l. and Dodd, B. G. (2012) “Balancing flexible constraints and measurement precision in 
computerized adaptive testing.” Educational and Psychological Measurement, Vol. 72, No. 4, pp. 629‐648. 
Hampel, D., Myskova, K. (2013) “Software GRETL as a support of the Econometrics 2 course at FBE Mendelu.” Efficiency 
and Responsibility in Education. Prague: CULS, pp. 166‐173.  
Neubauer, J. (2013) “Comparison of Students’ Attitude to the Study Statistics at the Faculty of Economics and 
Management. Ekonomika a Management [Economics and management], vol. 2013, no. 4, pp. 51‐57. 
Nelson, L. (2008) ITEMAN and Lertap 5. Curtin University of Technology. http://www.lertap.curtin.edu.au, accessed 17 May 
2014. 
Roever, C. (2001) “Web‐based language testing.” Web‐based Language Learning and Technology. Vol. 5, No. 2. pp. 84‐94. 
Rudner, L. (1990). “Computer Testing: Research Needs Based on Practice.” Educational Measurement: Issues and Practice, 
Vol. 2, pp.19‐21. 
Rudner, L. (2014) An On‐line, Interactive, Computer Adaptive Testing Tutorial. 
http://echo.edres.org:8080/scripts/cat/catdemo.htm, accessed 22 May 2014. 
Sedlacik, M., Cechova, I. and Doudova, L. (2013) “Be born as successful mathematics or language learner: myths, true or 
false?” Journal on Efficiency and Responsibility in Education and Science, 2013, Vol. 6, No. 3, pp. 155‐166. 
Salvatori, P. (2001). “Reliability and validity of admissions tools used to select students for the health professions.” 
Advances in Health Sciences Education, Vol. 6, pp.159‐175. 
Sikolova, M., Slozilova E. and Svoboda, P. (2009) “Developing an Entrance English Test at the University of Defence.” In: 
Nové trendy vo vyucovaní anglickeho jazyka. Ekonomicka univerzita Bratislava: Ekonomicka univerzita. 
Suen, H. K. and McClellan, S. (2003) “Test Item Construction Technique and Principles.” In: Encyclopedia of Vocational and 
Technological Education (Vol. 1). pp.777‐798. Taipei: ROC Ministry of Education. 
Thompson, N. A. and Weiss, D. A. (2011) “A Framework for the Development of Computerized Adaptive Tests.” Practical 
Assessment, Research & Evaluation, Vol. 16, No. 1, pp. 1‐9. http://pareonline.net/getvn.asp?v=16&n=1, accessed 19 
May 2014. 
Tuckman, B. W. (1972) Conducting Educational Research. San Diego, CA: Harcourt Brace Jovanovich, Inc. 
“Understanding Item Analysis Reports” (n. d.)  
http://www.washington.edu/oea/services/scanning_scoring/scoring/item_analysis.html 
Van der Linden, W. J. and Glas, C. A. W. (2000).Computerized Adaptive Testing: Theory and Practice. Boston: Kluwer. 
Vanova, T., Prochazka, J. and Denglerova, D. (2012). Adaptivni test COMPACT. Masaryk University, Brno. 
Weiss D. (2004) “Computerized Adaptive Testing for Effective and Efficient Measurement in Counselling and Education.” 
Measurement and Evaluation in Counseling and Development, Vol. 37, No. 2 (July). pp. 70‐84. 
 

112
Utilization of web Portals at Kazakh and Czech University ‐ 
Comparative Study 
Miloslava Černá, Petra Poulová and Michal Sláma   
University of Hradec Králové, Hradec Králové, Czech Republic  
Miloslava.cerna@uhk.cz  
Petra.poulova@uhk.cz 
Michal.slama@uhk.cz  
 
Abstract: The paper brings an extract from an extensive long‐term investigation on Utilization of web sources in tertiary 
environment.  In  here  presented  findings  come  from  the  latest  phase,  from  surveys  which  were  conducted  in  Czech  and 
Kazakh  universities  with  students  with  comparable  field  of  studies  and  with  comparable  level  of  computer  literacy.  The 
research was conducted with university students from University of Hradec Kralove, Czech Republic and Karaganda State 
Technical University, Kazakhstan. The survey explored students´ acceptance and breadth of web offer utilization in a wide 
sense of the its meaning; covering various kinds of web portals from standard generally utilized search engines to specific 
professionally designed portals, e.g. educational portals or collaboratively developed social software application Wikipedia. 
The survey and its findings might serve as a starting point for the discussion on web‐site usability, web portal satisfaction 
and portal design. Findings clearly confirm the still current importance of web portals, namely natural perception of this 
environment by students and potential for study purposes.  
 
Keywords: communications applications, Internet, portal, survey, students 

1. Introduction 
The  Internet  as  a  general  phenomenon  influencing  for  more  than  two  decades  professional  and  non‐
professional  lives  with  its  endless  width  of  applications  which  are  in  perpetual  process  of  change  have 
attracted attention of their common users as well as researches trying to explore the Internet potential from 
various points of views, to determine its strengths and pitfalls, to show its beneficial contribution and possible 
limitations.  
 
Students´  acceptance  and  breadth  of  web  offer  utilization  in  a  wide  sense  of  the  its  meaning  is  primarily 
explored in this paper; web offer covers various kinds of web portals from standard generally utilized search 
engines to specific professionally designed portals, e.g. educational portals or collaboratively developed social 
software application Wikipedia.  
 
Searching  for  information,  watching  news,  communication  in  virtual  communities,  social  networks, 
professional  and  entertainment  forums,  marketing  on  the  Internet,  Internet  banking,  shopping  and  last  not 
least studying on the Internet is a common matter already for a decade. 
 
Studying on the Internet can be both either more or less some kind of directed systematic learning in specific 
learning environment, or it can be just natural free learning; all that fully corresponds to a natural human need 
to learn and explore new areas and so consequently calls for an elaborate research. 
 
The  issue  of  Internet  portals´  visits  and  utilization  of  individual  services  in  tertiary  education  has  been 
investigated  since  2008.  The  survey  on  utilization  of  web  sources  has  been  run  repeatedly  at  University  of 
Hradec Králové and then at 6 foreign European universities within mobility programmes. Findings were utilized 
not only in the purely academic area for publishing purposes (Černá, 2008) and (Černá, 2012) but also served 
as an inspiration for changes and innovations in the educational process of cooperating academicians.        
 
This paper brings findings from the latest survey. The objective of this paper is to present findings gained from 
the  questionnaire  investigation  followed  by  semi‐directed  discussion on  the  role  of web  portals  in  students´ 
private  and  university  lives.  The  survey  and  discussions  were  carried  last  year  at  the  University  of  Hradec 
Králové, Czech Republic and Karaganda State Technical University, Kazakhstan. 
 

113
 
Miloslava Černá, Petra Poulová and Michal Sláma 

2. Methodological frame 
The methodological frame except giving definition to the key word of the study covers the following sections: 
background  of  the  study,  explanation  of  the  study  topic,  stating  the  aims  of  the  comparison  study  and 
description of its survey sample and a research tool. 

2.1 Key word definition  
There is a wide offer of definitions of the key word Portals due to the fact that each of them, as a rule, reflects 
specialization of their author and supporting the area of study,  see more (Isaacs, 1999), (Jafari, 2003), (Li Xiao, 
2005), (Plachý, 2007), (Munk, 2010)  or (Malcolm, 2011).  
 
But the core of the definition stays the same; portal is a gateway to other links and services or serves as an 
introductory page for a specific area or topic: (University Utah, 2008). 
ƒ Portals are designed to be gateways to the Internet. They may have a link to a search engine, a subject 
directory,  and  provide  other  services  such  as  news,  weather,  entertainment  information,  stock  market 
information,  shopping,  and  other  services.  Many  portal  sites  provide  an  option  to  customize  the  site 
according to the user's personal interest. Portals are sponsored by the major search engine and browser 
providers, and may include alliances with other major players on the Internet.  
ƒ In  simple  terms,  a  portal  is  a  web  "supersite"  with  a  collection  of  links  to  popular  web  services  on  the 
Internet, a kind of "doorway into the Internet. The site provides a variety of services including directories, 
online  shopping,  discussion  groups,  Web  searching,  channels  (small  windows  within  a  page  that  are 
dynamically updated and determined by the user) and links to other sites. 
ƒ An Internet site offering a directory of links to other sites (the free dictionary online) 
When it comes to portal categories, the situation is similar. There is no universal portal categorization Collins 
(Collins, 2003), Malcolm (Malcolm, 2011), etc. except for the original, let´s say traditional division that has not 
changed up to now: the Horizontal and Vertical portals or General portals like Yahoo  and Specialized, eg. CNN. 

2.2 Study background 
The initial stage of an extensive long‐term investigation on Utilization of web sources in tertiary environment 
started six years ago when the first survey on time spent in assorted kinds of portals from Search portals, via 
General, News, Educational, Language and Other portals in sense of both professional and leisure interest was 
run at the Faculty of Informatics and Management, University of Hradec Králové.  
 
Together with portal visits the width and frequency of utilized services was examined. At that time the case 
study was based on comparison of findings gained from accessible sample consisting of teachers and students 
of FIM (Faculty of Informatics and Management). Various kinds of portals were selected; respondents were to 
answer which of these portals they visited and how much time they spent in them. The other followed issue 
was width and frequency of used web applications. The aim of the study was to find out what time burden 
utilization of web portals and their services represent, see more, (Černá, 2008).  

2.3 Study topic, goals and sub‐goals of the study 
In this study the sample of participants is made of university students of two universities: University of Hradec 
Králové and Karaganda State Technical University. Field of studies in both groups of respondents is similar and 
their  level  of  computer  literacy  is  comparable  as  well.  Likewise  in  the  previous  survey  the  core  of  the 
investigation lies in portal visits.  
 
The aim is to find out how much time university students with similar specialization spend in selected Internet 
portals aside from professional or nonprofessional reasons and compare and discuss the gained findings. 
 
The selection of researched portals resulted in two sets of surveyed portals: a basic set and its shortlist. The 
main research tool enabling gathering data in this study is a questionnaire which contains the whole original 
set  of  portals  encompassing  Search  Portals  (comprising  subsections  Google,  Yahoo  and  open  section  Other 
Portals (search engines), General Portals, News Portals, Educational Portals, Language Portals, Wikipedia and 

114
 
Miloslava Černá, Petra Poulová and Michal Sláma 

another open section Other Portals  where  we  expected  that  specialization  or  hobbies of  respondents  might 
have got reflected to a certain extent. (Černá, 2008) 
 
A  shortlist  of  selected  portals  was  done  to  highlight  educational  aspect  of  virtual  environment:  Google, 
Educational portals, Language Portals and Wikipedia. 

2.4 Research instrument  
A non‐standardized questionnaire Web Portals and their Services serving as a research tool was created. This 
questionnaire  was  verified  in  a  pre‐research.  Questionnaire  reliability  ranged  from  0.61  to  0.72.  The 
questionnaire contains scaled items and open questions.  
 
On the basis of the interviews which had preceded the final version of the questionnaire a few modifications 
had to be made. Especially professional terminology had caused misunderstanding within respondents. They 
found  it  difficult  to  choose  the  proper  answer  when  they  did  not  understand  clearly  the  meaning  of 
expressions  like  `horizontal  or  vertical  portals´  they  needed  and  asked  for  further  explanation  so  that  they 
could complete the questionnaire. Simplified portal categorization with typical examples of particular portals 
was  set  together  with  defined  time  periods.  For  example,  Google  and  Yahoo  represented  Search  Portals, 
people  who  use  also  some  other  search  portal  were  given  option  to  mention  it  in  the  part  ‐  Other  search 
portals. 
 
When the printed questionnaire was distributed to students by the researcher the respondents were informed 
that participation in this study was anonymous and that no personal identity information was collected in the 
survey. It took about 10 to 15 minutes to complete the survey.  
 
The researcher herself collected all the questionnaires so the return rate was 100%.  
 
The next stage was a discussion with students. The discussion was preceded by a short presentation of findings 
on utilization of web portals gained from previous surveys with students which served as the door to further 
conducted discussion with respondents on other software applications like Facebook, experience with on‐line 
dictionaries, preferred ways of on‐line communication, playing games, pros and contras of studying in virtual 
environment, etc. 

3. Research sample 
This study brings the latest data from a survey which was conducted last year in Karaganda, Kazakhstan with 
engineering students.  
 
The Kazakh research sample consisted of 64 full‐time students from the Karaganda State Technical University, 
Kazakhstan. They were students of the third, fourth and fifth year of their studies (see Table 1) with the age 
ranging from 19 to 24 years (see Figure 1). 
Table 1: Kazakh ‐ the year of studies 
Year of study  Number of respondents 
1  0 
2  0 
3  31 
4  29 
5  2 
did not respond  2 
When it comes to gender of the sample, the group consisted of 40 men and 24 women. 
 
The  Czech  research  sample  consisted  of  55  full‐time  students  from  the  University  of  Hradec  Kralove,  Czech 
Republic. There were students of the first, second and fifth year of studies and their age ranging from 19 to 26 
years. The Czech group consisted of 35 men and 20 women (see Figure 2). 
 

115
 
Miloslava Černá, Petra Poulová and Michal Sláma 

 
Figure 1: Kazakh ‐ age of respondents  

 
Figure 2: Czech ‐ gender of respondents  

4. Research analysis and findings 
Return rate of questionnaires was 100% due to the fact that the researchers distributed and collected them 
personally.  Data  were  initially  inserted  into  the  spread‐sheets  and  then  graphs  on  frequency  of  portal  visits 
were made. Graphs illustrating the individual findings are supplemented by commentary. These graphs show 
the answer to the stated primary question on time burden on the amount of time which students commonly 
spent weekly in selected portals regardless of reasons; whether they visit the websites intentionally on study 
or  business  purposes  or  just,  for  example,  because  of  pure  interest  or  boredom.  Time  spent  weekly  in 
particular portals is divided into five time categories: 5‐30 minutes, Up to one hour, 1 ‐ 5 hours, More than 5 
hours, Never. During data processing one more category had to be added – 'No answer', because respondents 
sometimes omitted to mark an answer, when they didn´t select any of the proposed options. We might have 
assumed that not marking any of the categories corresponded to the category “Never” but we did not want 
the data to get biased. 

116
 
Miloslava Černá, Petra Poulová and Michal Sláma 

4.1 Search portals 
The first  explored portal category were Search portals as most established robust portals of everyday use with 
sophisticated search engines. 'Google' was chosen as the most frequently used search engine at present and 
'Yahoo' as its natural competitor, the third followed variable was an open category 'Other portals'. 

 
Figure 3: Czech ‐ time spent in Google  

 
Figure 4: Kazakh ‐ time spent in Google  
It is evident that 'Google' plays the main role as the most significant search engine, for plenty of respondents it 
serves as a home page, all respondents use it irrespectively of which country they come from; nobody omitted 
to answer the question and nobody marked time category Never, (see Figure 3 and 4). 
On the other hand the bar 'Never' 'dominates in Yahoo case. 
 
Following graphs illustrate the situation in detail, with particular universities, (see Figure 5 and 6). 

 
Figure 5: Kazakh ‐ utilization of Yahoo and other general search portals except Google  
Astonishing 60% of Czech students spend in Google environment up to 5 hours a week, one fifth of them even 
more hours. As for Kazakh students there is big discrepancy in comparison with our students; there is even one 
third of students who spend more than 5 hours a week in them.  
 
Yahoo´s role is negligible 84% Czech students do not use it at all, 89% of Kazakh students stated they either do 
not use it or didn´t answer the question which shows no interest. Surprisingly neither of the groups showed 
any significant interest in Yahoo or other search engine, it was comparable small amount of students covering 
the span from 4 to 11%.   

117
 
Miloslava Černá, Petra Poulová and Michal Sláma 

 
Figure 6: Czech ‐ utilization of Yahoo and other general search portals except Google  

4.2 Educational portals 
Among  Educational  portals  were  also  included  learning  management  systems  like  Blackboard  or  Moodle. 
Findings show the irrefutable potential of Educational portals and their plausibility by students.  
 
Findings  relating  to  educational  portals  call  for  further  elaboration;  in  the  next  stage  of  the  research  on 
Utilization  of  web  sources  it  will  be  worth  analyzing  motivation  and  the  reasons  of  high  frequency  of 
educational  portal  visits,  whether  students  attend  them  on  the  basis  of  teacher´s  instructions,  whether  it  is 
their  standard  way  of  systematic  studying  or  kind  of  additional  studies  and  to  what  extent  they  fit  their 
learning styles (Šimonová, 2011). 
 
Overall, the frequency of educational portals visit is high, see Figure 7. Only 14% of students from the whole 
sample don´t use them so the number of students who do not visit Educational portal websites is negligible.  

 
Figure 7: Educational portals – Czech and Kazakh students 
Numbers in various time categories range vary dramatically. As for Czech students the frequency of occurrence 
in particular time categories is higher in utilization of educational portals in the time categories up to half an 
hour and up to one hour. There is a high rate of short visits; one quarter of Czech students spend there up to 
half an hour, the amount of active students in the other group is half – just 16%. The highest numbers reaches 
the time range up to 1 hour; 36% of Czech students and one quarter of Kazakh students visit the websites.  
 
The  difference  is  in  utilization  of  the  educational  portal  in  the  time  category  up  to  5  hours;  22%  of  Kazakh 
students  are  more  active  than  the  Czechs  with  15%.  Only  8%  in  both  groups  visit  this  kind  of  portal  even  5 
hours a week.  

4.3 Language portals 
Language Portals might be taken as a subcategory of Educational portals. They were given extra space in the 
questionnaire because of the language aspect, as we wanted to find out more not only on time span of portal 
visits but also on utilized language websites covering on‐line dictionaries, as well. 
 
Language  portals  are  not  visited  by  nearly  three  quarters  of  Kazakh  students  (50%  didn´t  respond  and  22% 
stated  “never”),  number  of  Czech  students  in  this  category  is  lover;  20%  stated  “never”  and  22%  didn´t 
respond so language portals are of no importance to them.  
 
 

118
 
Miloslava Černá, Petra Poulová and Michal Sláma 

 
Figure 8: Language portal – Czech and Kazakh students 
The positive thing about the Czech group is that one quarter of students spends in language portals up to half 
an  hour,  one  fifth  even  one  hour  and  13  %  up  to  five  hours  a  week,  there  are  2%  of  language  enthusiasts 
spending there even more than 5 hours a week.  

4.4 Wikipedia 
Last inhere described portal findings relate to Wikipedia generally warmly accepted source of information by 
students  and  rather  sceptically  accepted  by  academics.  The  survey  revealed  following  deep  discrepancies 
between individual universities. See Figure 9.  
 
Wikipedia is widely utilized by Czech students; 42% of Czech students use Wikipedia up to 5 hours.   
 
Wikipedia is favourite with Czech students but they use it only as a source of information, out of the whole 
sample there were only 5 students who edited the application. 
 
Kazakh  students  use  wiki  also  frequently;  time  category  up  to  one  hour  reaches  30%  of  students  and  a 
category up to 5 hours reaches even 33% of students. 

 
Figure 9: Wikipedia – Czech and Kazakh students 

5. Conclusion 
The  sample  of  inhere  described  investigation  consist  of  students  who  are  typical  representatives  of  net 
generation  who  have  lived  all  their  lives  surrounded  by  information  technologies  –  that  is  why utilization  of 
Internet and its services is completely natural to them.  
 
The  findings bring  the  answer  to  the  primary  stated question  on time burden  on  the  amount  of time  which 
students  commonly  spent  weekly  in  selected  portals  regardless  of  reasons;  whether  they  visit  the  websites 
intentionally on study or business purposes or just, for example, because of pure interest or boredom.  
ƒ In spite of the fact that they spend hours in them as illustrated in the graphs they perceive that as natural. 
ƒ Both groups use Wikipedia as a source of shared wisdom 
ƒ Both groups clearly prefer Google search engine to any other  
ƒ Czech group of students reaches a little higher occurrence in educational and language portals 
Two promising topics for further discussion have arisen: 

119
 
Miloslava Černá, Petra Poulová and Michal Sláma 

ƒ What lies behind a wide scale of strong interest to complete disinterest of students from both countries in 
selected portals? 
ƒ Both groups like Wikipedia but only as passive users, should we, as teachers motivate them to contribute 
into it to become active users and collaborate in this enormous virtual platform? 
Findings  relating  to  Educational  portals  call  for  further  elaboration;  in  the  next  stage  of  the  research  on 
Utilization  of  web  sources  it  will  be  worth  analyzing  motivation  and  the  reasons  of  high  frequency of  portal 
visits.  This topic strongly links to success of web sites and might be developed in sense of usability study of 
web‐sites.  
 
We  believe  that  the  research  results  provide  readers  involved  in  e‐learning  with  an  up‐to‐date  beneficial 
insight into the web portals and prove how natural the on‐line environment it is to them.  
 
Inhere  described  survey  represents  a  kind  of  evaluation  of  the  success  of  Web  portals  and  can  serve  as  a 
starting point for the discussion on web‐site usability (Černá, 2009), web portal satisfaction (Collins, 2003) and 
portal design including implementation of Semantic web technologies dealing with overcoming boundaries in 
web applications like data portability, semantic wiki or knowledge networking.  
 
Beside  the  technological  issue  we  believe  that  this  paper  will  be  also  beneficial  from  the  educational 
perspective  showing  the  width  of  on‐line  potential  which  might  be  inspiring  as  well  as  ultimately  limiting 
(Breslin, 2009). 

Acknowledgements 
This paper is supported by the SPEV Project N. 2110 “Contribution of social media and mobile technology for 
forming an optimal model of instruction”. 

References 
Breslin, J.G. at al.( 2009) The Social semantic Web, Springer : Berlin.  
Collins, H. (2003) The Enterprise Knowledge Portals : Next Generation Portal Solutions for Dynamic Information Access, 
Better Decision, and Maximum results, AMACOM : New York. 
Černá, M., Poulová, P. (2008) Visit Rate of Internet Portals and Utilization of their Tools and Services.  E+M Ekonomie a 
Management,  Vol.  XI, Iss. 4, pp 132–142. 
Černá, M., Poulová, P. (2009) User Testing of Language Educational Portals. E+M. Ekonomie a Management., Vol.  XII, Iss. 3, 
pp 104‐117. 
th
Černá, M., Poulová, P. ( 2012) Utilization of Web Portals at Selected Universities: Comparative Study. Proceedings of the 9   
International Scientific Conference on Distance Learning in Applied Informatics, Sturovo, pp. 63 ‐ 72. 
Isaacs, N. (1999) Types of portals. FSU Computer Science. [online] Available at  
http://websrv.cs.fsu.edu/~/projects/cgibin/scavenge/a2/portals.html. [Accessed 20 January 2011] 
Jafari, A. and Sheehan, M. (2003) Designing Portals: Opportunities and Challenges, Information Science Publishing : 
Hershey. 
Jaschic, S. A. (2007) A Stand Against Wikipedia, [online] Available at 
http://www.insidehighered.com/news/2007/01/26/wiki. [Accessed 5th May  2014] 
Malcolm, T. (2011) What Is a Web Portal? [on line]. Available at http://www.wisegeek.com/topics/web‐portal‐
templates.htm [Accessed 30 May 2011]. 
Munk, M., Kapusta, J., Švec, P., Turčáni, M. (2010) Data Advance Preparation Factors Affecting Results of Sequence Rule 
Analysis in Web Log Mining. E+M Ekonomie a Management,  Vol.  XIII, Iss. 4, pp 143–160. 
Plachý, P. (2007). Web applications and portals, IT Systems, 2007, no.3, pp 68‐69 
Šimonová, I., Bílek, M. (2010). The Distance eLearning, Comparative Students' Evaluation in 2005‐2010: Example of 
University of Hradec Kralove. Proceedings of the 9th European Conference on e‐Learning, Vol 1, pp. 547‐553. 
Šimonová, I., Bílek, M. (2011).E‐application for didactic approach to e‐learning. International Conference on Information 
Society, i‐Society 2011, pp. 325‐329. 
Li Xiao. (2005) User Satisfaciton with Web Portals. An Empirical Study. The George Washington University, [online]. 
Available at http://home.gwu.edu/~dasgupta/pubs/2005‐chapter‐xiao‐dasgupta.pdf [Accessed 5 May 2014] 

120
Trends in Acceptance of Social Software Applications in Higher 
Education From the Perspective of University Students ‐ Case Study  
Miloslava Černá  
University of Hradec Králové, Hradec Králové, Czech Republic 
miloslava.cerna@uhk.cz 
 
Abstract: The paper deals with utilization of social software applications in university settings. It focuses in detail on social 
application potential in three core areas of teaching/learning process on appropriateness of selected social applications in 
terms of study materials, communication tools and options for testing students´ knowledge perceived by students. Readers 
are  provided  with  an  insight  into  the  development  of  acceptance  and  utilization  of  social  applications  by  university 
students via comparison of findings from two surveys which were run in 2011 and 2014 at the Faculty of Informatics and 
Management,  University  of  Hradec  Králové.  The  surveys  were  conducted  within  a  national  project  “Evaluation  of  the 
modern  technologies  contributing  towards  forming  and  development  university  students’  competences”  and  within  a 
follow  up  Excellence  project  “The  ICT  reflection  within  cognitive  process  development”.  The  insight  predominantly  from 
the students perspective is revealed; the amount of students who are familiar with individual applications and frequency of 
utilization of these applications for private and educational purposes are illustrated in graphs. Findings on awareness and 
utilization of examined applications are compared and form the starting point or the base for the key part of the paper. 
The  changed  view  of  social  applications´  potential  and  assessment  of  their  appropriateness  for  selected  goals  in  the 
process of education is described and also illustrated in graphs; it presents the core of the paper. The study problem of the 
described  surveys  concerns  selected  social  software  applications  with  various  missions;  these applications  have  changed 
within a decade the landscape of the Internet and naturally influenced in some ways lives of their users; some applications 
completely  ceased  to  exist  some  came  to  the  existence.  The  objective  of  the  paper  is  to  compare  gained  findings  from 
repeated  survey  and  show  the  progress  or  stagnation  in  acceptance  and  utilization  of  social  software  applications  and 
describe  students  changed  perception  of  potential  of  selected  applications  in  three  areas  of  the  educational  process. 
Findings show visible changes in utilization of selected applications. There can be seen trend in more frequent utilization of 
social applications for both university and further studies purposes. A summarizing graph shows an increase in use of some 
applications  and  on  the  other  side  a  complete  disappearance  other  applications  like  Twitter,  ICQ  or  Bookmarking. 
Blackboard with 100% dominates, followed close behind by Facebook, YouTube and Wikiplatform.  
 
Keywords: ICT; social software application; LMS; satisfaction; survey; higher education 

1. Introduction  
Information and communication technologies (ICT) in education are a topic which never stagnates; ICT form a 
natural part of our lives where education is no exclusion.  Their importance has been worked out in numerous 
academic works covering a wide span of grasping the issue with positive expectations or uncritically optimistic 
approaches  via  sober,  realistic  concept  (Černá  and  Svobodová  2013)  to  the  sceptical  view  of  the  computer 
technologies potential. (Selvyn 2007). This paper on social software applications also claims to contribute into 
the field of implementation of information and communication technologies into the process of education.  
 
Social  applications  encompass  two  main  areas:  technical  and  social  which  both  constantly  develop  and 
influence our lives as they clearly reflect and significantly affect current epoch. Technical innovations posses 
substantive drive in young people; their strength lies in enabling users participate and interact in web‐space 
which  represents  a  valuable  contribution  for  educational  purposes,  as  well.  When  the  social  aspect  is  taken 
into consideration other distinctive strengths get revealed we mean the development of one´s identity within 
the framework of social network self‐presentation, communication and interpersonal relations in virtual space. 
Toivonen  discusses  three  main  stones  that  enabled  development  of  Social  media:  “Social  media  refers  to  a 
combination of three elements: content, user communities and Web 2.0 technologies”. He highlights that Web 
2.0 is used to refer to the whole phenomenon of social media (Toivonen 2007).  
 
Implementation of social applications into the process of education widens the vast sphere of ICT in education; 
it brings new opportunities, expectations in their potential (Valtonen 2011) but pitfalls as well. 
 
The  organization  of  the  contribution  is  as  follows:  firstly  a  theoretical  background  with  a  review  of  the 
literature is provided, then research methodology is described, the key part brings comparison of results and 
findings  from  two  surveys  with  the  intention  to  highlight  the  changes  in  the  use  and  perception  of  social 
applications as beneficial tools in the process of education, this part is followed by a discussion and conclusion. 

121
 
Miloslava Černá 

2. Theoretical Background 
The paper brings latest results from a repeated research on the utilization, satisfaction and perceived potential 
of  social  software  application  by  university  students.  The  first  survey  was  conducted  in  2011  and  its  results 
together with deep review of literature on the discussed issue were published in Černá and Poulová (2012).  
 
The issue of social nets in the process of education has been analysed and discussed by academicians for more 
than a decade, as for other software applications covered in by Web 2.0 phenomenon the history goes back to 
1999.  Positive  outcomes  prevail  and  endless  potential  is  highlighted.  Due  to  the  fact  that  the  research  is 
repeated,  the  review  of  literature  has  been  just  updated  and  doesn´t  repeat  all  literature  sources  from  the 
above mentioned paper dealing with the same topic. (Černá and Poulová 2012). 
 
Deep  insight  into  the  issue  of  Web  2.0  and  practice  of  teachers  in  Higher  Education  was  done  by  Greener 
(2012);  she  had  reviewed  peer‐reviewed  journal  articles  since  2006.  Net  generation  and  potential  of  social 
software for study purposes is discussed in the paper of Valtonen, T. et al. (2011). Real educational activities 
and their modelling in an on‐line setting are worked out by Balogh, Z., Turčáni, M. and Burianová, M. (2010). 
As for the last example of a different perspective a widely discussed issue of learning styles has been selected; 
Poulová,  P.,  Šimonová,  I.  and  Janečka,  P.  (2010)  present  in  their  paper  design,  creation  and  application  of  a 
software application supporting individual learning styles in e‐learning. 
 
As for characteristics of Web 2.0 and its appropriateness for teaching learning purposes it encourages sharing 
and construction of information; it is participative (Greener, 2012). She states that faculties are supposed to 
stay up to day to benefit from tools like social networking, blogging, learning management systems, publishing, 
etc.  The  most  underlined  potential  is  seen  in  cooperation  and  collaboration.  As  an  example  of  perceived 
potential in an individual social application might be  presented enthusiasm in blogs, Agosto (2012) brings a 
deep  review  into  collaboration  and  knowledge  sharing  fields  and  explains  how  to  stimulate  even  maximize 
students collaboration on the fundaments of framework of factors, see also more Zach and Agosto (2009). 
3. Research methodology 
This  chapter  covers  the  following  areas:  defining  of  the  study  problem  of  the  research  and  its  objective 
together with description of the research tool and the accessible sample.  
 
The study problem of the repeated research is the same as in the previous one; it concerns individual types of 
social software applications selected on the basis of their various missions fitting various goals.  
 
The paper is based on the surveys which aim at mapping the utilization of selected social software applications 
networking systems among university students at the University of Hradec Králové.  
 
Data  rapidly  become  obsolete  especially  in  the  field  of  computer  technologies  so  repeated  investigation  is 
desirable. 
 
The objective of the paper is to compare gained findings from a repeated survey on awareness, utilization and 
satisfaction  with  selected  social  software  applications  and  consequently  reveal  the  progress  or  stagnation  in 
acceptance  and  utilization  of  social  software  applications  and  show  students´  changed  or  not  changed 
perception of potential of selected applications in three areas of the educational process.  
 
There are several areas divided into subcategories to be explored and compared:  
ƒ firstly there is a view of student´ general use of social application: 
ƒ awareness of the existence of social applications 
ƒ frequency of their utilization  
ƒ secondly there is a specialized view of student´ use of social applications for study purposes explored: 
ƒ utilization of selected applications for university purposes 
ƒ utilization of selected applications for further education 

122
 
Miloslava Černá 

ƒ thirdly  there  is  the  last  part  dealing  with  potential  and  appropriateness  of  individual  applications  for 
concrete areas which are of key importance in the process of education:  
ƒ appropriateness of selected applications for placing and managing study materials 
ƒ social applications as an appropriate communication tool  
ƒ social applications as relevant testing and revising tools. 
Satisfaction is a highlighted category in the paper. Level of satisfaction is in detail explored due to the fact that 
category of satisfaction is one of the determining features influencing utilization of web sites and applications. 
(Li Xiao 2005). Satisfaction is one out of five quality components defining usability. (Nielsen 2012). 
 
The research accessible sample of the first survey consisted of 306 students of present and combined form of 
studies and the other survey was run with the research accessible sample of 71 students of present form of 
studies.  Both  samples  were  students  of  the  second  year  of  studies  at  the  Faculty  of  Informatics  and 
Management, University of Hradec Králové. 
 
The research tool is represented by an electronic form of a questionnaire which was created by the team of 
experts from the pedagogical, technology and psychology departments. The questionnaire consists of a set of 
applications  encompassing  various  areas,  having  various  functions.  The  same  questionnaire  was  applied  in 
2014 with slight adaptations in selected applications: 
ƒ one currently fast spreading Google+ social net entered the Internet landscape so it had to be added as 
any other player entered so vigorously 
ƒ Learning management system WebCT now belongs to Blackboard group, so in the other survey the name 
was changed accordingly  
ƒ two  Internet  games  and  general  section  with  on  line  game  applications  were  fused  in  the  final  part  of 
investigation  on  appropriateness  of  applications  for  individual  educational  purposes  as  their  occurrence 
was of marginal significance because these games had becme obsolete. 
While  filling  in  the  questionnaire,  students  were  informed  that  participation  in  the  study  was  voluntary  and 
anonymous;  it  took  them  just  about  8‐10  minutes  to  complete  the  survey.  The  follow  up  discussion  lasted 
about 40 minutes, due to the fact that the topic was close to respondents, they were ready to communicate 
and  share  their  experience  openly  and  appreciated  researcher´s  interest  in  respondents´    opinion  and  own 
contribution.  
 
A set of surveyed social software applications encompassed applications with various functions: social utilities 
connecting people, video‐sharing website, on‐line diary, storing and sharing web‐links, sharing photos, on‐line 
communication, on‐line computer games and learning management systems. A few questions were open so as 
we could get chance to learn more on issues we were interested in – like social nets and learning management 
systems. Descriptive statistics was used in the processing of gained results; the distribution of frequency tables 
was  made  and  consequently  bar  graphs  that  show  the  investigated  elements  (social  applications)  and  their 
percentages were compiled. 
4. Results and findings 
This  section  covers  several  areas.  The  first  one  deals  with  the  awareness  of  the  existence  of  selected 
applications and frequency of their visits, another subsection is focused on utilization of software applications 
in higher education and further education, potential of social software applications in individual areas of the 
study process is the last one. 

4.1 Awareness and utilization of selected applications 
The first part of this section deals with the findings on the awareness of the existence of selected applications 
and frequency of their visits. 
 
In the first survey that was run in 2011Facebook, Wiki, YouTube, Skype, ICQ, sharing photos followed by blogs 
and  learning  management  system  WebCT  were  the  most  known  applications.  The  absolute  winner  was 
Facebook  reaching  99%  closely  followed  by  Wiki,  YouTube  and  predominantly  communication  applications 
Skype and ICQ. 

123
 
Miloslava Černá 

As for the new survey: 

 
Figure 1: Students who know LMS in 2011 and 2014 
ƒ the first visible discrepancy is in LMS – all students know Blackboard and higher amount of students are 
familiar with Moodle or other LMS, as for Moodle the number has increased from14% to 34%, see Fig 1. 
ƒ absolute  winners  reaching  100%  are  Facebook,  YouTube,  Blackboard,  and  Skype,  all  respondents  know 
these applications 
ƒ 96%  of  students  are  familiar  with  a  new  social  net  Google+,  as  for  Twitter  and  another  social  net  the 
difference in awareness is marginal  
ƒ Surprisingly, more than 70% students still don´t know social bookmarking, in the first survey there were 
only 4% of students who knew this application. 

4.2 The frequency of visits and defining current trends  
Following graphs Fig.2 and Fig.3 clearly describe utilization of individual applications in two investigated stages 
of the research.  

 
Figure 2: Frequency of visits of selected applications in 2011  

 
Figure 3: Frequency of visits of selected applications in 2014  

124
 
Miloslava Černá 

On the basis of comparison of the gained data six significant trends were defined. 
ƒ One  of  most  significant  changes  hit  ICQ.  Four  years  ago  ICQ  was  still  alive  and  surprisingly  widely  and 
frequently used; 45% of respondents used it daily and another 15% at least once a week and only one fifth 
of  them  didn´t  use  it  at  all.  Currently  only  3%  use  it  daily  and  4%  weekly,  nearly  three  quarters  of 
respondents don´t use it anymore.  
ƒ Skype  as  the  other  exclusively  social  communication  application  has  also  gone  through  noticeable 
changes. Daily and weekly rate visit has increased from 30% to 50%, 4 years ago 37% didn´t use it at all in 
comparison with current 18%. 
ƒ There was no breakthrough in Social‐bookmarking, there are only 5 respondents using it, but those who 
use it, use it frequently.  
ƒ The  other  trend  concerns  YouTube  application  whose  main  mission  is  sharing  predominantly  music 
recordings  as  well  as  presentations  and  instructions  from  various  technical  and  leisure  areas.  97% 
respondents use YouTube application daily or weekly, to be precise ¾ use it daily. In comparison to that 4 
years ago there was ¼ of daily users and 46% weekly users. What is behind such an increase in popularity 
of  YouTube?  The  discussion  showed  that  students  valued  especially  content  of  YouTube  offering 
instructions of various kinds, math exercises, language lessons, etc. 
ƒ In  utilization  of  Wiki  –platform  visible  changes  can  be  seen,  as  well.  Number  of  frequent  users  hasn´t 
changed but number of students who do not use it at all has reached 28%. 
ƒ Last  remark  deals  with  LMS.  As  already  mentioned  in  previous  section  the  awareness  of  learning 
management  systems  has  increased,  four  years  ago  94%  respondents  didn´t  know  any  other  LMS. 
Currently 99% of all students visit Blackboard daily or at least weekly. But 70% don´t use any other LMS. 
Moodle as a widely utilised LMS is used only by 15% of respondents, see Figure 3.  

4.3 Social software applications in higher education 
The next findings relate to the specialized part of the research where the aspect of education forms the core.  
 
In the original survey findings showed the strongest potential is in Wiki 92%, followed by WebCT (LMS) 61%. 
YouTube  exceeded  the  threshold  of  50%,  as  well.  The  other  promising  software  applications  in  higher 
education were ICQ with 45% and Facebook with 42%. 

 
Figure 4: Software applications utilized in higher and further education 
There can be seen a big change in utilization of social applications for study purposes in results from the new 
survey. 
 
Fig. 4 shows an increase in use of some applications and on the other side a complete disappearance other 
applications  like  Twitter,  ICQ  or  Bookmarking.  Blackboard  with  100%  dominates,  followed  close  behind  by 
Facebook, YouTube and Wikiplatform. 
 
Quite beneficial in collecting data and opinions was the follow‐up discussion which enriched investigation into 
qualitative space.  

125
 
Miloslava Černá 

ƒ Students highlighted in the follow‐up discussion the importance and possible potential of Blogs, sharing 
photos and games ‐ but as findings show they do not commonly use them and for study purposes they 
don´t use them as well. 
ƒ Respondents feel great potential in Facebook, which can to a certain extent stand up for the many roles of 
other applications like Social‐bookmarking or organizing study groups and study materials.  
ƒ Out  of  main  features  of  ‘Web  2.0’  tools  students  appreciated  their  free  availability  but  content 
personalization  and  remixing  other  data  were  not  of  main  importance  one  would  say  they  were  of  no 
importance to them. 

4.4 Potential of social software applications in individual areas of the study process 
Last part of the chapter brings findings related to potential and appropriateness of applications for individual 
areas  which  are  of  key  importance  in the process  of  education:  appropriateness  of  selected  applications  for 
placing  and  managing  study  materials,  social  applications  as  an  appropriate  communication  tool  and  social 
applications as relevant testing and revising tools. 
 
Following  graphs  (Figures:  5‐10)  show  the  outputs  on  satisfaction  with  three  selected  areas.  Graphs  were 
adapted  to  reflect  only  situation  in  most  preferred  applications  with  results  bringing  meaning  to  eliminate 
plenty of data of low importance. 
 
When  it  comes  to  appropriateness  of  individual  applications  for  placing  and  managing  study  materials 
YouTube and Wiki followed by Facebook and WebCT dominated the level of satisfaction issue in 2011, see Fig. 
5 

 
Figure 5: Satisfaction with study materials in preferred applications 2011 

 
Figure 6: Satisfaction with study materials in preferred applications 2014 
Fig.  6  shows  that  in  case  of  satisfaction  and  appropriacy  for  study  materials  management  there  are  more 
convenient applications, the four key apps are the same and as for Wiki the comparable results are reached. 
 
Dark  colours  of  the  bars  represent  positive  assessment.  Google+  and  Facebook  are  assessed  negatively  as 
inconvenient  only  by  15%,  YouTube  only  by  7%.  Skype  was  included  into  the  graph  as  it  also  overcame  the 

126
 
Miloslava Černá 

threshold  of  50%  satisfaction,  38%  are  more  or  less  dissatisfied.  Suprisingly  even  on‐line  games  might  play 
their  educational  role.  LMS  Blackboard  improved  its  score  as  only  5%  of  students  don´t  consider  this 
application benecial in terms of management of study materials.  

 
Figure 7: Satisfaction with communication in preferred applications – 2011 
Next  explored  area  was  satisfaction  with  Communication  tools  offered  by  individual  applications.  In  the 
original survey Facebook, YouTube, Wiki, Skype, ICQ and WebCT dominated, see Fig.7. Results relating to other 
applications  were  of  minimum  significance  for  further  exploration  and  were  excluded  from  the  illustrating 
graph. 

 
Figure 8: Satisfaction with communication in preferred applications – 2014 
It is the case when even a popular application Wiki is not preferred, all 52% do´t reccomend it and only 7% of 
students find it beneficial even in this section. Logically the highest potencial is in Facebook – three quarters of 
students assessed it as the best tool for communication and only 5% don´t reccomend it. The other key player 
is Skype followed by LMS Blackboard. The main mission of social nets like Google+ and Facebook and then and 
Skype is communication, Blackboard also has a communication tool incorporated in its system.  
 
Last explored area was assessment of tools enabling testing of gained knowledge and skills. Respondents in the 
first survey chose the same set of important application like in the case of satisfaction with communication. 
Only the final results are slightly lower, see Fig.9. 
 
New results again show important changes: 
ƒ not only ICQ has lost its importance,  
ƒ also  Skype  has  dropped  out  as  60%  of  respondents  don´t  find  it  beneficial  for  testing  purposes  like 
Google+with 67% of negative assessment.  
ƒ Wiki hardly reaches the threashold of 50% of positive assessment. 
ƒ The best results reaches LMS Blackboard. Only 10% of respondents do not find it appropriate for testing 
purposes.    
 

127
 
Miloslava Černá 

 
Figure 9: Satisfaction with testing options in preferred applications ‐ 2011 

 
Figure 10: Satisfaction with testing options in preferred applications ‐ 2014 

5. Discussion and conclusion 
Findings  show  visible  changes  in  utilization  of  selected  applications  for  study  purposes  both  university  and 
further education. Some applications completely disappeared or didn´t find their place in the virtual space to 
meet the educational demands, e.g. ICQ, Bookmarking or Twitter, on the other side a new social net Google+ 
has established itself quite well within a short time. In both university and further education Blackboard with 
100% dominates, followed close behind by Facebook, YouTube and Wikiplatform. 
 
Changed perception of analyzed applications in the context of their appropriateness for study purposes in the 
area  of  management  of  study  materials,  communication  channels  and  testing  options  was  described  and 
illustrated in graphs.  
 
As for management of study materials the four key apps stayed the same: Facebook, Wiki, YouTube and LMS, 
but only in Wiki the results are comparable between the surveys. Currently students find appropriate for this 
task  three  more  applications:  Google+,  on‐line  games  and  Skype.    Google+  and  Facebook  are  assessed 
negatively  as  inconvenient  only  by  15%,  YouTube  only  by  7%.  Skype  was  included  into  the  graph  as  it  also 
overcomes  the  threshold  of  50%  satisfaction,  38%  of  respondents  are  more  or  less  dissatisfied.  Suprisingly 
even  on‐line  games  might  play  their  educational  role.  LMS  Blackboard  improved  its  score  as  only  5%  of 
students don´t consider this application benecial in terms of management of study materials.  
Two positive findings call for explanation.Two questions arose to be discussed:  
ƒ Why 50% of respondents can see potential for management of study materials in on‐line games? 
ƒ Why a number of respondents who positively evaluate LMS has so significantly increased? 
Exploring  social  applications  from  the  point  of  view  of  their  suitability  for  communication  no  oddities  were 
revealed.  Only  ICQ  has  just  completely  decamped.  Logically  the  highest  potencial  is  in  Facebook  –  three 
quarters of students assessed it as the best tool for communication and only 5% don´t reccomend it. The other 
key player is Skype followed by LMS Blackboard. The main mission of social nets like Google+ and Facebook 
and then and Skype is communication, Blackboard also has a communication tool incorporated in its system. 
So results respond to real situation. 
 
Significant changes were found in comparison of findings relating to testing options in given applications. From 
the  list  of  original  graph  disappeared  not  only  ICQ  but  also  Skype.  And  LMS  Blackboard  again  overtook 

128
 
Miloslava Černá 

Facebook  and advocated  YouTube  with  all  its  instructive  videos  and  learning  materials.  So  another  question 
has arisen. 
ƒ Why do students want to work exclusively in the LMS? Why do they prefer revising their knowledge in the 
learning environment and do not take more active role in other applications?  
Other  discussion  topic  arose  findings  from  the  follow‐up  discussion  with  students  after  completing  their 
questionnaires.  
ƒ Students highlighted in the follow‐up discussion the importance and possible potential of Blogs, sharing 
photos and games ‐ but as findings show they do not commonly use them and for study purposes they 
don´t use them as well. In the literature in literature a big potential is described. (Agosto 2012).   
The paper brings an insight into just a segment of the current phenomenon of social applications. The paper 
might enable readers create an idea on the issue.  The contribution gives rise to new issues to be discussed 
because the implementation of social applications into the higher and further education to support teaching 
and learning processes brings not only benefits but there is also an adverse site, pitfalls and let´s say limits of 
their utilization. 

Acknowledgements  
This  work  was  supported  by  the  2208  Excellence  grant  project  “The  ICT  reflection  within  cognitive  process 
development”. 

References  
Agosto, D. E. (2012) ‘Using Social Technologies to Foster Collaboration and Community Building in Face‐To‐Face 
Classrooms‘, [online], https://slis.iu.edu/accreditation/Appendix2.4.php.   
ACRL (2000) “Information Literacy Competency Standards for Higher Education”, [online], Association of College and 
Reasearch Libraries, accessible from http://www.ala.org/acrl/standards/informationliteracycompetency. 
Balogh, Z., Turčáni, M. and Burianová, M. (2010) ‘Modelling web‐based educational activities within the combined forms of 
education with the support of applied informatics’, Proceeding of the 7th International Conference Efficiency and 
Responsibility in Education (ERIE2010), Prague, pp. 14‐24. 
Černá. M. and Poulová, P. (2012) ‘Social Software Applications and their Role in the Process of Education from the 
th
Perspective of University Students’, Proceedings of the 11  European Conference on e‐Learning, (ECEL 2012), 
Groningen, pp. 87‐96. 
Černá, M., Svobodová, L. (2013) ‘Current Social Media Landscape’, Proceeding of the 10th International Conference 
Efficiency and Responsibility in Education (ERIE2013), Prague, pp.  80 – 86. 
Greener, S. (2012) `How are Web 2.0 Technologies Affecting the Academic Roles in Higher Education? A View From the 
Literature’, Proceedings of the 11the European Conference on e‐Learning, (ECEL 2012), Groningen, pp 124‐132.  
Li Xiao (2005) “User Satisfaction with Web Portals ‐ An Empirical Study”, [online], The George Washington University 2005, 
Idea Group Inc. http://home.gwu.edu/~dasgupta/pubs/2005‐chapter‐xiao‐dasgupta.pdf. 
Nielsen, J. (2012). ‘Usability 101: Introduction to usability. [online]. Available from: 
http://www.nngroup.com/articles/usability‐101‐introduction‐to‐usability/ 
Poulová, P., Šimonová, I. and Janečka, P (2010). ‘The use of a software application supporting individual learning styles in e‐
learning'. In Applied computer science : international conference’. Athens : World scientific and engineering academy 
and society, 2010, pp. 357‐361.  
Selvyn, N. (2007), The use of computer technology in university teaching and learning: a critical perspective. 2007 Blackwell 
Publishing Ltd Journal of Computer Assisted Learning, 23, 83–94. 
Toivonen, S. (2007). Web on the Move. Landscapes of Mobile Social Media. Espoo: VTT Tiedotteita. Research Notes 2403. 
56 p. + app. 3 p. http://www.vtt.fi/inf/pdf/tiedotteet/2007/T2403.pdf. 
Valtonen, T. et al. (2011) Net generation at social software: Challenging assumptions, clarifying relationships and raising 
implications for learning. 2011 Elsevier B.V. International Journal of Educational Research 2010, 49, 210–219. 
Zach L. and Agosto, D. E. (2009) ‘Using the online learning environment to develop real‐life collaboration and knowledge‐
sharing skills: A theoretical discussion and framework for online course design‘. MERLOT Journal of Online Learning 
and Teaching, 5(4). 

129
Creating a new Model of Technology‐Driven Learning for Teacher 
Training in Chile 
Paula Charbonneau‐Gowdy 
Universidad Andres Bello, Santiago, Chile 
paula.charbonneau@unab.cl 
 
Abstract:  This  paper  is  intended  to  add  to  the  emerging  dialogue  on  preparing  teachers  to  use  technology  to  promote 
grounded  theory‐based  practices  in  their  classrooms.  In  it,  I  report  on  a  longitudinal  case  study  examining  changes  to 
teacher  trainees’  identities,  learning  and  teaching  practices  when  they  are  exposed  to  the  use  of  a  variety  of  social 
networking technologies for language learning in the context of their teacher preparation program in a private university in 
Chile.  The  12‐month  classroom‐based  case  study  was  conducted  using  a  variety  of  ethnographic  tools  –  observation, 
interviews, and online conversation analysis. I investigated how the integration of technology into their content courses, as 
opposed to more traditional stand‐alone course on technology use, mattered. The approach to technology used mattered 
both  in  terms  of  making  a  difference  in  the  ways  that  these  pre‐service  teachers  viewed  themselves  as  learners  and  as 
future teachers of language, as well as of their evolving perspectives on the use of technology for learning and teaching. 
My aim in conducting the study was twofold. First, I examined whether innovative technology‐ infused (TI) courses would 
serve  to  enable  the  beginning  teacher  participants  to  shed  their  traditional,  passive,  rather  narrow  cultural  mindset  as 
individuals and learners that are contrary to the identities of effective teachers. Secondly, I sought to determine whether 
opportunities  for  these  individuals  to  use  a  variety  of  innovative  technologies  for  their  own  learning  would  have  an 
influence on the pedagogies they themselves employed in their teaching practices. Would technology‐infused courses lead 
to teaching with technology? While acknowledging the challenges within classroom‐based research and the complexities 
involved  in  social  science‐based  qualitative  research  paradigms  in  drawing  generalizable  conclusions,  the  data  analysis 
clearly  confirms  that  there  were  encouraging  signs  for  both  aims  for  this  particular  group  of  pre‐service  teachers.    This 
study should be of interest to all stakeholders in education, most especially those whose responsibility it is and who may 
struggle  with  practical  strategies  to  ensure  that  pre‐service  teachers  have  the  identities,  skills  and  tools  necessary  for 
st
providing quality 21  century education programs. 
 
Keywords: technology‐based learning practices, teacher education, 21st century teaching/ learning skills, teacher identity 

1. Introduction 
I  hope  Chilean  organizations  would  have  a  better  role  in  the  future.  Nowadays,  Chilean  people 
are losing their fear to defend what they want and think if its (sic) correct or not. What we really 
need  as  a  country  is  to  open  our  minds  to  the  different  opinions  and  try  to  be  tolerant  …and 
aware of what is happening around us. 
(Online post, Marcela, April 2013) 
Marcela is a student in a group of pre‐service teachers, participating in a 4‐year teacher‐training program at a 
large  university  in  Chile.  Her  comment  was  posted  in  an  online  forum,  a  virtual  site  that  played  a  central 
pedagogical role in a 3rd year English as a foreign language (EFL) course that formed part of the teacher training 
program. Her words, which are at the same time critical and informed, are atypical of Marcela and many of her 
classmates. She, like her pre‐service teaching peers, often struggles to speak in class and to share her views 
especially  on  subjects  related  to  political  and  social  issues.  Marcela  has  explained  her  lack  of  voice  in  the 
classroom to her feelings of linguistic inadequacy in front of others and her lack of knowledge and interest in 
issues beyond her own immediate life. Yet, later in the course, in the online forum, when asked to respond to 
an article and video on Civil Societies, Marcela adopts a different identity – of a more empowered, critically‐
minded and informed individual, when she speaks about the roles that Civil Societies should take and how her 
Chilean society is changing. Whatever the reason for the dichotomy in learner identities that Marcela displays 
earlier in the course in class and then later online, it is clear that the in‐class Marcela does not reflect the kind 
of teacher identity that teacher education courses are trying to foster.  Indeed, Marcela’s in‐class identity puts 
her at risk of failing to become an effective teacher that will be able to provide the right kinds of knowledge 
st
and experience that her future students will need, to become ideal 21  century citizens themselves.  
 
While technology is being increasingly understood as the driving force in educational change, its importance 
and influence on pre‐service teachers’ identities and their own learning and evolving teaching practices, seems 
to be overlooked in many teacher‐training programs. This lack of in‐depth discussion on the philosophical and 
practical  issues  surrounding  technology  use  that  teachers  require  in  the  21st  century,  is  a  critical  oversight 

130
 
Paula Charbonneau‐Gowdy 

especially in contexts where educational reform, amid other changes, is most needed. Chile is such a context. 
Despite the economic stability Chile enjoys in Latin America, resounding cries for reform in education resonate 
across the country and are being heard worldwide. The cries reflect a system rife with inequality and caught in 
traditional industrial‐age teaching approaches where information transfer and memorization are still common.  
Literacy  levels  are  well  below  international  standards  and  results  from  OECD  standardized  tests  in  many 
subject areas, are often disappointing. Not surprisingly, teachers are bearing much of the blame and initiatives 
to improve teacher training are only beginning to receive government support (Charbonneau‐Gowdy, 2012). 
Regardless  of  the  good  intentions  of  these  efforts,  technology  seems  to  be  off  the  radar  in  such  teacher 
preparation  programs  or  limited  to  a  chapter  or  two  in  methodology  courses.  Without  an  emphasis  on 
technology,  or  worse,  a  critical  awareness  in  the  selective  use  of  technology,  teacher  trainees  in  these 
programs,  many  of  whom  are  in  the  process  of  forming  pedagogical,  and  importantly,  personal  beliefs  that 
could potentially influence thousands over the life of their careers, risk repeating the very practices that the 
system is hoping to change. 
 
The  aim  of  the  classroom‐based  study  in  which  Marcela  and  her  classmates  participated,  was  in  part  to 
determine  if  through  a  series  of  3  4‐month  content  courses  in  language  learning,  infused  with  a  hands‐on 
selective use of technology, whether these individuals would show signs of evolving in terms of their identities 
as  language  learners  and  future  teachers.  It  was  also  aimed  at  determining  if  the  exposure  the  pre‐service 
st
teachers  had  to  opportunities  to  develop  21   century  skills  supported  by  technology  in  the  context  of  their 
learning  English  as  a  foreign  language,  would  have  implications  for  their  own  use  of  technology  in  their 
teaching practices. The focus of the study was in developing a preliminary model for course design that could 
offer a practical example of how teacher education programs might incorporate the use of technology in their 
curriculum  planning  in  order  to  exploit  and  promote  its  advantages  in  preparing  teachers  to  be  effective 
educators  and  users  of  technologies  in  their  own  classrooms.  The  rationale  behind  developing  the  model  is 
that  conventional  teacher‐education  programs,  especially  those  in  Chile,  may  have  limited  relevance  in 
preparing teachers for how to respond to and teach their students who are increasingly mediating their social, 
communicative  and  informational  needs  in  digital  spaces.  And  also,  without  offering  practical  hands‐on 
guidance towards meeting these needs during the teacher formation stage, the prevailing practices of analog 
epistemologies and classroom hierarchies will most probably continue to flourish (Thorne & Reinhardt, 2008, p. 
562)  –  not  the  fertile  ground  for  developing  critical  thinking,  innovation,  teamwork  and  the  strong 
communication skills that success in this new millennium is demanding. Nor will this prolonging of the current 
educational  scenario  lead  to  developing  the  kinds  of  citizens  that  social  change  agents  in  Chile  are  so 
desperately seeking.  

2. Perspectives/theoretical framework  
Facing the new realities of teaching offers multiple and complex challenges as anyone involved in education 
can attest. In a recent study of five novice teachers, He and Cooper (2011) observed that novice teachers bring 
their personal experiences and beliefs with them into teacher education programs (Beijard, Meijer & Verloop, 
2004; Levin & He, 2008). Understandably, for teacher candidates torn between developing content knowledge 
and  facing  classroom  practice  for  the  first  time,  it  is  little  wonder  that  many  assume  the  teaching 
methodologies  of  their  past  or  have  much  time  for  reflecting  on  the  teacher  identities  that  they  assume  in 
their first teaching in classrooms. The theories they are being exposed to in their teacher education programs 
and the personal resources they bring to their first practice classrooms seem to take a backseat as intuition 
and repeating practices that they are most comfortable with, i.e those that were used in their own previous 
schooling,  take  precedence.  For  example,  in  my  experience  as  a  teacher  educator,  while  many  of  the  pre‐
service  teachers  attest  to  spending  considerable  time  interacting  and  discussing  online  with  friends  and 
acquaintances or working on a project that is due in the context of their university program, when they enter 
the  classroom  as  practicing  teachers  they  seek  silence  and  demand  students  to  quietly  work  alone,  often 
banning the use of digital devices. Or even more surprising, while students in my teacher education program 
will claim to be digital natives, at the same time they will plan their lessons for their teaching practices entirely 
based on textbook exercises and paper‐based resources. While some of these soon‐to‐be teachers will admit 
to spending at least three to four hours on the information‐laden Internet, when asked about their views on 
world  events  that  are  taking  place  outside  their  immediate  surroundings,  let  alone  express  an  opinion,  they 
are  at  a  loss.  How  can  these  individuals,  one  might  ask,  regardless  of  their  subject  area,  possibly  engage 
students in learning about the world  ‐ the source for knowledge, when they seem to lack even the most basic 
knowledge of the world themselves?  

131
 
Paula Charbonneau‐Gowdy 

The proliferation of technology in our everyday lives in myriad ways still seems to be ignored or misunderstood 
in  some  of  the  teacher  education  programs  with  which  I  am  familiar  on  at  least  three  continents  –  Europe, 
North America and South America. Yet educational theories that have occurred over the last thirty years and 
that have led to deep shifts in the way we view learning point directly to the value of some, although not all, of 
these technologies in promoting the kinds of changes to which 21st century educational aims aspire. The highly 
influential theories that emphasize the social‐based, dialogic nature of learning (Vygotsky, 1978; Bakhtin, 1994) 
and that view learning as an act of moving peripheral participants to legitimate participants through promoting 
of  a  community  of  practice  (Lave  and  Wenger,  1991),  are  deeply  reflected  in  many  social  communication 
technologies  currently  available  and  their  expanding  affordances  –  blogs,  wikis,  gaming,  audio/video  web 
conferencing and virtual worlds. Also, in the context of the use of these tools, theories of identity, especially of 
interest in the field of language learning (Norton, 2011) have helped to draw a close connection between the 
use of technology and social change. Indeed, it is being increasingly recognized that the use of technology in 
our everyday lives is profoundly influencing what and how we learn as well as who we are as individuals and 
vice versa. As Feenberg (2002) asserts: “What human beings are and will become is decided in the shape of 
their tools, no less than in the action of statesmen and political movements” (p. 3).  
 
Given  the  grounded  theories  mentioned  above  that  would  support  and  promote  the  use  of  certain 
technological  tools  in  formal  education  settings,  the  adoption  of  technology  in  classrooms  has  not  been 
without challenges. In many cases, these challenges are deeply imbedded in traditional views of learning at the 
teacher  level  and  teacher  education  programs  that  fail  to  alter  these  views.  Recent  discussions  around  the 
limitations  of  teachers  employing  technologies  in  their  practices  has  led  to  models  targeted  at  teacher 
educators, such as the Technological Pedagogical Content Knowledge (TPACK) Model (Misha  & Koehler, 2006; 
see figure 1). The model has been considered promising, especially for pre‐service teacher instructors who are 
seeking  answers  to  the  challenges  they  face  in  preparing  teachers  to  use  technology  (Polly  &  Brantley‐Dias, 
2009). The model supports the idea that at the basis of effective teaching lies the complimentary combination 
of pedagogical, content and technological knowledge in a way that requires an understanding and negotiating 
of all three.  

 
Figure 1: The technological, pedagogical content knowledge model (TPACK). From http://tpack.org. Used with 
permission 
Yet, while models such as TPACK help to explain the rationale in incorporating content and pedagogical with 
technological training in teacher education for example, they fall short in providing what that training would 
look like in practice. Calls for further research to determine activities and course designs that would support 
the  kinds  of  advantages  that  a  teaching  framework  such  as  TPACK  could  lead  to,  underline  the  urgency  of 
adapting  such  a  model  to  specific  contexts  (Cox  &  Graham,  2009;  Wetzel  et  al.,  2014).  Part  of  this  call  is  in 
response to the emerging recognition since the beginning of the century that stand‐alone technology training 
courses, where they do exist, are not providing optimal incentive for teachers to incorporate technology into 
practice (Bielefeldt, 2001). Increasingly, seeking alternatives to stand‐alone course approaches are resulting in 
discussions around the value of incorporating technology practices into content and/or methodology courses.   
 
To pursue the follow‐up on the DPACK model, as an example of efforts to understand how such models work 
in practice, a number of studies have been conducted to determine the development of DPACK in pre‐service 

132
 
Paula Charbonneau‐Gowdy 

teacher candidates. Some of these studies, while insightful, (Pamuk, 2011; Chai et al., 2010) have had rather 
limited application as they have been confined to examining teachers in a narrow subset of the teaching field, 
for  example  future  teachers  of  technology,  or  future  secondary  teachers  only.  Among  these  studies  and 
relevant  to  our  own  research  questions,  Ögün  Koca  et  al  (2010)  found  that  in  their  attempts  to  combine 
concurrently the development of pedagogical, technological and content knowledge in a course for pre‐service 
secondary  teachers  of  mathematics,  data  from  participant  surveys  and  assignments  indicated  that 
development  was  connected  to  changes  in  the  identities  of  the  participants  from  learners  to  teachers  of 
mathematics.  More recently, Wetzel et al., (2014) seeing the need for studies that are longer term and that 
are  not  contained  only  to  pre‐service  secondary  teachers,  examined  the  transition  from  stand‐alone 
technology  programs  for  teachers  from  K‐12  to  two  technology‐intensive  methods  courses.  Data  collected 
through  recorded  interviews  clearly  indicated  that    “greater  modeling  of  hands‐on  learning  with  a  focus  on 
content  and  pedagogical  uses  of  technology  from  trained  instructors”  (pg.    89)  was  required  for  pre‐service 
teachers being more confident teachers of content with technology. In other words, their findings suggest that 
there  is  a  potential  for  positive  identity  changes,  i.e.  confident  teachers,  and  the  adoption  of  technology  in 
teaching practices of future teachers, if the conditions of teacher instructor modeling and sustained content‐
based hands on practice with technology are met.    
 
This connection between identity change and the incorporation of technology into teaching practices suffers 
from a dearth of attention in the research in technology in general, not to mention in teacher education. Yet 
the connection is an interesting and a crucial one (Warschauer, 2011 Gee, 2003). Indeed, in the educational 
contexts of evolving countries, such as Chile, where teacher education and its success are determined by the 
extent to which these teacher education programs produce individuals who can be the drivers of deep social 
changes,  the  degree  of  empowerment  of  these  future  teachers  to  combine  their  pedagogical,  technological 
and content knowledge and skills in their practices at the classroom level is essential. As Wetzel and al. remark, 
the alternative of: “waiting for the ocean liner ...to turn” (p.101) in referring to expecting direction for change 
to  come  from  above  at  the  institutional  or  ministerial  policy  level,  requires  accepting  only  distant  hope 
(Charbonneau‐Gowdy et al. 2012).   
 
In the field of language learning wherein lie our particular research interests, Warschauer (2003), for example, 
has shown through his extensive work in K‐12 schools, including in low socio‐economic status (SES) classroom 
environments,  that  improved  integration  of  technology  in  schooling  combined  with  teachers’  abilities  to 
promote  critical  thinking,  entrepreneurship  and  innovation  among  their  students,  are  key  factors  in  tackling 
the major challenge that formal learning contexts face today, that is updating teaching and learning practices 
st
to  meet  the  demands  of  the  21   century  (pg.17).  Warshauer’s  findings  offer  further  evidence  that  those 
teachers who themselves have the identities of enlightened 21st century citizens and who use technology in 
their  teaching  practices  to  promote  the  skills  that  are  needed  for  this  century  will  be  the  leaders  of  social 
change.  His  work  opens  the  door  for  research  that  is  needed  to  find  ways  to  promote  the  development  of 
teachers with such a profile.  
 
In this study, I describe and share the results of an individual researcher/instructor’s initiative to put in place 
the  conditions  mentioned  above.  This  initiative  includes  instructor  modeling  of  the  pedagogical  use  of 
technology  within  a  content  course  on  language  learning  in  order  to  offer  pre‐service  teachers  the 
opportunities  to  participate  in  the  hands‐on  use  of  various  technologies  in  constructing  their  knowledge  of 
content and pedagogy as well as their 21 st century learning/teaching skills. The research question that guided 
the study was: 
 
1. In what way do the technology‐infused activities and assignments that form the basis of language learning 
courses for pre‐service teachers of English as a foreign language, influence their learner and teacher identities?  
2.  What  are  the  implications  of  these  technology‐infused  courses  on  the  pre‐service  teachers’  learning  and 
teaching practices?  

3. Method  
In  the  study,  I  used  a  case  study  methodology  from  the  qualitative  research  paradigm  because  of  the 
opportunities  this  research  method  affords  to  describe  and  explore  a  phenomenon  and  where  context  is 
essential  to  that  exploration.  An  explanatory  case  study  methodology  allows  practitioners  to  examine 
communities  and  programs  through  a  variety  of  lens  or  data  sources,  and  thus  to  evaluate  them  (Yin,  R.  K. 

133
 
Paula Charbonneau‐Gowdy 

2003) which was a partial aim of the study. A qualitative case study supports the process of deconstructing the 
phenomenon,  in  this  case  the  innovative  series  of  courses,  and  reconstructing  it  in  order  to  understand  its 
multiple facets and the program effects. Another advantage of this approach is the collaborative relationship 
between researcher and participant and the emphasis it places on participant voice (Baxter & Jack, 2008). The 
phenomenon that was explored in the study was a series of three innovative TI language learning courses and 
the influence of these courses on students in the teacher education program. Collaborative relationship was 
fostered through shared researcher/participant responsibility for the teaching activities during the courses and 
six hour per week contact hours. Formative data collection and analysis allowed me as researcher/ practitioner 
to adjust and improve the course design over the research period.  

4. Context  
In 2013, I began a series of 3, 4‐month courses in language learning, based on the theme of Global Issues with 
successive  groups  totaling  58  participants  ‐  16,  24  and  18  pre‐service  teachers  respectively,  although  a  core 
group of 12 students assisted in all three courses. These groups collectively consisted of 8 men and 50 females. 
The students began the series of courses in their 5th semester of an 8 semester program. The courses, which 
took  place  at  a  large  private  university  in  Santiago  Chile,  were  innovative  in  theme  and  design.  Previous 
language courses taken by the pre‐service teachers in the English Language Pedagogy Program were textbook‐ 
based and the use of technology was limited to Powerpoint and audio/video resource materials. The courses I 
initiated  sought  to  exploit  social‐based  technology  tools.  The  role  of  technology  to  support  the  Global  Issue 
themes and innovative directions I was taking in the series of courses over the three semesters, consisted of 
the following: 
ƒ A  student  and  instructor  built  class  blog  containing  a  weekly  post/comment  section  site  with  pictures, 
videos, and media text related to each global issue;  
ƒ Group  Skype  calls  to  native  speakers  who  had  some  expertise  in  a  particular  global  theme  and  who 
responded to student generated questions; 
ƒ Cellphones to capture weekly‐recorded samples of individual student’s “1‐minute rants” on the subjects 
of the global themes;  
ƒ Internet sources for daily 10‐10‐10’s – reading, listening and writing for at least 10 minutes each on global 
issues;  
ƒ Microsoft Office programs provided a means for students to take charge in groups of peer feedback and 
evaluation of Global Issues presentations by other classmate groups. 
ƒ Weekly journals were peer evaluated before being sent to instructor by e‐mail for feedback.   
As  illustrated  in  the  list  above,  emphasis  in  the  teaching  approach  was  on  student‐driven  and  generated 
materials  using  the  various  technologies  that  supported  the  courses.  For  example,  groups  of  students  were 
responsible over the course to research topics on the Intranet related to each of the global themes. They then 
were  to  provide  video  and  written  texts  which  were  posted  on  the  Community  Site.  This  became  resource 
material for classmates to use as the basis for discussion and exploitation of the topic, both in class and online, 
and to self and peer evaluate their technology‐supported teaching process in presenting their topics.     
 
To  help  answer  the  research  questions,  data  was  collected  from  a  variety  of  sources  (see  Table  1).  These 
multiple data sources enhance the credibility of the findings and each source served as a piece of the puzzle 
(Baxter  &  Jack,  2008,  p.  554),  which  contributed  collectively  to  understanding  the  whole  innovative  course 
phenomenon  and  its  implications  for  the  pre‐service  teachers.    Importantly,  it  should  be  pointed  out  that 
technology besides  playing  an  integral part  in  the course design  and delivery,  also provided  a  source  of  rich 
and significant amounts of data, that ten years previously, would have been impossible to gather as efficiently, 
if at all.  
Table 1: Research design, data collection and analysis overview 
Research Questions  Methodology  Innovative Course Design  Data Sources 
and Timeline of  Analysis 
Implementation 
1. In what way do the technology‐infused  Qualitative  Series of EFL courses using  1 section of 
activities and assignments that form the  Explanatory Case  innovative program design  students for 
basis of language learning courses for  Study  infusing the use of  each of 3 

134
 
Paula Charbonneau‐Gowdy 

Research Questions  Methodology  Innovative Course Design  Data Sources 

and Timeline of  Analysis 
Implementation 
pre‐service teachers of English as a  technology  courses 
foreign language, influence their learner   
and teacher identities?  Observations 
  Blog 
conversations
Group 
Interviews 
Student 
journals 
Audio files 
Field Notes 
2.What are the implications of these    3 Courses offered, 4  Formative 
technology‐infused courses on the pre‐ months each over a period  analysis 
service teachers’ learning and teaching  of 18 months, 12 months  Linking data 
practice?  in total of instruction  to 
  propositions 

5. Data analysis 
Data  collection  and  its  analysis  took  place  concurrently  throughout  the  12‐month  period  of  the  study.    This 
analysis approach enabled the researcher to organize the evolving findings in terms of their response to the 
research  questions  and  to  make  adjustments  to  the  course  design  where  needed.  To  ensure  credibility, 
ongoing discussions with students in the program were conducted to verify that the assertions and conclusions 
that  were  being  made  in  the  analysis  reflected  the  views  of  the  participants.  The  data  from  all  sources  was 
organized around three themes that surfaced in the initial stages of the analysis.  In the following sections, I 
describe the results under those themes.  

6. Results 
In order for outsiders or newcomers to begin towards becoming “insiders” they need to begin by 
participating somewhere. (Lankshear & Knobel, 2011, p. 3) 
Reporting on the complex phenomenon that takes place over the period of a qualitative case study, especially 
within a classroom setting, is extra challenging. This is particularly the case when we compare this reporting to 
that  for  more  numbers‐driven  research  reports  (Lincoln  &  Guba,  1985).  An  important  factor  in  the  reader 
appreciating  the  results  of  qualitative  inquiries  involves  having  a  comprehensive  understanding  into  the 
contextual  factors  that  were  at  play  in  the  lives  of  the  pre‐service  participants  and  that  have been  revealed 
through the data collection process. These factors, based on my proximity and time extensively spent with the 
participants, are woven throughout the explanation or analysis of the findings and should help the reader to 
understand conclusions that I have reached. I recognize that at the same time that my account is not the sole 
way that this data could be interpreted.  
 
In order to help the reader gain a better understanding of the results, in the next section I present categories 
that  were  used  to  organize  the  data.  Within  each  category,  the  key  themes  that  evolved  in  the  data  are 
described and examples from the data sets are provided to support the claims made.  

7. Changes in identity  
Marginalized Learner Identities 
 
Many of the participants in successive groups of pre‐service teachers taking the TI courses displayed learner 
identities  that reflected  a  reticence to  engage  in  the course  in‐class  activities,  especially  those  that  involved 
discussion.  When  asked  for  opinions,  frequently  there  was  silence  in  the  classroom.  Field  notes  from  that 
period  of  the  study  recounted  a  general  hesitancy  to  speak  and  express  opinions  on  the  part  of  the  pre  ‐ 
service  teachers,  even  when  asked  to  first  formulate  their  opinions  in  groups.  Online  data  from  the  forum 
conversations mirrored a similar lack of engagement – only 7 of 16 students chose to write on the first and 
second themes.  Some of this evidence of what I have come to recognize as a feeling of being marginalized in 
the classroom, was explained by the participants as a lack of linguistic confidence – or knowledge of content, 

135
 
Paula Charbonneau‐Gowdy 

in this case English. Students writing in their initial Expectations Form for the course expressed what I heard 
over and over again from other participants:  
I didn’t talk too much in English because I’m afraid of make a mistake.  
[I] don’t [want to] be behind for [from] the rest of my classmates.  
I hope [to] stop feeling uncomfortable with my level of English. 
[I would like] to learn how to communicate with others.  
I  think  and  I  hope  that  they’ve  [teachers]  got  to  know  that  each  class  has  different  levels  of 
English because not all of us have the same education so they have to be patient and not ignore 
that there are many people who are lack[ing[ of knowledge.  
Most  participants  also  expressed  the  views  that  their  previous  language  education  experiences  were 
characterized  by  information  transfer,  teacher‐led  approaches  and  where  their  role  was  to  memorize  facts. 
These approaches led many to lack faith in their ability to express what they wanted to say and thus remained 
silent. Or, as in the case of Marcela above, they failed to believe that they had any valid opinions at all. Many 
indeed admitted that prior to the courses, they rarely or ever read newspapers in English or even in their own 
language. 
 
With the continued progress of the courses, the daily requirements for participants to read, view and react in 
writing in weekly journals to online media news stories appeared to have a dramatic influence on the identities 
of  many  of  the  participants.  Lively  debates  in  class  and  higher  order  thinking  and  analysis  were  evident  in 
online conversations among students even when input from the instructor was less apparent. I observed that 
growing  linguistic  confidence  coupled  with  critical  and  more  worldly  views  were  outward  signs  of  some 
participants developing empowered identities as language learners.  
 
Evolving Learner and Teacher Identities 
 
Over the period of the successive courses, with the course participants taking increasing responsibility for the 
course  materials  and  activities  and  having  access  to  greater  opportunities  to  use  various  technologies,  they 
began  to  display  signs  of  the  confidence  and  leadership  qualities  that  are  reflective  of  good  learners  and 
effective teachers as well. Examples of these evolving effective teacher identities were evident in the kinds of 
feedback they gave to one another after group presentations. Whereas earlier on in the courses, they tended 
to  give  automatic  top  marks  and  few  comments  to  their  peers,  later  they  were  more  constructive  in  their 
feedback and more  careful  to  have  their marks  reflect  their  views  of  the  activities  being conducted  by  their 
peers. I understood their growth in this area to underscore a greater sense of seeing themselves as teachers 
working  to  develop  their  craft  rather  than  passive  learners  of  methodologies.  Some  spoke  of  being  more 
empowered  in  their  teaching  practice  and  insisting  on  certain  strategies  and  approaches  despite  resistance 
and  hesitancy  on  the  part  of  their  teacher  supervisors  who  were  responsible  for  them  out  in  the  schools. 
Others became more proactive in improving their language skills in an effort to be better able to conduct their 
classes.  When  an  optional  guided  technology‐based  reading  program  was  offered  to  students  in  the  second 
course of the series, 10 of the 24 signed up and sustained interest in more active reading for over 3 months 
despite the added commitment it meant to their already busy schedules. As the series of courses in the study 
came  to  an  end,  one  student  had  already  left  for  a  job  in  the  US  to  improve  her  language  and  be  better 
prepared  as  a  teacher,  several  others  in  the  group  were  making  similar  plans.  These  and  other  signs  of  the 
general growing self‐directed nature of some of the participants’ evolving teacher identities were encouraging 
indications of future effective educators.  
8. Changes in teaching practices 
Traditional Teaching Practices  
 
As stated above, the content courses were designed to be a source of development for the participants not 
only in terms of content knowledge but pedagogically as well. Earlier in the study, despite the various social 
learning technologies that were being modeled for the participants in the context of the course, many chose to 
simply  use  Power  Point  presentations  to  present  their  Global  Issue  topics.  Several  participants  continued  to 
show signs of preoccupation with providing teacher‐generated question periods and passive video viewing as 
part of their presentations. I observed that this clinging to old traditional ways of practicing teaching among 

136
 
Paula Charbonneau‐Gowdy 

many of the participants was difficult indeed to relinquish. It was only in course 3 in the series that there were 
encouraging signs of change.  
 
Teaching with Technology 
 
The  changes  that  began  to  take  place  in  the  teaching  practices  of  some  of  the  participants  in  terms  of 
pedagogical  approaches  evolved  in  tandem  with  a  growing  use  of  technology.  This  use  of  technology  was 
evident in the context of the course work. Technology supported games and interactive videos are examples of 
the kind of tools that some participants used. Importantly, several of the pre‐service teachers mentioned that 
they were beginning to routinely incorporate technology into their practice teaching sessions. I observed too 
that a few of these individuals seemed more enthusiastic about their teaching, as they reported urged on by 
the  apparent  engagement  of  their  students  in  their  lessons  when  they  used  technology.  As  Piero  and 
Constanza, who took part in all three courses expressed: 
Before,  I  used  to  just  use  the  textbook  to  teach  my  classes,  now  watching  the  way  you  teach 
listening  activities  (with  the  news),  I  am  copying  the  same  strategies.  The  students  really  like 
what I am doing. (Piero) 
This  course  is  more  than  just  about  learning  a  language,  it’s  about  learning  good  teaching 
strategies as well. (Constanza) 
According  to  their  comments,  Piero  and  Constanza  reflected  on  the  advantages  they  saw  in  their  teaching 
practices to the prolonged modeling of effective teaching approaches that included the use of technology.  
9. Reflections and conclusions 
Last semester, I finished my teaching practices. Obviously, I used a lot of technology. I really enjoy 
planning  my  classes  and  using  different  tools  to  engage  my  students.  Sometimes,  I  tried  to 
imitate your classes. I learned that my classes have to be focus on my students.  (Marcela, e‐mail 
August 2014)  
The substantial data that was collected and analyzed over the period of the study allows us to conclude that 
the sustained modeling of the use of technology had positive implications both for the participants’ evolving 
teacher  identities  as  well  as  their  teaching  approaches.  The  excerpt  from  Marcela’s  written  post  course 
feedback  indicates  that  she  is  aware  of  such  changes  in  herself.    Given  the  nature  of  the  social  learning 
technologies that were used by the instructor, notably in the context of a content course, I believe that there is 
strong evidence to support the fact that for this group of pre‐service teachers at least, the ongoing hands‐on 
use  and  practice  of  these  types  of  technologies  could  lead  to  sustained  development  in  the  individuals 
approach to teaching, and to their professional development as teachers.  
 
The study also provides insight into a preliminary model for teacher education. Building on the TPACK model 
described  above,  I  envision  a  new  model  where  the  three  overlapping  concentric  circles  that  represent 
pedagogical,  technological  and  content  knowledge  are  contained  within  a  larger  sphere  of  personal  and 
professional identity that encircles them. This sphere of identity is ever moving either forward or backwards in 
tandem  depending  on  the  complimentary  growth  and  development  of  the  connected  knowledge  spheres. 
From  the  data  findings generated  by  the  study  and  the experiences  gathered  as  instructor/researcher,  I  see 
encouraging hope for social and educational change in further research and testing of this preliminary model 
in other teacher education contexts.   

References 
Bakhtin, M. M. (1994) The Bakhtin Reader: Selected Writings of Bakhtin, Medvedev and  Voloshino. P. Morris (Ed.). London: 
E. Arnold. 
Baxter, P. & Jack, S. (2008). Qualitative case study methodology: Study design and implementation for novice researchers. 
The Qualitative Report, Vol. 13, No.4., pp. 544‐599.  
Beijard, D. Meijer, P. & Verloop, N. (2004) Reconsidering research on teachers’ professional  identity. Teaching and Teacher 
Education, Vol. 20, pp. 107‐128.  
Bielefeldt, T. (2001). Information technology in teacher education: A closer look. Journal of  Computing in Teacher 
Education, Vol. 17, No., pp. 4–15.  
Chai, C. S., Koh, J. H. L., & Tsai, C. C. (2010). Facilitating pre‐service teachers’ development of  technological, pedagogical, 
and content knowledge (TPACK). Educational Technology and Society, Vol. 13, No. 4, pp. 63–73. 

137
 
Paula Charbonneau‐Gowdy 

Charbonneau‐Gowdy, P.; Cechova, I. & Barry, E. (2012) Web 2.0 technologies for 21st century learning: Creating conditions 
for sustaining change in institutions of higher learning. In Proceedings of the 7th International Conference on e‐
Learning. The Chinese University of Hong Kong: Hong Kong.  
Cox, S., & Graham, C. (2009). Diagramming TPACK in practice: Using an elaborated model of the TPACK framework to 
analyze and depict teacher knowledge. Tech Trends, Vol. 53, No. 5, 60–69. doi:10.1007/s11528‐009‐0327‐1  
Feenberg, A. (2002). Transforming Technology. New York: Oxford University Press. 
Gee, J.P. (2004) Situated Language and Learning: A Critique of Traditional Schooling. London:  Routledge. 
He, Y. & Cooper, J.E. (2011) Struggles and Strategies in Teaching: Voices of Five Novice  Secondary Teachers. Teacher 
Education Quarterly, Spring, pp. 97‐116.  
Lankshear, C. & Knobel, K. (2011). New Literacies: Everyday Practices and Social Learning. New York: Open University Press.  
Lave, J. & Wenger, E. (1991) Situated Learning. Legitimated Peripheral Participation. Cambridge, MA: Cambridge University 
Press. 
Levin, B. B. & He, Y. (2008) Match or Mismatch? How congruent are the beliefs of teacher candidates,  cooperating teacher 
and university‐based teacher educators? Teacher Education Quarterly, Vol. 34, No. 4, pp. 37‐55.  
Lincoln, Y.S. & Guba, E.A. (1985). Naturalistic Inquiry, Beverly Hills, CA: Sage.  
Mishra, P., & Koehler, M. (2006). Technological pedagogical content knowledge: A framework for teacher knowledge. 
Teachers College Record, 108, 1017–1054. 
Norton, B. (2011) Identity, language and social change. Language Teaching, Vol. 44, No. 4, pp. 412‐446.  
Ögün Koca S. A., Meagher, M., & Edwards, T. E. (2010). Preservice teachers’ emerging TPACK in a technology‐rich methods 
class. The Mathematics Educator, Vol. 19, No. 2, pp. 10–20. 
Pamuk, S. (2011). Understanding pre‐service teachers’ technology use through TPACK framework. Journal of Computer 
Assisted Learning, 28(5), 425–439. doi:10.1111/j1365‐2729.2011.00447x 
Polly, D., & Brantley‐Dias, L. (2009). TPACK: Where do we go now? TechTrends, 53(5), 46–47. 
Thorne, S. & Reinhardt, T. (2008) “Bridging activities,” New media literacies, and advanced Foreign language proficiency.  
Calico Journal, Vol. 25, No. 3, pp. 558‐572. 
Vygotsky, L. S. (1978) Mind in Society: The Development of Higher Psychological Processes. M. Cole, V. John‐Steiner, S. 
Scribner, & E. Souberman (Eds.). Cambridge, MA: Harvard University Press. 
Warschauer, M. (2003b) Technology and Social Inclusion: Rethinking the Digital Divide. Cambridge, MA: MIT Press.  . 
Warschauer, M. (2011) Learning in the Cloud: How (and why) to Transform Schools with Digital Media, New York: Teachers 
College Press. 
Wetzel, K., Buss, R., Foulger, T.S.  & Lindsey, LA. (2014). Infusing Educational Technology in Teaching Methods Courses: 
Successes and Dilemmas, Journal of Digital Learning in Teacher Education, Vol. 30, No. 3, pp.89‐103. 
Yin, R. K. (2003). Case Study Research: Design and Methods (3rd ed.). Thousand Oaks, CA: Sage. 

138
Learning Pedagogies and On‐Line Assessments in Higher Education: 
Innovations and Challenges 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 
The London School of Economics and Political Sciences, London, UK 
a.chatzigavriil@lse.ac.uk 
 
Abstract: The increasing interest in online teaching, learning and assessment is based on the notion that current and future 
generations  of  students  in  higher  education  are  and  will  be  increasingly  attuned  to  digital  forms  of  communication  and 
assessment (Prensky, 2001; Buckingham & Willett 2013). Hard pure disciplines tend to make more use of objective online 
assessment  techniques  (such  as  online  quizzes  and  tests)  than  soft  pure  or  qualitative  disciplines  (Smith  et  al,  2008). 
Furthermore, online exam assessments tend to be ‘output’ oriented; they act as final tests aimed at replacing traditional 
end  of  course  handwritten  assessments.  In  other  words,  summative  exam  assessments  provide  no  opportunity  for 
individual and generic feedback. In this context, the key question is: can pedagogies of face‐to‐face teaching and learning 
be  enhanced  by  innovative  (formative)  forms  of  online  exam  type  assessments?  This  case  study reports  on  a  three‐year 
pilot online formative exam type assessment (2011‐12 to 2013‐14). The pilot ran in conjunction with a ten week face‐to‐
face  course  (SA4H7)  entitled  ‘Urbanisation  and  Social  Policy  in  the  Global  South’  offered  by  Dr  Sunil  Kumar  in  the 
Department of Social Policy and was supported by the Centre for Learning Technology, London School of Economics and 
Political  Science.  The  case  study  critically  reflects  on  how  the  incorporation  of  a  formative  online  essay  based  exam 
assessment  has  enhanced  the  pedagogy  of  face‐to‐face  learning  offered  by  the  course.  The  case  study,  in  four  sections, 
begins  with  a  discussion  of  the  pedagogies  of  teaching  and  learning  and  the  role  that  online  formative  exam  type 
assessments  play  in  its  enhancement.  Second,  it  critically  discusses  the  opportunities  and  challenges  of  designing  and 
running  online  assessments.  Ranging  from  the  choice  of  platform  to  the  anonymous  extraction  of  student  responses,  a 
number of practical, technical and logistical issues had to be assessed and dealt with. These are discussed all along with the 
solutions provided before and after the assessment process. Third, it reports user perspectives by drawing on focus group 
discussions  held  in  each  of  the  three  years.  Despite  being  a  small  scale  pilot,  a  wealth  of  information  emerged.  These 
ranged  from  practical  issues  such  as  technical  requirements  (e.g.  spellcheck,  keyboard  noise  management  etc.)  and 
accountability in using students own devices (BYOD), to more substantial online assessment information (e.g. changes in 
cognitive processes/approaches in answering questions when typed in compared to handwritten exams and stress/nerves 
leading  up  to  online  exam).  Fourth  and  finally,  the  case  study  reflects  on  the  key  opportunities  and  challenges  in 
integrating  the  pedagogies  of  face‐to‐face  teaching  and  learning  with  online  exam  types  of  assessment  that  incorporate 
both individual and generic feedback. The discussion will cover the limitations of the pilot as well as key issues in scaling up 
online assessments at the LSE. Some of the lessons learned may be of value to others in higher education with an interest 
in similar assessment formats. 
 
Keywords: learning pedagogy, online assessment, qualitative outputs, technological challenges and scaling‐up 

1. Pedagogies of teaching and learning and the role that online formative exam type 
assessments play in its enhancement 
This case study is about integrating online formative assessments for SA4H7 – Urbanisation and Social Policy in 
the Global South; a 10 week elective course offered by Dr Sunil Kumar, Department of Social Policy, London 
School of Economics and Political Science (LSE). The course is delivered through weekly face‐to‐face lectures 
and seminars. The course is examined through a summative 3,000 word policy related essay carrying a weight 
of 40 per cent and a traditional handwritten end of year exam (two out of eight questions in two hours) with a 
weight of 60 per cent.  
 
The course has, over several years, integrated an e‐learning dimension (online forums) through a weekly non‐
assessed assignment called ‘My City’. This assignment requires students to explore some of the issues raised in 
the  lecture,  through  desk‐based  research  prior  to  the  seminar  the  following  week.  The  intention  of  this 
exercise is to ground the issues in the lecture and make the seminar not only more participative but also to 
enhance its links to reality. In addition, this assignment is intended to make students aware of data limitations 
thus alerting them to which policy issues they should not pursue for their summative essay. A paper on this 
aspect of the course, entitled ‘E‐face: Integrating on‐line posting with face‐to‐face discussions’ was presented 
to the Centre for New Media Teaching and Learning, University of Columbia in 2004 
 
Student satisfaction of the course is assessed by the Teaching Quality Assurance and Review Office (TQARO) 
who  ask  students  to  complete  a  short  paper‐based  questionnaire  (for  lectures  as  well  as  seminars)  which 

139
 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 

includes a box for free comment. This is done in week eight or nine of the course.  The anonymous results are 
then made available to the academic concerned. Their individual scores in relation to the questions are then 
presented in relation to their academic department and later in relation to the LSE as a whole.  Although the 
results of the above survey are useful in so far as they help identify areas for modification or change, these 
surveys do not provide an indication of the students’ understanding of the course as a whole. It is also worth 
noting  that  the  traditional  end  of year  exam  (requiring  two  questions to  be  answered  from  a  total  of  eight) 
does not provide an indication of students’ understanding of the course as a whole either. 
 
With  a  strong  interest  in  the  pedagogy  of  learning  and  teaching,  the  course  convenor  Dr  Kumar,  began 
exploring  which  mechanism(s)  would  be  most  appropriate  in  providing  an  opportunity  for  students  to  be 
assessed on their understanding of the course as whole. The idea of a new type of formative feedback would 
not only benefit the course convenor but students as well. Anonymous individual and group feedback would 
be made available. This required moving away from handwritten answers for the simple fact that it would be 
almost  impossible  to  collate  individual  answers  to  a  given  question  and  provide  both  individual  and  group 
feedback.  
 
One could argue that an assessment to test overall understanding of the course could be incorporated into the 
traditional end of academic year exam. While this would provide course teachers with an understanding of the 
extent  to  which  students  understood  the  entire  content  of  a  given  course,  it  would  deprive  students  the 
opportunity to receive individual and group feedback and act upon it.  
2. Opportunities and challenges of designing and running online assessments 
Additional drivers 
 
In  addition  to  developing  and  testing  a  new  type  of  formative  feedback  for  students  the  LSE  Centre  for 
Learning  Technology  (LSE  CLT)  were  also  concerned  with  student  perceptions  and  expectations  of  online 
exams, with particular consideration to LSE’s traditional approach to teaching and assessment. While ‘digitally 
native’  students  (Prensky  2001)  rarely  use  handwriting  in  their  day‐to‐day  studies  and  other  forms  of 
assessment such as assessed essays must be typed and often submitted electronically (Biggs 1999 via Mogey 
2008)  most  courses  at  LSE  are  assessed  by  traditional  handwritten  exam  at  the  end  of  each  academic  year.  
Anecdotally,  there  are  also  growing  concerns  amongst  some  LSE  examiners  regarding  the  legibility  of 
handwritten exam responses, possibly related to the aforementioned lack of day‐to‐day practice. LSE CLT also 
has a general responsibility to investigate new methods and technology in assessment and feedback for the 
school  as  a  whole.  This  relatively  small  pilot  was  therefore  a  good  platform  to  investigate  and  identify 
technical, practical and pedagogical implications of e‐assessment and further work required at LSE to be able 
to scale up the adoption of this type of approach. 
 
Format 
 
The online exam consisted of 12 short‐answer questions that the students were to answer online and in the 
first year three additional questions that the students would be expected to respond to on paper. The format 
was changed slightly in the second year so that instead of three paper‐based questions there was an additional 
online long‐ answer essay type question that the students were expected to complete online.  
 
In preparation, students were asked to take an ‘online practice test’, a week before the actual ‘online exam’. 
The  ‘online  practice  test’  was  intended  to  give  students  the  opportunity  to  familiarise  themselves  with  the 
system and provide feedback about any issues they may have faced. The ‘online practice test’ comprised of 
questions similar to those in the actual exam. Students could take the ‘online practice test’ as many times as 
they wished (unlimited attempts) in their own time. 
 
Once the student responses for the ‘online exam’ were submitted and anonymised, the examiner then graded 
and provided feedback on all of the anonymised student answers to the whole group.  
 
A detailed description of the structure year by year follows.  
 
 

140
 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 

Year 1 (2011‐2012) 
 
In  year  1,  students  participated  in  a  formative  part  writing  and  part  typing  pilot  examination.  On  the  day, 
students were asked to answer 15 short‐answer (essay type) questions under real examination conditions.  
They  were  asked  to  answer  the  first  3  questions  on  paper  (handwritten)  and  the  remaining  12  questions 
online  (type‐in  answers).  This  was  to  provide  a  comparison  between  the  handwritten  and  the  typed‐in 
answers. The nature of the questions was similar, and related to concepts covered in the course as a whole.  
 
Year 2 (2012‐2013) 
 
In year 2, students took part in a formative typing pilot examination using their own devices (BYOD).  
In  addition,  students  were  asked  to  answer  the  same  12  short‐answer  (essay  type)  questions  they  had  to 
answer in the previous year.  
 
They  didn’t  have  to  answer  any  questions  in  writing;  instead  they  had  to  answer  one  long‐answer  question 
(free choice from three questions). This last question required a more in‐depth response. The long essay type 
question  was  introduced  based  on  feedback  received  in  the  previous  year,  with  regards  to  approaches  in 
typing short essay vs. long essay type of questions.  
 
Year 3 (2013‐2014) 
 
In year 3, students had to answer the same 12 short‐answer questions and the one long‐answer question as in 
year 2. The only difference compared to year 2 is that students didn’t use their own devices but the pilot took 
place in a computer room.  
 
The table below summarises the changes of the three year pilot study (2011‐2012 to 2013‐2014).  
Table 1: Structure by year, type of question/environment and student numbers 
Academic  Online exam structure  Equipment  Num. of  Num. of  Num. of 
Year  and/or  student students  students 
Environment  s in the  participate participate
course  d in the  d in the 
pilot  focus 
groups 
2011‐ 12 short‐answer questions typed, and  Computer  23  16  6 
2012  3 short‐answer questions handwritten  Room 
2012‐ 12 short‐answer questions typed, and  BYOD  18  18  4 
2013  1 long‐answer question (choice out of 3) 
typed. 
2013‐ 12 short‐answer questions typed, and  Computer  17  17  5 
2014  1 long‐answer question (choice out of 3)  Room 
typed. 
Practical and technical considerations 
 
When  considering  which  platform  to  use  for  the  online  exam  a  number  of  requirements  were  taken  into 
account.  The  most  basic  of  these  requirements  was  that  students  needed  to  be  able  to  submit  text  only 
answers  in  response  to  a  number  of  questions.  The  questions  would  be  displayed  on  screen  in  addition  to 
being  printed  for  reference.  Secondly,  marking  had  to  be  anonymous,  but  it  had  to  be  possible  to  send 
feedback  to  the  students  after  the  examination.  One  desirable  feature  was  to  lock  down  the  exam 
environment as much as possible so that students could not easily use other applications or browse the web 
during  the  exam.  It  was  also  decided  that  it  would  be  helpful  to  display  a  timer  on‐screen.  The  online 
environment also needed to be easy‐to‐use and navigate and to not provide any significant usability challenges 
to the students, as well as being a stable and reliable platform. 
 
While online examination software such as exam4 (http://www.exam4.com) which could handle all of these 
requirements and more is already available, this was a small pilot so a low or no cost solution was desirable. As 
our existing VLE, Moodle could accommodate most of our requirements it was decided that the built‐in quiz 

141
 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 

module  would  suffice.  This  had  the  added  benefit  that  students  would  already  be  familiar  with  the 
examination environment.  
 
During the 1st year of the pilot Moodle’s built‐in browser lockdown features worked fairly well. Unfortunately 
for  the  2nd  and  3rd  years  this  feature  no  longer  worked  with  updated  web  browsers.  Therefore,  traditional 
invigilation methods were relied upon to monitor student activity on screen. 
 
There  was  some  manual  intervention  required  to  process  the  student  responses  for  the  ‘online  exam’.  The 
Moodle quiz module does not anonymise responses automatically and therefore this extra step needed to be 
done  manually  by  a  learning  technologist.  Once  the  student  responses  had  been  anonymised  the  examiner 
was able to grade the responses and provide feedback as annotations. The feedback was provided in the form 
of handwritten annotations using an iPad PDF viewer app (GoodReader). The annotated PDF file was uploaded 
to  Moodle  for  students  to  download  and  view.  This  enabled  all  students  to  view  feedback  given  to  other 
students’ answers in addition to their own (individual and group feedback).   
 
Scaling up 
 
With such a small pilot it was relatively easy to find a suitable examination space. It is anticipated that this will 
be a major issue that will need to be addressed when scaling up to larger examinations. For example, at LSE 
the largest PC lab will only accommodate 100 students in non‐exam conditions, so capacity would be greatly 
reduced  in  exam  conditions.  One  possible  solution  would  be  to  expect  students  to  bring  their  own  devices 
(BYOD),  in  which  case  a  suitable  space  with  sufficient  power  and  WiFi  coverage/capacity  to  cope  with  the 
demand would be required. No such space currently exists at LSE. 
 
Also, due to the small scale of the study it was not so crucial to make watertight contingency plans in case of 
problems with the school’s network or the Moodle server. It would have been fairly easy to simply reschedule 
the exam. When considering scaling up there would be a need for a fully thought through risk assessment and 
resulting  continuity  plan  to  address  anticipated  problems.  Some  of  these  risks  can  be  alleviated  by  careful 
design and use of appropriate software such as the previously mentioned exam4 product. But there would still 
need to be a plan in place for some kind of catastrophic technology failure. 

3. User perspectives ‐ focus group findings 
The three year pilot study, even though small in scale, discovered a wealth of information that LSE should take 
in to consideration if it was to adopt online assessment for formative or summative assessment.  
 
The  emphasis  of  the  questions  in  the  focus  groups  was  mainly  on  the  experience  of  typewriting  vs.  
handwriting exams and to inform future policy and practice if LSE is to adopt online summative assessment. 
The list of the questions used for the focus groups can be found in Appendix 1 ‐ Focus group question guide. 
 
The  following  are  indicative  findings  from  feedback  received  by  the  students  who  participated  in  the  focus 
groups. This part bellow summarises the findings in themes as revealed by the study.  
 
Stress/nerves leading up to the exam  
 
In all three pilots students felt relaxed in taking the online examination compared to the regular handwritten 
exam. In most cases students felt stress levels were similar to any other examination. It is hard to say if that is 
related to the fact the exam was formative and did not contribute towards the students’ final grades. 
 
Reported stress levels related to practical and technical issues, rather than the exam itself. For example, the 
timer created some anxiety. During the exam the clock was constantly displayed on screen which made some 
students feel uncomfortable.  
 
Another stress‐inducing factor appeared to be the noise from typing. While the noise of one’s own keyboard is 
not annoying, noise from others can be annoying or distracting to others in the vicinity. It was also reported 
that keyboard noise may reduce concentration and confidence to those students who are slow typists.  
 

142
 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 

It is interesting that in year two where students were using their own devices (BYOD), reported stress levels 
primarily  related  to  the  performance  of  students’  own  devices.  Even  though,  students  would  prefer  to  use 
their own laptops for a variety of reasons (familiarity, international keyboard) students also felt accountable 
for anything that might have gone wrong during the examination.  
 
Cognitive process in structuring answers 
 
Participants  of  year  1  pilot  highlighted  differences  between  getting  ready  to  answer  questions  online 
compared to writing by hand. It was suggested that cognitive processes and the way students structure their 
answers  may  vary  depending  on  the  medium  (paper  or  screen).  Some  students  felt  that  handwriting 
encourages  a  longer  thought  process  –  as  students  felt  it  necessary  to  produce  a  more  detailed  outline 
because  editing  a  paper‐based  answer  is  more  difficult  than  an  electronic  answer.  The  majority  of  students 
typed their answers without prior paper‐based planning. It is worth reminding ourselves that students had to 
answer short‐answer (essay type) questions, while during their final exams they have to reply on long‐answer 
(essay type) of questions. It was felt that planning was not vital as the answers to the questions were only a 
few sentences. In addition, students reported that contrary to the handwritten exam, someone’s first reaction 
when sat in front of a computer is to type, which could potentially result in more text but a less well‐structured 
response.  
 
To investigate students’ reaction to planning before typing, the year 2 pilot introduced one long‐answer (essay 
type)  question  (similar  to  the  ones  students  have  during  their  exams).  Students  had  to  answer  one  long‐
answer  question  (choice  of  three)  in  addition  to  the  short‐answer  questions.  Most  students  reported  an 
element of paper‐based planning, especially for the long‐answer question. They also discussed the significance 
of  being  able  to  outline  and  structure  responses  on  paper.  They  felt  that  they  should  have  this  choice  and 
paper should be provided. Also, similar were the findings with regards to structuring answers in paper in year 3 
pilot.  
 
It  is  obvious  students  who  are  proficient  typists,  have  an  opportunity  to  write  more,  revise  and  restructure 
their initial response. Hartley and Tynjala (2001) argue that due to the flexibility this approach (typewritten) 
offers students can have a higher engagement and be involved in deeper understanding.  
 
Advantages of typewritten exams  
 
Overall students felt positive about taking exams online. Some students felt typing exams online is part of the 
‘evolution of education’. For some, typing exams online  should be the norm, considering that students type 
essays and in most cases lecture notes.  
 
The online practice test that was made available to students prior to the actual exam was discussed positively. 
Even  though  the  platform  used  (Moodle),  is  the  platform  students  use  for  their  studies  and  all  have  some 
degree of familiarity, it was evident that the practice test helped reduce anxiety and build confidence.  
 
Students  discussed  the  opportunities  offered  of  typewritten  exams.  This  includes;  ability  to  use  Word 
processing  functionality,  spellcheck  and  thesaurus.  In  addition  revision  of  answers  has  been  discussed  as  a 
major  advantage,  considering  that  ‘major’  changes  in  a  handwritten  paper  are  practically  impossible  and 
limited to minor changes. 
 
Also, online (typing) exams may benefit students with bad handwriting, or students whose first language is not 
English. Some students believe that the quality of typed exams is superior to the quality of handwritten ones. 
Poor  handwriting  can  be  frustrating  to  teachers  and  make  marking  difficult.  Marking  typewritten  exams 
resolves this problem. Moreover, some students fear that bad handwriting will affect their marks negatively 
(even though research suggests ‘No significant differences could be identified due to the format in which the 
students had written their answer’ (Mogey et al, 2010).  
 
Future of exams at LSE  
 
Students were asked how they would feel if LSE was to roll out online typewritten exams. They all welcomed 
the  idea;  however  opinions  vary  with  regards  to  giving  the  students  the  option  to  choose  (handwritten  vs. 

143
 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 

typewritten)  or  the  university  to  offer  one  or  the  other.  One  student  argued  that  marking  may  not  be 
consistent if a mixed approach is offered. The same student suggests that if LSE is to offer a mixed approach 
(choice to type or write) it should at least be consistent within a course.  
 
Moreover, if LSE is to adopt online exams the following points and suggestions were made: 
 
Training 
 
There  was  a  strong  emphasis  on  the  significance  of  training.  Students  felt  having  online  mock  exams  in  the 
curriculum would enable them to familiarise themselves with the process and build their confidence.  
 
The  change  in  practice  would  create  training  needs  in  answering  questions  online  and  how  to  manage  time 
effectively. Some students commented on the problem they had in ‘quantifying’ their response when typing in. 
The same amount of text written in paper is significantly more in pages compared to the exact same amount 
of text when typed in.   
 
Functionality  
 
With regards to functionality basic editing (copy/paste/cut) was considered imperative. The use of advanced 
formatting was not considered critical, however the use of spellcheck and thesaurus, was discussed positively. 
The arguments given in favour of using spellcheck and thesaurus relate to the unique international context of 
LSE, and the notion of fairness and sympathy to non‐native speakers. A student stated that with spellcheck and 
thesaurus available the vocabulary levels will be equal for all.  
 
However,  a  few  students  felt  that  spellcheck  and  thesaurus  shouldn’t  be  necessary  as  LSE  students  should 
have an adequate ability in English, even though some students reported that spelling mistakes and grammar 
mistakes do not influence their marks. It seems that further investigation may be required with regards to the 
standards in English expected from discipline to discipline.  
 
Technical support 
 
Software  reliability  i.e.  capability  for  answers  to  be  saved  regularly  will  provide  extra  security  to  students. 
Technical support available during online exams is crucial, especially if students were to use their own devices. 
The  use  of  own  devices  provides  a  wealth  of  advantages  (i.e.  familiarity  of  own  device/own  keyboard  for 
international  students,  reduced  noise  levels  compared  to  traditional  desktop  computer  keyboards  etc.), 
however  students  worried  about  the  limitations  of  their  own  devices  and  the  impact  that  may  have  with 
regards to ‘accountability’ in case anything goes wrong during the exam process.   
 
Health and safety 
 
Students discussed other issues in relation to taking online exams. Some of them are practical such as, how do 
you leave the room before the end of the exam if you use your own laptop without disturbance. In addition, 
health and safety issues and appropriateness of exam room for online testing (ergonomic furniture, lighting, 
room temperature, controlling noise levels from keyboards, rest breaks from screen) were also discussed. With 
regards to rest breaks a student mentioned they ‘wouldn’t like to type for three hours’.   
 
In addition, students highlighted that if LSE is to adopt online exams, the change in policy (from handwritten to 
typewritten)  has  to  be  clearly  communicated.  It  was  discussed  that  LSE  has  a  special  international  student 
body and experiences among students with regards to taking exams online vary.  
4. Limitations, reflections and recommendations 
The  information  in  this  survey  has  a  number  of  limitations  that  are  listed  below  and  should  be  taken  into 
consideration when interpreting data. 
ƒ The  major  limitation  of  the  survey  is  that  findings  are  based  on  a  small  group  of  students,  who 
participated voluntarily.  
ƒ Focus group attendance was low, throughout the three year study.  

144
 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 

ƒ Stress  levels  around  the  examination  were  low  and  focus  groups  participants  favoured  the  online exam 
approach. However, that may be related to the fact that the pilots were voluntary and answers were not 
graded.  
ƒ The study didn’t examine the effectiveness of feedback or the impact on final summative marks. 
Overall, this three year study was an interesting experiment with some thought‐provoking findings regarding 
online exams and student perceptions. Owing to the small scale of the study, we would recommend a similar 
follow‐up for a summative online exam, in order to compare findings as well as address the limitations of the 
current study. In addition, we would recommend a similar study for large scale summative assessment.  
 
It is obvious that if LSE is to introduce online exams, it will be important to understand the impact that may 
have. There are a number of practical considerations, for policy makers as these identified during the study. In 
addition, the implications are amplified if LSE is to adopt online exams for large cohorts.  
 
Practical considerations in scaling up include: 
ƒ Power provision for student owned laptops or use of large exam centre if the university to facilitate online 
exams for large cohorts. 
ƒ Exam security – e.g. secure browser/online exam environment. This may also involve recurring cost. 
ƒ WiFi  capacity  and  network  reliability  (capacity  could  be  addressed  by  the  use  of  specialist  software  i.e. 
exam  offline  and  at  point  of  submission  online.  This  would  need  to  be  tested  if  the  university  were  to 
adopt such a solution.   
ƒ Contingency  plans  –  for  this  study  there  was  no  risk  as  it  was  a  formative  assessment,  however  for 
summative exams a contingency plan is necessary.  
ƒ Anonymising responses – in the pilot study responses were manually anonymised, as the Moodle quiz tool 
didn’t  provide  this  functionality.  That  was  not  a  problem  for  the  study  as  it  involved  a  low  number  of 
students  however  that  should  be  take  into  consideration  if  scaling  up,  and  the  manual  process  will  be 
time‐consuming.  
An  interesting  finding  relates  to  health  and  safety  issues  around  online  exams.  There  is  a  question  around 
requirements for screen rest breaks. It is known that a 5‐10 minute every hour rest break is recommended for 
those working with screens. The question raised is how that could be implemented for online exams. Possible 
solutions  could  include  rescheduling  (ICE  Booklet,  2013)  for  students  taking  multiple  exams  in  one  day. 
Another  approach  may  include  curtailing  the  exam  time  (The  Integrate  Project,  2010);  however  these  are 
significant changes and require an extensive amount of investigation.  
 
Another health and safety matter relates to appropriate exam spaces, including ergonomic furniture, suitable 
lighting and temperature, where keyboard noise can be minimised.  
 
In practice, we feel reasonably content with the study as it indicated students would be willing to participate in 
online exams, but also revealed issues to be taken into consideration and should not be neglected if LSE is to 
adopt online summative examinations. 

Appendix 1: Focus group question guide 

4.1 The exam experience  
ƒ How did you feel leading up to the typed exam compared to a regular written exam? Any differences? 
ƒ How did you feel being in a computer exam room compared to a regular written exam room? 
ƒ Did typing your exam change the way that you approached answering the questions ‐ did it change the 
way you structured your thoughts?  
ƒ How did you go about answering the questions? Did you make any plan before typing? 
ƒ How  did  you  feel  about  the  nature  of  the  questions  on  the  typed  exam  compared  to  the  handwritten 
exam? 
 

145
 
Athina Chatzigavriil, Kris Roger and Sunil Kumar 

Advantages and disadvantages of typewritten exams 
ƒ How  do  you  feel  about  typed  exams  compared  to  written  exams.  Perhaps  you  can  identify  some 
advantages and disadvantages for both? 

4.2 The future ‐ changing the future of exams 
ƒ What three things would most improve the experience of typing exams?  
ƒ How  would  you  feel  if  students  were  expected  to  type  their  answers  instead  of  handwriting?  Should 
students be able to choose whether to type or should or students have to type their answers? 
ƒ How would you feel about using your own laptop with special software installed? 
Finally, are there any specific technical issues that you think need to be addressed?  
ƒ Do you think you need copy and paste and spellcheck facilities when typing your exams?  
ƒ How important is text formatting to you?  

References  
Buckingham, D., Willett r. (2013). Digital Generations: Children, Young People, and New Media Routledge: London. 
Hartley J. & Tynjala P. (2001) New Technology, Writing and Learning in Writing as a Learning Tool. Kluwer, Dordrecht, The 
Netherlands. 
ICE Booklet (2013), JCQ, Joint Council for Qualifications, on http://www.jcq.org.uk/exams‐office/ice‐‐‐instructions‐for‐
conducting‐examinations (accessed on 2/6/2014). 
Mogey N., Paterson J., Burk J., Purcell M. (2010). Typing compared with handwriting for essay examinations at university: 
letting the students choose. Research in Learning Technology, Volume 18, Issue 1, pp. 29‐46. 
Mogey N., Sarab G., Haywood J., Van Heyningen S.,Dewhurst D., Hounsell D., Neilson R. (2008). The end of handwriting? 
Using computers in traditional essay examinations. Journal of Computer Assisted Learning, Volume 24, No 1, pp. 39‐
46. 
Prensky M. (2001). Digital Natives, Digital Immigrants. On the Horizon, Volume 9, No. 5, pp. 1‐6. 
Smith et al. (2008). ‘E‐learning commodity or community: Disciplinary differences between online courses’. The Internet 
and Higher Education, Volume 11, Issue 3‐4, pp. 152‐159. http://dx.doi.org/10.1016/j.iheduc.2008.06.008  
The Integrate Project (2010), The Integrate Project ‐ Technology‐enhanced Summative Assessment: Assessment 21, on 
https://projects.exeter.ac.uk/integrate/assessment.html (accessed on 2/6/2014) 

146
The Effect of Learning Management Systems’ Media Richness on 
21st Century Student’s Satisfaction: A Higher Education Perspective 
Pieter Conradie1, Marina Moller2 and Tutu Faleni2 
1
Vaal University of Technology, South Africa 
2
North‐West University, South Africa 
pieterc@vut.ac.za 
marina.moller@nwu.ac.za 
tutu.faleni@nwu.ac.za 
 
Abstract:  Online  learning  through  the  use  of  Learning  Management  Systems  (LMSs)  has  become  ubiquitous  in  higher 
education institutions. This is due to the opportunities provided by LMSs to reduce costs, reduce administration time and 
allow students access to learning content anytime and anyplace. Technology education literature has explored the success 
determinants of LMS implementation, including student satisfaction, learning outcomes and student preferences. How to 
utilize  a  LMS  effectively  has  become  an  important  research  question,  especially  when  it  is  required  that  an  active  and 
interactive  learning  environment  must  be  utilized,  one  in  which  the  student  has  the  ability  to  engage  with  media  rich 
content. In this quantitative study, the impact of media richness on student satisfaction of a LMS was explored by utilizing 
the Media Richness Theory (MRT). MRT postulates that the richness of media affects the effectiveness of a communication 
channel, thus to which level it enables a shared understanding. Four determinants proposed from the MRT were employed 
to  measure  the  satisfaction  of  students  related  to  the  media  richness  in  Edmodo,  the  LMS  utilized  in  the  study.  These 
include  the  capacity  of  immediate  feedback  (i.e.  content  timeliness),  capacity  to  transmit  multiple  perspectives  (i.e. 
content  richness),  language  variety  (i.e.  content  accuracy)  and  capacity  of  the  medium  to  have  a  personal  focus  (i.e. 
content adaptability). Results indicate a significant correlation between immediate feedback, capacity to transmit multiple 
perspectives and language variety, with student satisfaction. No significant correlation was found between the capacity of 
a  medium  to  have  a  personal  focus  and  student  satisfaction.  This  outcome  is  noteworthy,  since  it  is  postulated  that 
st
personal learning is critical for the 21  century student. However, based on the focus on content mastery inherent in most 
higher education modules, the emphasis on personal learning can be considered less important by students in obtaining 
the  required  module  outcomes.  The  importance  of  media  richness  when  utilizing  a  LMS,  especially  related  to 
functionalities  of  content  timeliness,  content  richness  and  content  accuracy,  is  central  for  education  practice.  This  will 
ensure student satisfaction with the implemented LMS and thus improve the use of LMSs by students and educators. 
 
Keywords: Edmodo, learning management systems, media richness theory, rich media, student satisfaction 

1. Introduction 
Technology assisted learning is increasingly becoming a standard in higher education (Lonn & Teasley, 2009; 
Naveh, Tubin & Pliskin, 2010; García‐Peñalvo & Alier Forment, 2014). This ubiquity has resulted in numerous 
administrative  and  pedagogical  advances.  One  pedagogical  benefit,  especially  relevant  for  the  21st  century 
student,  is  the  provision  of  rich  media  content  at  any  time  and  at  any  place.  A  technological  artifact  that  is 
globally  utilized  by  higher  educational  institutions  in  providing  educational  content  is  Learning  Management 
Systems (LMS), also referred to as Course Management Systems (CMS), course content management system 
or  Virtual  Learning  Environments  (VLE)  (Mott  &  Wiley,  2009;  Costa,  Alvelos  &  Teixeira,  2012;  Lust,  Juarez 
Collazo, Elen & Clarebout, 2012; Loncar, Barrett & Liu, 2014). A LMS can be defined as an information system 
which  allows  instructors  and  students  to  share  instructional  material,  cooperate  and  communicate  online 
(Naveh, Tubin & Pliskin, 2010). Higher educational institutions have invested considerably in LMS, based on the 
proposed benefits, including the provision of a nexus for learning activities (Browne, Jenkins & Walker, 2006; 
García‐Peñalvo & Alier Forment, 2014). Incorporated in most modern LMS are Web 2.0 technologies that allow 
instructors to implement constructivist approaches based on rich media, compared to the traditional teaching 
strategies  such  as  direct  instruction  (Govender  &  Govender,  2012).  To  obtain  the  full  benefit  of  LMS,  both 
instructors  and  students  must  explore  the  opportunities  provided  by  LMSs  and  the  instructional  formats 
supported. Thus the traditional focus of LMSs only on course management is not optimal for students in the 
st st
21   century  (Mott  &  Wiley,  2009).  For  the  21   student,  there  is  a  need  to  provide  interactive  rich 
communication, based on rich media content. 
 
Research on media richness in the educational context has found that media richness is an antecedent for the 
intent to use online learning (Huang, 2005; Liu, Liao & Pratt, 2009). Similarly, research on LMSs have reported 
that  educational  institutions and  students use  of  LMSs  closely  correlates  with  specific  determinants,  namely 
self‐efficacy of students, multimedia instructional formats (Liaw, 2008), perceived usefulness, perceived ease 

147
 
Pieter Conradie, Marina Moller and Tutu Faleni 
 
of  use  (Sun,  Tsai,  Finger,  Chen  &  Yeh,  2008;  Stantchev,  Colomo‐Palacios,  Soto‐Acosta  &  Misra,  2014), 
communication quality (Lonn & Teasley, 2009) and effective knowledge transmission (Malikowski, Thompson 
& Theis, 2006). Actual use of a LMS again closely correlates with the satisfaction with the LMS (Levy, 2008). 
Regarding multimedia instructional formats as explored by Liaw (2008), it is postulated that LMS enable the 
integration of multiple forms of media including text, image, video, audio and animation (Sun & Cheng, 2007). 
This finding of Liaw (2008) closely relates to the aim of this paper, which is to investigate the determinants of 
media richness with regard to a LMS, namely Edmodo. 
 
Media richness is widely investigated in literature through the Media Richness Theory (MRT). MRT postulates 
that  media  richness  can  be  measured  based  on  four  determinants,  namely  content  timeliness,  content 
richness,  content  accuracy  and  content  adaptability  (Lan  &  Sie,  2010).  Recent  studies  utilizing  MRT  in 
measuring  the  effects  of  media  richness  include  the  impact  on  decision  quality  (Kahai  &  Copper,  2003), 
marketing (Klein, 2003), design of e‐learning instructional media (Sun & Cheng, 2007), acceptance of streaming 
media for e‐learning (Liu et al., 2009) and the use of Really Simple Syndication (RSS) to support mobile learning 
(Lan & Sie, 2010). However, media richness not only relates to the type of media supported, but also to the 
media  feedback  capability  and  contextual  focus.  In  the  context  of  education,  MRT  directs  that  student 
performance will improve if the information requirement of a learning activity is matched with a medium’s (i.e. 
communication  channel’s)  ability  to  convey  information  richness.  This  implies,  for  unequivocal  (i.e.  low 
uncertainty) activities lean media (e.g. text media) will be applicable, while for equivocal (i.e. high uncertainty) 
activities, rich media will be applicable (Liu et al., 2009). Liu et al. (2009) hypothesis has, however, not been 
well supported in research studies, with Suh (1999) and Lan and Sie (2010) reporting no correlation between 
equivocal  activities  and  media  richness.  In  support,  Kozma  (1994)  postulates  that  certain  media  types  have 
particular characteristics which both can be more or less suitable for certain learning activities. In comparison, 
Clark (1994) again postulates that media selection has no influence on student achievement, but rather that 
multiple  types  of  media  yields  the  same  student  performance.  A  meta‐analysis  of  MRT  performed  by 
Timmerman and Kruepke (2006) on the use of computer‐assisted instruction reported that audio was linked to 
high  student  performance,  while  the  richer  medium  of  video  combined  with  text  resulted  in  better 
performance than images and text. These contradictory results are of concern and establish a need to further 
explore the phenomenon of media rich content in online learning. 
 
In addition, there is currently limited extant research on the use of multimedia instructional material in LMSs 
(Sun  &  Cheng  2007;  Naveh,  Tubin  &  Pliskin,  2010).  Based  on  the  identified  deficiency  and  contradictions  in 
literature, the focus of this paper will be to establish whether Edmodo affords a rich media delivery platform 
to students, and if media richness based on the four determinants of MRT, affects the satisfaction of students. 
In the next section, a review of LMSs, MRT and the research model based on MRT, will be provided. This will be 
followed in section 3 with a discussion of the research method implemented, namely a survey, and the results 
obtained. In the final section, a review of the practical implication of the results, limitations of study and future 
research will be presented. 
2. Background 
Learning management systems 
 
LMSs are primarily used to manage teaching and learning activities in a blended learning setting (Dias & Diniz, 
2014).  This  is  confirmed  by  research,  which  reports  that  instructors  use  LMS  to  deliver  and  organize  course 
material, with no significant effect on established teaching and learning practices (Clark, 2002; McGill & Hobbs, 
2008;  Mott  &  Wiley,  2009;  Govender  &  Govender,  2012).  This  implies  that  the  functionality  most  used  by 
instructors  is  administrative  in  nature,  thus  posting  content  like  syllabus  (e.g.  study  guides,  lecture 
presentations,  administrative  material,  announcements,  lesson  summaries),  assignments  (e.g.  drop  box)  and 
grade  management  (e.g.  grade  book).  However,  LMS  provide  many  additional  features  like  synchronous 
communication via chat rooms, walls, whiteboards, video conferencing, and asynchronous communication via 
discussion forums, polls, quizzes and surveys, relevant in supporting a constructivist approach to teaching and 
learning. 
 
A  number  of  studies  have  shown  that  these  additional  features  can  be  used  effectively  by  instructors  to 
facilitate  students’  learning  (Bender,  2005;  Black,  Beck,  Dawson,  Jinks  &  DiPietro,  2007).  It  is,  however, 
incumbent on the instructor to utilize the tools and media provided by LMSs to facilitate improved learning by 

148
 
Pieter Conradie, Marina Moller and Tutu Faleni 

providing enriched educational experiences. This thesis is advocated by Govender and Grayson (2007), which 
reports that students who regularly access and use LMSs perform academically better than those that do not. 
In  addition,  LMSs  enables  collaborative  and  co‐operative  learning  activities,  especially  relevant  to  teaching 
strategies such as problem‐based learning, project‐based learning and socio‐constructivist approaches (Cavus, 
2007; Thomas, Fernández & Manjón, 2010). Of special interest is that Mohorovičić and Tijan (2010) report that 
students utilizing LMSs accentuated the importance of face‐to‐face lectures, stating that it was easier for them 
to grasp difficult concepts in that way. This relates strongly with media richness, with most media provided on 
LMS  being  lean,  making  it  difficult  for  students  to  grasp  concepts  and  thus  negatively  influencing  student 
performance. 
 
The pedagogical impact of LMS is thus critical, since it has been reported that self‐directed, self‐regulated and 
deep learning is supported through LMS based on the provision of rich media under the control of the student 
(Knight, 2010). In addition, research has shown that feedback, a critical element of media richness, is also  a 
critical  element  of  effective  online  learning  (Dias  &  Diniz,  2014).  The  importance  of  communication  quality 
(Lonn & Teasley, 2009) and effective knowledge transmission (Malikowski, Thompson & Theis, 2006) directly 
linking to media richness, should thus not be underestimated. Although there are multiple LMS used world‐
wide  in  academic  institutions,  the  most  widely  known  are  Blackboard  (Learn),  Modular  object‐oriented 
dynamic  learning  environment  (Moodle),  Edmodo,  Cengage  Learning  and  Desire2Learn  (Thien,  Le  Van  Phan, 
Tho,  Suhonen  &  Sutinen,  2013).  In  Table  1,  a  ranking  of  the  twelve  top  LMS  based  on  the  Alexa  rank  is 
provided. The Alexa rank is calculated based on web traffic data. 
Table 1: Alexa ranking of LMS (adapted from Thien, Le Van Phan, Tho, Suhonen, & Sutinen, 2013) 
Alexa  LMS  License  Alexa  LMS  License 
rank  rank 
1  Blackboard (Learn)  Commercial (R&D  7  EDU 2.0  Free 
open source) 
2  Moodle  R&D open source  8  Schoology  Free 
3  Edmodo  Free  9  JoomlaLMS  Commercial 
4  Cengage Learning  Commercial  10  Knewton  Commercial 
5  Desire2Learn  Commercial  11  Sakai  Open 
6  Instructure  Free  12  Sclipo  Commercial 
Edmodo,  ranked  3rd,  has  several  benefits  that  support  its  use  in  education  institutions.  These  include  easy 
installation (web‐based system, no‐server and no‐hosting), multiple media formats, intuitive interface (similar 
to Facebook), support of social learning (constructivist approach) and licensing without charge. Edmodo does 
not support chat rooms, mainly to provide for the safe use by minors. Internet safety is a major element in the 
design of Edmodo, enabling a closed and private student community, not accessible to unauthorized external 
parties. Each group created in Edmodo has a unique group code, which is available only to group participants. 
In addition, each group also has a parent group associated with it, thereby allowing parents to keep an eye on 
their child in this VLE. For the instructor, Edmodo also provides additional support in the form of creating a 
Personal  Learning  Network  (PLN),  with  pre‐established  groups  related  to  relevant  disciplines  and  sub‐
disciplines.  Edmodo  provides  thus  a  feature  rich  environment  with  multiple  rich  media  content,  further 
outlined in the next section on MRT. 
 
Media richness theory 
 
Media  richness  theory originated  from  the  work  of  organizational  scientists  Trevino,  Lengel  and Draft  in  the 
1980’s  (Trevino,  Lengel  &  Draft  1987).  It  was  postulated  that  the  richness  of  media  would  affect  the 
effectiveness  of  a  communication  artifact,  thus  it  will  facilitate  shared  understanding  between  its  users. 
Communication artifacts that can decrease ambiguity and improve understanding are thus hypothesized to be 
rich.  In  comparison,  communication  artifacts  that  are  difficult  to  understand  and  cannot  support  a  diverse 
range of perspectives are considered low in media richness. Media richness thus denotes the enablement of a 
shared  understanding  between  users.  Four  determinants  of  media  richness  are  proposed  by  Trevino,  Lengel 
and Draft (1987), namely capacity for immediate feedback, capacity to transmit multiple cues, language variety 
and the capacity of the medium to have a personal focus, defined in Table 2. 
 
 
 

149
 
Pieter Conradie, Marina Moller and Tutu Faleni 
 
Table 2: The four determinants of the MRT 
Determinant  Abbreviation (use in  Definition 
research model, Figure 
I) 
Capacity for immediate  Content timeliness  Support rapid feedback between students, and between 
feedback  teacher‐students, thereby aiding common understanding. 
Capacity to transmit  Content richness  Support multiple types of information (refer to as cues by Draft 
multiple perspectives  and Lengel (1986)), for example voice, text, image and video. 
Language variety  Content accuracy  Support the richness of natural language, which promote 
understanding more than the use of numbers or formulas. 
Capacity of the medium to  Content adaptability  Support the concept of personalized learning, for example a 
have a personal focus  Personal Learning Network (PLN). 
In the educational context, communication media can be classified in order of decreasing richness from face‐
to‐face,  which  is  the  richest,  to  video  conferencing  (e.g.  Skype,  Google  Hangouts),  voice  (e.g.  telephone 
conference,  Skype  voice),  video  (e.g.  Youtube),  images  (e.g.  Flickr,  Instagram)  and  text  (e.g.  email,  Instant 
Messaging (IM) including Short Message Service (SMS), blogs, forums, discussion groups, letters), non‐personal 
documents (e.g. newspapers, magazines) and numeric reports (e.g. spreadsheets) (Rice, 1992; Sun & Cheng, 
2007).  Face‐to‐face  can  be  considered  the  richest  media  form,  based  on  the  capacity  to  provide  immediate 
feedback  to  the  student  while  simultaneously  providing  indirect  sources  of  information,  for  example  body 
language,  facial  expression  and  tone  of  voice.  Although  video  conferencing  support  indirect  communication 
through body gestures and tone of voice, it is limited in its capacity to convey context. 
 
Voice follows face‐to‐face and video conferencing, based on the ability to support immediate feedback in the 
form  of  verbal  words,  accentuation  and  silence,  but  inability  to  support  of  visual  gestures.  Personal 
documentation support some form of feedback, but it is mostly delayed feedback which can be frustrating to a 
student.  Similarly,  images,  non‐personal  documents  and  numeric  reports  lack  the  capacity  to  provide  timely 
feedback.  The  role  of  media,  in  whatever  form,  is  to  convey  rich  information,  thereby  improving  student 
understanding and the development of personal knowledge (Sun & Cheng, 2007). Especially related to learning 
activities,  it  has  been  reported  that  the  more  complex  the  learning  activity,  the  richer  the  information 
communicated must be. For example, when providing complex assignments to students, a high level of media 
richness  is  required  to  enable  clarification  (Timmerman  &  Kruepke  (2006);  Liu  et  al.,  2009).  Clarification  is 
provided  by  fast  feedback,  which  again  directly  impacts  the  completion  rate  of  learning  activities. 
Unfortunately, contradictory results in literature are presented, with Clark (1994), Suh (1999) and Lan and Sie 
(2010) reporting no relationship between clarification, postulated to be required for improved understanding, 
and media richness. 
 
Research model 
 
Media  richness  theory  propose  that  the  medium  used  to  support  and  provide  instructional  material  for 
learning activities needs to be carefully selected for effective communication. It is postulated that if the correct 
level  of  media  richness  is  provided  for  a  learning  task,  students  will  utilize  the  available  media  channel  (i.e. 
LMS) effectively, thereby improving satisfaction and use (Liaw, 2008; Levy, 2008). If a too low level of media 
richness is provided for a learning activity, negative outcomes will be experienced. Similarly, if too high levels 
of media richness are provided, students may be distracted, again resulting in negative outcomes (Bartscha & 
Cobern, 2003). Based on these ideas, a research model was conceptualized to explore the effect of the four 
postulated determinants of the MRT on student satisfaction with Edmodo, depicted in Figure 2. 
3. Research methodology 
Research Context 
 
The  quantitative  study  was  performed  at  a  higher  education  institution  in  South  Africa  with  thirty‐eight 
students in a first‐year class in information system, presented in a blended learning setting. Based on limited 
non‐mobile access by students to institutional online resources outside of formal classes, it was critical that a 
LMS  be  employed  that  support  access  via  mobile  phones.  All  thirty‐eight  students  that  participated  in  the 
study had access to an internet enabled mobile phone, which allowed access via the mobile Edmodo app (i.e. 
mobile application). This supposition is confirmed by Chen, Chang and Wang (2008), who reports that students 

150
 
Pieter Conradie, Marina Moller and Tutu Faleni 

with mobile access logged on twice as much to an academic reminder system than students with only desktop 
and laptop access. Additionally, the user interface of Edmodo closely resembles established Social Networking 
Sites (SNS) like Facebook, which are user friendly and well established in the community of university students 
(Prescott, Wilson & Becket, 2013). Based on these aspects and its free licensing, Edmodo constituted the ideal 
platform to investigate the effect of media richness on the use of a LMS. 
 
Research Participants 
 
Twenty‐eight students in a first year information systems module participated in the study, although the class 
consisted  of  thirty‐eight  students.  The  main  reason  for  the  smaller  number  was  that  completion  of  the 
questionnaire was voluntarily, with students given the choice not to complete the questionnaire without any 
prejudice. Studies utilizing students in an educational context need to be ethical, gaining institutional approval, 
respecting  student’s  privacy,  obtaining  informed  consent  and  ensuring  total  voluntarily  participation.  This 
ensures that no undue influence based on the dominate relationship between lecturer and student are evident 
in the data collection process. For many of the students partaking in the study, the use of a web‐based LMS for 
teaching and learning inside and outside the classroom was a first. Traditionally, LMS was used in the specific 
higher education institution only for sharing educational content, without utilizing any rich media to improve 
effective communication. 
 
Data collection 
 
Based on the quantitative design of the study, a standardized measurement instrument developed by Lan and 
Sie (2010) was adapted for the study. The four scales of content timeliness, content richness, content accuracy 
and  content  adaptability  were  measured  by  three  items  each.  The  construct  of  satisfaction,  not  part  of  the 
measurement instrument of Lan and Sie (2010), was included from (Liaw, 2008). Additionally, students’ use of 
Edmodo  was  measured  by  means  of  weekly  usage  statistics  available  on  Edmodo,  in  the  Insights  form.  The 
adapted measurement instrument is depicted in Addendum A. The Insights form, available under the Progress 
tag, is as a feature available in Edmodo to monitor student satisfaction, performance and to identify the most 
active students in a particular week. 
 
Data Analysis 
 
Basic descriptive data analysis was performed, including means and standard deviation. In addition, inferential 
statistics in the form of correlation analysis were employed, namely the Spearman correlation coefficient (r). 
The measurement instrument utilize a four point Likert scale from strongly agree (=4) to strongly disagree (=1). 
The construct validity of measurement instrument was confirmed by means of factor analysis (Eigenvalue>1), 
and reliability by utilizing Cronbach’s alpha (>0.7) (Creswell, 2012). 
 
Results 
 
In total, 14 males (50%) and 14 females (50%) participated in the study. The average age of participants was 21 
years.  Reliability  of  the  measurement  instrument  was  confirmed  by  means  of  Cronbach’s  alpha  coefficients 
calculated in SPSS, depicted in Table 3. 
Table 3: Cronbach’s alpha values 
Construct  Cronbach’s alpha (α) 
Content timeliness  0.888 
Content richness  0.864 
Content accuracy  0.950 
Content adaptability  0.955 
Satisfaction  0.842 
All  Cronbach’s  alpha  values  for  constructs  were  above  0.7,  confirming  the  reliability  of  the  measurement 
instrument (Creswell, 2012). Construct validity of the measurement instrument was verified by means of factor 
analysis, also calculated in SPSS. The most customary manner of obtaining factors is to identify constructs with 
an Eigenvalue of 1 or more as significant (Olson, Slater & Hult, 2005). In Table 4, the Eigenvalue and KMO and 
Barlett’s  significance  levels  are  depicted,  authenticating  construct  validity  (Keramati,  Afshari‐Mofrad  & 
Kamrani, 2011). 

151
 
Pieter Conradie, Marina Moller and Tutu Faleni 
 
Table 4: Eigenvalue and KMO and Barlett’s significance levels 
Construct  Eigenvalue  KMO/ Barlett’s Sig. 
Content timeliness  0.809  0.000 
Content richness  0.921  0.000 
Content accuracy  0.878  0.000 
Content adaptability  0.812  0.000 
Satisfaction  0.946  0.000 
To  establish  the  association  between  the  constructs  content  timeliness,  content  richness,  content  accuracy, 
content adaptability and satisfaction of students with Edmodo, correlations statistics was calculated in SPSS. 
The Spearman correlation coefficient (r) is depicted in Figure 2. 
 
  Content timeliness
              0.132* 
        Content  richness   0.376* 
  Satisfaction with LMS
            0.219* 
        Content accuracy
              ‐0.096 
 
Content adaptability
 
Figure 2: Research model with correlations (r) values (* p<0.05) 
From the correlation coefficients, it can be observed that there is a significant correlation between immediate 
feedback (i.e. content timeliness), capacity to transmit multiple perspectives (i.e. content richness), language 
variety (i.e. content accuracy) and student satisfaction. This confirms literature regarding the determinantes of 
rich media as reported by Liu et al. (2009) and Lan and Sie (2010). However, no significant correlation could be 
established  between  capacity  of  medium  to  have  a  personal  focus  (i.e.  content  adaptability)  and  student 
satisfaction. This might be as a result of limited knowledge of students on the personalization capabilities of 
Edmodo, the focus on mastery learning inherent in the module and limited support by Edmodo for Personal 
Learning Environments (PLE). PLEs are envirnoments of learning that are under the control of the learner, thus 
highly personalizable (García‐Peñalvo & Alier Forment, 2014), not inherent in LMSs.  
 
Regarding content timeliness, the capability of Edmodo to provide students rapid feedback from the lecturer 
and  peers  enables  rich  communication,  thereby  supporting  the  learning  process.  As  postulated  by  Liu  et  al. 
(2009), for low uncertainty activities lean media is applicable, while with high uncertainty activities rich media 
is applicable. This is supported by Edmodo, allowing for rich immediate feedback between student‐peers and 
teacher‐students. Regarding content richness, Edmodo support multiple types of information (i.e. data types), 
from  audio  and  video  to  text,  enabling  multiple  interpretations  and  supplementing  multiple  learning  styles. 
Finally, Edmodo also supports the use of natural language, required in creating a shared understanding, thus 
contributing  to  content  accuracy.  The  results  obtained  regarding  media  richness  further  corroborate  the 
correlation  reported  by  Liaw  (2008)  with  multimedia  instructional  formats  on  student  satisfaction,  and 
Malikowski et al. (2006) result of effective knowledge transmission on student satisfaction. The non‐significant 
correlation between content adaptability and student’s satisfaction, however, contradicts literature (Lan & Sie, 
2010), and needs to be further explored. 
4. Conclusion 
This  study  employed  a formal  theoretical  framework  in  the  form of  a  research  model  to  enable  an in‐depth 
and  structured  understanding  of  the  phenomenon  under  investigation,  namely  the  effect  of  LMS  content 
richness on student’s satisfaction. This investigation was needed, based on the limited literature available that 
explore  the  use  of  multimedia  instructional  material  in  LMSs.  The  use  of  LMSs  in  higher  education  is  well 
established world‐wide, forming an important element in established pedagogy. However, the content placed 
on LMSs is critical in establishing its effectiveness in teaching and learning. The aim of this paper was thus to 
establish whether a content rich LMS affords a rich media delivery platform to students, and if media richness 
affects  the  satisfaction  of  students.  Based  on  results  obtained,  it  can  be  reported  that  Edmodo  provides 
support  for  content  timeliness,  content  richness  and  content  accuracy.  However,  no  correlation  could  be 
established  with  content  adaptability.  This  result  contradicts  literature,  which  justifies  further  explanatory 
studies to identify the possible causes of this result.  

152
 
Pieter Conradie, Marina Moller and Tutu Faleni 

The  practical  implications  of  this  study’s  results  are  that  content  rich  LMSs  could  be  an  effective  tool  for 
providing content rich media to students in a timely manner with appropriate cues in the form of voice, text, 
image  and  video,  and  that  it  enables  the  richness  of  natural  language,  thereby  promoting  improved 
understanding.  Edmodo  thus  constitutes  a  suitable  information  delivery  medium  to  support  constructivist 
learning  activities.  The  support  of  mobile  connectivity  of  Edmodo  further  creates  a  mobile  learning 
environment for the student, enabling access at any time and at any place. This aspect is especially relevant in 
a resource poor context, prevalent in the study’s population. 
 
Several limitations can be identified in this study. These include the relative small sample size, and that only 
one first year group of twenty‐eight students participated in the study. This could have impacted results, since 
it  has  been  reported  that  males  use  mobile  technologies  more  than  females  (Anastasios  &  Grousopoulou, 
2009).  It  is  thus  suggested  this  study  be  repeated  with  a  bigger  sample  size,  as  well  as  employing  a  more 
diverse  student  profile.  In  addition,  the  lecturer’s  teaching  approach,  namely  constructivism,  was  also  not 
measured  and  compared  to  other  teaching  approaches  such  as  behaviourism.  This  change  can  lead  to  a 
different result, for example, with regard to content timeliness, with a behaviourist approach feedback comes 
primarily from the lecturer with limited peer interaction. In comparison, with a constructivist approach, peer 
interaction and feedback is encouraged, resulting in a rapid diffusion of ideas and responses to ideas, directly 
improving and supporting feedback and thus content timeliness. 
 
LMSs form a critical part in the e‐learning toolkit for higher educational institutions. It is thus important that 
LMSs  be  implemented  that  support  a  rich  media  environment,  enabling  effective  learning  based  on 
st
contemporary learning theories like constructivism in the 21  century. 

Appendix 1 
Constructs  Subscales 

Content timeliness  When the lecturer posts a class announcement, I received it immediately on 
Edmodo. 
When fellow students reply with posts on Edmodo, I can see it immediately and 
also reply. 
I can see the progress of discussions on Edmodo immediately. 

Content richness  I can see announcement in text format in Edmodo. 

I can view images (i.e. pictures) on Edmodo. 

I can review (i.e. look) at videos on Edmodo. 

Content accuracy  I can review the study guide on Edmodo. 

I can see my grades for quizzes on Edmodo. 

I can refer to external information resources for which the lecturer provides 
hyperlinks on Edmodo. 
Content adaptability  I can submit text files, pictures and video on Edmodo when completing an 
assignment. 
I can delete my own posts or change them. 

I can add my picture on Edmodo, thereby creating an Avatar. 

Satisfaction  I am satisfied with using Edmodo as a learning assisting tool 

I am satisfied with using Edmodo functionality for learning 
I am satisfied with learning contents and media provided on Edmodo 

References 
Anastasios, A. and Grousopoulou, A. (2009) Students’ thoughts about the importance and costs of their mobile devices’ 
features and services. Telematics and Informatics, Vol 26, No. 1, pp 57‐84. 
Bartscha, R. and Cobern, K. (2003) Effectiveness of PowerPoint presentations in lectures, Computers & Education, Vol 41, 
pp 77‐86. 

153
 
Pieter Conradie, Marina Moller and Tutu Faleni 
 
Bender, B. (2005) Learner engagement and success in CMS environments, In P. McGee, C. Carmean, & A. Jafari (eds.), 
Course management systems for learning: Beyond accidental pedagogy (pp 107–113), Information Science 
Publishing. 
Black, E. R., Beck, D., Dawson, K., Jinks, S. and DiPietro, M. (2007) The other side of the LMS: Considering implementation 
and use in the adoption of an LMS in online and blended learning environments, TechTrends, Vol 51, No. 2, pp 35‐39. 
Browne, T., Jenkins, M. and Walker, R. (2006) A longitudinal perspective regarding the use of VLEs by higher education 
institutions in the United Kingdom, Interactive Learning Environments, Vol 14, No. 2, pp 177‐192. 
Cavus, N. (2007) Assessing the success rate of students using a learning management system together with a collaborative 
tool in web‐based teaching of programming languages, Journal of Educational Computing Research, Vol 36, No. 3, pp 
301‐321. 
Chen, G., Chang, C. and Wang, C. (2008) Ubiquitous learning website: scaffold learners by mobile devices with information‐
aware techniques, Computers & Education, Vol 50, No. 1, pp 77‐90. 
Clark, R. (1994) Media will never influence learning, Educational Technology Research and Development, Vol 42, No. 2, pp 
21‐29. 
Clark, J. (2002) A product review of WebCT, The Internet and Higher Education, Vol 5, pp 79‐82. 
Costa, C., Alvelos, H. and Teixeira, L. (2012) The use of Moodle e‐learning platform: a study in a Portuguese university. 
Procedia Technology, Vol 5, pp 334‐343. 
th
Creswell, J. (2012) Educational Research: Planning, conduction, and evaluating quantitative and qualitative research, 4  ed, 
Pearson. 
Daft, R. and Lengel, R. (1986) Organizational information requirements, media richness and structural design, Management 
Science, Vol 32, No. 5, pp 554‐571. 
Dias, S. and Diniz, J. (2014) Towards an Enhanced Learning Management System for Blended Learning in Higher Education 
Incorporating Distinct Learners’ Profiles, Educational Technology & Society, Vol 17, pp 307‐319. 
García‐Peñalvo, F. and Alier Forment, M. (2014) Learning management system: evolving from silos to structures, Interactive 
Learning Environments, Vol 22, No 2, pp 143‐145. 
Govender, I. and Govender, D. (2012) A constructivist approach to a programming course: Students' responses to the use 
of a Learning Management System, African Journal of Research in Mathematics, Science and Technology Education, 
Vol 16, No. 2, pp 238‐252. 
Govender, I., and Grayson, D. J. (2007) Pre‐service and in‐service teachers’ experiences of learning to program in an object‐
oriented language, Computers & Education, Vol 51, No. 2, pp 874‐885. 
Huang, E. (2005) The acceptance of women‐centric websites, Journal of Computer Information Systems, Vol 45, No. 4, pp 
75‐83. 
Kahai, S. and Copper, R. (2003) Exploring the core concepts of media richness theory: The impact of cue multiplicity and 
feedback immediacy on decision quality. Journal of Management Information Systems, Vol 20, No. 1, pp 263‐284. 
Keramati, A., Afshari‐Mofrad, M. and Kamrani, A. (2011) The role of readiness factors in E‐learning outcomes: An empirical 
study, Computers & Education, Vol 57, pp 1919‐1929. 
Klein, L. (2003) Creating virtual product experiences: The role of telepresence, Journal of Interactive Marketing, Vol 17, No. 
1, pp 41‐55. 
Knight, J. (2010) Distinguishing the learning approaches adopted by undergraduates in their use of online resources, Active 
Learning in Higher Education, Vol 11, No. 1, pp 67‐76. 
Kozma, R. (1994) The influence of media on learning: The debate continues. School Library Media Research, [Online], 
http://web2.ala.org/ala/aasl/aaslpubsandjournals/slmrb/editorschoiceb/infopower/selectkozmahtml.cfm. 
Lan, Y. and Sie, Y. (2010) Using RSS to support mobile learning based on media richness theory. Computers & Education, Vol 
55, No. 2, pp 723‐732. 
Levy, Y. (2008) An empirical development of critical value factors (CVF) of online learning activities: An application of 
activity theory and cognitive value theory, Computers & Education, Vol 51, pp 1664‐1675. 
Liaw, S. (2008) Investigating students' perceived satisfaction, behavioral intention, and effectiveness of e‐learning: A case 
study of the Blackboard system, Computers & Education, Vol 51, No. 2, pp 864‐873. 
Liu, S., Liao, H. and Pratt, J. (2009) Impact of media richness and flow on e‐learning technology acceptance, Computers & 
Education, Vol 52, pp 599‐607. 
Loncar, M., Barrett, N., and Liu, G. (2014) Towards the refinement of forum and asynchronous online discussion in 
educational contexts worldwide: Trends and investigative approaches within a dominant research paradigm, 
Computers & Education, Vol 73, pp 93‐110. 
Lonn, S. and Teasley, S.D. (2009) Saving time or innovating practice: Investigating perceptions and uses of learning 
management systems, Computers and Education, Vol 53, No. 3, pp 686‐694.  
Lust, G., Juarez Collazo, N., Elen, J. and Clarebout, G. (2012) Content Management Systems: Enriched learning opportunities 
for all? Computers in Human Behavior, Vol 28, No. 3, pp 795‐808. 
Malikowski, S., Thompson, M. and Theis, J. (2006) External factors associated with adopting a CMS in resident college 
courses, The Internet and Higher Education, Vol 9, pp 163‐174. 
McGill, T. and Hobbs, V. (2008) How students and instructors using a virtual learning environment perceive the fit between 
technology and task, Journal of Computer Assisted Learning, Vol 24, pp 191‐202. 
Mohorovičić, S., and Tijan, E. (2010) New Technologies in Teaching University Level Programming, MIPRO 2010 Proceedings 
of the 33rd International Convention, pp 1024‐1028. 

154
 
Pieter Conradie, Marina Moller and Tutu Faleni 

Mott, J, and Wiley, D. (2009) Open For Learning: The CMS and the Open Learning Network, Education exploring our 
connective educational landscape, Vol 15, No. 2, pp 3‐22. 
Naveh, G., Tubin, D. and Pliskin, N. (2010) Student LMS use and satisfaction in academic institutions: The organizational 
perspective, The Internet and Higher Education, Vol 13, No. 3, pp 127‐133. 
Olson, E., Slater, S. and Hult, G. (2005) The performance implication of fit among business strategy, marketing organization 
structure, and strategic behavior, Journal of marketing, Vol 69, pp 49‐65. 
Prescott, J. Wilson, S. and Becket, G. (2013) Facebook use in the learning environment: do students want this? Learning, 
Media and Technology, Vol 38, No. 3, pp 345‐350. 
Rice, R. (1992) Task analyzability, use of new media, and effectiveness: A multi‐site exploration of media richness, 
Organization Science, Vol 3, pp 475‐500. 
Stantchev, V., Colomo‐Palacios, R., Soto‐Acosta, P. and Misra, S. (2014) Learning management systems and cloud file 
hosting services: A study on students’ acceptance, Computers in Human Behavior, Vol 31, pp 612‐619. 
Sun, P. and Cheng, H. (2007) The design of instructional multimedia in e‐Learning: A Media Richness Theory‐based 
approach, Computers & Education, Vol 49, No. 3, pp 662‐676. 
Sun, P., Tsai, J., Finger, G., Chen, Y. and Yeh, D. (2008) What drives a successful e‐Learning? An empirical investigation of 
the critical factors influencing learner satisfaction, Computers & Education, Vol 50, No. 4, pp 1183‐1202. 
Thien, P., Le Van Phan, N., Tho, Q., Suhonen, J. and Sutinen, E. (2013) Applying Edmodo to Serve an Online Distance 
Learning System for Undergraduate Students in Nong Lam University, Vietnam. Proceedings of the IETEC’13 
Conference, http://www.ietec‐
conference.com/ietec13/conferenceproceedings2013/papers/Monday/MP2/MP2.3_submission_102.pdf. 
Thomas, P., Fernández, R. and Manjón, B. (2010) Learning teamwork skills in university programming courses, Computers & 
Education, Vol 53, No. 2, pp 517‐531. 
Timmerman, C. E., and Kruepke, K. A. (2006) Computer‐assisted instruction, media richness, and college student 
performance. Communication Education, Vol 55, No. 1, pp 73‐104. 
Trevino, L., Lengel, R. and Daft, R. (1987) Media symbolism, media richness and media choice in organizations, 
Communication Research, Vol 14, No. 5, pp 553‐574. 
Wang, J., Doll, W., Deng, X., Park, K. and Yang, M. (2013) The impact of faculty perceived reconfigurability of learning 
management systems on effective teaching practices, Computers & Education, Vol 61, pp 146‐157. 

155
Disruptions and Disturbance as Challenges in a Blended Learning 
(BL) Environment and the Role of Embodied Habit Orientation 
Susanne Dau and Thomas Ryberg 
E‐Learning Lab – centre for user driven innovation, learning and Design – Department of 
Communication and Psychology, Aalborg University, Denmark 
sud@hum.aau.dk 
ryberg@hum.aau.dk 
 
Abstract: In this paper we analyse two cases where BL courses have been run since the summer 2012 (Teachers´ and the 
radiography  educational  programmes  at  University  College  North  in  Denmark  (UCN).  In  this  study  it  was  clear  that  the 
majority of students preferred face‐to‐face instructions and interaction over the implemented BL approach and they felt 
more disrupted and disturbed when required to work more online and from home. In the paper we therefore discuss how 
disruptions and disturbances have an influence on students’ study and learning activities in a BL environment. We argue 
how disturbances are related to students’ embodied experiences and habitual and spatial orientation, and how they play a 
role in students’ perceptions of different learning spaces. Based in Simonsen’s (2007) ‘geography of human practice’ and 
an ecological understanding of ‘orientations’ developed by Jander (1975) we analyse and discuss how students’ orientation 
in  different  learning  environments  influence  their  navigation,  and  how  disruptions  and  disturbances  affect  their 
orientation. The findings illustrate and discuss students’ challenges of adapting to the BL approach and how students’ prior 
experiences and habits challenge their learning activities outside the educational institutions. Based in these findings the 
concluding discussion presents new perspectives on students’ orientation in BL environment to take into consideration in 
BL programmes. 
 
Keywords: blended learning, orientation, disturbance, ecotones, knowledge development 

1. Introduction 
BL is on the agenda of most educational institutions. The advantage of being able to organize the program for 
both face‐to‐face and online learning seems to accommodate both flexibility, as well as self‐directed learning 
independent of time and place. These were also intentions of the FlexVid project (Jensen 2012) which the two 
cases we analyse in this paper were part of.  
 
In spring 2012 models of BL were developed by lecturers in radiography and teacher undergraduate education 
at University College North (UCN). Blended or flexible learning, as understood in this context, was designed in 
a way so that approximately 50% of the education was planned to take place outside UCN´s buildings, whereas 
normally students would spend the majority of their study time on‐campus. Thus, in this educational context, 
shifting  to  a  pedagogical  model  featuring  more  self‐directed  learning outside  the  institution  was  a  relatively 
major change. From our interviews and survey it became clear that the majority of students preferred face‐to‐
face  instructions  and  interaction  over  the  implemented  BL  approach.  Also,  they  experienced  difficulties 
adapting to the particular design of BL where they were required to work more online and from home (where 
they would work both online and offline). 
 
A prevalent theme that emerged from the interviews is that students felt more disrupted and disturbed when 
working from home. Therefore, in this paper we discuss how disruptions and disturbances have an influence 
on  students’  study  and  learning  activities  in  a  BL  environment.  We  argue  how  disturbances  are  related  to 
students  embodied  experiences  and  habitual  and  spatial  orientation,  and  how  they  play  a  role  in  students’ 
perceptions of different learning spaces. We base this in Simonsen’s (2007) ‘geography of human practice’ and 
an ecological understanding of ‘orientations’ developed by Jander (1975), and we use these to suggest focal 
points of interest for BL. Initially, however, we look into current research on the matter of disturbances and 
disruptions; thereafter we will describe the theoretical concepts of habits and spatial orientation adopted in 
the paper. 
2. Disturbances and disruptions in a BL environment 
Disturbances  and  disruptions  are  a  condition  in  daily  living.  Despite  the  fact  that  managing  disruptions  and 
disturbances and multitasking is a competence that students must achieve, there are many disadvantages. For 
instance; some argue it limits deeper learning and thoughtful information processing (Marien, Custers, Hassin 

156
 
Susanne Dau and Thomas Ryberg 

& Aarts 2012) and it takes attention away from the study activities (Matthew & Evans, 2012). Disturbances and 
disruptions are interruptions which can be both internal and external. External disruptions are characterised 
by stimuli emerging from the environment and objects in the surroundings. Internal disturbances are activated 
by stimuli from thoughts and feelings (Rosen, Carrier & Cheever 2013). 
 
The impact of disturbances and disruptions are described in contemporary research, where it is argued that 
the consequence of ‘continuous partial attention’ (Rose 2010) and media multitasking result in poorer study 
performances.  For  instance,  Foroughi,  Werner,  Nelson  &  Boehm‐Davis  (2014)  found  that  interruptions 
negatively impact on quality of work during a complex, creative writing task.  Additionally, it seems to increase 
the  time  of  study‐processes  and  make  the  thinking  more  superficial  with  consequences  for  grades  and  the 
quality in performances (Rosen, Carrier & Cheever 2013).  Werner et al.(2011) have investigated what makes a 
person  better  or  worse  at  dealing  with  interruptions  and  they  found  that  people  who  have  better  working 
memory capacity and better spatial abilities are better at resuming interrupted tasks. However, we shall argue 
that  interruptions  are  also  related  to  students’  habitual  and  spatial  orientation  i.e.  their  previous  embodied 
experiences in various environments. 

2.1 2.1 Habits and spatial orientation 
In her paper “Practice, Spatiality and Embodied Emotions: An Outline of a Geography of Practice” Simonsen 
(2007)  argues  for  an  understanding  of  human  practice  and  spatiality  based  in  a  social  ontology  of  practice 
(drawing  particularly  on  the  phenomenological  approach  inspired  by  e.g.  Merleau‐Ponty,  Heidegger  and 
Bourdieu). She argues how everyday practice and bodily/spatial actions are situated, reflexive, but also based 
in our embodied experience i.e. recurring and repeated ways of ‘doing things’ in practice. Drawing on Bourdieu 
she  argues  how  these  embodied  experiences  themselves  form  a  basis  for  social  action,  and  are  part  of  our 
‘habitus’ (Bourdieu, 1990).  
“These are moving bodies “measuring” space in their active construction of a meaningful world. 
In taking up or inhabiting space, bodies move through it and are affected by the “where” of that 
movement.”  (Simonsen 2007, p. 173). 
This inhabiting of space is about way‐finding and a spatio‐temporal orientation of experience and perception 
where  people’s  relationship  to  the  environment  is  conducted  through  both  orientation  and  demarcation 
(Simonsen,  2007).  However,  this  orientation  and  way‐finding  is  an  interactive  process  between  the 
environment and the human.  
 
Although Simonsen (2007) discuss notions of spatiality as part of her ‘geography of human practice’ her basic 
arguments  are  of  a  more  theoretical  nature  and  she  does  not  address  movement  and  orientation  more 
concretely. Therefore, to discuss students’ orientation we are inspired by Jander´s (1975) use of ‘orientation’. 
Jander (1975) argues for a unified theory of an ‘orientation ecology’ to understand orientation and movement 
for all living creatures ‐ from bacteria to humans. As these concepts have been developed to understand all 
organisms’ movement and orientation within the cross‐field of ecology and ethology, we adopt the concepts in 
a broader way than perhaps originally intended.  
 
Jander defines spatial orientation as “self‐controlled maintenance of change of body‐position relative to the 
environmental space” (Jander 1975, p. 173). This definition implies a close connection between the organism 
and the organisms’ space of action and navigation. He outlines six different types of orientation where habitat 
orientation overlaps them all: 
 
Positional orientation 
Object orientation 
Strato orientation 
Zonal orientation 
Topographic orientation 
Geographical orientation 
 
Positional orientation is about whether an organism stays in a place or moves on. Disturbances can influence 
these causing a response or counteraction. For example, for a fish it could be a change in the stream, or for a 
human  it  could  be  a  message  notification  from  Facebook  causing  one  to  move  elsewhere  online  or  stay  in 

157
 
Susanne Dau and Thomas Ryberg 

place.  This  overlaps  with  the  concept  of  object  orientation.  Object  orientation  concerns  searching, 
approaching  or  avoiding  objects.  In  object  orientation  the  organism  compares  (more  or  less  conscious)  the 
sum  of  positive  and  negative  stimuli  values  and  their  intensity,  and  accordingly  approach  or  avoid  these.  In 
relation  to  the  former  example  we  could  view  a  message  notification  from  Facebook  as  a  disturbing  object, 
which becomes a more desirable object than the current object of activity. 
 
Strato and zonal orientation are “general foreseeable conditional orientations” across vertical layers (strato) or 
horizontal (zonal) for example the vertical “migrations of organisms up and down through [...] the biosphere 
[...]  maintained  by  light  and  gravity”  (Jander,  1975,  p.  181)  or  horizontal  zonal  movement  across  different 
ecotones (e.g. cross‐shorelines). We understand these as very basic and instinctive orientations and although 
we  are  interested  in  movements  between  different  zones  we  see  the  zonal  orientation  (for  humans)  as 
strongly connected to the topographical orientation.  
 
Topographic  orientation  is  movement  where  the  object  orientation  is  extended  by  learning.  This  movement 
concerns  learned  spatial  relationships  among  objects  and  between  objects  and  organisms  e.g.  students’ 
learned relationship to objects in the classroom, where various objects afford certain spatial behaviours, and 
students  have  learned  how  to  navigate  appropriately  in  these  spaces.  The  classroom  as  location  can  be 
thought  of  as  an  embodied  experience;  as  a  memorized  resource  and  environment  for  learning  activities. 
Geographical  orientation  partly  integrates  object  orientation  and  zonal  orientation.  However,  in  this  kind  of 
orientation there is an increased length of ongoing movement over a distance.  
3. Methods 
This research is conducted as a follow up on the implementation of BL, in teacher education and radiography 
education at University College North (UCN) in Denmark. We used a pragmatic approach of mixed methods, 
where the qualitative parts have the highest impact in our case‐study.  The design consisted of; one survey (S) 
among all students and eighteen focus group interviews (FI). 

3.1 Survey 
The  purpose  of  the  survey  was  to  gain  insight  into  students’  prerequisites,  resources  and  preferences  in 
relation to attending the BL programmes. The survey (S) was conducted as an online questionnaire around a 
five  point  Likert  scale.  Questions  were  supplemented  by  open  rubrics  for  comments.  The  survey‐questions 
identified: 1) background information, such as prerequisites, 2) learning preferences and 3) students intentions 
of  using  of  educational  stations  as  a  supplement  to  existing  learning  environments.  The  survey  was  piloted  
and  subsequently  posted  to  all  students  (N=59)  after  three  months  of  students’  enrolment  in  both 
programmes. There was a response rate of 66% (n=37) after two rounds of notifications.  

3.2 Focus‐group Interviews 
Focus‐group  interviews  (FI)  were  chosen  to  obtain  detailed  information  about  informants’  individual  and 
shared perceptions of the BL program. The interviews were conducted after half a year (FI1), one year (FI2) 
and one and a half years (FI3) after the students’ enrolment. Focus group interviews were conducted among: 
radiography  students  (RS)  and  teacher  student  (TS),  lecturers  at  teacher  education  (TL)  and  lecturers  at 
radiography education (RL), practitioners at municipal schools (TP) and at radiography units at hospitals (RP) 
and mentors.  
 
The  selection  of  informants  was  based  on  their  involvement  in  the  BL  program  and  prioritised  variation  in 
gender, and students’ area of residence. Prior to the focus‐group interviews informants completed a consent 
form accepting participation in the research project. 
 
The structure of the interviews relied on a narrative approach by use of themes and open‐ended questions. 
Three  main  areas  were  explored:  1)  informants  experience/sense  of  BL,  2)  informants’  opinion  on  how  BL 
influence or might influence student knowledge development and learning and 3) how the different learning 
environments and  spaces  influence  on  these  matters.  Each  interview  lasted  about  one  hour  and was  audio‐
recorded and transcribed.  
 

 
158
 
Susanne Dau and Thomas Ryberg 

3.3 Analysis and interpretation 
The  analysis  and  interpretation  were  structured  by  a  critical  hermeneutical  approach,  inspired  by  Ricoeur´s 
(1984)  use  of  the  hermeneutic  arch.  Empirical  data  were  analysed  and  interpreted  by  prefiguration, 
configuration and refiguration. In the prefigurative analysis the text derived from the empirical data appeared 
in its unstructured form. In configuration the data were put into order as thematizations around main plots. 
The  themes  represent  common  concerns  and  issues  that  were  expressed  amongst  the  participants  and  as 
durable themes across the three rounds of interviewing.  Finally, refiguration added further critical distance by 
use of critical perspectives, interpretation and explanations (e.g. adoption of new theoretical perspectives and 
concepts to understand the data). 
 
There are additional relevant themes and plots, specific survey data and insights emerging from the rich set of 
data that we cannot retrieve in this paper, however, they have been explored in other work (Dau, 2014, Dau 
2013, Nyvang & Dau, 2013).  

4. Findings 
We initially include some general information on the implementation of BL in the educations. Then we discuss 
and analyse the influences of disruptions and orientation in BL environments as a main plot. 

4.1 Implementation of BL in teacher and radiography education 
For teacher education the blend aimed at increasing the students’ study activities outside UCN. The students 
had approximately one full study day a week in their first year, and two days in their second year where they 
would manage their own study‐tasks e.g. from home. Furthermore, they had approximately one or two days a 
week  for  study‐group  work  where  they  could  choose  how  and  where  to  engage  with  group  members.  The 
lectures  at  UCN  were  carried  out  as  face‐to‐face  lessons  except  lessons  with  one  of  the  lecturers  who  had 
some  experience  with  online  lecturing.  In  the  first  half  year  these  lectures  were  designed  as  online 
synchronous video‐conference lessons and online discussions (available asynchronously as well). However, the 
limited  physical  appearance  of  the  lecturer  was  problematized  by  students  as  they  preferred  face‐to‐face 
instructions.  These  complaints  resulted  in  the  lecturers  reorganising  the  lessons  toward  more  face‐to‐face 
activities with some use of IT‐assignments e.g. by using Web 2.0 tools and creating digital cartoons illustrating 
the subjects investigated 
 
For radiographers education the blended model had been in use for some years before 2012 in order to offer 
students  from  different  parts  of  the  country  access  to  education.  The  blend  is  structured  with  face‐to‐face 
lessons two to three days a week and then self‐directed study activities outside UCN. Within the first year of 
the period of the flexible education (2012) some experiments were made offering students online synchronous 
lessons  by  streaming  the  lessons.  However,  all  students enrolled  in 2012 preferred  to  participate  in  face‐to‐
face lessons and streamed lessons were cancelled.  
 
The purpose of implementing BL was to accommodate to students from rural areas by offering flexibility, but 
also  to  encourage  students  to  engage  with  more  self‐directed  learning  (Jensen  2012).  All  students  who 
enrolled in radiography education had to participate in BL, and one of two classes in teacher education had to 
participate. Here the students were randomly selected. Both classes began their education in autumn 2012. 
 
Despite the intentions of offering the students more flexibility by using various BL approaches it was clear from 
the  survey  that  students  strongly  preferred  face‐to‐face  lectures  at  UCN  (79%  of  the  student  teachers  and 
100%  of  radiography  students).  Similarly,  other  face‐to‐face  activities  were  preferred  by  74%  of  the  student 
teachers  and  88%  of  the  radiography  students  who  answered  that  they  learned  best  by  cooperation  and 
discussions with their peers at UCN. We therefore go into more in‐depth analysis to understanding some of 
the reservations and reluctance towards the flexible and BL approach. These were particularly related to the 
notion of disturbances and disruptions, but as we proceed we interpret this more widely as having to do with 
students’ embodied experiences, and their spatial and habitual orientation.  
 

159
 
Susanne Dau and Thomas Ryberg 

4.2 Disruptions and disturbances ‐ influence on students’ study activities 
Students in both radiography and teacher education were facing challenges in their adaptation to BL and self‐
directed study days. These concern different disturbances and disruptions in different spaces.  
 
For instance, they were disrupted when technological problems with the internet occurred or access to sound 
or  learning  materials  was  insufficient.  Informants  described  it  like  this:  “There  we  had  some  technical 
problems,  they  couldn’t  get  access  to  the  radiographs”  (FI1,  RL),  “I  have  tried  to  sit  at  home,  it  was 
terrible...creaking of chairs, it (the microphone) recorded it all louder than his (the lecturer’s) voice” (FI1, RS).” 
Despite  the  fact  that  these  disruptions  could  partly  be  explained  by  the  premature  efforts  of  adapting  new 
kinds of technology it was something that was still an issue even after one and a half years. 
 
“It  is  difficult  and  time  consuming…you  expected  the  technology  to  work  and  it  did  not”  (FIQ3,  RP).  The 
technological  disruptions  cause  extended  use  of  time  thereby  limiting  students’  immediate  access  to 
knowledge  and  interaction.  However,  other  kinds  of  disturbances  also  emerged  from  the  interviews. 
Disturbances, we see as being related to the habitual and spatial orientation of the students. 

4.2.1 Object and topographic orientations – disturbances and disruptions 
Other online disturbances seem to influence students’ learning and knowledge development. This is described 
as follows:  
“Well, it is the internet‐flow. When you search for literature you fall into something and then get 
to read about it, and all of a sudden you end up on YouTube where you look at a cat playing the 
guitar.  (FI2,  TS).  It  runs  as  a  huge  reflection  process  when  you  are  online,  because  all  the  time 
there  will  be  new  windows  and  new  messages  and  everything  it  runs  just  in  such  a  great 
hotchpotch, so you never have 100% focus” (FI2, TS).  
While  online  activities  may  seem  a  very  immobile  activity,  we  understand  it  as  movement  and  as  online 
orientation  between  different  objects  (topographic  orientation).  In  the  citation  above,  the  student  uses 
motional  terms  such  as  ‘flow’,  ‘end  up’,  ‘runs’  and  describes  various  objects  emerging  along  the  ‘path’  of 
movement (windows, messages). Students’ online orientation is thereby disturbed by available and upcoming 
interruptions.  Their  way‐finding  is  disrupted  and  they  orient  instead  towards  non‐study  activities  as  they 
navigate  through  sites  capturing  their  attention.  Social  media  (and  Facebook  in  particular)  appear  as  more 
‘desirable objects’ and as sources of procrastination and disturbance in students’ orientation within the online 
environment. 
 
This  can  be  interpreted  as  part  of  their  topographical  habitus  for  online  orientation.  Their  prior  paths  and 
habits in online spaces relating to social media may be more oriented towards fun and social connections than 
educational purposes. Some students (FI3, TS) comment on this and explain that although Facebook is used for 
“serious”  communication  in  study  groups  it  quickly  becomes  unserious,  as  it  is  also  the  environment  for 
sharing  party  pictures  and  the  like.  They  ponder  whether  using  ‘It’s  learning’  would  provide  a  different  and 
more  “serious”  environment  despite  the  fact  that  they  find  it  difficult  to  navigate  in  this  platform.  Thereby, 
according to the studies presented previously, their learning could be at risk of becoming superficial. There are 
so many paths to follow that it might be hard to stay focused. These external disruptions can limit students’ 
possibility to gain deeper learning as they are interrupted by notifications and pop‐up´s.  
 
Disturbances  are  not  limited to  technology and  online  spaces.  They  are also  conditions  at  home.  “There  are 
thing that constantly distracts me…you sleep more, watch television and there is a couch to lie on, and things 
like that” (FI1, RS).  These disturbances seem to be ongoing as students after one year still experience these: 
“…it is hard to read at home because there are so many ... so called web... the computer or something… there 
are many things that distract. I have repeatedly gone to school to read, like getting the optimal learning…but at 
home, it can be difficult” (FI2, TS). The environment in which the students are situated have an impact on their 
orientations.  For  example,  the  habitat  makes  students  orient  towards  daily  living  activities.  Their  activities 
change  from  studying  online  or  reading  a  book,  to  lying  on  the  couch  or  watching  television.  “So  the  whole 
thing, I think it is all tempting, I want to eat all the time, I like to watch television, I want to sleep in my bed” 
(FI2, RS). This can be interpreted similarly to the online orientation, namely that the connections between the 
objects afford a particular topographical orientation, where couches, TV, beds and dirty plates become more 
desirable objects. 

 
160
 
Susanne Dau and Thomas Ryberg 

Students’ activities at home can be viewed as internalized dispositions for actions and part of their daily living 
habits. Some students use avoidance strategies and seek refuge in the UCN environment, where reading and 
working  for  them  is  better  afforded.  In  this  school  environment  students  are  familiar  with  studying.  In 
contrast,  the  home  offers  other  motions  and  paths  between  the  objects  in  place  and  affords  daily  living 
activities  such  as  leisure,  relaxation  or  house  holding.  These  demarcations  of  the  home  environments  make 
some of the students’ orient geographically towards other resources and environments for learning. This is a 
conscious avoidance of disturbing objects at home by geographically moving to other environments. 
 
However, disruptions and disturbances are to be understood as not only problematic. Despite the fact that an 
orientation away from study activities can have consequences for students’ learning, they can also be useful in 
hindering cognitive overload of the working memory (Fredens 2012, Sweller & Chandler 1994). For example, 
some  of  the  students  in  our  case  study  claimed  that  they  gained  energy  through  pauses  allowing  them  to 
resume  the  study  tasks  with  more  concentration.  Furthermore,  some  of  them  claimed  that  they  made 
unconscious  reflections  throughout  disruptions  which  made  them  better  able  to  resume  their  study‐task 
afterwards. 
 
It is worth mentioning that students are, at least in retrospect, consciously aware of the role of disruptions and 
disturbances. It also seems that it is something which they are continuously trying to cope with and to develop 
resistances towards: 
“It  is  still  disturbing  (authors:  studying at  home)  but  I  have  at  least  become  more  mindful  that 
when  you  are  reading,  then  you  are  reading.  Then  you  don’t  go  to  Facebook,  YouTube  or 
something else. Maybe I have become better at shutting off and say: ´OK, when I have finished 
this, then I can watch ten videos’ rather than viewing one every time I have read a page” (FI3, 
TS). 
In this sense students are developing strategies to counter the disruptions, which is something we return to in 
the final discussion.   
5. Discussion and conclusion 
What emerges from the material is that students have trouble adapting to the particular design of BL. They are 
experiencing  technical  difficulties  in  accessing  online  lectures  and  material,  but  more  importantly  how  their 
online orientation and movements are disrupted. They start to ‘wander off’ rather than staying on the study 
path, when online objects of procrastination offer themselves. These disruptions are not merely a property of 
the online environment, but equally in their homes where dishes, beds, TVs and couches act as more desirable 
objects. What we are suggesting is that these disturbances are not only related to ‘social media’, but rather 
that these disturbances are linked to people’s or students’ habitual, spatial orientation.  
 
Thus,  there  are  some  important  aspects  to  take  into  account  when  implementing  BL,  as  is  illustrated  in  this 
case: 
 
Disturbances and disruptions are an ongoing condition limiting or distracting students’ orientation  
 
The  environment  is  co‐constitutive  for  students’  orientation  towards  or  away  from  study  activities  and 
resources in situ 
 
Students  habits,  object  orientation  and  topographic  orientation  are  important  in  relation  to  orientation  in 
various environments, and potentially for their learning outcome and knowledge development. 
 
Following Simonsen (2007) much of our everyday life orientation is embedded in almost pre‐reflexive patterns 
of  actions  learned  through  our  daily  practice.  A  reason  for  the  students’  reservations  towards  the  offered 
flexibility  might  be  that  students  are  familiar  with  navigating  in  face‐to‐face  learning  environments.  Most 
students  are  enrolled  in  the  undergraduate  programme  directly  from  high  school  where  their  topographical 
orientation has mainly been centred on classroom participation. Their way‐finding in the educational system is 
learned through many years of practice and afforded by the objects and the topographic orchestrations of the 
educational settings. Their familiar habitual and spatial orientation thereby becomes both a resource (in way‐
finding) and a limitation in students’ adaption to the BL approach as they are forced to navigate more online 
and outside classrooms.  

161
 
Susanne Dau and Thomas Ryberg 

Despite the relative small sample included in this case study; we argue that the analysis and interpretations 
reveal more general phenomena of human orientation in various environments. Disruptions and disturbances 
are conditions in life, and the students in this case are reporting experiences of disruptions and disturbance as 
part of their learning in blended environments. However, whether these are actually significant inhibitors of 
students’  study  activities  and  deeper  learning,  as  Marien,  Custers,  Hassin  &  Aarts  (2012)  findings  could 
suggest,  and  whether  they  have  a  broader  impact  on  their  learning  would  require  further  studies. 
Notwithstanding, we argue that students’ orientations towards, or away, from learning activities, are related 
to  their  learned  habitual  and  spatial  patterns  of  orientation.  We  suggest  that  disruptions  and  disturbances 
need  to  be  understood  in  relation  to  these  orientations,  and  that  the  concepts  by  Jander  (1975)  might  be 
productive in providing a better understanding of orientation within BL environments. 
 
In  relation  to  this,  we  also  suggest  that  the  notion  of  ‘ecotones’  could  be  productive  in  relation  to 
understanding (blended) learning environments. Ecotones are zones where two ecosystems meet and are in 
tension. Such zones can look vastly different and have either sharp or blurry boundaries as illustrated in Figure 
1. 

 
Figure 1: Ecotones 
Whereas earlier there might have been a sharper distinction between ‘home’ and ‘school’ these ‘ecosystems’ 
are  now  increasingly  meshing.  While  we  have  emphasised  that  disruptions  and  disturbances  are  prevalent 
both  in  the  physical  surroundings,  as  well  as  online,  we  also  argue  that  the  boundaries  between  different 
online spaces might be more blurry, and can be transcended without much effort. You are only a ‘tab’ or a click 
away from engaging with others. We are not suggesting this is worse, but that the ecotones between focused 
work  and  pleasurable,  social  procrastination  are  more  blurry  and  vague  than  perhaps  earlier.  We  see  how 
students  are  developing  strategies  to  counter  and  reduce  their  tendency  to  procrastination  over  reading 
difficult  theory.  Thus,  we  also  recognize  that  students  can  make  their  orientations  more  strategic  through 
reflective  and  metacognitive  processes  by  being  aware  of  the  challenges  in  the  environments.  This 
development of coping strategies or study strategies could be worth exploring 
 
We  see  students’  orientation  on  a  continuum  being  directed  towards  study  activities  or  more  disruptive 
activities. In a more metaphorical and playful sense we could understand this as students’ strato orientation, 
and whether they strive upwards towards the ‘(en)light(enment)’ or are pulled down by gravity by ‘objects of 
disturbance’ in the environment; such as online notifications, television and the couch, where the latter seems 
to be more ready‐to‐hand when in the home environment or online. 
 
We have strived to gain a qualitatively better understanding of the disturbances and disruptions students have 
reported in relation to the implementation of flexible learning. We have argued that these are related to the 
students’ learned habitual and spatial orientations, and that there is a relation between the environment, the 
experiences  and  role  of  disturbances  (i.e.  at  school  and  at  home).  This  suggests  that  a  switch  to  BL 
environments  is  not  only  a  technical  and  pedagogical  challenge,  but  equally  a  disruption  of  students’  study 

 
162
 
Susanne Dau and Thomas Ryberg 

habits. Although students are reflexively aware of these challenges (at least in retrospect), and are working on 
changing their  habits,  we  would  suggest  that  these difficulties  need  to  be  taken  into  account  when  working 
with new organisations of learning.  
 
These challenges have resulted in efforts to develop user‐generated methods to handle students’ orientation 
and  disruptions  outside  campus  through  an  action  research  project  under  the  Digital  Training  Laboratory 
(DUIT) at University College North (Digitalt Uddannelseslaboratorium 2013). The conceptualisation of students’ 
orientation  and  way‐finding  in  blurred  ecotones  and  disruptive  environments  have  added  new  theoretical 
perspectives  within  DUIT´s  follow‐up  research,  and  these  concepts  might  also  contribute  to  other  kinds  of 
contemporary research of students’ orientation in BL environments. 

References 
Bourdieu, P. (1990). The logic of Practice. Polity Press, Cambridge. 
Dau, S. (2013) “When creating new learning spaces, the affordance is a key study aspect”. Paper presented at the London 
International Conference on Education (LICE‐2013), London, 4‐6 November 
Dau, S. (2014). „Affordance as a Key Study Aspect in the Creation of New Learning Spaces”. In Niemi, H. Multisilta, J. & 
Löfström, E. (edt.). Crossing Boundaries for Learning ‐ through Technology and Human Efforts. CICERO Learning 
Network, University of Helsinki, pp. 191‐219. 
Digitalt Uddannelseslaboratorium (2013). Hvad er fokus for DUIT’s projekter? UCN, Aalborg. 
http://www.ucn.dk/Forside/DUIT/Digitalt‐Uddannelseslaboratorium/Projekter_i_DUIT.aspx 
Foroughi, C.K., Werner, N.E., Nelson, E.T. and Boehm‐Davis, D.A.  (2014).” Do Interruptions Affect Quality of Work?” The 
Journal of the Human Factors and Ergonomics Society, April 22, 2014 
Fredens, K. (2012). Mennesket i Hjernen En grundbog i neuropædagogik, Vol 2. No. 1. Hans Reitzels Forlag, København. 
Jander, R. (1975). “Ecological aspects of spatial orientation”. Annual Reviews Ecological System, No. 6, pp. 171‐188. 
Jensen C.H. (2012). FlexVid ‐ nye måder at studere på. In: Jensen, CH. & Staugaard, HJ (edt.). FlexVid: Fleksible 
arbejdsformer I videregående uddannelser ‐ skitser fra tegnebrættet. Books on Demand, København. 
Marien, H., Custers,R., Hassin, R.R. and Aarts, H. (2012).” Unconscious goal activation and the hijacking of the executive 
function”. Journal of Personality and Social Psychology. 
http://dx.doi.org/10.1037/a0028955http://dx.doi.org/10.1037/a0028955 
Matthew, A.F. and Evans, R. (2012). “Managing distraction in 21st century learning environments”. In Mortimer, Rachel 
(Ed.) The 15th International First Year in Higher Education Conference 2012, 26‐29 June 2012, Sofitel Brisbane 
Central, Brisbane, QLD. Retrieved 15.05.2014 from: 
http://eprints.qut.edu.au/53489/2/53489.pdfhttp://eprints.qut.edu.au/53489/2/53489.pdf 
Nyvang, T. and Dau, S. (2013). “Læringsrum og vidensudvikling i professionsuddannelser”. Tidsskriftet Læring og Medier 
(LOM), Vol 6, No. 11. Retrieved 15.05.2014 from: http://ojs.statsbiblioteket.dk/index.php/lom/article/view/8564 
Ricoeur, P. (1984). Time and Narrative, Vol. 1. (McLaughlin, K. & Pellauer, D. Trans.) University of Chicago Press, Chicago. 
Rose, E. (2010). “Continous partial attention: Reconsidering the Role of online learning in the age of interruption”. 
Educational Technology Magazine: The Magazine for Managers of Change in Education, Vol 50, No. 4, pp. 41‐46. 
Rosen, L.D., Carrier, L.M: and Cheever, N.A. (2013). “Facebook and texting made me do it: Media‐induced task‐switching 
while studying”. Computers in Human Behaviour, No. 29, pp. 948‐958. 
Simonsen, K. (2007). Practice, spatiality and embodied emotions: An outline of a geography of practice. Human Affairs, 
No.17, pp. 168‐181 
Sweller, J., and Chandler, P. (1994). Why some material is difficult to learn. Cognition and Instruction, 12, pp. 185‐233 
Werner, N.E., Cades, D.M., Boehm‐Davis, D.A., Chang, J., Khan, H.. and Thi, G..(2011). “What Makes Us Resilient to 
Interruptions? Understanding the Role of Individual Differences in Resumption”. Proceedings of the Human Factors 
and Ergonomics Society Annual Meeting September 2011, Vol 55, No. 1, pp. 296‐300. 
 

163
MOOC's Mass Marketing for a Niche Audience 
Rachel Fitzgerald, Maggie Anderson and Ross Thompson 
University of Northampton, Northampton, UK 
Rachel.Fitzgerald@northampton.ac.uk 
Maggie.Anderson@northampton.ac.uk 
Ross.Thompson@northampton.ac.uk 
 
Abstract: A range of issues have emerged through the design of a MOOC project known as Gateway MBA.  The Gateway 
MBA  Project  aims  to  extend  the  MBA  Programme  at  Northampton  Business  School  and  this  MOOC  has  a  number  of 
intentions.    From  a  pedagogical  perspective  the  MOOC  was  created  to  give  the  student  insight  into  the  demands  of 
postgraduate study while introducing a core area of the MBA, Critical Issues in Business.  Evidence suggests that MOOCs 
are  being  used  as  a  strategic  tool  to  explore  alternative  models  of  course  delivery  (Allen  &  Seaman,  2013)  and  in  this 
instance  the  MOOC  aims  to  increase  recruitment  to  the  MBA  internationally  and  to  raise  the  profile  of  the  university.  
While  there  are  risks  in  this  strategy,  the  Gateway  project  team  see  a  potential  to  introduce  and  market  the  MBA  to  a 
global audience through open online learning, raising the university brand profile and expanding the eLearning horizons of 
those involved in the project and beyond. This paper will consider recurring themes in the literature in the context of the 
design and delivery of the Gateway MBA.  It is clear that reconciling MOOC values and aims with educational quality and 
learner  satisfaction  standards  is  problematic  so  this  paper  considers  how  we  developed  and  embed  innovations  in  the 
areas of technology and academic cultural practices in order to meet this challenge. Finally we will consider the issues and 
challenges in the design and delivery of a MOOC and will offer future considerations for sustainability. 
 
Keywords: MOOC, open practice, peer collaboration, disruptive technologies 

1. Background 
“Smart Universities will embrace MOOCs … to advance innovations in teaching and learning, and 
expand markets for education.” (Nutbeam, 2013) 
The  Ernst  &  Young  Report  on  Higher  Education  in  Australia  suggests  that  the  traditional  model  of  lecture 
driven face to face HE will cease to exist for many institutions within the next ten to fifteen years.  This is due 
to  a  number  factors  that  include:  over‐saturation  and competitive  home  markets;  the  need for  global  reach 
and the rise of open learning in the form of Massive Open Online Courses (MOOCs) and other forms of open 
online learning (Ernst & Young, 2012).  Within the University of Northampton, the Gateway MBA Project was 
conceived  as  an  opportunity  to  explore  the  rise  in  open  learning  by  opening  access  to  an  MBA  via  an  open 
learning MOOC (Massive Open Online Course).  
 
A  MOOC  offers  potential  for  a  number  of strategic  areas  including  the development of  Online  Teaching  and 
Learning and Global Market Development.  While the concept of online learning is not new, university online 
delivery  is  often  found  to  be  content  driven  ‐  facilitative,  sometimes  participative  but  rarely  collaborative.  
Designing an open online module, with supervised activities allowed an opportunity to enable participants to 
connect  with  each  other  and  with  academics  and  industry  experts  that  are  connected  with  the  school. 
Students  interested  in  studying  in  an  online  environment  often  underestimate  the  level  of  reading  and 
participation  required  for  success.  Indeed  some  enrol  on  the  existing  programme  without  recent  academic 
experience, and find that their study skills are not quite ready for the challenge. Offering a module from the 
MBA in an open environment allows participants and potential students an opportunity to test the water, see 
what is involved at this level of study and to identify any weaknesses and address them before undertaking 
further  study.    A  fixed  time  open  online  course  also  allows  participants  to  really  connect  with  peers  from 
around the world and discuss issues and enables peer support for learning. Developing this MOOC has allowed 
academic  staff  involved  a  real  opportunity  to  improve  their  skills  in  digital  curriculum  design,  to  embed 
academic skills into learning activities, re‐evaluate formative assessment within the module and has brought 
copyright and IPR issues into focus. 
 
In  addition  the  MOOC  awards  an  opportunity  to  raise  the  profile  of  transnational  education  and  promote 
programmes  at  the  university  on  a  global  scale.  This  opportunity  for  brand  promotion  means  that  quality  is 
paramount  and  marketing  critical  to  engage  potential  learners.  This  paper  reviews  current  thinking  and  key 
challenges  within  MOOC  development  and  based  on  this  understanding  offers  insight  into  the  process  of 
design of the Gateway MOOC in preparation for enrolment later in the year. 

164
 
Rachel Fitzgerald, Maggie Anderson and Ross Thompson 

2. Literature review 
Given the relative nascence of the core concept, it is perhaps not surprising to note a concomitant paucity of 
past published work identifiable in this domain.  With this in mind, the review has adopted a holistic search 
approach  and  draws  upon  sources  from  academe,  professional  journals  and  industry  reports.  The  review 
proceeds  as  follows:  firstly,  the  concept  of  the  MOOC  is  explored  and  its  historical  development  traced; 
secondly, the business models employed in their operation are discussed; thirdly, the key challenges facing the 
operationalising  of  MOOCs  and  key  lessons  learned  (where  available)  from  existing  MOOC  programmes  are 
considered.  

3. Definitional issues and historical development 
Definitional  consensus  appears  to  be  lacking  in  the  study of  MOOCS  (O’Prey,  2013;  Papparo, 2012)  and  it  is 
clear that development is still in the embryonic stages.  However it is widely accepted that, on an operational 
level,  MOCCs  exhibit  the  following  core  features:  open  access,  free  to  enter,  are  credit  less  and  offer 
asynchronous  learning  (O’Prey,  2013;  Papparo,  2012).  However  there  is  evidence  that  even  these  accepted 
identifiers are subject to violation. For example, a number of US based institutions are trailing credit‐bearing 
MOOCs  (O’Prey,  2013)  and  some  platform  providers  are  now  charging  for  programmes.  Furthermore,  the 
boundaries of MOOC activities are still fluid.  Whilst the traditional definitional conception centres on a novel 
and bespoke open programme, there is some suggestion that educational practitioners maybe be fusing some 
MOOC  mechanics  with  traditional  programmes  thus  creating  hybrid  or  semi‐MOOC  offerings.    This  has  led 
loosely to a bipartite classification of MOOCs: The xMOOC which retains much of the style and delivery stance 
of  a  traditional  programme  with  a  clear  emphasis  upon  knowledge  transfer  and  the  more  radical  cMOOC, 
which places much more emphasis upon participant connectivism, andagogy (Salmon, 2003) and peer assisted 
learning.  This inherent taxonomic dynamism and ground shifting thus argues for MOOCs not to be defined on 
an operational basis but on philosophical grounds where there is more clarity and consistency regarding the 
precepts. 
 
Philosophically, MOOCs may be considered exponents of Connectivism Theory (Downes, 2007).  This position 
envisages  learning  in  an  environment  that  is  not  linear  but  clustered  thus  necessitating  the  learner  to 
orchestrate their own educational trajectories in an autonomous manner using interactions with their peers as 
supports  (Downes,  2009).    Connectivism  therefore  extols  the  virtues  of  choice,  autonomy,  interactivity, 
connectedness, diversity (amongst learner groups); (Downes, 2009; Kop and Hill, 2008).  
 
This philosophy and the growth of MOOCs can be traced backed to Bagely’s seminal views on interactivity in 
education  (Bagely,  1911).    However  the  enabling  role  of  informational  technology  (IT)  as  a  catalyst  for 
operationalising Bagely’s beliefs cannot be underestimated; accordingly MOOCs can be conceptualised as part 
of the ongoing digitisation of education which has included innovations such as online assessment (Singh et al, 
2012) and algorithmic assessment designs (Piech et al, 2013).  An early and influential adopter of IT led open 
education was the MIT open courseware unveiled in 2001 which may well have acted as a catalyst to MOOC 
development (Byerly, 2012) as might the promotion of peer based learning (andagogy) by academics such as 
Roberston  (12008)  and  Salmon  (2003).  Further  IT  enablement  can  be  observed  in  the  areas  of  global 
broadband  diffusion  (O’Prey,  2013)  and  the  increased  spending  on  global  education  technology  which 
increased from $204m in 2008 to $900m in 2012 (O’Prey, 2013).  
 
The first notable MOOC is widely considered to be the open programme based at the University of Manitoba 
launched by Downes and Siemons in 2008 (Mackness et al, 2010).  From these beginnings MOOC expansion 
has been significance with 43% of US based universities either having or developing MOOCs as at the end of 
2013  (Stine,  2013).    To  some  commentators  this  growth  represents  a  veritable  tsunami  of  change  to 
educational delivery (Thun, 2012) perhaps encapsulated mostly vividly by the New York Times who declared 
2012 to be the year of the MOOC (Stine, 2013).  To other authorities, a more circumspect position has been 
taken, for example, Youngberg (2013) who suggests that it is premature to assess the value and contribution of 
MOOCs at this nascent stage of their development. 
4. Business models 
It is generally accepted that MOOCs in their current incarnation are not satisfactorily financially viable (Matkin, 
2013;  Nowrot  and  Doucet,  2011).  The  question  is  therefore  raised  as  to  what  is  the  business  purpose  of  a 
MOOC?  According to Byerly (2012) there are two chief orientations taken.  Firstly, a strategy may be adopted 

165
 
Rachel Fitzgerald, Maggie Anderson and Ross Thompson 

along  not  for  profit  (nfp)  lines  and  the  focus  of  the  MOOC  presents  as  being  philanthropic,  for  example, 
opening up learning to disenfranchised groups or hard to reach educational markets (O’Prey, 2013).  Secondly, 
the  focus  may  indeed  be  on  profitability  and  there  is  some  evidence  to  suggest  platform  providers  are 
experimenting with ways of monetising MOOCs.  Initiatives attempted so far include: payment for courses (in 
direct violation to one of the commonly held principles of MOOC design), licensing of materials, and placement 
opportunities  for  participants  and  selling  participant  personal  data  (Matkin,  2013;  Stine,  2013).  MOOC 
platform development has therefore tended to followed one of these paths: the Coursera, Futurelearn and Edx 
platforms have followed the nfp route whilst the Udacity variant has sought to be profitable from its inception 
(Baggerley, 2013). 
 
There  are  therefore  a  number  of  issues  for  would  be  MOOC  providers  to  consider.    It  is  clear  that  financial 
sustainability is far from secure and may indeed detract from the core defining principles of the MOOC.  This 
may  limit  the  range  of  Universities  able  to  successfully  engage  with  the  core  concept.  Well  financed  and 
established brands such as Harvard or MIT may be able to follow the nfp pathway via an act of corporate social 
responsibility  (CSR)  although,  there  are  also  likely  to  be  spill  over  benefits  (towards  the  marketing  of  other 
branded  products)  and  so  the  MOOC  may  also  become  a  product  loss  leader  in  the  institution’s  portfolio.  
Smaller  and  less  opulent  institutions,  even  those  who  are  attracted  to  the  CSR  benefits  associated  with 
MOOCs, may however find the sustainability and costing question marks too risky and this fact combined with 
other challenges, may actually act as a disincentive to engage with MOOCs. 

5. Challenges and lessons learned from existing MOOCs 
Research  into  MOOC  delivery  has  revealed  a  number  of  pedagogic  and  strategic  challenges  in  the  areas  of: 
completion rates, academic quality, fit with conventional offerings and disruption. 
 
MOOC  completion  and  retention  rates  tend  to  be  poor  and  indeed  an  average  completion  rate  of  c10%  is 
often  quoted  (Clow,  2013; Kolowitich,  2010;  Stine,  2013).    More  detailed  analysis  reveals  a  significant  steep 
decrease in continuation occurs immediately after registration which suggest many applicants maybe be doing 
no more than fishing for information or following a herd instinct in enrolling (Kolowitich, 2013) and then losing 
interest  thereafter;  in  part,  this  is  understandable  in  the  light  of  the  considerable  media  hype  regarding 
MOOCs since 2012. Nawrot and Doucet, (2012)  have identified a number of reasons for drop‐outs including: 
poor time management, loss of impetus, difficult subject matter, hidden costs such as having to buy textbooks 
and perceived uninspiring study materials.  
 
More  detailed  research  is  therefore  vital  in  order  to  fully  comprehend  how  these  worrying  statistics  and 
explanations  for  drop‐outs  apply  in  the  various  MOOC  contexts  (disciplines)  and  participant  backgrounds.  
Unfortunately however, the inherent diversity and heterogeneity of MOOC participant populations will clearly 
make  it  difficult  to  deconstruct  and  delineate  all  of  the  key  demographic,  social  and  economic  variables 
impacting  MOOC  classes.    Similarly,  the  relative  paucity  of  research  conducted  on  a  cross‐contextual  basis 
provides few steers regarding contextual trends and therefore argues for an increase in case study research 
studies in order to help promote more effective meta‐analyses from aggregated data returns in the future. 
 
Despite these limitations, it is possible to identify a number of design pointers or tips from the literature that 
might  improve  continuation  rates.    Firstly,  it  is  evident  that  MOOC  delivery  favours  a  bite‐sized  format  that 
checks  complexity  blockages  and  maintains  participant  interest  (Adamopopulous,  2013;  Papparo,  2012).  
Secondly, attention needs to be dedicated towards incentivising and promoting attendance and participation. 
The  use  of  discussion  forums  and  other  online  backspaces  have  been  positively  associated  with  retention 
(Coetzee  et  al,  2008).    Reward  systems  such  as  badges  (Cross,  2012)  and  Peer  Rating  Awards  (Cross,  2012) 
have also been explored and more experimentation with and research on these interventions is needed. 
 
Serious concerns have also been articulated around academic quality issues.  It has been observed (Papparo, 
2012; Youngberg, 2013) that academic misconduct may be rife in the MOOC arena and indeed the expressed 
desire for peer collaboration may invite this via joint‐working and collusion on assessment tasks.  
 
There  have  been  further  apprehensions  voiced  regarding  assessment.  The  use  of  standardised  computer 
generated grading systems may not sit well in more subjective and discursive subjects in the arts and social 
sciences that require a greater degree of individual judgement (Papparro, 2012).  Similarly, the intrinsic one 

166
 
Rachel Fitzgerald, Maggie Anderson and Ross Thompson 

size  fits  all  philosophy,  for  example,  with  respect  to  grading  criteria  and  required  participant  outputs  may 
make  it  hard  for  star  pupils  to  shine  and  be  recognised  which  might  limit  the  potential  for  MOOCs  to  gain 
recognition by employers and therefore compete with more traditional programmes (Youngberg, 2013).   
 
Papparo (2012) has recognised all of these impediments and suggested that more intelligent software needs to 
be developed, for example in the areas of peer marking reliability and cheating detection, that simultaneously 
retains the open and peer driven nature of the MOOC and also provides a degree of quality assurance.  
 
A further concern centres on the open nature of the MOOC.  It may, as has been observed by Baggerley (2013), 
promote a degree of waywardness, unhealthy digression and mob‐rule amongst the participants thus greatly 
increasing the risk that learning outcomes and content cannot be adequately covered in the programmes.  This 
is yet another example of the central philosophy of the MOOC potentially working against itself and raises the 
question of the agency and structure debate (Bandura, 1977) with respect to the respective roles of instructors 
(as guides and enforcers) and participants within MOOCs.  It maybe that totally open and lawless programmes 
need  to  be  rebalanced  and  a  degree  of  structure  and  legislation  installed  in  order  to  safeguard  academic 
standards and quality (Mackness et al, 2010). 
 
Much research on MOOCs has addressed the issue of learner satisfaction with programmes.  Distillation of the 
research base suggests that there are two main areas of disquiet.   
 
Firstly, studies have oft indicated a degree of dissatisfaction with the level of academic support offered within 
MOOCs (Mackness et al, 2010).  This of course is to be expected given the mass nature of the MOOC format 
and  the  highly  diminished  staff‐student  ratios  that  result.    The  key  dilemma  facing  all  MOOC  providers  is 
therefore how to engineer a MOOC offering that manages to develop a degree of intimacy, individualisation 
and personal touch within a mass and virtual classroom (Cross, 2012; Papparo, 2012)?  
 
Secondly, some work has indicated that individual learner needs have not been met in the MOOC environment 
(Mackness  et  al,  2010).    Once  again  we  can  identify  another  example  of  the  values  and  philosophy  of  the 
MOOC,  in  this  case  diversity,  working  in  a  negative  way.    Given  the  heterogeneous  nature  of  the  mass 
participant  population  it  is  unsurprising  that  al  individual  needs  and  aspirations  can  be  significantly 
accommodated and instead, the one size fits all outcome is presented, which may generate only a mediocre 
learner experience.   
 
MOOCs have frequently been assigned the mantra of a disruptive technology (Matkin, 2013); specifically, it is 
suggested that they threaten the status quo of traditional teaching dogma (Stine, 2013) and offer a seemingly 
overly radical advancement of teaching delivery (Youngberg, 2013).  Of particular concern is the research body 
that is developing regarding actual and potential staff alienation as regards MOOCs (Matkin, 2013); the most 
notable instance of this occurred at San Jose State University where academics refused to deliver philosophy 
MOOCs claiming that they diminished the role of the academic and compromised learner experience (Matkin, 
2013).    These  observations  paint  a  ‘drone’  warfare  analogy  that  might  be  taking  place  in  education;  in  the 
military frontline fighting troops are currently being augmented by the use of mechanical drone devices and in 
parallel, educationalists are seeing part of their roles being undertaken by digital platforms as is the case with 
MOOCs. Future MOOCs developers therefore need to be sensitive to these tensions and Institutions may need 
to embed counter measures to manage the concomitant technological and cultural changes that ensue.  It has, 
for  example,  been  suggested  by  Papparo  (2012)  that  working  patterns  need  to  be  revised  in  the  MOOC 
environment and that traditional academic input should now take place up‐front in the content design stage 
whilst MOOC instruction (the second part of the process) may favour non‐traditional educationalists who have 
a skillset anchored in learning technology and multimedia.  MOOCs therefore may threaten the sustainability 
of  traditional  academic  roles  and  require  Institutions  to  reconsider  and  refine  the  role  profiles  and  person 
specifications of the various academic contributors.  
6. Conclusion 
It is immediately apparent that the study of MOOC development is located firmly within the introduction stage 
of its product lifecycle.  As such it is clearly risky to ascribe too much reliability towards the research findings 
that have been published to date.  It is therefore injudicious to look to the literature for definitive guidance or 
blueprints  when  formulating  the  design  of  a  new  MOOC.    Future  MOOC  development  therefore  has  to  be 

167
 
Rachel Fitzgerald, Maggie Anderson and Ross Thompson 

regarded  as  a  high  risk  venture  until  a  sufficient  stock  of  knowledge  is  harvested  that  provides  reliable 
guidance on the key success factors.  
 
Despite these limitations, a number of recurring themes have been identified in the emerging literature. 
 
Firstly, Brand is a key feature of MOOCs and may thus help explain the commendable uptake of MOOCs since 
2008.    It  is  probably  not  a  coincidence  that  the  key  platform  providers  are  backed  by  Institutions  such  as 
Harvard, MIT and Stanford and that the first open courseware initiative, the effective forerunner of the MOOC, 
was launched by MIT. 
 
Secondly, MOOCs have the seeds to sow their own destruction.  Their defining philosophy grounded in mass 
education,  peer  collaboration  and  diversity  has  also  led  to  pedagogical  challenges  in  the  areas  of  cheating, 
lawlessness  and  unmet  leaner  needs.    It  is  clear  that  reconciling  MOOC  values  and  aims  with  educational 
quality  and  learner  satisfaction  standards  is  proving  problematic  and  a  callout  is  made  to  Institutions  to 
develop and embed innovations in the areas of technology and academic cultural practices in order to meet 
the challenge.  
 
Thirdly,  MOOCs  are  potentially  highly  disruptive  and  present  challenges  to  Institutions  to  overcome  issues 
connected  to  staffing  tensions  and  role  alterations;  relationships  with  traditional  academic  products; 
acceptability to external stakeholders such as employers and public perception. 
 
Fourthly, MOOCs may indeed prove to be a passing trend and their initial popularity explained by marketing 
intensity  and  a  resulting  herd  mentality.    In  order  to  prevent  the  bubble  from  bursting,  platform  providers 
need to develop innovations designed to imbue MOOCs with a degree of mass customisation and tackle the 
problem of completion rates that are currently highly unsatisfactory.   
7. The gateway project 
Retention issues have emerged as a real problem for MOOC developments.  The project team chose to base 
the MOOC on an existing module, Critical Issues, which is the introductory module on the MBA programme. 
The  rationale  for  choosing  this  particular  module  was  twofold;  firstly  the  module  introduces  key,  current 
business  issues,  secondly  the  module  incorporates  elements  of  required  post  graduate  study  skills  and 
personal development skills.  Therefore it was envisaged that this module would appeal broadly to business 
students on a global level and would offer a “taster” of post graduate study and insight to an MBA programme. 
Participants who wish to continue will be able to register on a university short course to complete a reflective 
piece of assessment, accredited for the MBA.  This would allow participants to receive credit for their MOOC 
learning  and  continue  on  with  the  MBA  (subject  to  normal  admission  requirements).  The  opportunity  to 
undertake this module ‘for free’ and then undertake a piece of assessment to accredit learning on the module 
for the full MBA was seen to be a real incentive for retention and completion of the MOOC .  
 
As there were already pre‐determined learning outcomes and some online material for the module, the focus 
for the team was to maximise engagement through open curriculum design, assessment and accessibility. The 
project  team  consisted  of  three  academic  members  of  staff,  a  learning  technologist,  a  librarian  and  an  e‐
learning specialist with design input from the study skills staff and current MBA students. As a MOOC could 
grow exponentially, the design of the learning needed to support scalability therefore the curriculum design of 
the  MOOC  module  was  facilitated  using  a  CAIeRO  process,  a  model  based  on  the  Carpe  Diem  model, 
underpinned by the research of Gilly Salmon and Alejandro Armellini, (Salmon, 2013). This particular model of 
curriculum design supports the institutional capacity and can foster scalable pedagogical intervention (Salmon 
et al, 2008). 
 
The first stage of this process required the team to determine overall MOOC aims.  The project team agreed 
that aim was: “to provide participants with an experience of studying on an MBA level programme through the 
introduction of key pervasive issues in business. This module will encourage participants to think critically and 
to form evidence based arguments”. The CAIeRO process promotes diversity in module teams, the inclusion of 
academics, professional support staff and students enables a range of different viewpoints, ideas and opinions. 
“Good teaching means seeing learning through the learners eyes” (Ramsden, 1998), the “student voice” can 
bring valid and valuable perspectives to learning and teaching practice and this project is an example of this in 

168
 
Rachel Fitzgerald, Maggie Anderson and Ross Thompson 

practice. The first project team design meeting had a range of input from three current MBA students who had 
recently undertaken this module and could provide the value of the ‘student voice’, (Stoncel & Mayes, 2012).  
 
The next stage in the process was to create a storyboard using a set of pre‐determined criteria cards which 
deliberately restricts choice to nine overarching statements which determine the look and feel of the module. 
Those  chosen  being:  Student  Choice,  Guided  Learning  pathway,  Active  Discovery,  Innovative  (for  the 
team/faculty),  Enquiry  based,  Reflective,  Collaborative,  Applied  and  Peer  supported.    This  gave  the  project 
team a clear focus for the design of learning activities throughout and enabled technical staff to be clear about 
the design requirements. 
 
There  were  a  number  of  issues  in  MOOC  design  that  emerged.    The  Project  Team  agreed  a  format  of  using 
expert speakers to introduce key concepts (in TEDx style) for each of the critical business issues. Ensuring that 
the  videos  were  copyright  free  and  that  the  university  held  the  intellectual  property  rights  took  time  and 
needed supporting technical expertise. The key concepts were then supported by reading material but within a 
MOOC  there  are  access  issues;  participants  would  not  be  students  of  the  university  so  could  not  access 
libraries  or  other  resources  –  so  identifying,  creating  or  acquiring  suitable  supporting  resources  was  time 
consuming.  Using  Blackboard  Coursesites  as  an  open  learning  platform,  the  project  team  worked  on 
developing eTivities. Based on MOOC research, the learning activities are designed to be specific and bite‐size 
with  opportunities  to  test  understanding,  as  this  has  been  established  as  a  method  to  maintain  participant 
interest  (Adamopopulous,  2013;  Papparo,  2012).    Reflective  activity  from  participants  is  also  a  key  feature 
through  the  use  of  supervised  discussion  forums  as  this  addresses  the  need  for  peer  engagement  and 
retention.  The  Project  Team  considered  the  ‘appropriateness’  of  e‐tivities  based  on  the  former  nine 
statements.    Concepts  and  reflective  eTivities  include  quizzes,  discussion  forums  and  formative  tests.  
Throughout  the  design  process,  the  learning  technologist  worked  closely  with  academic  staff  to  create 
appropriate eTivities for the purpose of the activity.   
 
To get more detailed feedback on the module before it goes live, the Project team will pilot some eTivities with 
international  partners  in  Dubai  and  Ghana  to  get  some  feedback  on  the  final  version  from  their  own  very 
diverse student body.  
8. Main issues and challenges 
The  MOOC  will  run  in  September  2014  for  ten  weeks  with  academic  support  and  guidance  provided  for 
participants. How long a MOOC should run for is still a matter of discussion but this was seen as most aligned 
to the original version of the Critical Issues in Business module. The participants will have academic support to 
promote participation and subsequent retention and it remains to be seen how much academic support will be 
required.  
 
This Project was supported by internal Learning Innovation funding, but the key technical staff involved were 
critical to the development of this MOOC, without the funding support to enable them to work on the project 
for large periods of time, it remains to be seen whether this project could have got off the ground as academic 
staff  are  not  yet  knowledgeable  enough  to  design  and  deliver  collaborative  activities  online.    That  said,  the 
process  of  development  throughout  this  project  has  enhanced  academic  understanding  of  online  learning 
design and overall technical ability has improved. 

9. Opportunities 
The  planning,  design  and  collaborative  process  did  allow  for  idea  sharing  and  understanding  learning  from 
different viewpoints and it was agreed that the CAIeRO/Carpe Diem model proposed by Salmon et al (2008) 
was  effective  in  developing  comprehensive  learning  activities  but  while  some  activities  will  be  piloted,  the 
feedback from initial participants will be crucial to ongoing learning design. 
 
The  MOOC  will  go  live  Autumn  2014  and  through  the  collaborative  curriculum  design  approach,  MOOC 
participants will have an opportunity to engage with learning activities that have embedded study skills, there 
will be opportunities for peer interaction, access to a network of Business Expertise and participants who wish 
to complete the MOOC and go no further will receive a certificate of attendance.  Embedded into the Gateway 
MBA  MOOC  eTivities  are  core  personal  and  academic  skills,  through  this  is  expected  that  participants  will 
develop understanding of issues related to academic quality and integrity. By allowing participants to engage 

169
 
Rachel Fitzgerald, Maggie Anderson and Ross Thompson 

with an assessed activity in order to ‘progress’ to the MBA, we will be able to measure the extent of issues in 
this  area.  The  initial  run  of  this  MOOC  module  will  be  undertaken  as  an  action  research  project,  future 
research  will  consider  the  success  of  the  approach  on  retention,  learning  quality  and  impact  on  staff 
development.    The  sustainability  of  this  module  will  also  be  an  area  for  reflection,  if  successful  then  some 
participants  will  enrol  onto  the  MBA  and  from  a  financial  perspective  the  project  is  worthwhile  but  even  if 
participants  do  not  translate  into  actual  university  students  the  impact  of  the  course  design  on  staff 
development  and  future  learning  design  is  both  beneficial  yet  currently  intangible  but  one  thing  is  for  sure 
staying still is not an option for the future.  

References 
Adamopopulous, P. (2013) “What makes a great MOOC,” 34th International Conference on IS  
Allen, I. E., & Seaman, J. (2013). Changing course: Ten years of tracking online education in the United States. Babson Park, 
MA: Babson Survey Research Group and Quahog Research Group. Retrieved from 
http://www.onlinelearningsurvey.com/reports/changingcourse.pdf [viewed 05‐05‐2014] 
Bagley, W. (1911) Educational Values. DWH.  
Bandura, A. (1977) Social Learning Theory. Englewood Cliffs, NJ: Prentice Hall. 
Baggaley, J. (2013) MOOC Rampant.  Distance Education, 34: 3 
Byerly, A. (2012) Before you jump on the bandwagon. The Chronicle of Higher Education, 5/9/2012 
Clow, D. 2013. Moocs and the Funnel of Participation, in: Proceedings of the Third International Analytics and Knowledge. 
Leuven, Belgium: ACM, pp. 185‐189 
Cross, S. (2012) 40 Tips for running an Open Online Course or MOOC from those who have experienced them. 20 
September 2012, Blog Post 
Coetzee, D. (2014) Should your MOOC use a reputation system. Proceedings of 17th ACM Conference on Computer 
Supported work and social computing, pp. 1176‐1187   
Downes, S. (2007) What connectives is; retrieved from http://halfanhour.blogspot.com/2007/02/what‐connectivism‐
is.html  [viewed 07‐05‐2014]  
Ernst & Young (2012) University of the Future, A thousand year old industry on the cusp of profound change; Ernst & Young 
(Australia); Available from : 
http://www.ey.com/Publication/vwLUAssets/University_of_the_future/$FILE/University_of_the_future_2012.pdf 
[viewed 30‐05‐2014] 
Khalid, R. (2013) What is a MOCC and why you should care; Available from 
http://khalidraza9.wordpress.com/2013/04/25/what‐is‐mooc/ 
Kolowich, S (2010) The Human Element. Inside Higher Ed; Avaialable from: 
http://www.insidehighered.com/news/2010/03/29/lms 
Kop, R. and Hill, A. (2008) Connectivism learning theory of the future or vestige of the past. The International Journal of 
Research in Open and Distance Learning, 9:3 
Mackness, J., Fai, S., Mak, J. and Williams, R. (2010) “The ideals and reality in a MOOC”, International Conference on 
Networked Learning 
Matkin, G. (2013) Massive Open Online Courses: Looking ahead by looking back. Continuing Higher Education Review, 77 
Nawrot, G. and Doucet, A. (2012) “Building engagement for MOOC students,” International WWW Conference, South 
Korea 
Nutbeam, D (2013) MOOCs “Clicks not bricks” Is this the end of the Campus? Slideshare presentation; Retrieved from 
http://www.slideshare.net/UniversitiesUK/southampton‐21525505 [viewed 14‐04‐2014] 
Papparo, L. (2012) The Year of the MOOC. New York Times: 2/11/2012 
Piech, C., Huang, J., Chen, Z., Do, C., Ng, A., and Koller, D. 2013. "Tuned Models of Peer Assessment in Moocs," 6th 
International Conference on Educational Data Mining, Memphis, Tennessee, USA.O’ Prey, P. (2013) Massive Online 
Courses. Universities UK 
Ramsden, P. (1998) Learning to lead in higher education. London: Routledge. 
Robertson, A. (2008) Learning attitudes to wiki technology in problem based blended learning for vocational teacher 
education. Australian Journal of Education Technology, 24: 4; pp. 425‐441 
Salmon, G. (2003) e‐moderating. London: Routledge 
Salmon G (2013) E tivities: the key to active online learning. London: Routledge.  
Salmon, G.; Jones, S.; Armellini, A (2008) Building institutional capability in e‐learning design; Research in Learning 
Technology. 16: 2; pp.95–109 
Singh, R., Gulwani, S., and Solar‐Lezama, A. 2013. "Automated Feedback Generation for Introductory Programming 
Assignments," SIGPLAN Not. 48:6; pp. 15‐26. 
Stine, J. (2013) MOOCs and Executive Education. UNICON (report) 
Stoncel, D. and Shelton – Mayes, A. (2012) Students views on higher education learning environments for professional 
teacher education. Enhancing the Learner Experience in Higher Education. 4; pp. 3‐ 16. 
Thun, S (2012) Curriculum Vitae. Available at: http://robots.stanford.edu/ 
Youngberg, D. (2012). Why Online Education Won’t Replace College—Yet. http://chronicle.com/article/Why‐Online‐
Education‐Wont/133531/  [viewed 05‐05‐2014]  

170
Promoting Professional Development in Open and Distance 
Learning Settings: Developing Communities of Instructional Practice 
Olga Fragou and Achilles Kameas 
Educational Content Methodology and Technology Laboratory (e‐CoMeT Lab),  
Hellenic Open University, Patras, Greece 
fragou@ecomet.eap.gr1  
kameas@eap.gr2 
 
Abstract:  The  increasing  emphasis  on  Higher  Education  standards  has  created  a  shift  in  the  mode  Universities  deliver 
professional development. Universities have answered the call of professional development by redesigning curricula and 
structuring  tutors’  training  programs.  Open  and  Distance  Learning  Standards  in  Higher  Education  promote  educational 
content  reusability  and  modularity  so  as  to  adapt  in  various  subject  domains.    Communities  of  Practice  (CoPs)  have 
constantly  posed  challenges  to  Higher  Education  Institutions  (HEI),  in  particular  those  engaged  in  open  and  distance 
learning. These communities develop their practice through problem solving, requesting information, seeking experience, 
coordination  and  synergy,  discussing  developments,  documenting  project  mapping  knowledge  and  identifying  gaps.  This 
paper  presents  design  framework,  methodological  aspects  and  preliminary  data  analysis  of  research  conducted  in  (3) 
Thematic  Units  of  Hellenic  Open  University  with  the  volunteer  participation  of  (9)  Tutors,  in  forming  Communities  of 
Instructional Design  in Open and Distance Learning settings.   
 
Keywords: professional development, communities of practice, instructional design, open and distance learning 

1. Introduction  
Professional  Development  is  the  strategy  academic  organizations  use  to  ensure  that  educators  continue  to 
strengthen  their  practice  during  their  career:  the  most  effective  professional  development  stages  in  Higher 
Education  engage  teams  of  tutors  who  focus  on  the  needs  of  their  students.  Professional  development’s 
instructional  capacity  is:  a)  ongoing,  b)  embedded  within  context  specific  needs  of  a  particular  setting,  c) 
aligned with reform initiatives, d) grounded in a collaborative, inquiry based approach to learning (Peeraer & 
Van  Petegem,  2012).  New  learning  outcomes  such  as  the  development  of  creativity  and  innovation  have 
become major driving forces and educators are required to facilitate these. Under this scope, Communities of 
Practice are generally accepted as a significant tool in achieving these qualities.  Reforming teaching requires 
steady work of tutors and professional developers who are focused on visions and issues not just policies: this 
new way of thinking about professional development requires tutors to try out, discuss, think about and hone 
new  practices  by  taking  new  roles,  creating  new  structures,  working  on  new  tasks  and  creating  a  culture  of 
inquiry. Communities of Practice are in the centre of this widening innovation movement. Τhe future belongs 
to organizations that learn to unleash the creative powers of self –organizing project communities, knowledge 
networks, open source teams and other new ways of work and learning based on associations of people who 
are passionate about what they do together. This paper’s structure proceeds as follows: section 2 presents the 
state‐ of‐ the‐ art as well as key features of Communities of Practice.  Section 3 presents the design framework 
and  structure  of  the  developed  Communities  of  Instructional  practice  highlighting  methodological  aspects. 
Section  4  presents  the  implementation  framework  of  the  designed  communities  as  well  as  analysis  of  data 
collected. Section 5 presents implications of the research and future directions whereas section 6 concludes 
the paper. 

2. Background 

2.1 Communities of practice: State of the art 
Communities  of  Practice  (CoPs)  are  “groups  of  people  informally  bound  together  by  shared  expertise  and 
passion  for  a  joint  enterprise”  (Wenger  et  al,  2002).  The  term  “community  of  practice”  highlights  the  social 
nature  of  learning  as  it  is  situated  within  collaborative  working  environments:  these  social  systems  arise 
naturally  and  are  informally  bound  by  the  work  that  people  engage  in  together  and  they  are  self  organized 
while  membership  is  based  on  participation  rather  than  official  status  (Wenger,  2001).  Organizations  that 
recognize  knowledge  as  a  key  asset  are  assisted  by  communities  of  practice  to:  exchange  and  interpret 
information  even  across  organizational  boundaries;  retain  knowledge  in  ways  that  formal  systems  cannot 

171
 
Olga Fragou and Achilles Kameas 

offer; nurture competencies to keep the organization at the cutting edge by valuing collaborative inquiry and 
thinking to the future; provide an identity of its members based on what matters to them (Wenger, 2001).  
 
 Authentic,  ordinary  practices  of  a  community  require  a  great  deal  of  interdependence.  This  implies  that 
“learning cannot be fully internalized as knowledge structures nor fully externalized as instrumental artifacts 
or overarching activity structures” (Wenger et al, 2002): understanding and experience are highly connected 
while  participation  is  based  on  renegotiation  of  meaning  in  the  world.  Furthermore,  participation  and 
reification  are  important  aspects  of  CoPs:  products  that  can  be  reified  include  abstractions,  tools,  symbols, 
stories  and  /  or  terms  that  are  central  to  the  practice,  while  processes  that  can  be  reified  include  making, 
designing,  representing,  naming,  encoding,  describing,  perceiving,  interpreting,  using,  reusing,  decoding, 
recasting.  Educational  CoPs  should  incorporate:  a)  orientation,  identity  formation  as  an  expanding  image  of 
the world, b) reflection, identity formation as self consciousness, c) exploration, identity formation as creation. 
Under this scope professional development of Higher Education practitioners, should focus on teaching as an 
“intellectual  activity”  where  teachers  “play  a  role  in  the  creation  and  use  of  knowledge”  when  undertaking 
widely different roles in varying contexts. Within a framework of “new academic professionalism” for Higher 
Education  more  innovative  ways  of  encouraging  participation  in  the  development  of  professional  practice 
need to be explored in terms of practices and values where academics have to explain and justify in thoughtful 
and productive ways, why they do what they do rather than just articulate what and how they do what they 
do.  Higher  Education  institutions  can  be  visualized  organizationally  as  “networks  of  networks”  (Buckley  & 
Jakovljevic, 2012) or constellations of communities of practice where academics interact continuously within 
the  close  confines  of  their  particular  discipline  domains  and  learning  communities.  Maintaining  or  creating 
healthy communities of practice is a main function of educational development within departmental discipline 
based contexts involving educational developers in “working horizontally” across disciplinary communities to 
“make  connections  and  spread  ideas  and  practices”  fostering  innovations  in  learning  and  teaching  practice 
(Blackwell  and  Blackmore,  2003).  Bouchamma  and  Michaud  (2011)  propose  a  guided  approach  by  following 
these principles: socioconstructivism as the learning theory, reflective practice and metacognition to guide this 
reflection, and accompanying leadership in a form of the process that supports change. Buckley & Jakovljevic 
(2012)  highlight  effective  agile  methods  and  strategies  (e.g  adaptive  innovation  agile  strategies, 
communication  skills,  entrepreneurial  initiatives,  agile  planning,  discipline  of  dialogues,  mapping,  telling  and 
predicting).    

2.2 Structuring CoPs through artefact mediation    
Knowledge  management  creates  the  “organizational  conditions”  in  which  individuals  are  stimulated  to 
assimilate, create, transfer, share, capitalize, apply knowledge coherently with organization’s aims. As Wenger, 
Mc Dermott and Snyder state (2002) fundamental aspects of Communities of Practice are the area of interest, 
the  learning  social  factory,  the  shared  repertory  of  competencies  and  common  resources  such  as  routines, 
documents, styles, tools, legends, symbols, language. These characteristics are presented diagrammatically in 
the following figure:   

 
Figure 1:  CoPs characteristics according to Wenger, Mc Dermott & Snyder (2002)  
Community of Practice is a different point of view in an organization which stresses how people are involved in 
learning dynamics more than which units they belong to or the projects they work on. Members working in 
interdisciplinary teams can apply their knowledge to the real problems of the community, and bring back to 
the  community  new  experience  learned,  staying  together  with  experts  of  different  subject.  Although  CoPs 

172
 
Olga Fragou and Achilles Kameas 

continually evolve it is possible to observe five stages of development in the sense of loose networks which 
gradually  coalesce  into  a  community:  potential,  coalescing,  maturing,  stewardship  and  transformation 
(Wenger et  al,  2002). Most of  the  studies in  CoPs  are  in a  pre‐paradigmatic  phase,  so  limitations  of  existing 
theory  regard  the  fact  that  models  developed  are  mostly  interpretive  and  derived  from  sporadic  evidences 
(Bouchamma &Michaud, 2011; Blackwell &Blackmore, 2003). An effective approach to community facilitation 
involves  creating  a  predictable  “rhythm”  whereas  a  “sense  of  place”  is  created  in  the  minds  of  community 
members  through  an  integrated,  thoughtful  combination  of  face  to  face  meetings,  live  on  line  events,  and 
collaboration  over  time  within  a  persistent  Web  environment.  Almost  every  community  evolves  along  a  life 
cycle  with  distinct  goals,  member  characteristics  and  needs  as  well  as  purposes.  Successful  and  sustainable 
communities  have  focused,  well  defined  purposes  that  are  directly  tied  to  the  sponsoring  organization’s 
mission.   The following figure presents categorization of CoPs’ purposes into four areas of activity: 

 
Figure 2: CoPs ‘purposes categorization in activity schema 
Practitioners are interested in aspects of situations that are directly relevant to their goals and objectives and 
help  them  understand  problematic  aspects  of  the  design  situation.  Especially  interesting  is  learning  in 
professional contexts because it is predominantly informal and may represent a metacognitive process about 
educational  practice  and  activities  (Bouchamma  &  Michaud,  2012).    Understanding  the  coordination  among 
individuals  and  artifacts  (how  individuals  align  and  interact  within  a  distributed  process)  in  a  system  or  a 
community  is  a  very  important  process  in  situated  cognition  (Wenger  et  al,  2002).  Rather  than  acquiring 
concepts as abstract, self contained entities, the idea is to acquire useful knowledge through understanding of 
how  knowledge  is  used  by a  group of  practitioners  or  members  of  a  community. Artifacts  (Fischer,  2011)  in 
various formats used in professional communities embody meaning in their design, content and modes of use. 
This  meaning  originates  in  the  goals,  theories,  history,  assumptions,  tacit  understandings,  practices  and 
technologies  of  the  artifact’s  design  community.  End  user  communities  activate  an  understanding  of  the 
artifact’s  meaning  with  their  own  community  practices  and  cultural‐historical  contexts:  under  this  scope, 
semantic  and  computational  artifacts  should  not  be  designed  as  isolated  applications  but  as  integral 
components  of  activity  systems  that  support  learning  in  collaborative  knowledge  building.  Knowledge 
organization  structures  are  dependent  upon  domain‐analytical  processes  for  determining  ontological 
perspectives.  The  ontological  imperatives  of  groups  of  people  laboring  in  common  sometimes  clash:  these 
clash  points,  terms  that  are  used  in  both  domains  but  understood  differently  in  each,  are  called  boundary 
objects (BOs) (Fischer, 2011). These, have been proposed as an important means of translating such multiple, 
overlapping but divergent representations in ways that they accommodate both diversity and synergy because 
they inhabit several intersecting social worlds and satisfy the information requirements of each of them. In the 
context of professional learning communities educators engage in activity design, interact and use educational 
resources,  use,  reflect  and  collaborate  on  using  conceptual  toolsets.  Under  this  scope  factors  that  form  the 
springboard  of  professional  communities  have  been  a)  work  with  innovative  thinking  by  using  innovative 
design approaches and products, b) co‐learning through engagement in problem solving and complex tasks, c) 
developing relationships of belonging in working networks.  

3. Designing and structuring instructional communities of practice  

3.1 The educational context  
Hellenic  Open  University  (HOU)  (http://www.eap.gr)  is  the  only  public  Hellenic  higher  education  institution 
that  offers  programs  of  study  using  Open  and  Distance  Learning  methodologies.  The  Educational  Content 
Methodology  and  Technology  Lab  (http://www.eeyem.eap.gr  )  is  an  independent  HOU  unit  that  develops 

173
 
Olga Fragou and Achilles Kameas 

digital  educational  content,  applies  educational  methodologies  and  promotes  the  use  of  ICT  tools  in 
educational practice such as Learning Management Systems and Teleconferencing tools. Contact Sessions and 
assignments  are  the  corner‐stone  of  the  HOU  teaching  method:  tutors  encourage  face‐to‐face  and  internet 
communication, meetings and study groups between students, where they can exchange ideas. The teacher’s 
role in ODL involves facilitation and moderation (EQF, 2008). Tutors also forward any student related matters 
to  the  Module  Coordinator. HOU  Tutors  in  a  Thematic  Unit  and  the  Module  Coordinator  are  the  core 
participants  of  the  Module  Academic  Staff:  they  familiarise  students  with  the  processes  and  procedures 
relevant  to  distance  learning,  provide  advice,  support  and    academic  guidance  to  students  through  their 
studies,  help  them  understand  the  content  and  the  methodology  of  the  course,  check  that  students  have 
received  all  course  materials,  inform  students  of  regular  and  alternative  materials,  and  finally  play  an 
important  role  in  further  processing  HOU  educational  material  and  producing  new  chunks  of  educational 
material through instructional design practices by the use of Open and Distance Learning standards and the 
design of Learning Outcomes.  

3.2 Instructional design in open and distance learning settings  
Open  and  Distance  Learning  is  characterized  by  its  philosophy,  which  diminishes  boundaries  and  the  use  of 
technology in specific formats. As there is not just one method of ODL a variety of courses are described as 
“distance learning” courses. As a result of the implicit hierarchy in distance education method of offering the 
courses through an array of media to students, tutors are not properly equipped to function as course authors.  
Often the lecturers’ and tutors’ roles are little understood by university managers or educational authorities. 
The  challenge  is  both  to  adjust  to  on  line  delivery,  incorporate  technology  into  more  “traditional”  forms  of 
study, by experimenting and setting personal teaching and learning goals so as to achieve personally designed 
Learning Outcomes and use accordingly suitable Learning Objects. As Learning Outcomes are the actual result 
of  learning  and  course  designs  set  out  the  tutor’s  intentions  for  learning:  in  the  Outcome  Based  Learning 
approach  tutors  through  instructional  techniques  define  intended  learning  outcomes,  design  or  choose 
appropriate learning activities, engage students in the activities through the teaching process, assess students’ 
learning, evaluate how well did they meet the primary learning intentions and award grades accordingly (EQF, 
2008).  
 
Design  theories  emphasize  prescriptions  for  accomplishing  a  given  end:  the  principles  and  instructional 
methods for creating learning communities support the direction of the current status of adult learning theory 
and  the  new  paradigm  of  new  instructional  design  theories  (Schneider  &Stern,  2010).  Instructional  design 
theories and models make use of externalizations and semantic representation tools so as to capture personal 
meaning and collaboratively construct hierarchies of subject domains. ADDIE is the most popular instructional 
design  model  based  on  the  systematic  approach  of  the  Analysis,  Design,  Development,  Implementation  and 
Evaluation  phase,  used  extensively  to  develop  educational  material  for  several  purposes  especially  when 
content  reusability  is  involved  in  distance  learning  settings  (Koper,  2006).  The  value  of  the  workflow  model 
such as ADDIE is that it provides a project management framework, used in this case to develop instructional 
material  guides  for  HOU  Tutors.  An  important  outcome  of  shared  understanding  in  COPs  is  the  incremental 
creation of externalizations to capture and articulate the task at hand (Fischer, 2011). Externalizations enhance 
mutual  understanding  and  intelligibility  by  serving  as  a  resource  for  assessing  the  relevance  of  information 
within  the  context  of  collaboration.  Ontologies  form  conceptualizations  of  a  subject  domain,  reflecting 
structure  and  hierarchy  to  concepts  used  in  subject  domains,  in  the  sense  of  providing  reflective  artifact 
affordances: there are specifications of a conceptualization, defining concepts and relationships in a network 
of knowledge attributes (Ferrara et al, 2011).  

3.3 Representations and CoPs design situation  
Boundary  objects  (Fischer,  2011)  as  objects  which  communicate  and  coordinate  the  perspectives  of  various 
constituencies can serve two major purposes: a) they can serve as objects to support the interaction and the 
collaboration among  different communities  of  practice, b) they can  serve  the  interaction between  the  users 
and  (computational  environments).    Much  human  creativity  arises  from  activities  that  take  place  in  a  social 
context in which interaction with other people and the artifacts that embody group knowledge are important 
contributors to the process. We have provided a situation open‐ended and complex so as users to encounter 
break  downs:  breakdowns  offer  unique  opportunities  for  reflection  and  learning:  tutors  acted  as  designers 
allowing themselves to create shared understanding ,contextualize information to the task at hand, and create 
ontologies  as  boundary  objects  in  collaborative  design  activities.  Open  ended  and  multidisciplinary  design 

174
 
Olga Fragou and Achilles Kameas 

problems require a different paradigm of education and learning skills, including self directed learning, active 
collaboration  and  consideration  of  multiple  perspectives.  The  actual  process  of  participatory  design  with 
instructional designers and tutors grounds the artifact design in the culture of the potential user communities. 
Most importantly community discourse processes in a collaborative construction framework helps groups of 
users to reactivate and interpret the meaning of artifacts in their own terms and from their own perspectives.  
Tutors  of  (3)  Thematic  Units  of  Hellenic  Open  University  have  been  asked  to:  a)  critique  on  the  educational 
material they used (printed and software) for constructing ontologies, b) report on problems the coped with 
during  the  design  process,  c)  modes  of  delivering  training  program  regarding  the  ontologies’  design.  The 
artifacts produced have been ontologies, as forms of representing and capturing tutors’ understanding in their 
subject domain.  

4. Implementation: Structuring and piloting Instructional communities of practice 

4.1 Phases of structuring CoPs 
The  management  and  academics  face  challenges  that  must  be  met  in  order  to  develop  a  full  functional 
network of CoPs. The management challenge is firstly to: 
ƒ focus on topics important to the academic community 
ƒ find experienced moderators for the academic community 
ƒ ensure that academics have time and are encouraged to participate 
ƒ build on the core values of the university 
The academic challenge needs to: 
ƒ get thought academic leaders involved 
ƒ build personal relationships among academic community members 
ƒ develop an active and passionate core group 
ƒ create forums for thinking together and sharing information (Buckley & Giannakopoulos, 2012) 
A deep conceptual understanding of subject content is a crucial part in the effectiveness of teaching as shallow 
understanding of subject content tends to result in a style of teaching that over delivers on facts and rules, but 
fails  to  ensure  that  students  develop  and  evolve  key  ideas  needed.  Experienced  tutors  do  not  have  many 
formal  opportunities  to  discuss  and  share  their  pedagogical  content  knowledge  (PDK,  Shulman,  2012)  with 
fellow tutors: consequently this very valuable form of professional knowledge tends to be hidden and largely 
unknown.  Factors  critical  for  the  success  of  the  Communities  of  Practice  as  a  small  project  that  energises  a 
core group and an infrastructure to support collaboration and coordination are:  
ƒ Skilful and reputable coordinator 
ƒ Involvement of experts 
ƒ Address details of practice 
ƒ Right rhythm and mix of activities 
The  structuring  of  CoPs  implies  six  phases:  developing  a  theoretical  framework  for  communities  of  practice, 
exploring  preliminary  attitudes  toward  communities  of  practice,  forming  pilot  communities  of  practice, 
evaluating  pilot  communities  of  practice  groups,  implementing  action  research  to  pilot  communities  of 
practice, apply the community of practice model to other groups. This paper briefly presents findings and basic 
characteristics  of  developing  a  theoretical  framework,  exploring  tutors’  attitudes,  and  forming  pilot 
communities of instructional design.  

4.2 Methodology, research questions and data collection 
Best  practices  were  chosen  from  already  formed  communities  of  Hellenic  Open  University  in  (3)  Thematic 
Units. Data were collected in order to acquire the greater number of information about the single communities 
and the external organisational context. In particular data was gathered from the following sources:  
ƒ Documentation about the organization  

175
 
Olga Fragou and Achilles Kameas 

ƒ Semi structured interviews to key informant people (ie members of top management) of the organisation 
to collect data about the organisation, its strategy, the knowledge management strategies  defined 
ƒ Semi  structured  interviews  to  community  coordinators  and  members,  to  understand  the  story  of  the 
community, the domain, the kind of knowledge shared and the members’ characteristics 
ƒ Community’s  output  documentation  to  better  understand  the  kind  of  knowledge  and  the  domain 
complexity  
The basic research questions have aimed at capturing experience reflection and attitudes of (9) Tutors already 
involved in quasi constructed Communities of Instructional Design in: a) educational material used (structure, 
format,  content),  b)  problems/drawbacks  in  their  experience  as  instructional  designers,  c)  desired  modes  of 
delivering  the  instructional  design  training  program..  There  has  been  an  aim:  a)  to  explore  the  field  of 
structuring  instructional  design  communities  of  practice  so  as  to  achieve  benefit  for  the  organisation,  b) 
capture the basic processes of already formed communities.  
 
Production of educational material in HOU is subjected to ISO 2008 procedures with predefined technological 
and pedagogical specifications .Tutors have been asked to filter HOU educational material used by (a) setting 
basic  learning  goal,  (b)  providing  specific  learning  outcomes  that  fulfill  this  goal,  (c)  designing  semantic 
representation of the educational content used in a form of an ontology. The (3) Communities of Instructional 
Design comprised by (3) up to (4) HOU tutors as members while the Course Coordinator supervising and being 
in charge of the whole process. The following table presents brief description of the HOU Thematic Units that 
participated:   
Table 1: HOU thematic units   
Hellenic Open University Thematic Units 
Level  Thematic Unit  Subjects 
PGCE  PLI20: “Discrete  Mathematics & Mathematical Logic”  #1Mathematics 
#2Graph Theory 
#3Mathematical Logic 
PGCE  PLI10: “Introduction to Informatics”  #1Introduction to Computer Science 
#2Programming Techniques 
#3Data Structures 
#4Programming Languages 
PGCE  DEO25: “Accounting”  #Introduction to Accounting 
#2Financial Accounting 
#3Greek General Chart of Accounts 
#4Computerised Accounting 
#5Introduction to Cost Accounting 
Action research in education involves participants in a form of disciplined self‐ inquiry that is collaborative and 
designed to enable them to understand and reform educational practice (Engstrom et al, 2002).Practical action 
research  (Ado,  2013)  as  a  methodology  comprises  a  general  spiral  of  generic  steps  that  lead  the  researcher 
pursue solutions to identified problems in collaboration with other participants. For the purpose of the specific 
research  an  action  research  schema  has  been  used  so  as  to  identify  which  aspects  of  the  training  process 
actually  worked  and  which  could  be  further  elaborated  or  enhanced.  In  the  early  development  stages 
qualitative  research has been  selected  so as  to  reveal narrations  and tutors’ attitudes/  beliefs  regarding  the 
already  conducted  process.  Semi  structured  interview  has  been  designed  and  conducted  so  as  to:  a) 
understand  the  respondents’  point  of  view  in  detail,  b)  create  a  positive  rapport  between  the  interviewer 
(instructional  designer)  and  the  interviewees  (HOU  tutors),  c)  support  high  validity  through  detailed  and 
structured  conversation,  d)  discuss  complex  issues  regarding  the  design  process  and  participation  in  the 
Communities of Instructional Practice.  

4.3 Findings and discussion   
The  interview  data  have  been  transcribed,  organized  and  coded.  Conceptualizations  of  basic  topics  involved 
appeared, while themes have been identified regarding the educational material used and emerging training 
issues.  Field  notes  have  been  also  used  so  as  to  provide  a  basic  orientation  in  qualitative  data  analysis 
processing.  On  a  first  basis  inductive  coding  style  (Cain  &  Harris,  2010),  iterative  analysis  derived  through 
collected data  has been selected commonly referred to also as grounded  analysis (Ado, 2013). This iterative 
process implies developing grounded codes in the sense of symbols applied to text sections in order to easily 

176
 
Olga Fragou and Achilles Kameas 

categorize it. The developed grounded codes are related to research questions, themes and concepts involved: 
emerging  descriptive  themes  are  further  broken  down  to  sub  categories,  relationships  and  cause  and  effect 
liaisons. The following figure presents basic concepts involved:  

 
Figure 3: Basic concepts involved in interview analysis coding  
The duration of each interview has been between 40 up to 60 min and there were all conducted during April 
2014.  The  HOU  participated  voluntarily  in  the  Communities  of  Instructional  Design  and  have  been  provided 
with  printed  material  designed  through  the  ADDIE  methodology  covering  (3)  phases:  the  description  of  the 
educational  problem,  the  design  or  content  representation  and  the  definition  of  Learning  Outcomes.  The 
following  figure  presents  schematically  the  training  process  supported  by  the  Communities  of  Instructional 
Design structure: 

HOU 
TRAINING 
PROGRAM 
STRUCTURE

HOU 
INFRASTRUCTURE •INSTRUCTIONAL TOOLS
• PEDAGOGICAL SKILLS
•DESIGN PROCESSES

LEVEL 1: SET 
LEVEL 2: DESIGN  LEVEL 3: DEFINE 
EDUCATIONAL 
REPRESENTATIONS LEARNING OUTCOMES
PROBLEM

 
Figure 4: The structure of HOU training process in Instructional Design Communities  
HOU Tutors reported on the problems they faced during the design process, the drawbacks of completing the 
process,  issues  that  have  been  important  to  them  such  as  time  duration  and  need  for  clarity  in  the  guiding 
process.  The  (9)  HOU  Tutors  who  voluntarily  formed  preliminary  Communities  of  Instructional  Design  have 
been  experts  in  their  fields  (professors  and  associate  professors),  originating  from  prestigious  Greek  Higher 
Education  Institutions,  providing  their  teaching  diversity  in  the  whole  process.  The  (3)  Communities  of 
Instructional Design have been different in two aspects: a) the level of acquaintance and use of technological 
tools,  b)  the  level  of  members’  cooperation  and  personal  acquaintance.  More  specifically  the  Tutors  of  TU 
PLI20 and PLI10 had a strong confidence as a community and as ICT tools users, as in  both cases the tutors 
have cooperating the HOU distance education courses more than 10 years. Tutors in TU DEO25 have formed a 
new community whereas they had not cooperated before nor they had developed a strong working network in 
the sense of personally knowing each other before their contribution to the communities.   
 
Interview data revealed Tutors’ attitudes and preferences on the educational content designed and used with 
the specific criteria of structure, clarity, accuracy, effectiveness in instruction. Table 2 presents indicative data 
from the interview data analysis:  
 
 

177
 
Olga Fragou and Achilles Kameas 

Table 2: Preliminary data analysis of interview questions regarding the educational material used for training 
HOU tutors 
Data of Interview Questions on Educational Material Used 
  Topic  Data snippet and Respondent 
QUESTION  Effectiveness of  Printed Educational Material  “quite guiding” (T1) 
#1  Used  “quite helpful” (T2) 
“the process has been time consuming, in circles” 
(T3) 
“easy to use” (T4) 
“sufficient educational material “(T5) 
QUESTION  Level of Updating Printed Educational Material  “all guides were updated” (T1) 
#2  “updated and quite helpful” (T2) 
“ examples are important” (T3) 
“quite updated” (T4) 
“updated” (T5) 
 
QUESTION  Structure and Organisation of Educational  “more concepts of subject domain added” (T1) 
#3  Material  “rigid language” (T2) 
“set clear outcomes from the beginning of guides” 
(T3) 
“quite satisfactory” (T4) 
“good but more examples are needed” (T5) 
HOU Tutors found the guides provided by the E‐Co‐Me T Lab research team quite helpful though they reported 
that there have been times that they thought they were going in circles, not in a justifying way. These guides 
actually  prompted  the  HOU  Tutors  to  set  the  educational  problem,  design  content  representation  of  the 
educational  content  they  processed,  define  Learning  Outcomes  in  their  TU.  The  use  of  educational  material 
has been updated and quite satisfactory to them, whereas they commented positively on the easiness in use. 
However,  regarding  the  structure  and  organisation  of  the  educational  material  used  they  pinpointed 
weaknesses  such  as  the  strict  language  of  the  guides  developed,  the  lack  of  having  a  clear  picture  of  the 
process    and  final  product  from  the  beginning  as  well  as  using  furthet  examples  so  as  to  have  a  confident 
outlook on the final product requested from them. The latter has been quite an obstacle in comprehending  
the  sequence  of  the  whole  process  though  they  managed  to  design  the  final  products  required  from  each 
phase (I. set educational problem, II.produce design representation of educational content used and III.define 
learning outcomes).  
 
Another  group  of  interview  questions  focused  on  the  preferences  of  HOU  Tutors  in  the  future  design  of  an 
extensive training program, scaffolding in the design process of new educational material by the fulfilment of 
the (3) phases already mentioned earlier. It was important to capture their attitudes and preferences on the 
traning  program  in  the  early  development  stage  so  as  to:  a)  carefully  adjust  content  and  structure  of  the 
training program according to their needs, b) iteratively design and develop cycles of training delivery, c) clarify 
basic and subsidiary goals of the training program in the design process and accordingly develop the training 
material. Table 3 presents HOU tutors’ preferences on the Training Course Design:   
Table 3: Preliminary data analysis on HOU Tutors’ preferences in future training course design  
Data of Interview Questions in future Training Course Design 
  Topic  Data Snippet and Respondent 
QUESTION  Formats for Delivering the Training Program  “mostly Powerpoint  and screencasts”(T1) 
#5  “just printed material” (T2) 
“printed material” (T3) 
“pdf format for guides” (T4) 
“just printed material” (T5) 
 
QUESTION  Focus Areas of In Depth Education  “ask students about these” (T1) 
#6  “in the pedagogical aspect of the design” (T2) 
“on merging the tutors’ content representations” (T3) 
“provide a clear picture ” (T4) 
“clear guidelines to use verbs in LOs” (T5) 
QUESTION  Tutors’ suggestions on Training Program  “save time and labour” (T1) 
#7  “save time” (T2) 

178
 
Olga Fragou and Achilles Kameas 

Data of Interview Questions in future Training Course Design 
  Topic  Data Snippet and Respondent 
“provide a holistic picture” (T3) 
“save time” (T4) 
“save time and more examples” (T5) 
Regarding the preferable formats for developing educational material the HOU Tutors commented favourably 
on  the  use  of  printed  material,  even  if  they  originated  from  Thematic  Units  with  a  strongly  technological 
background such as PLI20 and PLI10. They justified their preference on the fact that this type of material (pdf 
format)  is  easy  to  use,  accessible  anytime  and  more  amiable  to  further  processing    according  to  personal 
reading and learning strategies. The data collection and analysis phase is still in process.  

5. Evaluation: Implications, limitations and directions for future research 
Team‐  based  work  organizations  are  an  effective  response  to  the  pressures  of  increasingly  competitive 
environments.  In Communities of Practice (CoPs) groups of people share a passion for something that they 
know how to do and who interact regularly to learn to do it better. The conducted research (still in process) 
captured HOU’ Tutors reflective experience on educational design process and their attitudes on the design of 
an extended training instructional program on developing new educational material based on ODL standards 
methodology.  Design  structures  and  generic  patterns  regarding  the  design  process  have  been  revealed 
whereas problems that Tutors faced have been highlighted. Based on the extended analysis of the qualitative 
data  still  collected  an  extended  survey  is  designed  so  as  to  capture  significant  elements  of  the  a)  design 
process  reflection,  b)  important  skills  to  be  developed  during  the  training  process,  c)  multidisciplinary 
guidelines for developing educational material based on Open and Distance Learning methodology, by the use 
of Learning Outcomes. Building collaborative and collegial communities of tutors provide the autonomy and 
the motivation to make better curricular and pedagogical decisions for students’ interests: the basic aim has 
been  to  form  an  effective  instruction  framework  for  Hellenic  Open  University  (HOU)  Tutors  based  on  data 
collected in (3) Thematic Units (TU).   

6. Conclusion 
An upcoming shift in the teaching and learning sphere towards online, Open Reusable Resources, accessed and 
exploited by teachers and learners alike to enhance the e‐learning experience, emphasizes issues of learning 
design  and  educational  content  reusability.  Establishing  modes  of  collaborative  participatory  design  which 
promote reflective practice seems to be the key factor to improve Higher Education and making effective use 
of Open Distance Learning Standards. Support of Tutors in the process of effectively chunking and using in a 
multimodal way educational content is a demanding task, requiring for careful analysis of the learning process 
and  aspects  of  the  learning  context  and  media  applied.  There  is  a  need  to  decompose  complex  tasks  in 
learning  hierarchies,  to  provide  analysis  of  concepts  and  procedures  of  subject  matter  curricula  in  terms  of 
information structures and gave rise to new approaches to pedagogy.  The basic characteristics, methodology 
and preliminary findings of Instructional Communities of Practice have been presented. However, important 
issues have arisen: the need for students’ participation in the Communities of Instructional Design as final end 
users of the whole design process, and  design structures’ establishment for that purpose, the need to further 
elaborate  training  structures  and  training  patterns  so  as  to  enhance  multidisciplinary  professional  learning. 
There has to be a shift from processes and procedures to a new vision which promotes a learning paradigm 
that encourages social negotiation of meaning and reflective practice to produce new chunks of educational 
material based on Outcome Based Learning, actively involving and further motivating experts to engage and 
contribute  to  the  instructional  design  process.  For  these  purposes  an  “umbrella”  HOU  framework  which 
promotes policy changes so as to adjust to the new vision is important, while the methodological framework 
for  building  communities  of  instructional  design  through  semantic  mediation  has  to  be  further  and  in  detail 
elaborated  and  expanded  to  cater  for  multidisciplinary  professional  learning.    The  assessment  process  is 
currently  under  development  whereas  expansion  of  the  schemas  and  processes  presented  in  this  paper  is 
scheduled  in  more  Thematic  Units  of  Hellenic  Open  University.  Tutors’  involvement  in  purposeful  reflection 
stimulated  their  interest  in  seeking  out  and  trying  out  new  pedagogical  strategies,  providing  insight  in  new 
educational  practice  through  better  understanding  and  chunking  of  educational  content  used.    Future  work 
involves further working on structures and tools in the context of instructional communities, further revealing 
processes, types of products and Learning Objects used in a multidisciplinary mode as well as generating a plan 
for  filtering  educational  content  in  HOU  Courses  including  issues  of  time  management  (on  line  –off  line 
process) and learning activity structures.  Future goal is to further develop material that actually supports and 

179
 
Olga Fragou and Achilles Kameas 

guides  Tutors  who  participate  in  HOU‘s  communities  of  Instructional  Practice  incorporating  Learning  Object 
formats and Learning Outcomes taxonomies. 

Acknowledgements 
The research described in this paper has been co‐financed by the European Union (European Social Fund ‐ ESF) 
and Greek National Funds through the Operational Program "Education and Lifelong Learning" of the National 
Strategic Reference Framework (NSRF) (Funding Program: "HOU"). 

References   
Ado, K. (2013). Action research: Professional Development to Help Support and Retain Early Career Teachers. Educational 
Action Research, Vol  21, No.2, pp131‐146.(online) http://dx.doi.org/10.1080/09650792.2013.789701 
Blackwell, R. and Blackmore, P. (2003) Rethinking Strategic Staff Development. In R. Blackwell and P. Blackmore (eds),  
Towards Strategic Staff Development in Higher Education, Buckingham, United Kingdom: The Society for Research 
into Higher Education and Open University Press, pp.119‐130. 
Bouchamma, Y. and Michaud, C., (2011). Communities of Practice with Teaching Supervisors: a Discussion of Community 
Members’ Experience , Journal of  Educational Change, Vol 12, No.4, pp: 403‐420. 
Bryman, A. (2012) Social Research Methods, fourth edition. Oxford: Oxford University Press. 
Buckley S., Gianakopoulos, P., (2012) , Technology and Tools Supporting CoPs . In S.Buckley and M. Jakovljevic (Eds), 
Knowledge Management Innovations for Interdisciplinary education: organizational applications . USA. IGI, Global 
Publishers.  
Buckley S. and Jakovljevic, H., (2012) Knowledge Management Innovations for Interdisciplinary education : Organizational 
Applications. USA: IGI Global Publishers . 
Cain, T. and Harris, R. (2013). Teachers’ Action Research in a Culture of Performativity. Educational Action Research, Vol 21, 
No.3, pp. 343‐358.(online)  http://dx.doi.org/10.1080/09650792.2013.815039 
Engstrom, Y., Engstrom, R., & Sunito, A. (2002). Can a School Community Learn to  Master its own Future? An Activity‐
Theoretical Study of Expansive Learning among Middle School Teachers. In G. Wells & G. Claxton (Eds.), Learning for 
life in the 21stcentury: Sociocultural Perspectives on the Future of Education. Oxford, England: Blackwell, pp. 211‐
224. 
EQF (2008). The European Qualifications Framework for Life Long Learning, (online) 
http://ec.europa.eu/education/pub/pdf/general/eqf/broch_en.pdf  
Ferrara,A., Nikolov, A., Scharffe , F., (2011). Data Linking for the Semantic Web. International Journal of Semantic Web in 
Information Systems, Vol 7, No. 3, pp.46–76. 
Fischer, G. (2011): "Social Creativity: Exploiting the Power of Cultures of Participation", Proceedings of SKG2011: 7th 
International Conference on Semantics, Knowledge and Grids, Beijing, China, October, pp 1‐8. 
http://l3d.cs.colorado.edu/~gerhard/papers/2011/SKG‐China.pdf 
Koper, R. (2006). Current Research in Learning Design. Educational Technology & Society, Vol 9, No. 1, pp.13‐22. 
Peeraer, J. and Van Petegem, P., (2012). Measuring Integration of Information and Communication Technology in 
Education: an Item Response Modeling Approach, Computers and Education, Vol 58, No.4, pp.1247‐1251 (online) 
doi:10.1016/j.compedu.2011.12.015 
Schneider, M. and Stern, E. (2010). The Cognitive Perspective on Learning: Ten Cornerstone Findings. In Organisation for 
Economic Co‐Operation and Development (OECD) (Ed.),The nature of learning: Using research to inspire practice. 
Paris: OECD.pp.69‐90. 
Shulman, L. (2012). Domains: Pedagogical Content Knowledge.(online) http://www.leeshulman.net/domains‐pedagogical‐
content‐knowledge.html 
Wenger, E., (2001). Supporting Communities of Practice: a Survey of Community‐Oriented Technologies.  Report to the 
Council of CIOs of the US Federal Government .Self‐published report available at www.ewenger.com/tech 
Wenger, E. C., McDermott, R, and Snyder, W. C (2002)., Cultivating Communities  of Practice: A Guide to Managing 
Knowledge, Harvard Business School Press, Cambridge, USA. 

180
Blended Learning as a Compromise in the Teaching of Foreign 
Languages 
Blanka Frydrychová Klímová and Petra Poulová   
University of Hradec Králové, Hradec Králové, Czech Republic  
blanka.klimova@uhk.cz  
petra.poulova@uhk.cz  
 
Abstract:  Within  the  past  20  years  any  sphere  of  education  has  dramatically  changed  owing  to  constantly 
emerging  information  and  communication  technologies  (ICT).  They  have  altered  common  approaches  to 
teaching and learning. In fact, nowadays, anyone can now learn anything from anyone at anytime. Moreover, 
the 21st century learners cannot imagine their studies without being able to interact with the online materials 
or their peers. Owing to these facts, the terminology in the area of education is also constantly changing and 
being  innovated.  Particularly  with  the  arrival  of  new  technologies,  many  new  terms  have  emerged  such  as 
eLearning,  on‐line  learning,  blended  learning  or  computer  base  learning.  Out  of  these  approaches  the  best 
seems  to  be  blended  learning.  Blended  learning  is  nowadays  perceived  as  not  only  a  mere  combination  of 
face‐to‐face and online learning, but as a combination of training methodologies, which uses the best delivery 
method  for  the  successful  achievement  of  the  learning  objective.  It  requires  not  only  a  flexible  and 
experienced teacher/ tutor, but also a self‐regulated/ autonomous learner. The teacher is not an authority in 
the  class  anymore.  S/he  should  only  teach/  navigate  his/  her  learners  how  to  process  and  form  scientific 
knowledge  and  enquiry.  Therefore,  this  article  focuses  on  blended  learning  as  one  of  the  current  forms  of 
instruction  in  the  teaching  of  foreign  languages.  It  explores  its  definition,  principles,  methodology  and  its 
relevancy for the teaching of English. Furthermore, it emphasizes an irreplaceable position of a teacher in this 
process. In addition, the authors provide a few specific examples in which the blended form is used. Finally, 
they present a survey among the Czech and Kazakh students about their preferred form of instruction in the 
learning of English in order to verify whether the blended form of instruction is welcomed or not by students 
in their learning of English.  
 
Keywords: blended learning, forms of instruction, survey, English, students 

1. Introduction 
The  terminology  in  the  area  of  education  is  constantly  changing  and  being  innovated.  Particularly  with  the 
arrival  of  new  technologies,  many  new  terms  have  emerged  such  as  eLearning,  on‐line  learning,  blended 
learning or computer base learning. 
 
The term blended learning has been today commonly used, especially in further and higher education settings. 
The term itself is quite difficult to define since it is used in diverse ways by different people. Overall, there exist 
the three most common meanings for blended learning (cf. Whitelock & Jelfs, 2003):  
ƒ the integration of traditional learning with web‐based online approaches;  
ƒ the combination of media and tools (e.g. textbooks) employed in e‐learning environments; and 
ƒ the  combination  of  a  number  of  teaching  and  learning  approaches  irrespective  of  the  technology  used 
(Driscoll, 2002).  
It should be also noted here that in Northern America instead of the term blended learning they sometimes 
use the term hybrid learning or mixed learning. The authors of this article suggest following Littlejohn & Pegler 
(2007)  who  perceive  blended  learning  as  an  integration  of  face‐to‐face  teaching  and  learning  methods  with 
online approaches.  
 
In  general,  blended  learning  is  about  a  mixture  of  instructional  modalities  (i.e.  onsite,  web‐based  and  self‐
paced  learning),  delivery  media  (e.g.  the  Internet,  classroom  sessions,  web‐based  courses,  CD‐ROMs,  video, 
books,  or  PowerPoint  presentations),  instructional  methods  (i.e.  face‐to‐face  or  technology‐based  sessions), 
and web‐based technologies, both synchronous and asynchronous (e.g. chat rooms, wikis, virtual classrooms, 
conferencing tools, blogs, textbooks or online courses). The choice of a blend is usually determined by several 

181
 
Blanka Frydrychová Klímová and Petra Poulová 

factors: the nature of the course content and learning goals, student characteristics and learning preferences, 
teacher’s experience and teaching style, or online resources (cf. Dziuban, Hartman & Moskal, 2005). 
 
Based on the literature review (Graham, 2005; or Khan, 2005), there have been identified four main principles 
of the blended learning methodology so far: 
ƒ a thoughtful integration of face‐to‐face and fully online instructional components; 
ƒ innovative use of technology; 
ƒ reconceptualization of the learning paradigm; and 
ƒ sustained assessment and evaluation of blended learning. 
The  first  principle  attempts  to  enrich  the  benefits  of  both  environments  and  successfully  meet  the  diverse 
students’ needs and preferences. 
 
The  second  principle  means  that  any  technology  should  be  applied  in  a  pedagogically  appropriate  way  and 
used for creating and maintaining socially situated and highly interactive learning (Vaughan, 2007). 
 
The third principle tries to incorporate new emerging pedagogies and learning theories such as constructivism 
or activity theory, together with the new challenging roles of students and teachers in the process of acquiring 
knowledge and its understanding. 
 
The  fourth  principle  of  the  blended  learning  methodology  should  ensure  the  quality  and  effectiveness  of 
education. 
 
The main reasons why blended learning should be employed in teaching is as follows: 
ƒ it contributes to pedagogy because it supports more interactive strategies, not only face‐to‐face teaching 
(Graham et al, 2003); 
ƒ it thus encourages collaborative learning; students or educators can work together on some projects from 
anywhere and at any time (Bruffee, 1993; Černá & Svobodová, 2013); 
ƒ it  deepens  intercultural  awareness  since  it  puts  together  researchers,  educators,  and  students  from 
anywhere in the world; 
ƒ it  reduces  costs  of  teaching  and  learning  since  students  do  not  have  to  undertake  so  many  frequent 
travels to complete their education (Graham et al., 2003); and    
ƒ it might match student’s learning style although there is no clear consensus on this issue (Coffield, 2004; 
Gregorc, 1979; Hubáčková & Semrádová, 2013; Poulová & Šimonová, 2012). 
However,  there  are  also  drawbacks  of  blended  learning  (see,  for  example,  Čech  &  Klímová,  2003).  Blended 
learning  is  time‐consuming  and  demanding  in  terms  of  creating  materials  and  preparation  and  evaluation. 
Furthermore, both students and teachers sometimes have limited knowledge regarding the use of technology, 
and  technical  glitches  are  liable  to  happen  at  any  moment.  Finally,  students’  study  skills  are  often  not 
sufficiently developed to enable them to benefit maximally from blended learning. 
 
In addition, the blended learning approach as described above requires an independent learner and a teacher 
who  supports  and  encourages  him/her  in  such  learning.  Thus,  the  roles  of  both  learner  and  teacher  are 
changing. In fact, the current paradigm sees teaching and learning as social processes where the students are 
active  co‐constructors  of  knowledge  with  their  teachers.  The  teacher  is  becoming  a  facilitator,  mediator, 
mentor  or  a  coach.  Wheeler  (2009)  has  listed  seven  skills  that  blended  learning  instructors/teachers  should 
possess: 
ƒ they should be able to support and encourage learners; 
ƒ they should not be afraid to take risks with new technologies; 
ƒ they should be able to transfer good teaching skills into online contexts; 
ƒ they should be good communicators in any medium; 
ƒ they should be non‐conformists; 

182
 
Blanka Frydrychová Klímová and Petra Poulová 

ƒ they should thrive in a culture of change; 
ƒ they should have the ability to see the big picture. 

2. Blended learning approach in the teaching of foreign languages 
Blended  learning  has  also  become  one  of  the  successful  learning  strategies  in  the  acquiring  of  a  second 
language. In fact, blended learning has been a major growth point in the English language teaching industry 
over  the  last  ten  years.  As  Mothejzíková  (2005/2006,  p.  131)  states,  there  is  a  prime  focus  on  the  fields  of 
knowledge  in which citizens acquire  the  skills  and  knowledge necessary  for  effective  communication,  i.e.  on 
the teaching of foreign languages and information and communication technologies (ICT). Therefore, blended 
learning in the teaching of foreign languages is sometimes defined as a combination of traditional, face‐to‐face 
teaching and computer assisted language learning (CALL). In connection with blended learning, Veselá (2012) 
speaks about the term blended CALL which she explains as language teaching/learning with the help of various 
technological means in combination with traditional classroom instruction. Dziuban, Hartman & Moskal (2005) 
define blended learning in the EFL (English as a foreign language) settings more broadly. According to them, 
blended learning is a pedagogical approach that combines the effectiveness and socialization opportunities of 
the classroom with the technologically enhanced active learning possibilities of the online environment.  
 
According to De Praeter (2008), a classic example of using the blended learning approach is a course of English 
as a second language where the teacher decides that all audio‐based activities (listening comprehension and 
oral  comprehension)  will  take  place  in  the  classroom  while  all  written  text‐based  activities  will  take  place 
online (reading comprehension and essay writing). Similarly, Frydrychová Klímová (2012) provides an example 
of  an  EAP  (English  for  Academic  Purposes)  blended  course  on  Academic  Writing  taught  at  the  Faculty  of 
Informatics and Management in Hradec Králové where the teacher decides that all written assignments, such 
as essays, will be submitted via the online course and similarly, self‐study of further reference reading will be 
done online. In the follow‐up face‐to‐face class the teacher and the students will discuss particular difficulties 
or goals connected with their online work and the teacher also clarifies any errors students may have made in 
their assignments. 
 
In addition, based on the definitions described in section 1, Harmer (2012) understands blended learning as an 
approach in which students get some of the input from material such as a coursebook, and then expand on it 
with material and websites on the internet. Thus, for example, if students read or listen to a text about some 
famous personality, they can go to the internet and see what else they can find in the way of extra information 
or video clips. Moreover, if their coursebook has a companion website, the students can go there and find a 
range of extra texts, exercises, references and activities.  
 
Thus, the added value of blended learning in the EFL settings course might be as follows:  
ƒ online learning can allow access to target language culture through the use of Youtube videos, meaningful 
situational  videos,  chat  rooms  or  videoconferencing;  these  tools  enable  the  EFL  students  to  have  more 
access to native speakers, but also to interact and collaborate with their foreign peers;  
ƒ language is about communication and through exploiting the above mentioned tools students are more 
often exposed to the target language than in the traditional language classes; and if they are appropriately 
motivated, they might be enthusiastic to practise the language frequently outside the traditional settings;  
ƒ using the Internet can help students to improve their key language skills, particularly the skills of listening, 
reading, and writing;  
ƒ the web‐based materials or CD ROMs components give students a chance to revisit lectures or seminars; 
and 
ƒ the more frequent teacher’s feedback means that students are able to practise the language more often 
and are able to avoid repeating their previous errors (Hubáčková, 2010). 
At the Faculty of Informatics and Management (FIM) of the University of Hradec Králové in the Czech Republic 
classes have different forms of instruction. They can be run traditionally, which means face‐to‐face, or purely 
online, which is mainly used for distant students who successfully benefit from this form of instruction because 
they  are  not  always  able  to  come  to  face‐to‐face  lectures  due  to  their  job  commitments.  The  third  form  of 
instruction  which  is  also  exploited  at  the  faculty  is  blended  learning.  As  it  has  been  pointed  out  above,  this 
form of instruction is particularly suitable for the teaching of languages. But do the students welcome to have 

183
 
Blanka Frydrychová Klímová and Petra Poulová 

their  language  classes  run  in  this  form?  In  order  to  discover  this,  the  authors  performed  an  international 
survey, which is discussed below. 

3. Survey and its findings 
In  January  of  2014,  42  part‐time  students  of  Management  of  Tourism  at  FIM  were  given  a  questionnaire  in 
order  to  discover  what  their  preferred  form  of  instruction  is.  The  same  was  performed  at  Karaganda  State 
Technical University in January 2013 among 65 students from managerial fields. The research tools used were 
as follows: 
ƒ pen and paper questionnaires; 
ƒ descriptive statistical methods of processing the results of the survey; and  
ƒ observations.  
The  level  of  students’  English  was  in  most  cases  B2  according  to  the  Common  European  Framework  of 
Reference for languages (CERF). 
 
All Czech students submitted the questionnaires. 35 (83%) of them were females and 7 (17%) were males. (See 
Fig. 1) The biggest groups of the students were between 20‐24 years old (31%) and between 25‐29 years old 
(31%),  while  19%  of  the  respondents  were  between  30‐34  years  old.  12%  were  aged  between  35‐39  years. 
(See  Fig.  2)  As  far  as  the  Kazakh  students  are  concerned,  65  were  given  a  questionnaire  but  eight  (12%) 
students  did  not  respond.  Out  of  the  total  number  33  (51%)  were  males  and  24  (37%)  were  females.  The 
largest group of respondents was again between 20‐24 years old (80%).  

 
Figure 1: Respondents’ gender 

 
Figure 2: Age categories 

184
 
Blanka Frydrychová Klímová and Petra Poulová 

Within  a  larger  survey  focused  on  the  development  of  students’  productive  language  skills,  students  were 
asked the following question: 
 
Which form of instruction would you prefer in the teaching of English? Please tick one option only. 
ƒ traditional, face‐to‐face; 
ƒ online/eLearning; or 
ƒ blended (a combination of traditional and online teaching). 
Czech students: As for the form of instruction, 21 students (50%) prefer a combination of online and traditional 
teaching; 16 respondents (38%) would rather be exposed to face‐to‐face teaching and only five students (12%) 
would favour pure online teaching. See Fig. 3 below. 

 
Figure 3: Form of instruction ‐ Czech students 
Kazakh students: As Fig. 2 shows, most of the Kazakh students still stick to the traditional form of instruction 
(34 students/ 52%). 24 (37%) respondents prefer a combination of traditional and online forms of instruction 
and only two students (3%) favour pure online teaching. Five students (8%) did not respond to this question. 

 
Figure 4: Form of instruction ‐ Kazakh students 

185
 
Blanka Frydrychová Klímová and Petra Poulová 

4. Conclusion 
From the above described results of the survey, it is clear that the Czech students welcome an opportunity to 
work  in  the  so‐called  combined/blended  form  of  learning.  The  reason  is  that  they  can  complete  their 
knowledge  and  thus  finish  their  learning  process,  which  they  did  not  manage  to  do  during  the  face‐to‐face 
classes. They are not forced to do it immediately at school or in the library because they can access the online 
course  from  the  cosines  of  their  homes  any  time  they  feel  like  that.  In  addition,  if  they  did  not  understand 
anything  during  the  lecture,  they  can  contact  their  teacher  online  and  ask  him/her.  Similarly,  the  Kazakh 
students also exploit the blended form of learning. However, most of them still welcome the traditional, face‐
to‐face classes since not all of them can afford to have a computer at home and moreover, at school they do 
not have such a frequent access to a computer. Although the university is equipped with a large number of 
computer laboratories, these are mostly used for the scheduled classes and students are thus not able to use 
them  for  their  self‐study  so  often.  This  difference,  however,  will  not  be  that  substantial  since  most  of  the 
Kazakh  students  at  Karaganda  State  Technical  University  had  their  own  smart  phone  and  often  even  their 
notebook during the focus interviews. Furthermore, their computer literacy was at a very good level as they 
showed while doing some practical tasks. In addition, cultural aspects can also influence their preference for 
the  traditional  form  of  instruction.  In  central  Asia,  to  which  Kazakhstan  belongs,  the  traditional  approach 
respects the authority. And the teacher is an important authority for students. Unlike the European students, 
these Kazakh students thus prefer a closer relationship with their teacher/s and a higher rate of control than it 
is in case of blended learning. This fact requires a deeper analysis and future research will focus on it. 
 
Therefore, blended learning can be a solution to the teaching of foreign languages since it can contribute to 
the compensation for the various deficiencies in the foreign language settings such as a lack of high frequency 
of exposure, a lack of exposure to the target language community or adopting inadequate learning strategies. 
However, one must always bear in mind the purpose of using this approach and the learner’s needs. As Brown 
(1987, p. 13) says: 
Every learner is unique. Every teacher is unique. And every learner‐teacher relationship is unique. 
Thus,  teachers  inevitably  must  adjust  their  teaching  to  the  new  challenging  computer‐mediated  teaching 
conditions and explicitly instruct their students how to make their learning most effective with the help of ICT. 
They should provide their students with a study guide which would explain to them how to proceed in their 
studies. Furthermore, teachers should show their students that it is them who are responsible for their studies 
in this new computer‐mediated environment and who can enormously profit from networking with their peer 
and their teacher/ tutor. 
References 
Brown, H. D. (1987). Principles of language learning and teaching. Prantice‐Hall. 
Bruffee, K. (1993). Collaborative learning. Baltimore: The John Hopkins University Press.  
Čech, P., & Klímová, B. (2003). Kurz Teaching written business English (TWBE). In J. Sedláček (Ed.), Sborník příspěvků ze 
semináře a soutěže e‐learning 2003, pp. 23‐26. Hradec Králové: Gaudeamus. 
Černá, M., & Svobodová, L. (2013) Current social media landscape. Proceedings of the 10th International Conference on 
Efficiency and Responsibility in Education (ERIE 2013), Prague . pp. 80‐86. 
Coffield, F. et al. (2004). Learning styles and pedagogy in post‐16 learning. A systematic and critical review. Newcatle 
University report on learning styles. Retrieved July 3, 2012, from http://www.Isda.org.uk/files/PDF/1543.pdf 
De Praetere, T. (2008). E‐learning. Retrieved June 29, 2010, from http://knol.google.com/k/thomas‐de‐praetere/e‐
Learning/20ohkjtmn38cb/2# 
Driscoll, M. (2002). Blended Learning: Let’s Go beyond the Hype. E‐learning, March . 
Dziuban, C.D., Hartman, J.L., & Moskal, P.D. (2005). Higher education, blended learning and the generations: Knowledge  is 
power – no more. In J. Bourne and J.C. Moore (Eds.),  
Elements of quality online education: engaging communities.  Needham, MA: Sloan Center for Online.  
Frydrychová Klímová, B. (2012a). Teaching formal written English. Univerzita Hradec Králové: GAUDEAMUS. 
Graham, C.R. et al. (2003). Benefits and Challenges of Blended Learning Environments. In: M. Khosrow‐Pour (Ed.), 
Encyclopedia of Information Science and Technology I‐V.  Hershey, PA: idea Group Inc. 
Graham, C.R. (2005). Blended learning systems: Definition, current trends, and future directions. In C. J. Bonk and C. R. 
Graham (Eds.), Handbook of blended learning: global perspectives, local designs. San Francisco, CA: Pfeiffer 
Publishing. 
Gregorc, A. F. (1979). Learning/teaching styles: potent forces behind them. Educational  Leadership, 36, 234‐238. 
Harmer, J. (2012). Essential teacher knowledge. Core concepts in English language teaching.England: Pearson Education 
Limited. 

186
 
Blanka Frydrychová Klímová and Petra Poulová 

Hubáčková, Š. (2010). Foreign language teaching with WebCT support.  Procedia –  Social and Behavioral Sciences, 3, 112‐
115. 
Hubačková, Š., & Semrádová, I. (2013). Comparison of on‐line teaching and face‐to‐face eaching. Procedia – Social and 
Behavioral Sciences,  89, 445‐449.  
Khan, B. H. (2005). E‐learning quick checklist. London. 
Littlejohn, A., & Pegler, C. (2007). Preparing for blended e‐Learning. UK: Routledge‐Falmer. 
Mothejzíková, J. (2005/2006). Didaktika cizích jazyků v novém evropském kontextu (I, II).Cizí jazyky, 49(4,5), 131‐133; 171‐
173. 
Poulová, P., & Šimonová, I. (2012). Flexible e‐learning: online courses tailored to student’s Needs. Proceedings of the 9th 
International Scientific Conference on Distance Learning in Applied Informatics (DIVAI 2012), (pp. 251‐260). Nitra: 
UKF. 
Vaughan, N. (2007). Perspectives on blended learning in higher education. International Journal on E‐Learning, 6(1), 81‐94. 
Vygotsky, L. (1978). Mind in society. Cambridge, MA: Harvard University Press. 
Wheeler, S. (2009). Learning with ‘e’s. Retrieved January 27, 2010, from http://steve‐wheeler.blogspot.com/2009/05/7‐
skills‐for‐successful‐e‐tutor.html 
Whitelock, D., & Jelfs, A. (2003). Editorial: Journal of Educational Media Special Issue on  Blended Learning. Journal of 
Educational Media, 28(2‐3), 99‐100. 

187
Faculty Motivators to Teach Online at a Private, Metropolitan 
University 
Susan Glanz 
St. John’s University, USA 
glanzs@stjohns.edu 
 
Abstract: Data from the US Census Bureau shows that in the last few years the number of 18‐year olds in the North‐East, 
the  traditional  source  of  student  population  for  St.  John’s  University,  a  private,  metropolitan  university  in  New  York,  is 
declining. The higher education student population increasingly includes non‐traditional students, students outside of the 
usual college age range of 18‐22. This change, the increase of non‐traditional students, and the stagnating economy that 
forces the traditional students to accept longer part‐time working hours, drives an increased demand for alternative routes 
to earning a college degree. A component of this new teaching and learning method is online learning. Faculty acceptance 
of online teaching is critical to meet this demand. The purpose of this research study is to discover the different motivators 
and incentives that attract adjunct and full‐time faculty to teach online at St. John’s University. This presentation will report 
on the initial findings from a research study of factors that enable and encourage faculty participation in online teaching 
and will also  investigate what factors undermine motivation to  teach online. The study will also investigate whether the 
factors motivating or inhibiting full‐time faculty differ from those of adjunct faculty. The top motivator for all faculty is the 
personal use of technology. The top demotivator is the greater time commitment teaching online requires. The results of 
the St. John’s University survey will be compared to other studies completed and recommendations will be made for future 
research. 
 
Keywords: online education, faculty motivators, faculty demotivators 

1. Introduction 
The  May  15,  2014  issue  of  Inside  HigherEd  reported  that  university  enrollment  in  the  USA  declined  in  the 
previous  two  years.  For  private  colleges  in  the  Northeast  of  the  USA  this  drop  in  enrollment  was  caused  by 
changing  demographics,  the  stagnating  economy,  their  relative  high  tuition  cost  coupled  with  competition 
from  the  less  expensive  state  and  city  colleges.  To  appeal  to  students,  colleges  try  to  increase  their  course 
offerings and the varieties of ways students can earn degrees. Offering online courses is one of the solutions as 
it is a way to attract students from outside the commuter radius, to appeal to the atypical, older student, and 
at the same time save classroom space. Online courses also allow students to work while attending college. 
While for students the leading motivators to register for online courses are the convenience and the flexibility 
offered by this method; for faculty members the most important issue when deciding to teach a course online 
is whether the students learn as much (or as little) as in the traditional classroom. 
 
St. John’s University (SJU) is a private, Catholic university in NY, founded in 1870, with a current enrollment of 
about 20,000, graduate and undergraduate students. SJU began offering online courses in 2000 and students 
then could choose from 14 courses. In the Fall 2003 semester SJU began distributing laptops to the incoming 
freshmen class. The number of courses offered online and enrollment in these courses steadily increased, and 
in the 2014 spring semester, university‐wide, there were 288 graduate and undergraduate courses offered and 
several degrees can now be completed entirely online. Since 2000 the University’s Strategic Plans included the 
goal of expanding and enhancing distance learning.  
 
Faculty  participation  is  vital  for  distance  education  programs  to  succeed,  as  faculty  are  central  in  the 
development  and  implementation  of  courses  and  thus  are  the  scaffolding  on  which  the  long‐term 
sustainability of online and blended education programs is built. How do faculty from a private, metropolitan 
university  perceive  participation  in  online  teaching?  This  exploratory  study  surveyed  faculty  perceptions  of 
motivating and inhibiting factors for participating in distance education. The research design for the study is 
non‐experimental and used the survey research method and descriptive statistics to analyze the data.  
2. Brief literature review 
There  are  a  number  of  studies  that  investigate  faculty  motivation  to  teach  online.  Several  of  these  studies 
compare  motivating  and  inhibiting  factors  between  faculty  who  teach  online  and  those  that  do  not  (Betts 
1998a,  Betts  1998b;  Betts  2014;  and  Schifter  2000);  while  Schroeder’s  (2008)  and  Wolf’s  (2011)  doctoral 
dissertations looked at the motivating factors for adjunct faculty. Shea (2007) studied motivating factors across 

188
 
Susan Glanz 

colleges in a large state university system, while O’Quinn and Cory (2002) and Lloyd, Byrne and McCoy (2012) 
analyzed  the  barriers  perceived  by  faculty  for  online  teaching.  Retaining  faculty  in  distance  education 
programs  was  studied  by  Green,  Alejandro  and  Brown  (2009).  In  a  focus  group  study,  Hiltz,  Shea,  and  Kim 
(2007) found that the flexibility of teaching anytime from anywhere was one of the most important motivators 
for faculty to teach 100% online. 
 
Pinkerton’s  (2008)  dissertation  looked  at  motivating  and  demotivating  factors  at  a  community  college  for 
faculty already teaching online and non‐participating faculty, but her findings are difficult to compare to other 
studies,  as  several  of  the  factors  she  considered  extrinsic  were  considered  intrinsic  by  other  researchers. 
Parker (2003) and Maguire (2005) published comprehensive reviews of the literature published until then. A 
detailed literature review can be found in Hoffman’s (2013) thesis on motivating factors. 
 
To date only three studies compared the motivating and demotivating factors to teach online for full‐time and 
adjunct faculty. Chapman (2011) surveyed and analyzed the faculty at a large Southeastern University, while 
Gullickson  (2011)  studied  faculty  at  a  community  college.  Tenzer’s  (2013)  dissertation  replicated  Chapman’s 
study at a for‐profit applied arts college.  
3. The purpose of this study  
As  the  online  course  offerings  and  the  number  of  faculty  teaching  online  expands,  there  is  a  need  to 
understand  what  motivates  faculty  to  teach  online.  As  both  full‐time  and  adjunct  faculty  teach  online,  this 
study  undertakes  to  find  out  if  there  is  a  difference  between  the  motivating  and  inhibiting  factors  to  teach 
online depending on the faculty members’ employment status at the university. The theoretical framework for 
this study is based on a theory of human motivation as posited by Deci and Ryan (1985); namely, that intrinsic 
and extrinsic rewards can be used as motivators. Intrinsic motivation is defined as “the individual’s desire to 
participate  in  a  given  activity  where  the  reward  is  the  activity”,  while  extrinsic  motivation  means  “an 
individual’s desire to participate in a given activity for something other than the activity itself. The motivation 
and satisfaction derived from the activity is contingent upon a reward” (Betts 1998a, p.73‐74).  
 
Research Question 1 is: 
 
Is there a difference between what factors motivate full‐time faculty (tenured and non‐tenured) and adjunct 
faculty to teach academic courses online? 
 
Research Question 2 is: 
 
Is  there  a  difference  between  what  factors  inhibit  full‐time  faculty  (tenured  and  non‐tenured)  and  adjunct 
faculty to teach from teaching more academic courses online? 

4. Method 
With permission of Dr. Kristen S. Betts a modified version of the survey she developed in 1998(a) was used. 
Her survey was appropriate for this study because it addressed the issues of motivating and inhibiting factors 
for online teaching and since its development was used by several researchers at various colleges. Some of the 
institutions of higher learning where this instrument was used: Armstrong Atlantic State University, California 
State  University  at  Fullerton,  George  Washington  University,  Tennessee  State  University,  Temple  University, 
New Mexico State University ‐ Dona Ana Community College and the University of North Texas.   
 
The modified Betts survey instrument is divided into three sections. Section 1 of the questionnaire collected 
data  on  demographic  information  and  teaching  experience.  Section  2  is  a  self‐assessment  of  the  motivating 
factors  as  they  relate  to  an  instructor’s  decision  to  teach  online  and  Section  3  is  a  self‐assessment  of  the 
demotivating factors as they relate to involvement in teaching additional courses online. 
 
The survey created on Google Docs was distributed to the 200 faculty members teaching online courses at St. 
John’s University in the Spring 2014 semester. After one week a ‘gentle’ reminder was sent to all members of 
the  target  population,  and  a  follow  up  email  was  sent  two  weeks  later.  112  completed  and  usable  faculty 
surveys  were  returned  for  a  response  rate  of  56%.  This  semester  there  were  127  full‐time  faculty  teaching 
online,  66  completed  the  survey,  for  a  response  rate  of  52%;  of  the  73  adjuncts  46  completed  the  survey 

189
 
Susan Glanz 

(63%).  The data  was  entered  into an  Excel database  and analyzed. Besides  questions regarding  age,  gender, 
years  teaching,  both  online  and  face‐to‐face  and  course  load;  the  survey  consisted  of  statements  for  which 
faculty  were  asked  to  select  a  response  based  on  a  six‐point  Likert  scale.  This  Likert  scale  was  assigned  a 
numerical value between one and six, as follows: Strongly Agree: 5; Agree: 4; Neutral: 3; Disagree: 2; Strongly 
Disagree: 1, and Not Applicable: 0. The survey included 30 motivating and 16 inhibiting factors which are listed 
in  the  Tables  2  and  3.  Cronbach’s  alpha,  which  measures  internal  consistency,  was  used  to  estimate  the 
reliability  of  the  scaled  items.  In  this  study  the  motivating  items  yielded  a  Cronbach  alpha  of  0.915  and  the 
demotivators had an alpha of 0.911, indicating a high degree of internal consistency in both cases.  
 
Faculty from every SJU college is represented in the data.  
Table 1: Summary of some of the demographic data  
Full‐time faculty  Adjunct faculty 
Gender  Gender 
Male  Female  Male  Female 
33 (50%)  33 (50%)  21 (45.7%)  25 (54.3%) 
Average age  Average age 
48.4  52  47.5  53.2 
Average number of years teaching in higher ed  Average number of years teaching in higher ed 
13.5  15.3  12  11.4 
Average number of years teaching online in higher  Average number of years teaching online in higher 
education  education 
4.9  7  4.4  5.4 

The majority of the courses taught online are undergraduate courses, and most faculty teach both face‐to‐face 
and  online  courses.  The  results  of  the  demographic  information  collected  at  SJU  shows  a  similar  profile  of 
faculty  teaching  online  to  what  is  found  at other  colleges;  namely  an  older  faculty and  slightly  more  female 
faculty  are  involved  in  teaching  online  (Shea  2007).  SJU  has  followed  the  best  practices  suggested  by  the 
literature. Namely, at SJU in order to teach online, faculty have to complete a 6 week online pedagogy course. 
After  the  completion  of  the  pedagogy  course  faculty  members  are  assigned  a  faculty  mentor  to  help  them 
teach their first course online. After teaching the first course online a small stipend is paid. The fact that faculty 
like  teaching  online  is  supported  by  the  fact  that  65%  have  completed  an  online  course,  other  than  the 
required pedagogy course. At the end of each academic year faculty may submit a report on their activities for 
the previous year. A committee evaluates these reports and these are the bases for merit raises. These reports 
include categories for teaching online and for publishing in online journals and these activities are evaluated 
the same way as traditional teaching and publications. 

5. Motivators 
Of  the  30  motivating  items  on  the  survey,  12  are  classified  as  intrinsic  motivators,  and  18  as  extrinsic 
motivators.  For  the  faculty  as  a  whole,  the  intrinsic  motivators  play  a  more  important  role  than  extrinsic 
motivators. The mean for the 12 intrinsic motivator was 3.558 (standard deviation‐ SD 0.54), while the mean 
for the 18 extrinsic motivators was 2.680 (SD 0.611), indicating that intrinsic motivators play a more important 
role in teaching online.  
 
Based on the study of the literature no consensus emerged as to the leading motivator for faculty participation 
in distance education. Several studies found that the principal motivators were flexible working conditions, an 
extrinsic motivator; (Chapman 2011; Green, Alejandro and Brown 2009; Hiltz, Shea and Kim 2007; Shea 2007; 
Tenzer  2012);  while  others  found  intrinsic  motivators  as  the  leading  motivators,  for  example,  the  ability  to 
reach new audiences that cannot attend classes on campus (Betts 1998b, Clay 1999); while in an early study 
McKenzie  et  al,(2000)  found  that  faculty’s  desire  to  get  students  more  involved  with  technology  was  the 
leading motivator. Studies by Schifter (2000) and Betts (2014) found the personal motivation to use technology 
as the main motivator for faculty, which is the case at SJU. In all studies this motivator, the personal use of 
technology, was in the leading five factors.  
 
Table 2 shows the breakdown of the motivators for full‐time and adjunct faculty ranked by the means of the 
answers. The table also separates the motivators according to whether they are intrinsic and extrinsic.  
 

190
 
Susan Glanz 

Table 2: Summary of motivators ranked based on the mean for full‐time and adjunct faculty and by intrinsic 
and extrinsic categories. (I=intrinsic motivator; E=extrinsic motivator) 
MOTIVATORS  Rank based on mean (mean in  Signifi
question # 

parenthesis)  cance 
level 
Full‐time  Adjunct   
1  Personal motivation to use technology  I  1 (4.08)  1 (4.41)  P=0.13
5 
3  Opportunity for scholarly pursuit  I  12(3.12)  16(3.41)  P=0.29
8 
5  Opportunity to use personal research as a teaching tool  I  19 (2.53)  20(2.83)  P=0.32
0 
1 Opportunity to develop new ideas  I  9 (3.64)  6 (3.91)  P=0.31
2  4 
1 Visibility for jobs at other institutions/organizations  I  25 (2.17)  18(3.09)  P=0.00
3  2 
1 Intellectual challenge  I  7 (3.67)  9 (3.87)  P=0.45
7  7 
1 Overall job satisfaction  I  6 (3.70)  2 (4.09)  P=0.12
8  9 
2 Career exploration  I  15(2.91)  14 (3.43)  P=0.08
0  6 
2 Opportunity to improve my teaching  I  3 (3.85)  8 (3.89)  P=0.86
2  9 
2 Greater course flexibility for students  I  2 (4.08)  3 (4.04)  P=0.88
5  4 
2 Ability to reach new audiences that cannot attend classes on  I  4 (3.82)  4 (3.93)  P=0.67
7  campus  3 
2 Opportunity to diversify program offerings  I  8 (3.67)  5 (3.93)  P=0.30
8  9 
           
2  Graduate training received  E  28 (1.98)  22 (2.72)  P=0.07
9 
4  Reduced teaching load  E  30 (1.82)  29 (1.93)  P=0.66
9 
6  Requirement by department  E  22 (2.24)  27 (2.13)  P= 
0.728 
7  Support and encouragement from dean or chair  E  10 (3.44)  11 (3.65)  P= 
0.575 
8  Working conditions (e.g., hours, location)  E  11 (3.41)  10 (3.85)  P=0.45
0 
9  Job security  E  23 (2.24)  23 (2.72)  P=0.15
1 
1 Monetary support for participation (e.g., stipend, overload)  E  26 (2.12)  26 (2.48)  P=0.23
0  7 
1 Expectation by university that faculty participate  E  14 (2.91)  21 (2.74)  P=0.57
1  1 
1 Professional prestige and status  E  20 (2.39)  19 (2.98)  P=0.04
4  4 
1 Grants for materials/expenses  E  29 (1.83)  30 (1.52)  P=0.22
5  3 
1 Support and encouragement from departmental colleagues  E  18 (2.62)  17 (3.15)  P=0.04
6  0 
1 Technical support provided by the institution  E  17 (2.77)  13 (3.52)  P=0.00
9  4 
2 Credit toward promotion and tenure  E  21 (2.26)  28 (1.96)  P=0.33
1  5 
2 Distance education training provided by SJU  E  13 (2.94)  12 (3.54)  P=0.02
3  8 
2 Possibility of merit pay  E  24 (2.21)  25 (2.54)  P=0.25
4  7 

191
 
Susan Glanz 

question #  MOTIVATORS  Rank based on mean (mean in  Signifi

parenthesis)  cance 
level 
Full‐time  Adjunct   
2 Greater course flexibility for Faculty  E  5 (3.80)  7 (3.91)  P=0.68
6  9 
2 Support and encouragement from institutional administrators  E  16 (2.91)  15 (3.43)  P=0.04
9  0 
3 Availability of publisher supplied course content  E  27 (2.09)  24 (2.65)  P=0.05
0  3 
P<= 0.05 are italicized 
 
For  both  groups  the  rankings  are  similar.  Personal  motivation  to  use  technology  ranked  highest  for  both 
groups, and the first four motivators for both groups are intrinsic motivators. The lowest ranked motivators 
are also similar. Reduced teaching load (q.4) and grants for materials (q.15) were not important to SJU faculty 
members as they know from experience that these requests will likely be denied. 
 
A single factor ANOVA test was used to calculate significance effects. The single factor ANOVA compares the 
means between the groups and determines whether any of those means are significantly different from each 
other. Significance level of α = 0.05 was chosen for the test. The p<=0.5 indicates a significant result, that some 
of the means are significantly different from each other.  
 
When  the  means  of  the  intrinsic  and  extrinsic  motivators  were  compared  within  groups,  in  both  cases  the 
difference  between  the  means  were  significant  (p=0.001  for  adjuncts  3.736  for  intrinsic  versus  2.86  for 
extrinsic;  while  for  full  time  faculty  p=0.0004  with  a  mean  for  intrinsic  motivators=3.437  and  for  extrinsic 
motivators=2.554). 
 
The results of the ANOVA test for individual motivators between adjuncts and full‐time faculty are summarized 
in  Table  2.  Statistically  significant  differences  between  the  two  population  samples  were  found  in  six 
categories. In the case of intrinsic motivators only one mean, the mean for the importance of visibility at other 
institutions  (q.13),  was  significantly  different.    Visibility  is  not  important  to  full‐time  faculty,  since  they  are 
tenured  or  on  the  tenure  track,  while  it  is  important  to  adjunct  faculty,  who  may  be  looking  for  a  full‐time 
appointment.  
 
From  the  list  of  extrinsic  motivators,  the  means  were  significantly  different  for  distance  education  training 
(q.23) and technical support (q.19). This was judged more important by adjunct faculty, as they spend less time 
on  campus  and  thus  have  a  harder  time  having  technical  issues  resolved.  Adjuncts  view  the  institution’s 
support (q.29) as more important than full‐time faculty as it reinforces their sense belonging to the university. 
Adjuncts also view support from the department (q.16) as key as it indicates acceptance by colleagues. 
 
The  intrinsic  motivators  themselves  can  be  divided  into  two  categories,  student  centered  motivators:  the 
ability to reach new audiences that cannot attend classes on campus, greater course flexibility for students and 
the diversification of program offerings (questions 25, 27, 28) and the other 9 intrinsic factors fall under the 
faculty  member's  internal  personal  motivating  factors.  For  both  full‐time  faculty  and  adjuncts  the  student 
centered motivators had the higher means, all above 3.5. Except for the category of “use of personal research 
as a teaching tool” all other intrinsic motivators had means of greater than 3. The high ranking of the greater 
course  flexibility  for  students  (q.25)  and  the  ability  to  reach  new  audiences  that  cannot  attend  classes  on 
campus (q.25) should be taken into consideration by university administrators and chairpersons when planning 
course schedules.  
 
The fact that there is only a minor difference between the rankings of the means of the two groups indicates 
that faculty, whether full‐time or adjunct, are motivated by the similar factors. As the table shows, for faculty 
the  leading  extrinsic  motivator  is  that  online  teaching  provides  the  greater  course  flexibility  (q.26)  but  the 
flexible working conditions (q.8) are ranked lower at SJU then in Chapman’s (2011) study which found that for 
both full‐time and adjunct faculty flexibility as the number one motivator for teaching online. Thus, the answer 
to research question one as to is there a difference between the motivating factors for full‐time and adjunct 
faculty, the answer is no. Both groups are more motivated by intrinsic factors. 

192
 
Susan Glanz 

6. Demotivators 
Of  the  16  factors  that  discourage  faculty  from  increased  participation  in  online  teaching,  only  three  are 
intrinsic  (concern  about  workload,  quality  of  students  and  quality  of  courses)  and  13  are  extrinsic.  For  the 
whole faculty, all three intrinsic factors on the demotivator/inhibitor list had means above 3, only one extrinsic 
demotivator had a mean greater than 3, and the remaining 12 statements all had means between 2.3 and 2.7. 
This shows that for both groups of faculty who are relatively experienced in teaching online there were few 
strongly demotivating factors.   
 
The p value of the single factor Anova test for the demotivators was 0.039. As this less than the alpha‐level of 
0.05, one or more means are significantly different. Thus the answer to research question 2, namely is there a 
difference between demotivating factors between full‐time and adjunct faculty teaching online, the answer is 
yes. 
 
As table 3 shows all the intrinsic demotivators had higher means than the extrinsic inhibitors for both the full‐
time  and  adjunct  faculty,  and  here  the  differences  in  the  means  were  also  significant.  The  concerns  about 
workload, course quality and student quality are more important to full‐time faculty than to adjuncts, whose 
employment  depends  on  enrollment.  The  lack  of  release  time,  the  reduction  in  teaching  load  without 
reduction in pay, is not something that an adjunct can worry about.  
Table  3:  Demotivators/inhibitors  ranked  by  mean  and  separated  into  intrinsic  and  extrinsic  categories. 
(I=intrinsic demotivator; E=extrinsic demotivator) 
question 

DEMOTIVATORS  Rank based on mean (mean in  Signific

parenthesis)  ance 
Full‐time  Adjuncts  level 
1  Concern about faculty workload  I  2 (3.36)  4 (2.59)  P=0.00
7 
1 Concern about quality of courses  I  3 (3.36)  3 (2.70)  P=0.01
2  3 
1 Concern about quality of students  I  4 (3.33)  2 (2.76)  P=0.03
4  4 
           
2  Negative comments made by colleagues about distance education  E  7 (2.65)  8 (2.33)  P=0.18
teaching experiences    0 
3  Lack of satisfactory distance education training provided by the  E  6 (2.73)  7 (2.41)  P=0.23
institution  0 
4  Lack of support and encouragement from departmental colleagues  E  13 (2.38)  10 (2.30)  P=0.74
8 
 
5  Lack of release time  E  8 (2.59)  16 (2.04)  P=0.04
8 
6  Lack of professional prestige  E  15 (2.26)  15 (2.24)  P=0.93
5 
7  Lack of technical background  E  11 (2.44)  11 (2.30)  P=0.58
2 
8  Lack of support and encouragement from dean or chair  E  16 (2.24)  12 (2.28)  P=0.85
4 
9  Lack of support and encouragement from institution administrators  E  14 (2.29)  13 (2.26)  P=0.90
1 
1 Lack of merit pay  E  10 (2.52)  9 (2.33)  P=0.47
0  0 
1 Lack of grants for materials/expenses  E  9 (2.58)  5 (2.43)  P=0.58
1  5 
1 Lack of monetary support for participation (e.g., stipend, overload)  E  5 (2.80)  6 (2.43)  P=0.16
3  1 
1 Lack of credit toward promotion and tenure  E  12 (2.42)  14 (2.26)  P=0.55
5  8 
1 More time consuming than traditional class  E  1 (3.95)  1 (3.28)  P=0.01
6  5 
P<= 0.05 are italicized 

193
 
Susan Glanz 

The demotivator with the highest mean for both groups was the time it takes to teach an online course (q.16). 
While  the  seeming  level  of  flexibility  for  faculty,  measured  by  q.  26,  the  opportunity  to  diversify  course 
offerings  and  q.8,  working  conditions,  hours,  offered  by  online  education  has  been  established  by  the 
literature  as  a  faculty  motivator,  faculty  member  concerns  regarding  increased  workloads  associated  with 
online education can be a demotivator to participation in online education (Shea 2007; Lloyd, Byrne, McCoy 
2012). Shea’s (2007) research found that while all faculty were demotivated by the prospect of increased work 
as a result of teaching online, full‐time faculty were demotivated to a greater extent than were adjunct faculty. 
This is also the case at SJU, the mean for full‐time faculty was 3.97, for adjuncts it was 3.14. The amount of 
time required to be spent by faculty to successfully teach an online course is a demotivator, as all faculty know 
that  they  must  find  a  way  to  be  visible  in  the  classroom  by  keeping  in  continuous  communication  with  all 
students,  provide  fast  feedback,  and  always  be  aware  of  what  each  student  is  doing  or  not  doing.  Students 
have the ability to directly interact with the instructor, and students expect continuous and unrestricted access 
to the instructor throughout the entire course. The unease about student and course quality underscores this 
concern, as it is important for faculty to be prepared to teach online, but equally important for students to be 
ready to learn online. As stated before, it was a lesser demotivator for adjunct faculty as their employment is 
contingent on enrollment. 
 
It is interesting to note that faculty ranking the time factor of teaching online as the number one demotivator, 
yet lack of monetary support or merit pay is medium ranked demotivator. This indirectly supports the finding 
that the leading motivators are intrinsic. 
 
Faculty’s perception of peer support, or lack of, for online education, impacts the faculty member’s willingness 
to  participate  in  an  online  teaching.  While  positive  peer  support  is  a  motive  for  faculty  to  teach  online,  as 
shown by the means to questions of the importance of support from colleagues, chair and administrators (q. 7, 
16 and 29 from Table 2), the lack of support (q.4, 8 and 9) was moderately demotivating. Again these factors 
were less inhibiting to adjuncts then to full‐time faculty. A counterintuitive finding at SJU is that older full‐time 
faculty  (50‐60+),  were  slightly  more  inhibited  by  lack  of  institutional/collegial  support  then  younger  (30‐39) 
full‐time faculty. This is probably due to younger faculty being more tech‐savy and having greater experience 
with technology.  
 
The adoption of the best practices by the university regarding preparing faculty (distance education training, 
technical support) is shown by these demotivating factors having lower means than in other studies. 
7. Conclusion 
This study has several limitations. It is limited to a single, private university. The results of similar studies were 
completed  at  universities  with  dissimilar  characteristics  or  at  a  different  time  periods,  may  have  different 
results.  Second, this study is a snapshot of the opinions of faculty in the Spring 2014 semester.  Third, as this 
study  is  based  on  an  anonymous  survey,  no  analysis  can  be  done  to  look  at  potential  differences  between 
respondents and non‐respondents. 
 
Online  education  has  become  a  vital  component  of  the  higher  education  system  in  the  United  States.  As 
student demand for online higher education courses will rise, both from the traditional student age population 
and from the older students, colleges will need to offer greater numbers of online courses and programs to 
meet this expected demand. It will be challenging, if not impossible, for colleges and universities to increase 
their  online  education  capacity  without  the  support  and  willingness  of  faculty  to  participate  in  online 
education.  The  conclusion  drawn  from  this  data,  and  from  the  articles  looking  at  motivation,  is  that  faculty 
teach  in  distance  education  programs  for  the  same  reasons  they  teach  traditional  courses;  for  intrinsic 
rewards.  For  faculty  that  teach  online,  motivation  comes  mainly  from  the  desire  to  share  their  interest  and 
love  for  the  subject  they  teach  and  is  maintained  by  positive  experiences  and  benefits  from  teaching  the 
course. Examples of these benefits include satisfaction with the teaching experience, professional growth, and 
opportunities for intellectual challenges. These findings compliment other studies conducted in the area that 
have  shown  intrinsic  motivators  to  be  an  important  issue  in  considering  faculty  motivation  to  teach  online. 
Administrators  must  understand  that  program  and  course  offering  expansion  should  be  faculty  led  and 
decisions regarding online teaching should not be made in a top‐down fashion.   
 

194
 
Susan Glanz 

In developing strategic plans for online education, administrators need to determine the areas in which online 
courses, programs can best serve the needs of their student population, and create comprehensive plans that 
will encourage faculty to teach online. The fact that the “Ability to reach new audiences that cannot attend 
classes  on  campus”  (q.  27)  is  ranked  so  high  by  both  groups  of  faculty,  indicates  that  faculty  embrace  the 
philosophy of attracting a new and may be a more diverse student body and to achieve this, that is SJU faculty 
is open to new ideas and methods of teaching. 
 
Faculty  involvement  in  the  development  of  online  courses  is  important  for  the  successful  execution  of  the 
expectations.  As  both  groups  of  faculty  ranked  personal  use  of  technology  as  the  leading  motivator,  it  is 
important  that  faculty  have  access  to  the  latest  technologies.  Though  this  is  expensive,  it  may  also  help  to 
attract  and  retain  students,  as  access  to  high  quality,  technologically‐advanced  environments  is  often 
advertised by universities. Both teaching and learning online requires a new set of skills, the university must 
continuously involve both groups of faculty, and students, in upgrading their skills, as this will give both the 
students completing the courses and the faculty teaching the courses a competitive edge. 
 
Given the rapid changes occurring in higher education with the growth of online education, two suggestions 
for future research to help understand the changing factors influencing faculty decisions to teach online would 
be:  
 
A.  repeat  of  this  survey  in  a  few  years.  As  teaching  and  learning  online  becomes  one  of  the  “traditional” 
offerings,  the  new  survey  results  would  show  administration  how  best  to  encourage  greater  faculty 
participation in online education.  
 
B.  Inclusion  of  additional  research  sites,  possibly  foreign  universities,  which  would  add  to  an  improved 
understanding of this topic.  
References 
Betts, K.S. Email communication on 3/9/2014. 
Betts, K.S. (1998a) Factors Influencing Faculty Participation in Distance Education in Postsecondary Education in the United 
States: An Institutional Study, Ph.D. dissertation, George Washington University. 
Betts. K.S. (1998b‐ Fall) An Institutional Overview: Factors Influencing Faculty Participation in Distance Education in 
Postsecondary Education in the United States: An Institutional Study http://www.westga.edu/~distance/betts13.html 
Betts, K.S. (2014‐ March) Factors Influencing Faculty Participation & Retention In Online & Blended Education, Online 
Journal of Distance Learning Administration, Volume XVII, Number 1, 
http://www.westga.edu/~distance/ojdla/spring171/betts171.html 
Chapman, D. (2011‐ Fall) Contingent and Tenured/Tenure‐Track Faculty: Motivations and Incentives to Teach Distance 
Education Courses, Online Journal of Distance Learning Administration, Volume XIV, Number III, 
http://www.westga.edu/~distance/ojdla/fall143/chapman143.html 
Clay, M. (1999) Faculty attitudes toward distance education at the State University of West Georgia. University of West. 
http://www.westga.edu/~distance/attitudes.html 
Deci, E. L., & Ryan, R. M. (1985) Intrinsic Motivation and Self‐determinism in Human Behavior. New York: Plenum Press. 
Fein, P. (2014) Nearing the Bottom. Inside HigherEd. May 15. https://www.insidehighered.com/news/2014/05/15/new‐
data‐show‐slowing‐national‐enrollment‐decline 
Green, T., Alejandro, J. and Brown, A. (2009) The Retention of Experienced Faculty in Online Distance Education Programs: 
Understanding Factors that Impact their Involvement. International Review of Research in Open and Distance 
Learning, Volume 10, Number 3.  
Gullickson, L. (2011) Herzberg's Theory of Motivation as Applied to Community College Full‐Time and Adjunct Online 
Faculty. Ph.D. thesis. U. of South Dakota. 
Hiltz, R., Shea, P., Kim, E. (2007) Using Focus Groups to Study ALN Faculty Motivation. 
http://sloanconsortium.org/jaln/v11n1/using‐focus‐groups‐study‐aln‐faculty‐motivation 
Hoffman, M. (2013) An Examination of Motivating Factors on Faculty Participation In Online Higher Education. Ph.D. Thesis. 
Northeastern University. Boston, MA 
Lloyd, S., Byrne, M. and McCoy, T. (2012‐ March) Faculty‐Perceived Barriers of Online Education. MERLOT Journal of Online 
Learning and Teaching Vol. 8, No. 1. http://jolt.merlot.org/vol8no1/lloyd_0312.pdf 
Maguire, L. L. (2005 ‐ Spring) Literature Review – Faculty Participation in Online Distance Education: Barriers and 
Motivators. Online Journal of Distance Learning Administration. 
http://www.westga.edu/~distance/ojdla/spring81/maguire81.htm 
McKenzie, B., Mims, N., Bennett, E., Waugh, M. (2000 ‐ Winter) Needs, Concerns and Practices of Online Instructors. 
Needs, Concerns and Practices of Online Instructors. Online Journal of Distance Learning Administration. 
http://www.westga.edu/~distance/ojdla/fall33/mckenzie33.pdf 

195
 
Susan Glanz 

O’Quinn, L. and Corry, L. (2002 ‐winter) Factors that Deter Faculty from Participating in Distance Education. Online Journal 
of Distance Learning Administration. http://www.westga.edu/~distance/ojdla/winter54/Quinn54.htm 
Parker, A. (2003) Motivation and Incentives for Distance Faculty. Online Journal of Distance Learning Administration, 6(3). 
http://www.westga.edu/~distance/ojdla/fall63/parker63.htm 
Pinkerton, S. L. (2008) Motivating factors related to faculty participation in online education as reported by community 
college faculty. Ph.D. thesis. New Mexico State University, Las Cruces. 
Schifter, C. (2000) Faculty Participation in Asynchronous Learning Networks: A Case Study of Motivating and Inhibiting 
Factors. JALN Volume 4, Issue 1 – June. http://sloanconsortium.org/jaln/v4n1/faculty‐participation‐asynchronous‐
learning‐networks‐case‐study‐motivating‐and‐inhibiting‐ 
Shea, P. (2007) Bridges and Barriers to Teaching Online College Courses: A Study of Experienced Online Faculty in Thirty‐Six 
Colleges. Sloan‐C, Volume 11, Issue 2. http://sloanconsortium.org/jaln/v11n2/bridges‐and‐barriers‐teaching‐online‐
college‐courses‐study‐experienced‐online‐faculty‐thi 
Schroeder, L. (2008) Factors Influencing Adjunct Faculty Participation in Online Instruction at a Midwestern University. 
Ph.D. thesis. Capella University. 
Tenzer, L. (2012) Faculty Motivations and Incentives for Teaching ECourses at a For‐Profit Online Applied Arts College. 
Ph.D. dissertation. Argosy University.  
Wolf, E.  (2011) A Study of Motivation of Online Adjunct College Undergraduate Faculty. Ph.D. thesis, University of Phoenix.  

196
Developing Confidence in the use of Digital Tools in Teaching 
Sue Greener and Craig Wakefield 
University of Brighton, Brighton, UK 
S.L.Greener@brighton.ac.uk  
C.Wakefield@brighton.ac.uk  
 
Abstract: In this study Higher Education teachers were offered new mobile devices with very few conditions attached. The 
aim was to introduce staff to mobile technology and how it could be used to support teaching and learning within a small, 
interdisciplinary  campus.  The  study  hypothesized  that  by  offering  staff  the  simple  incentive  of  new  mobile  devices  for 
professional and private use, they will be keener to adopt new practices. The only conditions required were the adoption 
of  two  items  of  software  –  SharePoint  as  a  file  repository,  and  the  VLE  provider’s  mobile  learning  application  which 
provides access to the VLE for both learners and staff. There were three stages to the project; Stage 1 involved presenting 
staff  the  results  of  student  feedback  from  their  own  courses,  where  the  students  set  out  their  preferences  for  using 
learning technologies. Stage 2 involved surveying staff opinions on the impact of the mobile devices once they were issued. 
Stage  3  followed  up  with  a  selection  of  interviews,  focussing  on  concepts  of  interest  gained  from  the  questionnaires. 
Overall  results  from  this  study  suggested  there  was  an  undeniable  enthusiasm  amongst  teaching  staff  for  using  mobile 
technology, however there were still issues surrounding digital confidence and the pedagogical reasoning for integrating 
such technologies. There is still a divide on the role of mobile technologies within the classroom, most likely stemmed from 
the lack of knowledge surrounding their potential purpose. In conclusion, staff enthusiasm alone is not enough to result in 
adoption  and  integration  of  mobile  technology  within  teaching  and  learning,  there  must  be  a  focus  on  pedagogy  and 
relevance for teaching staff to engage fully.  
 
Keywords: learning agility, higher education, institutional change, digital scholarship 

1. Introduction 
The pervasive presence of technology in everyday life has driven higher expectations among learners for digital 
approaches to learning and teaching; teachers fail to recognise and respond to this drive at their peril. Conole 
et al (2008) highlight i) students’ specific expectations for the internet as a first access point for information, 
and for all involved in the learning process to ii) access up‐to‐date information and iii) be able to communicate 
on  demand.  Their  study  shows  that  students  are  becoming  what  Weller  (2011)  calls  ‘digital  scholars’  using 
technology  for  all  forms  of  research  and  retrieval  of  information,  communication,  data  processing  and 
manipulation,  storage  and  analysis.  This  argues  that  the  pace  of  learning  for  teachers  and  developers  must 
increase. Institutional strategies for fostering “learning agility” must be found (De Meuse et al 2010, Greener, 
2012a), enabling academics to explore and develop the willingness and ability to learn new competencies in 
digital education and scholarship (Lombardo and Eichinger, 2000, p. 323, Vincent 2008). 
 
This study project is taking place at a small interdisciplinary university campus in which the prime mission is 
widening participation and working to develop the educational aspirations of the local community. As a result, 
all  faculties  have  outposts  at  this  campus,  and  staff  have  a  teaching  focus,  though  some  will  be  engaged  in 
research  activity  within  their  home  faculties.    To  interpret  a  strategic  university  objective  of  digital 
transformation  involves  potential  constraints,  not  least of  which  is  the  limited  time  and  energy  of  academic 
staff to retain a focus on discipline scholarship alongside their teaching and pastoral commitments locally, yet 
also  embrace  a  wider  vision  of  digital  learning,  when  this  is  not  necessarily  part  of  their  professional 
background or personal appetite. 
2. Why did we undertake this project? 
A paper presented to this conference in 2012 outlined the view from the literature concerning the preparation 
and development of university teachers in the application of Web 2.0 (Greener, 2012b). It was suggested that 
a pedagogy, which explored and applied those affordances of Web 2.0 most suited to learning, could promote 
an active role for the learner in their Higher Education: enabled effectively by digital technology, which in turn 
could foster sharing and collaboration in social learning networks and contexts (p2). It was also evident from 
this literature review that the advantages of learning technologies were mediated in their impact on teachers 
by “the local environment, the macro environment of learning and teaching and the teacher’s own personal 
response to learning technologies based on teaching beliefs and self‐efficacy” (p5). This paper focusses on an 
attempt  to  trigger  change  in  the  local  environment.  It  is  only  one  piece  of  the  jigsaw  for  fostering  learning 

197
 
Sue Greener and Craig Wakefield 

agility (De Meuse et al 2010, Greener 2012a) but is presented as one example of breaking through established 
teaching behaviours to raise capabilities in digital education and scholarship (Vincent 2008).  
 
McGill’s Synthesis report for UK JISC on Transforming Curriculum Delivery through Technology (2011) provided 
the main rationale for our local practical project: 
“Evidence  indicates  that  funding  practical  interventions  that  enhance  the  general  student  and 
staff  experience  …can  have  an  impact  on  enrolment,  retention  and  student  satisfaction.  These 
also lead to increased integration of institutional IT and administration systems.” (p6). 
The  report  makes  it  clear  that  students  should be  involved  as  agents  of  change  and  that  learners  should  be 
offered multiple access routes into their curriculum to reflect their diverse circumstances – digital technology 
can support this flexibility, given the necessary investment and staff training. In particular, we took to heart 
the  following  from  the  report  “Curriculum  staff  need  to  adopt  an  open‐minded  approach  to  the  ways 
technologies  are  incorporated  and used  within  the curriculum.  There  is  no  single  right  approach.” (p8). Few 
staff had experience of using mobile devices, in particular tablet computers, so this hardware was identified as 
a disruptive technology which could be offered as an incentive to staff to take part in the project, specifically 
using a platform (Google Android) which most staff had not experienced before.  

3. Methodology 
The  project  was  completed  in  three  distinct  stages.  In  Stage  1  we  conducted  a  focus  group  with  student’s, 
including  local  campus‐based  student  representatives  along  with  previous  and  current  Student  Union  Vice 
Presidents with a keen focus on learning. The aim was to gain a sense of what local campus students believed 
was  available  to  them  in  terms  of  learning  technologies, and  moreover,  what  they  wanted us  to  use.  In  the 
session students were presented with the different learning technologies available at the University, and asked 
their thoughts/attitudes towards these. The session proved a constructive way to air frustrations students had 
about  staff  who  demonstrated  little  use  of  learning  technologies.  We  explained  the  basics  of  the  proposed 
project and invited student views to help staff see what kind of take‐up there was already among students of 
various technologies and mobile devices and to gauge student response to the possible increased use of digital 
technologies for learning and teaching.  
 
These  results  were  presented  to  academic  staff  in  two  lunch‐time  sessions  stimulating  debate  and  interest 
particularly among staff that had little prior experience of using learning technologies in teaching. Twenty staff 
agreed to take part in the project, wishing to experiment with mobile devices – in this case a Nexus tablet – 
and were offered the following deal: 
 
A loaned tablet computer for experimentation and use in learning and teaching at no cost provided: 
ƒ They committed to using the university’s SharePoint system for file storage 
ƒ They committed to using the mobile application for the VLE 
ƒ They allowed monitoring of the above 
ƒ They agreed to take part in two evaluation surveys during the next three month period. 
The purpose of including the SharePoint system was to encourage uptake, as staff had infrequently used the 
system  since  launch.  For  staff  operating  at  more  than  one  campus  site,  as  well  as  working  from  home,  the 
system allows web access to all files at all places with Wi‐Fi. 
 
The purpose of encouraging the use of the mobile app for the VLE was to see how students were increasingly 
accessing  the  VLE.  Many  staff  were  unaware  that  this  view  could  be  different  from  a  computer  view,  so 
understanding the differences was seen as an important experience for staff. Overall the aim was to encourage 
staff  through  the  project  to  use  mobile  computing  for  sharing  ideas,  updating  skills  and  modelling  good 
practice with students. 
 
In Stage 2, once the mobile devices were distributed to staff, questionnaires were issued to gather feedback 
(at two months and four months into the project respectively). The aim was to assess the impact of the tablets 
on  digital  engagement,  attitudes  to  mobile  devices  for  teaching  and  learning  and  engagement  with  the  two 
mobile apps (Mobile VLE App and Sharepoint).  

198
 
Sue Greener and Craig Wakefield 

Stage 3 consisted of semi‐structured interviews with a sample of the original subject group. The aim was to 
further explore the impact of the tablet intervention, and the results of the questionnaires. Interviews were 
conducted on campus in a private room, with two researchers interviewing. The interviews were filmed (Sony, 
HandyCam)  for  data  analysis  purposes  and  lasted  between  45  –  60  minutes.  Subject’s  identities  have  been 
replaced with a numerical system to preserve confidentiality.     

4. Results: Stage 1 (focus group) 
General  views  ranged  widely,  with  students  both  strongly  positive  and  strongly  negative  about  what 
technology was in use. There was a feeling that, since modules and courses differed widely in what they made 
available to students (for example through the Virtual Learning Environment) that it would be helpful to have 
guidance  on  this  for  students.  Considerable  time  was  spent  explaining  to  some  of  the  students  what  was 
already available to them as awareness and application was patchy. Students also understood that not all staff 
were  yet  comfortable  themselves  with  many  of  the  technologies  on  offer,  and  this  inconsistency  was  a 
problem for students studying multiple modules with differing virtual profiles. This was very much in line with 
our experience and Weller’s (2011) notion of digital scholarship – there is very little consistent understanding 
in the student body of how to employ digital technologies for learning. 
 
To put these findings into a national context in the UK, a much bigger study of University of Sheffield students 
found  that  55%  of  this  population  had  smartphones,  compared  with  33%  in  the  general  UK  population.  E‐
marketer reported in June 2013 that Android compatible phone sales had increased massively in the last 12 
months  and  the  ownership  of  smartphones  among  the  general  UK  population  was  estimated  at  48‐55%, 
suggesting that a higher ownership among students would also have increased. This was consistent with our 
small study. The much larger sample in the UCAS media survey of December 2012 suggested that 82% of new 
undergraduates  owned  a  smartphone  and  20%  a  tablet.  This  survey  result  proposed  that  today’s  students 
were more than 40% more likely to own a smartphone than the general UK population. 
 
Student comments in session offered a clear set of messages to staff on campus: 
ƒ Students  disliked  the  inconsistent  offer  of  technologies  to  support  learning  and  wanted  staff  to  offer  a 
broader range of digital learning support. 
ƒ Most  students  anticipated  greater  use  of  technologies  in  learning  at  university  level  over  the  next  five 
years, although not all were positive about this. 
ƒ Students offered three main ways in which they thought technologies could help their learning: enabling 
better communication with and learning from teachers, getting prompt and detailed feedback from staff 
and helping students to put their learning into context. 
5. Results: Stage 2 (questionnaires) 
The response rate for the initial questionnaire was 85 % (17/20). Results suggested the large majority of staff 
spent time online regularly, and over half would choose to spend any ‘spare time’ at work online. Most also 
described their use of ICT as frequent and with enthusiasm. 
 
When  questioned  about  VLE  use  (other  than  uploading  lecture  content),  staff  frequently  posted  YouTube 
videos, utilised online marking tools and created online reading lists for students.  It would be worth noting 
that there is an expectation that both e‐submission and online reading lists are utilised by academic staff at 
this  institution.  Other  learning  technologies  (such  as  e‐portfolios,  quizzes  and  mobile  voting  tools)  were  not 
taken advantage of by staff. This produces a real disparity with the focus group data from earlier in this study, 
highlighting learners’ wishes to greater utilise learning technology in their study.  
 
Staff were mixed in their responses on the Google Nexus tablet. Half felt they were successful in utilising it for 
teaching and learning, whereas the other half reported they didn’t experiment with it enough, some due to 
lack  of confidence.  Confidence  issues  with  ICT  are  a  common  barrier  cited  by  teaching  staff (Totter,  Stutz  & 
Grote, 2006; Pelgrum, 2001).  However most staff utilised the tablet regularly and 70 % were satisfied with the 
device. There may be a difference here in the use of the device as a consumable item compared to a creative 
item  for  use  in  teaching  –  this  will  be  explored  further  later.    Interestingly  60%  of  staff  involved  owned  a 
smartphone and  70  %  owned  a  tablet,  showing  they  had  previous  experience  of  mobile  technologies.  Some 

199
 
Sue Greener and Craig Wakefield 

cited specific issues with the Nexus (compared to iOS devices) which may also explain some of the negative 
responses. 
 
Results for the second questionnaire (issued November, 2013) reported positive attitudes towards the use of 
information technologies, however the response rate was much lower with this survey (45 %, 9/20) compared 
to  the  previous.  This  might  have  been  for  a  number  of  reasons,  including  the  questionnaires  timing  (mid‐
semester) as well as feelings surrounding the Google Nexus Tablet itself. Due to the smaller sample size, care 
must be taken when analysing this data set. Staff use of the VLE remained unchanged, with the ‘compulsory’ 
elements  frequently  used.  Assessing  the  impact  of  the  loaned  tablets  on  engagement  with  other  learning 
technologies was difficult given the lower response rate.   
 
One major aim of the project was to increase staff use of SharePoint. When asked what further support was 
required, the majority of staff stated more training was needed on this system. Training sessions were offered 
prior to this project, and so one must ask whether the type of training being offered was suitable and matched 
the needs of academic staff.  
 
There were also mixed attitudes in allowing learners to use mobile devices in the classroom. This is surprising 
given that this project was to encourage staff to see the benefits of promoting a BYOD culture.   
 
Overall  all  staff  that  responded  in  stage  two  felt  the  project  was  a  success  in  getting  them  to  engage  with 
mobile devices and become more comfortable with them in teaching and learning. As mentioned previously 
the aim of the project was to engage staff in updating their digital skills and improving their confidence, and 
this has partly been achieved.  
 
However there were some areas identified for further exploration: 
ƒ How can the institution improve the confidence of teaching staff in using mobile devices? 
ƒ What challenges/barriers prevent staff utilising ‘non‐compulsory’ digital tools in their teaching? 
6. Results: Stage 3 (interviews) 
In  order  to  triangulate  the  data  and  to  further  explore  staff  attitudes  to  learning  technology,  a  number  of 
short, semi‐structured interviews were undertaken with staff who took part in the project. Seven staff from 
the original pilot agreed to participate to further explore the impact of the tablet intervention. Staff involved 
represented a range of academic disciplines, and were based at multiple campuses within the institution. The 
aim of the interview was to ascertain the individual’s thoughts on a number of key issues that arose from the 
questionnaires.  These  included;  thoughts  on  using  mobile  technology  in  the  classroom,  attitudes  to 
compulsory and non‐compulsory technologies within the institution, barriers to learning new technology and 
preferred method of learning new technologies.  
 
Mobile Attitudes 
 
As mentioned previously there had been a mixed response amongst staff questioned about their attitude to 
mobile technology in the classroom. The interviews revealed there was a ‘balancing act’ between disruption 
and augmentation of learning.  
“Many like to take notes with mobile devices… I have to believe they are actually making notes!” 
(4) 
“I  think  there’s  an  element  of  getting  distracted…..  it’s  a  tricky  one….  Although  my  view  is 
providing they are not disrupting others, it’s ok”. (1) 
“Anything that encourages learning, I’m in favour of” (2) 
Staff also commented on the process of change within the institution, and how teaching staff are progressing 
at different rates with integrating the use of technology within their lectures. 
“I  think  it’s  changing,  we  underestimate  the  student’s  ability  to  use  these  devices  in  their 
learning. In some cases staff are ahead (with mobile technology use) and some are behind – and 
the same applies with students” (3) 

200
 
Sue Greener and Craig Wakefield 

“I’m uncomfortable – I have not yet developed a way of integrating their online presence with my 
teaching” (4) 
Interestingly  one  member  of  staff  spoke  about  how  using  mobile  devices  in  large  lecture  scenarios  was  not 
appropriate,  but  then  admitted  there  was  a  need  to  increase  the  interactivity  of  lectures,  probably  using 
polling on mobile devices. This further develops the notion that staff are at a point of change, torn between 
‘traditional lecturing’ and ‘technology assisted teaching’. Some are more open to this change than others.    
“Engagement  is  a  much  broader  issue  –  it  doesn’t  matter  if  they  have  a  mobile  or  not  ‐  if  the 
engagement isn’t there it isn’t there” (2) 
There  is  also  the  question  of  whether  students  are  capable  of  viewing  such  devices  as  ‘work  tools’.  McCoy 
(2013)  has  suggested  that,  with  students,  such  devices  are  habitual  for  non‐class  activities,  such  as  social 
media. There is evidence that supports the digital distraction of mobile technology (McCoy, 2013) and the fear 
of this is exhibited by academic teaching staff. This notion of a gap between owning a device and using it for 
academic study is concurrent with previous research (Chen & Denoyelles, 2013). It has also been reported that 
there is a larger divide for small mobile devices than tablets (Chen & Denoyelles, 2013). One suggestion raised 
was  to  move  forward  institutions’  need  to  commit  to  a  ‘unified  technology  solution’,  where  learners  are 
provided with identical mobile devices which can be centrally configured and viewed as a tool for learning.    
 
Barriers to New Technologies & Learning Methodologies  
 
There seemed a wide scope for barriers to staff learning new technologies. First order barriers such as time to 
prepare  materials  and  digital  confidence  were  identified  and  concurrent  with  previous  research  (Prestridge, 
2012). An interesting theme that emerged was the need for relevance – staff sometimes felt there was not a 
clear underlying pedagogical focus for using a new technology, which reduced its relevance. 
“If I don’t immediately see the usefulness of it, I’m kind of half‐hearted” (4) 
There is a real need for Learning Technologists to focus on the pedagogical need for such technologies, rather 
than  just  demonstrating  ‘how’  they  are  used.  These  ‘second  order’  barriers  are  also  reported  by  Prestridge 
(2012).  This  may  be  crucial  in  tipping  the  balance  and  encouraging  teaching  staff  to  utilise  learning 
technologies within the classroom.  
 
There was a common theme that most staff were confident in learning new technology themselves, utilising 
internet  walkthroughs  and  videos.  If  they  were  unsuccessful  they  would  converse  with  a  colleague  or  a 
learning technologist.  The confidence in learning new technology independently but not with implementation 
highlights  a  complex  paradoxical  relationship  in  digital  confidence.  The  difference  may  be  explained  by  the 
staff simply not wanting to make mistakes in front of their audience, as one lecturer explained.  
“It’s all very well sitting at your desk and getting it to work, but when you’re in front of a group of 
people and it doesn’t work as you thought it might… you get that hot under the collar moment” 
(1) 
It is also worth noting that on reflection staff highlighted the issue with this ‘DIY’ approach to learning, in that 
knowledge ‘gaps’ appeared, particularly with complex technologies. It would also be worth noting that there 
was no specific member of staff delegated to provide support or training during this project, which may have 
hindered staff adopting the use of the tablets.  
 
Thoughts on the Tablet 
 
Staff  generally  used  the  device  provided,  and  agreed  it  had  been  a  success  in  improving  their  confidence  in 
using mobile technology. It must be stated however that this only reflected the view of a small proportion of 
the original sample (35%) and so notions of ‘success’ cannot be accurately attributed to the project as a whole. 
Also staff were using tablets mainly for productivity, not teaching – e.g. personal research, checking email etc. 
Some criticised its features for ‘creating’ material, preferring to focus more on its role as a ‘consumer’ device.  
"It’s  good  for  doing  light  pieces  of  work,  for  bringing  to  meetings,  keeping  notes  on….  But  in 
producing large documents it’s no good” (2) 
 “(with  the  tablet)  I  was  able  to  travel  lighter  –  but  the  work  I  was  doing  required  typing  and 
creating, so I got back into the habit of using the laptop” (5) 

201
 
Sue Greener and Craig Wakefield 

 “I’ve used it a lot for meetings... and our periodic review” (3) 
However none of the staff interviewed were using their tablets for teaching or learning activities. Some staff 
were  using  BYOD  mobiles/tablet  strategies  in  the  classroom,  but  the  general  consensus  was  that  this  was 
limited and those that did use them ‘could do more’. Again there seemed a lack of relevance for using these 
devices within teaching and learning. This links back to staff attitudes on mobiles in the classroom – the lack of 
pedagogical clarity on the use of mobile devices can be used can lead to staff being wary of encouraging its use 
and implementation.  

7. Conclusions 
In this case study, with learning technology support being boosted at the campus, paralleled with institution 
wide digital literacies project being implemented for staff, there was a real need to fully understand the needs 
and attitudes of academic staff.  This is to be vital in shifting the use of such technologies from the technically 
“literate” and innovative staff, to a culture of accessibility for all staff to utilise (Singh & Hardaker, 2014).  
 
The  study  provided  a  valuable  insight  into  the  challenges  of  institutional  digital  transformation  –  and 
particularly with this study, the challenge of engaging staff with technologies. One aim was to improve digital 
confidence,  which  some  staff  felt  was  achieved.  Engaging  staff  with  applications  such  as  Sharepoint  proved 
more elusive, mainly due to a lack of training provision and support. 
 
However it has shown that whilst students hold an expectation of digital transformation, in practice there is 
still  much  to  do  in  supporting  this  change  from  a  teaching  perspective.  The  pedagogical  reasoning  and 
methodology for the use of mobile technology is still unclear for some teaching staff, and it is this barrier that 
will prevent the utilisation of mobile learning within Higher Institutions.  Higher Education institutions have to 
grasp  the  digital  nettle  fast,  sheer  enthusiasm  will  not  do  –  reflecting  Marshall’s  view  (2012).  Rationalising 
mobile technology for teaching and learning, combined with support for teaching staff will help harness the 
current  enthusiasm  for  mobile  technology  and  tip  the  balance  from  uncertainty  to  an  integration  of  mobile 
learning.    

References 
Conole, G; De Laat, M.; Dillon, T. and Darby, J. (2008). 'Disruptive technologies', 'pedagogical innovation': What's new? 
Findings from an in‐depth study of students' use and perception of technology. Computers and Education, Vol. 50 No. 
2, pp 511–524. 
De Meuse, K. P.; Dai, G. and Hallenbeck, G. S. (2010) “Learning Agility: A Construct Whose Time Has Come.” Consulting 
Psychology Journal: Practice and Research. Vol. 62 No. 2 pp 119–130. 
Greener, S. (2012a) Editorial: Learning and Teaching Agility. Interactive Learning Environments. Routledge.  Vol. 20 No. 5 
October 2012. pp 1‐3 
Greener, S.L. (2012b) “How are Web 2.0 Technologies Affecting Academic Roles in Higher Education? A View from the 
Literature”. Proceedings of the 11th European Conference on e‐learning (ECEL2012) Groningen, Netherlands 26‐27th 
October 2012 
Lombardo, M.M. and Eichinger, R.W. (2000), “High potentials as high learners”, Human Resource Management, Vol. 39 No. 
4, pp 321‐30 
Pelgrum, W. J. (2001) “Obstacles to the integration of ICT in education: results from a worldwide educational assessment.” 
Computers & Education, No. 37, pp 163‐178 
Prestridge, S. (2012). “The beliefs behind the teacher that influences their ICT practices”, Computers & Education, Vol. 58 
No. 1, [Online] Available at: http://www.sciencedirect.com/science/article/pii/S0360131511002065 Accessed 10 
April 2014 
Marshall, S.J. (2012),"An analytic framework to support e‐learning strategy development", Campus‐Wide Information 
Systems, Vol. 29 No. 3 pp 177 – 188. 
McGill, L. (2011) “Transforming curriculum delivery through technology”, JISC Programme Synthesis Report. [Online] 
Available at: 
http://www.jisc.ac.uk/media/documents/programmes/curriculumdelivery/curriculumdeliveryfinalreport.pdf  
Accessed 21 June 2013 
Singh, G. & Hardaker, G. (2014) “Barriers and enablers to adoption and diffusion of eLearning: A systematic review of the 
literature – a need for an integrative approach”, Education + Training, Vol. 56 Iss: 2/3, pp105 – 121 [Online] Available 
at: http://www.emeraldinsight.com/journals.htm?articleid=17107018 Accessed 10 April 2014 
Totter, A., Stutz, D. & Grote, G. (2006) “ICT and Schools: Identification of Factors Influencing the use of new Media in 
Vocational Training Schools” The Electronic Journal of e‐Learning Vol. 4 Iss. 1, pp 95‐102, [Online] Available at 
www.ejel.org 

202
 
Sue Greener and Craig Wakefield 

UCAS (2012) “Eight out of ten fresher’s have smartphones”. UCAS Media Survey. [Online] 
http://www.ucasmedia.com/news/2013/eight_out_of_ten_freshers_have_smartphones Accessed: 25/06/13) 
Vincent, L. (2008) Differentiating competence, capability and capacity. Innovating Perspectives Volume 16(3) [Online] 
Available at 
http://www.google.co.uk/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CEQQFjAB&url=http%3A%2F%2Fww
w.innovationsthatwork.com%2Fpdf%2FJune08newsltr.pdf&ei=DS8‐UfufHeiw7Abdl4DwCg&usg=AFQjCNEZ_CP‐
p4R9K8pNnAPteF1iYqWmZA&sig2=r2qQRXGszb‐qZztAUE‐UOg&bvm=bv.43287494,d.ZGU&cad=rja Accessed 
11/3/2013 
Weller, M. (2011) The Digital Scholar Bloomsbury Publishing PLC Available from: 
http://www.bloomsburyacademic.com/view/DigitalScholar_9781849666275/book‐ba‐9781849666275.xml Accessed 
11/3/2013 

203
Supervisors’ use of ICTs in the ODeL Postgraduate Supervision 
Context 
Mishack Gumbo 
University of South Africa, Pretoria, South Africa 
gumbomt@unisa.ac.za 
 
Abstract: This paper focuses on the study that is currently being conducted. The aim of the study is investigate the extent 
to  which  postgraduate  supervisors  use  the  available  information  and  communication  technologies  in  their  supervision 
work in an Open Distance and e‐Learning (ODeL) environment. Postgraduate students in this research project refer to the 
masters and doctoral students. The study is being conducted in the College of Education (CEDU) at the University of South 
Africa (Unisa). This study was motivated by the notion that Information and Communication Technologies (ICTs) provide 
useful tools, thus they have the potential to transform supervision practices and increase and fast‐track throughput rates, 
especially in an ODeL context. ICTs encompass technological devices, especially the online technologies, which can be used 
to  enhance  teaching  and  learning.  A  mixed‐method  approach  is  used  in  this  study.  In  this  approach  the  available 
technologies at Unisa are first identified from the relevant sections such as Directorate: Information and Communication 
Technology,  and  Directorate:  Curriculum  and  Learning  Development.  From  the  identified  technologies  a  survey 
questionnaire will be designed to be administered to supervisors. Then interviews and observation of the use of ICTs by 
supervisors  will  be  conducted.  The  findings  of  this  study  will  first  alert  Unisa  as  to  the  extent  of  knowledge  supervisors 
possess of ICTs and the impact of such knowledge on their supervision capacity. The findings can thus be used as a starting 
point to train supervisors in the use of ICTs. 
 
Keywords: supervisors, information and communication technologies, technological pedagogical content knowledge, 
postgraduate supervision, open distance and e‐learning 

1. Introduction 
There is a need for supervisors involved in postgraduate supervision to develop a thorough knowledge of ICTs 
and online learning. This need is informed by the complex demands of the work at this level, which thrives on 
research, hence the need for technological knowledge and skills to manage the supervision activities. It is in 
the light of this need for ICT knowledge and skills that this paper focuses on the study that is underway. The 
study in question inquires into the extent to which postgraduate supervisors know and use the available ICTs 
for supervising students at master’s and doctoral level in an ODeL environment. This study is being conducted 
in CEDU at Unisa.  
 
ICTs have a potential to transform the supervision practices of postgraduate supervisors and to increase and 
fast‐track throughput especially in an ODeL context. In Wheeler’s (2010, p. 1) words, the term ICTs is used to 
refer  to  all  technological  devices  used  to  enhance  teaching  and  learning.  The  focus  of  this  study  is  more  on 
online  tools  that  these  technologies  produce.  The  use  of  computers  and  related  technologies  is  widespread 
(Evans, Martin and Poatsy, 2010) and is valuable in effectively facilitating teaching and learning. In addition, 
ICTs constantly change the way people work (Mbangwana, 2008, p. 2), teaching included. The e‐technologies 
that I have in mind are computer conferencing, e‐mail communication, discussion fora, web‐based resources, 
database interfaces, and many more that will be identified in this study. McKavanagh et al (2004) list a number 
of  tools  that  I  may  consider  or  might  be  mentioned  by  supervisors,  which  include  word  processors  and 
graphics  tools;  bibliographic  databases;  statistical  and  qualitative  data  analysis  programmes;  e‐mail  and  file 
transfer  protocols;  internet  search  engines,  conference  facilities  and  virtual  advisors;  as  well  as  older 
technologies  such  as  audio  and  video  recorders,  telephones  and  faxes.  Among  the  microcosm  of  these 
technologies, those that are available in the context of Unisa will be identified. Other online tools, including 
social network tools, which supervisors can access will also be mentioned. The findings of this study will first 
alert  Unisa  about  the  extent  of  the  ICT  knowledge  and  skills  supervisors  possess  and  the  impact  of  these 
knowledge and skills on their supervision capacity. The findings can thus be used as a starting point to train 
supervisors in the use of ICTs. This study will also contribute towards Unisa’s 2015 research strategic plan with 
specific reference to the fifth goal on a need for research in the field of ODeL. Unisa has recently undertaken to 
fully  switch  to  an  online  mode  in  providing  its  services  to  students.  This  means  heightening  the  use  of  the 
online technology in this regard. As a result, there is a need for Unisa’s academic staff to be trained in the use 
of online technology.  
 

204
 
Mishack Gumbo 

2. Rationale and research problem 
I was, until recently, an assistant manager in the Office of Graduate Studies and Research in CEDU. This office 
is  responsible  for  managing  postgraduate  programme  and  research  activities  in  CEDU.  One  of  the  most 
challenging  issues  in  dealing  with  the  master’s  and  doctoral  programmes  has  been  the  soaring  student 
numbers – a matter which impacts hugely on supervision capacity. The throughput rate at this level has also 
not been pleasing. CEDU’s report for 2012 reveals a complement of 129 staff members, 96 of whom hold a 
doctoral  degree  and  33  are  still  studying  towards  their  doctoral  degrees.  Only  62  master’s  and  30  doctoral 
students graduated in 2012. Directorate: Student Admission and Registration (DSAR) indicates 1414 master’s 
and doctoral students who enrolled for their degrees in CEDU in 2013. These students had to be supervised by 
129  staff  members,  plus  a  few  contract  supervisors.  To  present  a  broader  picture,  the  preliminary  data 
extracted  from  the  final  HEMIS  submissions  to  the  Department  of  Higher  Education  and  Training  show  an 
increase  of  13.1%  of  the  student  population  enrolled  in  CEDU  in  2008  to  19.7%  in  2011.  The  enrolments 
increase, the throughput stays low. ICTs are heralded as one of the possible solutions to deal with the problem 
of this nature particularly in ODeL contexts.  
 
Postgraduate programme has particularly been found suited to a ‘virtual’ campus with students who are often 
juggling  work  and  family  commitments  and  as  a  result  finding  electronic  attendance  at  a  university  campus 
much  easier  and  often  as  satisfying  (Stacey  in  Stacey  and  Fountain,  2001,  p.  519).  The  mode  of  study  by 
distance  is  characterised  by  the  student’s  and  supervisor’s  remoteness,  i.e.  they  are  likely  never  to  meet  in 
person.  The  process  and  experience  of  undertaking  research  is  entirely  enabled  and  defined  by  ICTs.  It  can 
then  be  argued,  that,  in  educational  contexts,  ICTs  have  a  great  potential  to  yield  certain  outcomes.  These 
outcomes can include  improving  productivity,  facilitating information  management  and  communication,  and 
transforming research training in thesis research. The effective use of ICTs can help supervisors do their work 
more quickly and in a much improved manner. However, supervisors do not take full advantage of ICTs for the 
purposes of their supervision work because of their limited knowledge and skills in ICTs. As research is lacking 
in this area, this is a problem that I intend to investigate in this study.  
 
It  is  noted  with  keen  interest  that  research  into  and  evaluation  of  the  use  of  ICTs  to  improve  teaching  and 
learning has been on the increase. However, the remains that little research related to the role and use of ICTs 
in the supervision of research and higher degrees students has been conducted (McKavanagh et al, 2004). This 
study will help to address this gap. As stated above, this study is limited to research and higher degrees in the 
tertiary ODeL environment. This gap in an ODeL context has been succinctly captured by Valetsianos (2010, p. 
ix): 
Emerging  technologies  have  been  heralded  as  providing  the  opportunities  and  affordances  to 
transform  education,  learning,  and  teaching.  Nevertheless,  scholarship  on  the  opportunities  of 
emerging technologies in the context of online distance education has been minimal. Most often, 
researchers, designers, and educators present a description of how such technologies can be used 
in face‐to‐face and hybrid courses, but not in distance education courses.  
In the light of the problem mentioned above, the main research question for this study is stated as follows: 
 
What is the extent of CEDU postgraduate supervisors’ knowledge of ICTs for the purposes of supervising their 
students’ work? 
 
In order to answer this question, the following sub‐questions should first be addressed: 
ƒ What  ICTs  are  available  to  CEDU  postgraduate  supervisors  to  supervise  their  master’s  and  doctoral 
students more quickly and in a much improved manner? 
ƒ Which ICTs do CEDU postgraduate supervisors know and to what extent? 
ƒ How do CEDU’s postgraduate supervisors use these ICTs in the supervision of their master’s and doctoral 
students? 

2.1 Conceptual framework for the study 
The importance of ICTs in education has sparked a ground‐breaking initiative pioneered by Koehler and Mishra 
(2008;  2009).  This  initiative  is  referred  to  as  technological  pedagogical  content  knowledge  (TPCK).  It  was 

205
 
Mishack Gumbo 

introduced  in  the  research  field  in  order  to  understand  the  teacher  knowledge  required  for  effective 
technology integration (Mishra and Koehler, 2006). The acronym TPCK was changed to TPACK to form a more 
integrated whole for the three kinds of knowledge, i.e. technology, pedagogy and content. TPACK is regarded 
as one of the most important and influential 21st century conceptual development in the area of technology 
(Koehler and Mishra, 2008). A TPACK model necessitates thinking about the knowledge, skills and dispositions 
a  teacher  needs  in  order  to  successfully  integrate  educational  technologies  (McGrath,  Karabas  and  Willis, 
2011) in his teaching.  
 
The TPACK framework builds on Shulman’s (1987) construct of pedagogical content knowledge (PCK) by adding 
the technology knowledge aspect. Based on Shulman’s construct, TPACK emerged as a useful framework for 
describing and understanding the goals for technology use in teacher education (Schmidt et al, 2009, p. 123). 
Schmidt et al (2009) conducted a pilot survey to address the need for a survey instrument designed to assess 
TPACK for teachers. Schmidt et al’s target population was pre‐service teachers. The survey was conducted on a 
sample of 124 teachers. For data analysis, the researchers engaged Cronbach’s alpha statistics on the TPACK 
knowledge  domains  and  factor  analysis  for  each  domain.  Their  results  suggested,  that  when  they  either 
modified and/or deleted 18 of the survey items, the survey was reliable and that the designed instrument was 
thus valid. They concluded that the instrument would help educators to design longitudinal studies to assess 
pre‐service teachers’ development of TPACK. For the current study, Schmidt et al’s instrument could serve the 
purpose  adequately.  However,  I  find  it  to  be  not  suitable  as  well  as  lacking  specificity  in  the  items  that  it 
contains.  The  following  items  –  copied  from  the  instrument  for  the  category  of  technology  knowledge 
(Schmidt et al, 2009, p. 145) – demonstrate this shortcoming: 
 
“Strongly Disagree = SD; Disagree = D; Neither Agree/Disagree = N; Agree = A; Strongly Agree = SA 
1. I know how to solve my own technical problems.           SD   D   N   A   SA 
2. I can learn technology easily.               SD   D   N   A   SA 
3. I keep up with important new technologies.           SD   D   N   A   SA 
4. I frequently play around with the technology.           SD   D   N   A   SA 
5. I know about a lot of different technologies.           SD   D   N   A   SA 
6. I have the technical skills I need to use technology.         SD   D   N   A   SA 
7. I have had sufficient opportunities to work with different technologies.    SD   D   N   A   SA” 
 
The  main  problem  in  respect  of  this  questionnaire  is  that  it  does  not  specify  exactly  which  technologies  are 
targeted by the survey and leaves the reader clueless in this regard. Thus, I decided to develop a questionnaire 
containing specific items. I found the TPACK framework to be very useful to the purposes of this study because 
it  encapsulates  issues  that  inform  the  proposed  inquiry.  Even  though  it  has  been  packaged  for  pre‐tertiary 
teaching, I think that it can be applied in higher education as well. The seven knowledge domains included in 
the  TPACK  (Schmidt  et  al,  2009,  p.  125),  elaborated  by  Cox  and  Graham  (2009,  p.  62‐64),  are  useful  for  the 
current study and are briefly explained below. 

2.1.1 Technology knowledge (TK)  
TK  refers  to  knowledge  about  various  technologies,  ranging  from  low‐tech  technologies  such  as  pencil  and 
paper  to  digital  technologies  such  as  the  internet,  digital  video,  interactive  whiteboards,  and  software 
programs. Within this framework, technological knowledge is defined as knowledge of how to use emerging 
technologies.  

2.1.2 Content knowledge (CK)  
This is the subject matter knowledge taught to learners. Teachers must know about the content they are going 
to  teach  and  how  the  nature  of  knowledge  is  different  for  various  content  areas.  Content  knowledge  is 
simplified to indicate a knowledge of the possible topic‐specific representations in a given subject area. 

2.1.3 Pedagogical knowledge (PK)  
PK  refers  to  the  methods  and  processes  of  teaching.  It  includes  knowledge  of  classroom  management, 
assessment,  student  learning  and  so  on.  General  activities  may  include  strategies  for  motivating  students, 
communicating with students, presenting information to students, and classroom management – among many 
other  things.  Pedagogical  activities  necessarily  include  some  content.  This  category  also  includes  general 

206
 
Mishack Gumbo 

activities  that  could  be  applied  across  all  content  domains  such  as  discovery  learning,  cooperative  learning, 
problem‐based learning, and so on.  

2.1.4 Pedagogical content knowledge (PCK) 
PCK  refers  to  the  content  knowledge  that  deals  with  the  teaching  process.  It  blends  both  content  and 
pedagogy,  that  is,  it  combines  knowledge  of  activities  (or  strategies)  and  knowledge  of  representations  in  a 
specific  subject  area  in  order  to  facilitate  student  learning.  A  teacher  with  PCK  knows  how  to  utilise  topic‐
specific representations in conjunction with subject‐specific activities to help students learn. 

2.1.5 Technological content knowledge (TCK) 
TCK refers to the knowledge of how technology can create new representations for specific content. Teachers 
understand it by using a specific technology. As the technologies used in the representations become part of 
the mainstream technologies, that knowledge transforms into content knowledge.  

2.1.6 Technological pedagogical knowledge (TPK) 
TPK  refers  to  the  knowledge  of  how  various  technologies  can  be  used  in  teaching.  Thus,  TPK  might  include 
knowledge of how to motivate students using technology or how to engage them in cooperative learning using 
technology.  As  the  technologies  being  used  become  transparent  or  ubiquitous,  TPK  transforms  into 
pedagogical  knowledge.  Interactive  whiteboards,  which  utilise  digital  projectors  and  allow  a  teacher  and 
students to interact with projected content, are considered emerging technologies and are not yet ubiquitous 
in the classroom.  

2.1.7 Technological pedagogical content knowledge (TPACK) 
TPACK  refers  to  the  knowledge  required  by  teachers  for  integrating  technology  into  their  teaching  in  any 
content  area.  Teachers  have  an  intuitive  understanding  of  the  complex  interplay  between  the  three  basic 
components  of  knowledge,  i.e.  CK,  PK  and TK,  and  this  is  expressed  through  their  teaching  of  content  using 
appropriate  pedagogical  methods  and  technologies.  As  the  technologies  used  in  those  activities  and 
representations become ubiquitous, TPACK transforms into PCK. There will always be a need for TPACK as long 
as  there  are  new  emerging  technologies  that  have  not  yet  become  a  transparent,  ubiquitous  part  of  the 
teaching profession’s repertoire of tools.   

2.2 Research design  
Research design is the conceptual structure within which research is conducted and constitutes the blueprint 
for the collection, measurement and analysis of data (Kothari, 2004). A research design serves as a plan that 
guides the researcher to connect empirical data to a study’s initial research questions, and eventually to the 
answers to the questions set (Yin, 2009). This study follows a mixed‐method approach based on the logic of 
the  methods  to  be  used  and  that  are  outlined  in  the  sub‐sections  that  follow.  Though  it  is  a  complex  and 
demanding  approach,  the  use  of  mixed‐methods  in  this  study  will  provide  an  in‐depth,  comprehensive  and 
complete picture of the research problem (Williams; 2007; Creswell, 2009; Yin, 2009) stated under 1.2. Thus, 
the quantitative research methodology will be used principally to obtain numerical data to add precision to the 
qualitative data, while the qualitative research methodology will be used principally to obtain verbal data to 
add explorative meaning to the quantitative data (Ary, Jacobs and Sorenson, 2010, p. 562).  
 
Data are being collected in three stages, which are aligned to the sub‐research questions above. These stages 
are explained as follows:  
 
Stage A: Gather data on the available ICTs at Unisa 
 
This  is  an  entry  stage  of  data  collection  and  entails  consultation  with  specialised  sections,  which  are  the 
Directorate:  Information  and  Communication  Technology  and  the  Directorate:  Curriculum  and  Learning 
Development (DCLD). I am in the process of gathering information from these sections about the ICTs that are 
available to the postgraduate supervisors to facilitate their postgraduate supervision work effectively. These 
data will help address the research question: “What ICTs are available to CEDU postgraduate supervisors for 
the supervision of their students’ work?” In the context of the TPACK framework, the information so gathered 

207
 
Mishack Gumbo 

will be used to design a questionnaire in Stage B, which will be used to determine the technological knowledge 
and  skills  of  supervisors  regarding  the  technology  available  to  them  for  use  in  their  supervision  tasks.  This 
stage  is  currently  being  implemented.  An  appointment  with  directors  of  the  Directorate:  Information  and 
Communication  Technology  and  the  Directorate:  DCLD  that  may  provide  the  needed  information  about  the 
available  ICTs  was  made  through  their  personal  assistants.  The  information  that  is  in  the  process  of  being 
gathered consists of developing a list of the ICTs and related technologies, which, which will be used for the 
purposes of designing Section A of the questionnaire, which is explained in next Section B.  
 
Stage B: Survey postgraduate supervisors’ knowledge about the available ICTs identified in Stage A 
 
The  quantitative  research  method  is  used  principally  to  obtain  numerical  data  (Ary,  Jacobs  and  Sorenson, 
2010, p. 562). Data in this stage will be collected by means of a survey questionnaire. A survey is used to select 
a representative sample from the entire population and administer a questionnaire to describe the attitudes, 
opinions, behaviours or characteristics of the population (Creswell, 2008, p. 388). Thus, this stage will entail 
designing a questionnaire that will be administered to postgraduate supervisors in CEDU, and which will gather 
their  opinions  on  knowledge  and  skills  regarding  the  available  ICTs  which  they  can  use  to  manage  the 
supervision of their students’ tasks. The questionnaire will be developed with the help of a statistician so that 
data to be collected can be submitted to the statistician for analysis using SPSS. The questionnaire will contain 
items which are related to the technologies in the list generated in Stage A above. Supervisors will be asked to 
respond to items according to a four‐point Likert Scale. The scale will be described as follows: 1: No Knowledge 
at All; 2: Basic Knowledge; 3: Good Knowledge; 4: Thorough Knowledge. Most importantly, the technological 
items  in  the  questionnaire  will  be  based  on  the  TPACK  framework  that  was  explained  above.  The  TPACK 
framework helps in determining academics’ knowledge of ICTs and applying them in their teaching. Thus, this 
stage  of  data  gathering  will  help  to  answer  the  research  question:  “Which  ICTs  do  CEDU  postgraduate 
supervisors know and to what extent?” Thus, the approach adopted in this data gathering will point towards 
the  analysis  of  data  in  relation  to  the  framework.  Section  A  of  the  questionnaire  includes  important 
biographical  information  such  as  seniority  level,  experience  in  supervision  expressed  in  years,  number  of 
students  supervised  already,  and  number  of  students  being  supervised  currently.  This  information  will  cast 
light  on  the  supervisors’  profile,  which  might  help  illuminate  the  understanding  of  data.  In  this  sense,  the 
supervisors’  profile  will  help  to  tease  out  if  biographical  factors  have  any  influence  on  their  knowledge  and 
skills on the available ICTs. The questionnaire will be administered to the supervisors in CEDU via e‐mail with a 
request to fill in and send it back within a time that will be determined. These are 129 academic staff members 
that were mentioned in 1.2 above. This excludes contract supervisors because their duration of involvement in 
the supervision work cannot be guaranteed and their detachment from Unisa’s physical space may cause them 
not to provide relevant information requested in the questionnaire. Almost all of the 129 staff members are 
involved in supervising the master’s and doctoral students. A few that do not supervise will not be included. A 
note will be made at the beginning of the questionnaire about the exclusion of these non‐supervisors. There is 
a possibility that supervisors who will be on leave at the time of data gathering will not be available to fill in 
the questionnaire. I do not intend to interfere with their leave by making any personal calls to ask them to fill 
in the questionnaire. 
 
Stage C: Interviews and observation of selected postgraduate supervisors’ use of ICTs 
 
The  analysis  of  Stage  B  data  will  necessitate  Stage  C  data  in  the  sense  that  I  will  need  to  follow  up  on  the 
selected postgraduate supervisors in order to deepen my understanding of their knowledge and use of ICTs in 
their supervision work. These data will be informed by the “How” question: How do the selected postgraduate 
supervisors  use  the  ICTs  which  they  claimed  they  use  in  the  questionnaire  in  Stage  B?  Thus,  Stage  C  will 
address the research question: “How do CEDU’s postgraduate supervisors use these ICTs in the supervision of 
their  postgraduate  students’  work?”  The  methods  of  data  gathering  to  be  used  will  be  individual  interviews 
and observations. The interviews will follow unstructured discussions with the selected supervisors. The entry 
point  for  the  discussion  will  be  the  completed  questionnaire  which  contains  the  ICTs  that  supervisors  have 
claimed  that  they  use.  In  the  process  of  gathering  these  data  I  will  ask  the  supervisors  concerned  to 
demonstrate how they use such ICTs to manage their supervision while I observe – the technology, what part 
of  his/her  supervision  does  the  supervisor  use  it  for,  how  does  the  supervisor  use  it.  For  purposes  of  easy 
manageability,  the  interviews  will  be  audio  recorded  and  observations  will  be  photographed  (Marshall  and 
Rossman, 1989) with the permission of the participants. There are two Schools in CEDU with five Departments 
under  each.  It  is  not  my  intention  in  this  study  to  compare  the  Schools  or  Departments,  especially  because 

208
 
Mishack Gumbo 

supervisors  are  assigned  students  across  Departments  and  Schools  to  supervise.  Instead,  the  selection  of 
sample  for  the  interviews  and  observation  will  be  guided  by  the  supervision  experience  indicated  in  their 
responses in the biographical section of the questionnaire. So, based on the selection based on these criteria, I 
will select fifteen supervisors spread from the less experienced to the most experienced, i.e. five supervisors 
with  zero  to  five  years  supervision  experience, five  supervisors  with  six  to  ten years  supervision  experience, 
and  five  supervisors  with  eleven  or  more  years  supervision  experience.  Thus,  selection  will  be  focused  on 
individual supervisors and not on Departments or Schools.  
 
The principle of maintaining a chain of evidence allows an external observer or the reader of the research to 
follow  the  derivation  of  any  evidence,  ranging  from  initial  research  questions  to  ultimate  conclusions  (Yin, 
2009).  According  to  Soy  (1997),  trustworthiness  in  an  empirical  study  denotes  the  stability,  accuracy,  and 
precision of measurement of the data gathering techniques and instruments. Credible data will be gathered at 
Stage A by consulting  specialists  based  in  those  sections that  employ  ICTs  (the Directorate:  Information  and 
Communication Technology and the Directorate: DCLD). The items to appear in the questionnaire (Stage B) will 
not be made up, but will be guided by the true the data gathered in Stage A. Member‐checking in respect of 
the collected data will help build trustworthiness into the data. The analysis of data will involve triangulation 
technique  across  data  sets  (questionnaire,  interviews  and  observation)  to  provide  the  watertight  evidence 
about the phenomenon of ICTs and supervision. The SPSS technique that will be used in the quantitative data 
analysis will also ensure reliability.  
 
Yin (2009, p. 73) suggests ways for ensuring the protection of participants in the study. These ways are listed 
and explained subsequently: 
ƒ Gaining  informed  consent  from  all  persons  who  may  be  part  of  the  study:  I  have  applied  to  CEDU’s 
Research  Ethics’  Committee  for  ethical  clearance  to  conduct  the  study  and  this  has  been  granted.  I 
subsequently  applied  to  Unisa  to  obtain  permission  to  source  information  from  the  postgraduate 
supervisors in CEDU and this request has also been granted. Since the quantitative questionnaire will be 
administered electronically, a note about obtaining consent from the participants will be included as part 
of  the  introductory part  of the  questionnaire:  “By filling in  and  sending  this  questionnaire  it  is  assumed 
that  you  give  consent  for  the  researcher  to  use  the  information  given  for  purposes  of  writing  up  the 
findings of this study”. I have also designed a letter of consent for the participants about the interview and 
the proposed observation. 
ƒ Protecting  those  who  participate  in  your  study  from  any  harm:  There  is  no  possibility  of  harm  to  the 
participants arising from how this study has been planned. However, the unexpected can happen in the 
process of collecting data and, in such a case, measures will be taken quickly by liaising with the relevant 
sections  at  Unisa,  such  as  clinical  services,  psychological  services,  middle  managers,  and  so  on,  should 
participants be exposed to any kind of threat. 
ƒ Protecting  the  privacy  and  confidentiality  of  those  who  participate  in  the  study:  As  indicated  in  the 
consent letter above, the confidentiality of participants will be ensured. Participants’ confidentiality will be 
observed  in  all  the  stages  of  data  collection  by  not  disclosing  their  personal  information  such  as  real 
names. The names will be kept only for data analysis, not in the writing up. Furthermore, interviews and 
observations  are  very  likely  to  be  conducted  in  each  supervisor’s  office  selected  to  participate  in  the 
interview and observation. 
ƒ Taking special precautions that might be needed to protect especially, vulnerable groups: This study does 
not target vulnerable groups. However, such precautions will be taken to protect the participants as and 
where necessary, for example, by stopping their participation. 
Data  analysis  “involves  organising,  accounting  for  and  explaining  the  data”  (Cohen,  Manion  and  Morrison, 
2001, p. 147). In this light, analysis for the quantitative data will involve the interpretation of the analysed data 
through  the  SPSS  based  on  the  responses  received  in  the  questionnaire.  The  findings  from  the  data  will  be 
mainly presented in table format, followed by descriptions and deductions that can be made from the data. I 
will  read  and  re‐read  the  interviews  first  for  understanding  and  then  for  identifying  the  categories  through 
coding,  that  will  enable  me  to  present  the  findings  according  to  the  headings/themes  assigned  under  the 
categories while substantiating them with verbatim statements of the interviewees. Data coding will continue 
until  such  time  that  recurrence  of  the  same  themes  if  noticed,  which  will  mean  that  saturation  of  data  has 
been reached. Findings from the observation data will be integrated in the findings from the questionnaire and 

209
 
Mishack Gumbo 

interviews,  as  well  as  triangulate  the  three.  Then  the  discussion  of  the  findings  will  follow,  and 
recommendations made ultimately. 

3. Conclusion 
Supervising postgraduate work can be a daunting task to supervisors. This daunting task can be exacerbated by 
a no or shallow knowledge of ICTs and thus lack of know‐how to use them to manage postgraduate work. This 
paper discussed the study that is underway, which is meant to inquire into postgraduate supervisors’ use of 
ICTs. In this paper I have discussed the research problem that I have identified, motivated the study, discussed 
the  conceptual  framework  and  the  design  of  the  study.  The  study  in  question  has  recently  been  embarked 
upon. Currently I have started to collect the data. My future presentation at conferences will be based on the 
findings of the study. I will also organise a seminar in CEDU at Unisa to present the findings of the study and 
recommend  training  of  supervisors  in  ICTs  shall  the  findings  indicate  a  need  for  knowledge  and  skills  in  this 
regard.   

References  
Ary, D., Jacobs, L.C and Sorensen, C. (2006) Introduction to research in education 8th Edition, Wads Worth Cengage, 
Belmont. 
Cohen, L., Manion, L. and Morrison, K. (2001) Research Methods in Education, Falmer, London.  
Cox, S. and Graham, C.R. (2009) “Diagramming TPACK in Practice: Using an elaborated model of the TPACK framework to 
analyse and depict teacher knowledge”. TechTrends, Vol. 53, No. 5, pp 60‐69.  
rd
Creswell, J.W. (2009) Research design: Qualitative, quantitative and mixed methods approaches 3  Edition, Sage, Los 
Angeles. 
Evans, A., Martin, K. and Poatsy, M.N. (2010) Technology in action 6th Edition,   Pearson Prentice Hall, New  Jersey. 
Koehler, M.J. and Mishra, P. (2008) Introducing TPACK. In American Association of Colleges for Teacher Education 
Committee on Innovation and Technology   (ed.), Handbook of Technological Pedagogical Content Knowledge (TPACK) 
for educators, pp 3‐29, Routledge, New York. 
Koehler, M.J. and Mishra, P. (2009) “What is technological pedagogical content knowledge?”. Contemporary Issues in 
Technology and Teacher Education, Vol. 9, No. 1, [online] http://www.citejournal.org/vol9/iss1/general/article1.cfm 
Kothari, C.R. (2004) Research methodology: Methods and techniques, New Age International, New Delhi. 
Mbangwana, M.A. (2008) Introduction of ICT in schools and classrooms in Cameroon, [online] 
http://www.rocare.org/changingMindsets/pdf/ch09‐I...  
McGrath, J., Karabas, G. and Willis, J. (2011) “From TPACK concept to TPACK  practice: An analysis of the suitability and 
usefulness of the concept as a guide in the real world of teacher development”.  International Journal of Technology 
in Teaching and Learning, Vol. 7, No. 1, pp 1‐23. 
McKavanagh, C., Bryant, K., Finger, G. and Middleton, H. (2004) Information and communication technologies and higher 
degree research supervision, [online] file:///C:/Users/MISHACK/Downloads/P021‐jt%20(3).pdf 
Mishra, P. and Koehler, M.J. (2006) “Technological pedagogical content knowledge: A framework for integrating 
technology in teachers’ knowledge”. Teachers College Record, Vol. 108, No. 6, pp 1017–1054. 
Schmidt, D.A., Baran, E., Thompson, A.D., Mishra, P., Koehler, M.J. and Shin, T.S. (2009) “Technological pedagogical content 
knowledge (TPACK): The development and validation of an assessment  instrument for preservice teachers”. Journal 
of Research on Technology in Education, Vol. 42, No. 2, pp 123‐149. 
Schwandt, T.A. (1994). Constructivist, interpretivist approaches to human inquiry. In N.K., Denzin and Y.S., Lincoln (eds.), 
Handbook of qualitative research, pp 118‐137. Sage, Thousand Oaks, CA. 
Shulman, L.S. (1987) “Knowledge and teaching: Foundations of the new reform”. Harvard Educational Review, Vol. 57, No. 
1, pp 1‐21. 
Soy, S.K. (1997) The case study as a research method. Paper read at University of Texas, Austin, USA, [online] 
http://www.gslis.utexas.edu/~ssoy/usesusers/1391d1b.htm. 
Stacey, E. and Fountain, W. (2001) Student and supervisor perspectives in a computer‐mediated research relationship, 
[online] http://www.ascilite.org.au/conferences/melbourne01/pdf/papers/staceye.pdf 
Valetsianos, G. (ed.). (2010) Emerging technologies in distance education, AU Press: Athabasca. 
Wiliams, C. (2007) “Research methods”. Journal of Business & Economics Research, Vol. 5, No. 3, pp 65‐72. 
Wheeler, S. (2010) What is so innovative about ICT? [online] http://steve‐wheeler.blogspot.com/2010/04/whats‐so‐
innovative‐about‐ict.html. 
Yin, R. (2009) Case study research: Design and methods 4th Edition, Sage Thousand Oaks, CA.  

210
The Crossroads of Choice: Choosing Between the Technological 
Tools for Educational Purposes 
Mishack Gumbo 
University of South Africa, Pretoria, South Africa 
gumbomt@unisa.ac.za 
 
Abstract:  How  does  one  choose  an  appropriate  online  teaching  and  learning  tool  from  among  the  many  available?  This 
paper  responds  to  this  question  by  presenting  a  scorecard  designed  to  guide  the  user’s  choice  of  a  particular  tool  for 
educational purposes as informed by the his/her context and the extent of his/her knowledge of the tools available. The 
emergence of Web 2.0 technology tools (learning objects) has transformed both the World Wide Web and pedagogy. In 
the case of pedagogy, the change represents a shift from traditional face‐to‐face teaching and learning in a physical space 
to teaching and learning online in a virtual classroom. While this transformation has brought excitement in the teaching 
fraternity,  particularly  in  the  higher  education  environment,  it  has  also  presented  educators  and  other  users  with 
challenges around making properly informed choices of the ideal tools for use in their practice. This is due to the existence 
of a profusion of such tools with new ones constantly entering the market as disruptive technologies. This paper presents a 
tool scorecard designed to guide the rating, motivation and ultimate choice of a particular tool. The design of the scorecard 
follows  the  idea  of  the  LORI  (Learning  Object  Review  Instrument).  The  contribution  of  the  paper  is  twofold.  Firstly,  it 
contributes to the existing body of knowledge by advancing the debate and by adding to the pool of existing evaluation 
tools. Secondly, the use of the scorecard will inform practice as it guides the choices that the user can make in seeking a 
particular tool. 
 
Keywords: technological tools, scorecard, choice, context, education, evaluation instrument 

1. Introduction 
“Developments  in  web‐based  education  and  technology‐mediated  learning  environments  present  educators 
with an important opportunity to increase students’ access to secondary and tertiary education” (Vargo et al, 
2003,  p.  1).  The  emergence of  Web  2.0  technological  tools  has  transformed  both  the  World  Wide Web  and 
pedagogy.  In  the  case  of pedagogy,  the  change  represents  a  shift  from  traditional  face‐to‐face  teaching  and 
learning  in  a  physical  space  to  teaching  and  learning  online  in  a  virtual  classroom.  Web  2.0  tools  can  be 
referred  to  as  learning  objects  or  software  (Baumgarter  and  Payr,  1997).  “Learning  objects  are  information 
resources  or  interactive  software  used  in  online  learning,  for  example,  a  single  image,  a  page  of  text,  an 
interactive simulation, or an entire course” (Nesbit, Belfer and Leacock, 2002, p. 1; Vargo et al, 2003). These 
authors  propose  a  framework  for  evaluating  technological  tools,  which  include  the  items:  content  quality, 
learning  goal  alignment,  feedback  and  adaptation,  motivation,  presentation  design,  interaction  usability, 
accessibility, reusability and standards compliance. A rating scale of five levels (1 to 5, with one indicating the 
lowest quality and 5 the highest quality), plus “Not Applicable”, is used to rate each item (Nesbit, Belfer and 
Leacock, 2002). According to Nesbit, Belfer and Leacock (2002), the results are formed of averaged ratings of 
items,  which  add  up  to  the  total  of  all  the  items.  But  Baumgarter  and  Payr  (1997)  are  uncomfortable  with 
attributing  and  adding  numerical  values  to  the  evaluation  as  that  lends  the  evaluation  to  linearity.  These 
authors  argue  that  currently  there  is  no  normed,  tested,  standardised  and  linear  scale  for  the  quality  of 
educational software. For specificity, and for the purposes of this paper, a learning object refers to Web 2.0 
technology  such  as  blogs  and  wikis  along  with  applications  such  as  Screenr,  ooVoo,  Weebly  and  so  on 
(Grosseck, 2013; Sharples et al, 2013). It is hard to think of these tools without relating them to educational 
electronic resources – interactive assignments, simulations, cases, models, virtual laboratory experiments and 
many others (Vargo et al, 2003) (see resources mentioned above from Nesbit et al). However, due to the sea 
of tools available, it might not be easy for the user to make the right choices for his or her particular context. 
Context in this case denotes a subject, geographical setting, design of the learning management systems for 
the institution concerned, and so on. How then does one choose an appropriate online teaching or learning 
tool from among the many that are available?  
 
“Reviews help users to select for quality and suitability” (Nesbit, Belfer and Leacock, 2002, p. 2) from within a 
large,  web‐based  learning  object  repository.  Thus,  according  to  Nesbit,  Belfer  and  Leacock  (2002,  p.  2),  the 
LORI  instrument  facilitates  a  comparison  among  learning  objects  by  proving  a  review  format.  A  review 
instrument can at least provide a starting point for the user who could be an instructional designer, a media 
developer or an instructor (Vargo et al, 2003), or even a student – to design an instrument suitable for his/her 

211
 
Mishack Gumbo 

own context and the extent of the knowledge that he/she has already gained about the tools to choose from. 
For an academic like me, the choice is important for pedagogical reasons – can it be used to facilitate learning 
in my course? Does it provide me with the necessary navigation tools to facilitate learning effectively? Does it 
provide  varied  media  to  accommodate  different  learning  styles?  How  easily  can  the  tool  be  downloaded? 
What is the cost of downloading it? These are some of the questions that might determine my choice of the 
tool.  In  their  research,  Vargo  et  al  (2003)  reviewed  the  LORI  instrument  within  their  Convergent  Participant 
evaluation  framework.  As  the  name  suggests,  the  framework  needs  a  team  of  evaluators  convened  from 
experts  in  online  tools/objects  who  will  engage  in  a  two‐way  cycle  of  evaluation,  which  involve  critical 
discussions  on  their  ratings.  Vargo  et  al  (2003,  p.  7)  suggested  modifications  to  the  LORI  instrument:  to 
introduce  prior  training  to  increase  overall  reliability  of  the  instrument;  at  least  two  raters  should  have 
expertise in subject matter dealt with by the learning object; based on participants’ comments, revise rubrics 
that comprise several items.  These authors did a sterling work to build onto Nesbit’s, Belfer’s and Leacock’s 
(2002)  LORI  instrument.  However,  not  in  all  situations  can  intensive  group  or  participatory  evaluation  be 
involved.  Context  may also  suggest  otherwise.  Hence,  in this  paper  I  suggest  a basic  instrument  that  can be 
modified to suit the evaluator(s)’ context. This paper was motivated by my downloading of a number of the 
available online tools over five days at work, which are listed in table 1. I explored (on average three tools per 
day)  the  tools  to  decide  on  the  one  that  I  could  use  to  engage  in  online  discussion  with  my  postgraduate 
students. This was after I could not use LORI instrument as is in this task because its criterion is predominantly 
quantitative. I decided to adapt it ultimately. The exploration of the tools entailed testing each one of them. I 
arranged with a colleague, whom I asked to pretend to be a student, to sign on as soon as I had done so myself 
and  alerted  him  to.  The  signing  on  was  only  limited  to  those  tools  that  are  freely  available,  such  as  ooVoo. 
Once he had signed on, we could engage in online discussion so I could test the efficiency of the tool. In my 
exploration  I  was  interested  in  each  tool’s  accessibility,  ease  of  use,  how  easily  it  could  be  downloaded, 
navigation through it, and so on. I roughly developed table 1 during my exploration. This exploration task left 
me with a task of designing an instrument that can get one started on the selection of an online educational 
tool. Providing an answer as to how I went about choosing an appropriate tool will, in turn, guide the user in 
his/her own choice and will add to the debate over the available tools in the field.  
 
For purposes of making the right choice, users will always seek evaluations of the tools they are considering 
using. In the light of the deliberations thus far, the purpose of this paper is to use a scorecard to rate a number 
of tools and to present ideas on how to choose the learning or teaching tool. I proceed in the next section with 
a discussion on Web 2.0 learning objects. The discussion is followed by an explanation of the scorecard I have 
designed  to  guide  the  rating,  motivation  and  the  ultimate  choice  of  a  particular  tool.  I  then  present  the 
scorecard,  along  with  an  explanation  of  how  it  is  used  to  decide  (from  among  those  available)  on  the 
instruments  that  I  could  consider.  In  this  paper  I  thus  describe  the  merits  of  LORI  (Learning  Object  Review 
Instrument), which helps me to suggest a scorecard.  
2. Learning objects 
A profusion of learning objects exists and these are available via repositories on the internet. Reusable digital 
learning resources are increasing rapidly in number (Leacock and Nesbit, 2007). Vargo et al (2003, p. 3) provide 
a  table  that  lists  these  repositories  and  I  refer  the  reader  to  these.  The  repositories  include  MERLOT, 
Telecampus, the Apple Learning Interchange, the Math Forum, Alexandria/CAREO, the Harvey Project and the 
Wisconsin  Online  Resource  Center.  I  mention  these  repositories  in  order  to  provide  an  idea  of  the 
tools/objects  that  each  (the  list  is  inexhaustible) contains.  Learning  objects  attract  users  worldwide who  are 
interested in selecting, from these objects, one that can work best for them. Educators in particular need these 
tools  to  improve  on  their  pedagogical  practices,  while  students  need  them  to  improve  their  learning  and  to 
complete tasks. Having said this, the choice becomes challenging given the fact that there are so many tools to 
choose from – and hence the need for an instrument/scorecard to guide the choice. The choice is especially 
complex in a higher education environment because there are not only issues of context, design and quality, 
but of cost as well.  
 
According  to  Abel,  Brown  and  Suess  (2013),  higher  education  is  entering  a  period  in  which  connections 
enabled  by  information  technology,  social  media  and  mobile  devices  between  everything  and  everyone  are 
important.  In  this  sense,  from  a  learner  perspective,  an  array  of  personal  connections,  resources  and 
collaboration  can  be  integrated.  On  the  other  hand,  from  the  educator  (designer)  perspective,  a  number  of 
options have been made available by these tools, which include options to plan, design and execute a course 

212
 
Mishack Gumbo 

to connect with and support students. Web 2.0 tools have an emerging role to play in transforming teaching 
and learning. Alexander and Levine (2008, p. 41) define Web 2.0 as “the social use of the Web which allows 
people  to  collaborate,  to  get  actively  involved  in  creating  content,  to  generate  knowledge  and  to  share 
information online. Alexander and Levine (2008) note their educational value to the user: they provide quick 
feedback to students, students use peer networks to develop their own knowledge, teachers can update new 
information such as homework and assignments, comments in blogs encourage students to help each other 
with  their  work,  they  inspire  writing  and  creativity  and  students  can  create  presentations  using photos,  and 
resources can be accessed anywhere any time on any computer that is connected to the internet.  
 
It  follows  that  the  unstoppable  emergence  and  development  of  online  learning  tools  has  triggered  the 
migration of pedagogy, especially in the university environment, from the traditional face‐to‐face mode to an 
online mode. The new pedagogical terms packaged with this change include “asynchronous”, “synchronous”, 
“blended learning” and “flipped classroom”. Institutions are the main target market for these online tools and 
have thus begun to respond to their presentation and dominance. In addition, marketers exert pressure to on 
the institutions in setting the evaluation criteria along their products or financing research in institutions. Jucas 
Jr  (2013,  p.  54‐56)  presents  the  following  examples  of  migration/change,  here  referring  to  these  tools  as 
disruptive technologies:  
ƒ The Minerva Project proposes to create a top‐tier for‐profit research university. With this online delivery, 
students  will  be  campus‐based  around  the  world,  while  top  professors  will  stream  online  classes  to 
student seminars. 
ƒ Georgia Tech has announced a professional Online Masters of Science degree in Computer Science (OMS 
CS) earned through MOOCs in conjunction with Udacity and AT&T. The programme estimates the cost of 
tuition at below $7 000 for the three years of coursework. Georgia Tech expects to have  10 000 students 
enrolled  at  any  given  time  and  has  already  established  links  with  4 500  centres  to  administer  the 
proctoring examination. 
ƒ The flagship universities of ten large public university systems – the State University of New York system, 
the  Tennessee  Board  of  Regents  and  the  University  of  Tennessee  system,  the  University  of  Colorado 
system,  the  University  of  Houston  system,  the  University  of  Kentucky,  the  University  of  Nebraska,  the 
University of New Mexico, the University System of Georgia, and West Virginia University – are forming a 
partnership with Coursera, a for‐profit educational technology company. Some of these systems plan to 
blend online materials with faculty‐led classroom sessions. On the other hand, others will offer credit to 
students who take the courses online followed by a proctored examination on campus. 
ƒ Generation  Rwanda,  a  partnership  of  non‐profit  organisations  serving  families  throughout  Africa,  is 
starting a university based entirely on MOOCs. Its goal is to have a 400‐person university in Rwanda with 
MOOCs providing the content and with teaching fellows handling discussions and tutoring students. It is 
planned that Southern New Hampshire University will test and certify the associate degrees awarded. Full‐
year tuition is estimated at $1 500 or less.  
In regard to the information in the first bullet above, Jucas Jr (2013) also acknowledges the possibility of being 
able to serve thousands of students online – without any need for them to be on campus at all. In fact, the 
ultimate ideal with online tools is that students will not need to be campus‐bound. This, however, is subject to 
certain conditions – the most obvious of which is that there should be computer facilities or other gadgets in 
place  to  enable  those  in  the  programme  to  interact  with  one  another  and  with  their  lecturers.  The  other 
unavoidable condition is internet access. It is interesting, in the light of these developments, that universities 
have  for  decades  been  interested  in  distance  education  with  the  purpose  of  increasing  access  to  higher 
education while, at the same time, bringing down the cost of such education (Power, 2008). Some universities, 
especially those operating according to the open distance model – such as the Open University, the University 
of  Maryland  and  the  University  of  South  Africa  –  are  already  ahead  in  delivering  their  programmes  online. 
Students even share their experiences of such modes of delivery. Earl (2013) surveyed students’ perceptions of 
short‐text format assignments. Responses were gathered online after a 12‐week, fully online undergraduate 
course.  The  findings  suggested  that  short‐text  assignments  were  rated  highly  by  students  because  students 
appreciated  the  variety  and  creativity  aspects  of  these  assignments.  However,  Carroll  (2013)  and  Grosseck 
(2009) note some disadvantages of teaching via these online tools: 
ƒ mediocre informational content;  
ƒ user‐generated content which is often worthless or amateurish; 

 
 
213
 
Mishack Gumbo 

ƒ monetary quantification;  
ƒ the fact that these tools are based on Ajax which depends on JavaScript;  
ƒ the fact that e‐learning methods position educational institutions within an organisational context rather 
than an academic one; 
ƒ the  fact  that  the  quality  of  the  learning  process  becomes  questionable  in  the  social‐network  learning 
environment; and 
ƒ the loss of the social factor inherent in face‐to‐face teaching and learning.  
It  is  possible  that  these  disadvantages  could  be  blamed  on,  but  not  limited  to,  the  poor  choice  of  the  tools 
concerned  –  hence  making  a  strong  case  for  evaluation  instruments  such  as  a  scorecard.  It  could  also  be 
argued, however, that context and the extent of the user’s knowledge of the tools from which he/she must 
choose will influence the choices that he/she ultimately makes.  
 
However,  the  rapid  increase  in  the  number  of  tools  and  resources  available  has  brought  with  it  huge 
challenges  concerning  the  quality  of  those  tools  (Baumgarter  and  Payr,  1997;  Leacock  and  Nesbit,  2007), 
making it difficult for the user to spot the relevant tool for his/her intended use. Literature cites three reasons 
for the need to evaluate these tools (Leacock and Nesbit, 2007, p. 44), which include the absence of research 
in the design of multimedia learning materials, especially in the fields of psychology and education, the use of 
quality metrics by some resource repositories to order search results, and the potential of quality criteria for 
summative evaluations to drive improvements in design practice. Meanwhile, disruptive technologies continue 
to evolve, putting even more pressure on institutions when it comes to making decisions as to which tools are 
appropriate  for  their  intended  education  mission.  Anderson  and  Whitelock  (2004)  refer  to  Tim  Berners‐Lee, 
who has introduced the Semantic Web – a concept that refers to a vision of the next dramatic evolution of web 
technology.  Berners‐Lee  “envisions  forms  of  intelligence  and  meaning  being  added  to  the  display  and 
navigational  context  of  the  current  World  Wide  Web”  (Anderson  and  Whitelock,  2004,  p.  2).  Again,  this 
compounds  the  challenges  around  making  the  right  choice  of  tool.  Hence,  the  next  section  introduces  a 
scorecard that could help in making this choice.  
3. Scorecard criteria 
I  decided  to  use  the  Learning  Object  Review  Instrument  (LORI)  version  1.5,  briefly  explained  in  the 
introduction, to evaluate the 13 tools included in the scorecard (see table 1). I specifically adapted the LORI 
that was designed by Vargo’s team (Nesbit, Belfer and Leacock, 2002; Vargo et al, 2003) and also explained by 
Reeves (1994), and critiqued by Krauss and Ally (2005). The LORI, developed and tested by Vargo et al (2003) 
as explained above, focused on quality (Vargo et al, 2003; Leacock and Nesbit, 2007). I found its criteria mostly 
raising the issues that I will be interested in when applying the scorecard as an evaluator, and which lie close to 
those in my exploration as explained above. My adaptation of the instrument is explained below. Baumgartner 
and  Payr  (1997)  and  Graf  and  List  (2005)  focused  more  on  the  qualitative  aspects  of  LORI  (version  1.4). 
According to Leacock and Nesbit (2007), quality has been neglected by previous research. Quality has a bearing 
on the potential use and suitability of the instrument in a given context. My approach in this paper gives credit 
to  both  the  numerical  and  narrative/explanatory  aspects  of  the  instrument  (see  table  1),  enabling  a 
combination of the Numerical Weight and Sum (NWS) and Qualitative Weight and Sum (QWS) (Krauss and Ally, 
2005). Secondly, instead of subjecting LORI to the Convergent Participation model (Nesbit, Belfer and Leacock, 
2002),  I  placed  emphasis  on  the  individual  user  –  beauty  is  in  the  eye  of  the  beholder.  As  stated  in  the 
introduction  to  this  paper,  my  emphasis  on  the  individual  user  was  motivated  by  my  own  experiences  of 
experimenting with the online tools.  
 
Context is also deemed crucial when the user concerned has to select from the available instruments. I argue 
that  replacing  numerical  ratings  with  symbols  and  worded  ratings  (Baumgarter  and  Payr,  1997)  may  not 
necessarily be an answer to the noticeable gaps that exist in the instrument. In fact, Krauss and Ally (2005) use 
symbols  instead  of  numbers  in  their  rating  scales.  My  opinion  is  that  there  are  no  significant  differences 
between these two since both explain in words what each numerical or symbol stands for. What I rather push 
for  is  building  into  the  instrument  itself  some  kind  of  motivation  for  the  rating  or  for  assigning  a  particular 
symbol. Furthermore, the user may not necessarily want to go to the extent of the second or third round of 
selection where the approach was to come up with “finalists”. I argue that the user will first be forced into a 
situation of shopping for a tool by experimenting with it on the Web. It is at this stage that the user develops 

214
 
Mishack Gumbo 

the  first  impression  about  a  particular  tool  or  even  gets  attracted  to  a  certain  tool.  So,  the  scorecard 
(evaluation instrument) will come in handy in cases where a few tools seem to cause confusion in the user’s 
mind because they attract him/her to a similar degree. A need for finalists could be entertained in instances 
where two or more tools tie in terms of scores. The user might have to revisit his/her experimenting with the 
tools because the tools will have to be eliminated mainly according to the comments/motivation column (table 
1).  This  column  cannot  be  properly  completed  without  knowledge  about  the  tool  concerned  and  such  
knowledge about the tool concerned comes through experimenting with it.  
 
Instead of including all nine evaluation criteria items suggested by Vargo et al (2003) and Nesbit, Belfer and 
Leacock (2002) mentioned in the introduction above, I opted for the eight suggested by Krauss and Ally (2005) 
(seven are similar to those of Nesbit, Belfer and Leacock). However, I added the item on accessibility, which 
Krause and Ally (2005) cut out but which was retained by Nesbit, Belfer and Leacock (2002). My adapted list 
ended with nine items. It was important to maintain the accessibility item considering the fact that some tools 
are  extremely  difficult  to  access  on  account  of  technicalities  or  subscription  fees,  thus  impeding  the  user‐
friendliness  of  the  tool.  I  omitted  instead  the  item  standards  compliance.  In  my  thinking  this  is  an  obvious 
point  which  does  not  need  to  be  included  in  the  evaluation.  It  is  non‐negotiable  that  every  tool  considered 
should comply with the standards set and that these should serve as a criterion for the tool to be included in 
the evaluation process. I did, however, not go to the extent of checking on this aspect for each of the tools that 
I  included  in  the  scorecard –  rather, the  aim  was  to  come  up  with  a scorecard  that  could  provide  a  starting 
point for the evaluation of instruments to be considered.  
 
My adaptation of LORI also provides for populating the tools on one scorecard instead of evaluating each tool 
and/or item in the criteria using the same instrument. Each of the nine items below is rated on a 5‐point scale 
explained as follows: 1 = very low, 2 = low, 3 = moderate, 4 = high, 5 = very high. The assessment criteria are 
explained according to Nesbit et al. (2002, pp. 2‐12) and Krauss and Ally (2005, p. 6) as follows (The acronyms 
are  for  the purposes  of  inclusion  in  the table  in  order  to avoid  the  wider  columns  which  would  result  if  the 
criteria items were to be written out in full):  
ƒ Content quality (CQ): veracity, accuracy, balanced presentation of ideas, and appropriate level of detail. 
The tool should make provision for the content that will appropriately represent reality and not mislead 
the learners. 
ƒ Learning  goal  alignment  (LGA):  alignment  among  learning  goals,  activities,  assessments,  and  learner 
characteristics. The tool should be designed such that there will be a logical clarity between these items. 
ƒ Feedback and adaptation (FA): adaptive content or feedback driven by differential learner input or learner 
modelling.  The  tool  should  respond  appropriately  to  the  input  made  by  the  learner  in  response  to  the 
learning activities. 
ƒ Motivation (M): ability to motivate and interest an identified population of learners. The tool should he 
highly  motivating  –  multimedia,  game‐based  learning  challenges,  simulations,  true‐to‐life  learning 
activities, interactivity, humour, drama. 
ƒ Presentation  design  (PD):  design  of  visual  and  auditory  information  for  enhanced  learning  and  efficient 
mental  processing  –  legible  text,  graphs  and  charts  that  are  labelled  and  free‐of‐clutter,  animation  or 
video accompanied by audio narration, aesthetically pleasing colour, music and decorative features. 
ƒ Interaction  usability  (IU):  ease  of  navigation,  predictability  of  the  user  interface,  and  quality  of  the 
interface help features – making it easier for the learner to navigate the tool. 
ƒ Accessibility  (A):  design  of  controls  and  presentation  formats  to  accommodate  disabled  and  mobile 
learners.  
ƒ Reusability  (R):  ability  to  use  the  tool  in  varying  learning  contexts  and  with  learners  from  differing 
backgrounds.  
ƒ Value  of  the  accompanying  instructor  guide  (VAIG):  ability  of  resource  to  enhance  instructional 
methodology. 
 
 
 

 
 
215
 
Mishack Gumbo 

Table 1: Tool evaluation scorecard 
Tool  Evaluation Criteria (Score)  Total  Comment/Motivation 
CQ  LGA  FA  M  PD  IU  A  R  VAIG  (45) 
Screener  5  4  5  5  5  4  1  4  5  38  Very difficult to access and download; 
ability to connect to other tools like 
Facebook enhances VAIG and motivation. 
Blogger  5  4  5  5  4  5  5  5  5  43  Allows users to add text, video, audio and 
graphics; encourages interaction, 
collaboration and critical thinking between 
users; a choice for university lecturers and 
students. 
Wikispac 5  4  5  5  4  5  5  5  5  43  Very good for teachers to interact with 
es  learners; clear design offers space for 
welcome note, introduction, goals, 
content, etc.; promotes active learning 
and learning communities; teachers can 
easily manage their teaching and provide 
on‐time feedback. 
ooVoo  5  5  5  5  5  5  5  5  5  45  Excellent next generation communication 
service; connects friends, family and 
colleagues via video chats over internet; 
can connect to Twitter and Facebook; 
easy‐to‐use navigation tools; audio‐video 
features; telephone; free download. 
WhatsAp 2  3  4  3  3  5  5  5  2  32  Works much like e‐mail; for‐free 
p  messaging; post pictures, videos, text; 
control features. 
Faceboo 3  3  4  5  3  5  5  5  3  36  Locator; profiling; messaging; interact with 
k  subscribers; post pictures, videos, text; 
control features. 
Twitter  3  4  4  4  3  5  5  5  4  37  Follow; post pictures, videos, text; 
favourite; re‐twit. 
Skype  4  4  5  4  4  5  5  3  4  38  Free; easy to download; all users must be 
available at the same time; video or audio 
calling; discussion; send message; chat 
room. 
Google  4  4  3  4  4  4  5  4  4  36  Store documents online; edit documents; 
Drive  manage files; upload pictures; manage 
presentations; easy to sign in; share 
documents; limited free storage capacity. 
Dropbox  4  4  4  4  5  4  5  5  5  40  Online document storage; more or less like 
Google Drive; access your documents 
wherever you are; upload videos; etc. 
eReader  2  2  4  3  3  4  4  4  4  30  Download and read e‐books, newspapers 
and other documents; perform other tasks 
online. 
Mendely  4  4  5  5  5  5  5  5  4  37  Very handy in organising and executing 
research activities – extraction of 
document details, super‐efficient 
management of papers, share and 
synchronise your library, etc. 
Social  4  3  5  5  5  5  5  5  5  42  Amalgamator of social networks, e.g. 
Networki Bebo, Classmates, Facebook, Friendster, 
ng  LinkedIn; connects people and helps them 
share information. 
Pinterest  3  3  4  4  4  3  5  5  4  35  Quite handy to store information located 
on other websites on internet; boards can 
be linked back to original websites; share 
information. 
SoundClo 2  2  4  4  3  3  4  4  4  30  Share music recordings; others can 
ud  comment on posted music; other users 
can leave theirs for you. 

216
 
Mishack Gumbo 

1 = very low, 2 = low, 3 = moderate, 4 = high, 5 = very high 

4. Conclusion  
The  scoring  for  these  tools  was  not  easy.  The  difficulty  lied  in  the  fact  that  some  tools  were  appealing  in 
certain aspects and not in others. I could have opted for a Blog, for instance, because I found it much easier to 
sign on and create. But because ooVoo provided the multimedia aspects, telephone option, sms facility, and so 
on, it obtained the highest score and was thus motivated more than the others. So, personal appeal is a factor 
to  deal  with  when  using  the  scorecard.  My  evaluation  of  the  tools  was  informed  by  the  criteria  in  the 
scorecard, which I used to evaluate the tools according to the different aspects explained above. This enabled 
me to make my decision about the choice tool. Wikispaces and Blogger tie in terms of the allocated scores, 
whereas ooVoo tops the scoring in this scorecard. Thus, ooVoo scored the highest. But the motivation in the 
right  column  added  to  the  high  score  and  decision.  The  strength  of  these  tools  lies  in  the  advantages  that 
characterise their usability as indicated in the “comments/motivation column”. Thus, if I were to decide which 
tool to use for educational purposes, I would immediately opt for ooVoo. The fact that 30 is the lowest score 
assigned  (eReader  and  SoundCloud)  also  shows  that  all  these  tools  are  reasonably  competitive  against  each 
other because the range between the highest and lowest scores is, at 14, not large. This is a warning to the 
user about how complex the task of having to decide which tool might be suitable to use in one’s own context 
is. The narratives in the right hand column helped me a great deal in deciding on the scores. Context – and the 
extent of knowledge of these tools – plays a crucial role in decision making. Someone in a different context, 
and who knows these tools better than or not as well as I do could arrive at a different decision and choice. It 
is thus important to reemphasise that the availability of an evaluation instrument is not an end in itself but a 
means to an end, providing, as it does, only a helpful starting point for the user. The user may either use it as 
is, modify it, or even design a different instrument using the available one(s) as a basis.  

References 
Abel, R., Brown, M., and Suess, J. (2013) “A new architecture for learning”, Educause Review, September/October, pp 88‐
102. 
Alexander, B. and Levine, A. (2008). “Web 2.0 storytelling: Emergence of a new genre”, Educause Review, Vol. 43, No. 6, pp 
40‐56. 
Baumgartner, P. and Payr, S. (1997) Methods and practice of software evaluation: The case of the European  Academic 
Software Award (EASA), Paper read at the ED‐MEDIA 97, Charlottesville, USA. 
Carroll, N. (2013) “E‐learning the McDonaldization of education”, European Journal of Higher Education, Vol. 3, No. 4, pp 
342‐356, [online] http://dx.doi.org/10.1080/21568235.2013.833405. 
Earl, K. (2013) “Student views on short‐text assignment formats in fully online courses”, Distance Education, Vol. 34, No. 
2,pp 161‐174, [online] http://dx.doi.org/10.1080/01587919.2013.763639. 
Graf, S. and List, B. (2005) An evaluation of open source e‐learning platforms stressing adaptation issues. Paper read at the 
Fifth IEEE International Conference on Advanced Learning Technologies (ICAL T’05).  [Online] 
http://www.ifetse.info/journals/10_2/5.pdf. 
Grosseck, G. (2009). To use or not to use Web 2.0 in higher education? Paper read at World Conference on Educational 
Sciences, [online] http://www.sciencedirect.com. 
Jucas Jr, H.C. (2013) “Can the current model of higher education survive MOOCs and online learning?” Educause Review, pp 
54‐66. 
Krauss, F. and Ally, M. (2005) “A study of the design and evaluation of a learning object and implications for  content 
development”, Interdisciplinary Journal of Knowledge and Learning Objects, Vol. 1, No. 1, pp 1‐22. 
Leacock, T.L. and Nesbit, J.C. (2007) “A framework for evaluating the quality of multimedia learning resources”, Educational 
Technology & Society, Vol. 10, No. 2, pp 44‐59. 
Nesbit, J., Belfer, K. and Leacock, T. (2002) Learning object review instrument (LORI) Version 1.5: User manual, [online] 
http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf 
Power, M. (2008) “The emergence of a blended online learning environment”, MERLOT   Journal of Online Learning and 
Teaching, Vol. 4, No. 4, pp 503‐514. 
Reeves, T.C. and Harmon, S.W. (1994) “Systematic evaluation procedures for interactive multimedia for evaluating and 
training”, in S. Reisman (ed.), Multimedia Computing: Preparing for the 21st century, pp 472‐505), PA: Idea Group, 
Hershey. 
Sharples, M., McAndrew, P., Weller, M., Ferguson, R., FitzGerald, E., Hirst, T. and Gaved, M. (2013) Innovating pedagogy 
2013: Open University Innovation Report 2, Milton   Keynes, The Open University. 
Vargo, J., Nesbit, J.C., Belfer, K. and Archambault, A. (2003) “Learning object evaluation: Computer‐mediated collaboration 
and inter‐rater reliability”, International Journal of Computers and Applications, Vol. 25, No. 3, pp 1‐8. 

 
 
217
Faculty Members' Perceptions of Online Learning in Saudi Arabia: 
The Case for More Professional Development Support 
Amani Hamdan 
University of Dammam, Dammam, Saudi Arabia 
akhalghamdi@ud.edu.sa 
 
Abstract: How faculty members perceive the pros and cons of implementing online learning in higher education has not 
been adequately explored in higher education literature. This mixed‐methods study explored the perceptions of a group of 
77 faculty members (18 males  and 59 females) who taught or  are teaching online courses in order to  identify  how they 
perceive  online  learning  (OL)  in  contrast  to  face‐to‐face  (F2F)  or  blended  learning  (BL).  The  results showed  that  faculty 
members  participating  in  this  study  preferred  online  and  blended  learning/teaching  approaches  over  traditional  face‐to‐
face learning/teaching approaches. The participants indicated that through online learning students were able to develop 
higher‐order  thinking  skills.  Based  on  analysis  of  the  interviews,  several  professors  felt  their  teaching  productivity  had 
increased as a result of teaching online courses, even though the challenge was an increase in their workload. This study 
concluded that online and blended learning/teaching approaches offered a platform for students to be active rather than 
passive learners and that these methods were mostly preferred by faculty members. Also it shows that there is a need for 
more professional development and faculty support in enhancing their technological proficiency and pedagogical tools.  

Keywords: online learning, blended learning, faculty perceptions, higher education 

1. Introduction  
As the demand for higher education continues to grow worldwide, Saudi Arabia is no exception. There is high 
interest and demand within higher education institutions as the number of high school graduates continues to 
increase. According to Alghamdi (2013, p.83), access to education and other changes to the education system 
are  occurring  along  with  demographic  changes.  Saudi  Arabia  is  also  diversifying  its  economy  from  heavy 
reliance on petroleum revenues to one that requires a labour force with a broad range of skills and knowledge 
(Alghamdi 2013). Although Saudi Arabia has established a new avenue for reforming education by increasing 
the number of higher educational institutions to 30 public universities, 28 private universities, and over 200 
colleges  (including  vocational  education  institutions),  these  changes  are  not  enough  to  accommodate  the 
rising demand for higher education. Therefore, there emerged a need to offer non‐traditional degrees to non‐
traditional students, and this is what fuelled dramatic growth in online learning (Shea 2013) Due to the influx 
of  high  school  graduates  and  the  increasing  demand  for  access  to  higher  education  that  is  outpacing  the 
capacity of university campuses in Saudi Arabia, more spaces were required for interested individuals. If not 
taking  a  degree  entirely  online,  students  are  enrolled  in  blended  learning  courses.  Clark‐Ibanez  and  Scott 
(2008) suggest that because online course enrollment is becoming more widespread, instructors will be asked 
at some point in their careers to teach fully online or blended courses.  
 
For the sake of clarity, online learning (OL) is defined here as learning that is completely online, “an essentially 
Internet‐based,  asynchronous  type  of  distance  education,”  with  a  flexible  learning  environment  where 
materials and support are available around the clock (Maeroff 2003). However, there is no existing universally 
agreed‐upon definition of blended learning (Sharpe et al. 2006), but the most common definition is essentially 
the  integration  of  face‐to‐face  interaction  with  an  online  learning  component.  Part  of  the  teaching  is 
completed through a learning management system (LMS), such as WebCT or Blackboard. It is foreseeable that 
the  manner  in  which learning  is  delivered  by faculty will  have  a  significant  impact  on  the  quality  of 
an online program. This manner of delivery will depend primarily on the qualifications of the faculty teaching 
the OL programs,  the  competencies  they  possess,  and  their  interest  and  understanding  of  OL  and  BL  (Ugur 
2011). Thus technical support for faculty transitioning to this type of instruction, as well as an understanding of 
their perceptions of it, is crucial to ensure quality (Shea 2013, p.74). OL and BL courses are gaining ground in 
higher education. Moreover, as noted by Shmidt, Hodge and Tschida (2013), online courses are becoming less 
expensive to administer and can be easily reused and shared. The popularity of MOOCs (Massive Online Open 
Courses) testifies to this growing sensibility towards online learning. In fact, the Saudi electronic university was 
established by the Ministry of Higher Education in 2011 (built collaboratively with the University of Phoenix, 
Walden  University,  Capella  University,  Ohio  University,  Franklin  University  and  Indira  Gandhi  National  Open 
University),  with  four  campuses  across  the  Kingdom  and  partnerships  with  the  SEU.  Because  of  this  recent 

218
 
Amani Hamdan 

growth, it is important to understand how faculty members who participate in OL perceive the pros and cons 
compared  to  those  who  participate  in  BL  and  F2F,  which  is  the  main  concern  of  this  present  research.  This 
study  will  highlight  several  unexplored  or  underexplored  topics:  how  faculty  members  who  taught  or  are 
teaching OL or BL courses reflect on their experiences, their challenges, the pros and cons identified, relevant 
issues, advantages for Saudi culture, strategies to motivate learners, challenges of OL compared with F2F and 
BL,  and  teaching  strategies  and  prior  knowledge  faculty  need  to  succeed  in  these  new  emerging  modes  of 
education. Thus this study will have broad international relevance—the professionalism involved in getting the 
proper  training  and  technological  support  for  OL  and  BL  instructors  will  likely  be  a  common  goal  in  many 
higher education contexts, nationally and beyond. 

2. Educational theory and online learning: A theoretical framework 
While  hundreds  of  faculty  members  join  the  ranks  of  those  teaching  OL  and  BL  courses,  little  seems  to  be 
known about how they perceive these new trends of teaching and learning in higher education. The theory of 
constructivism relies on the assumption that meaning exists within us—with a focus on individual perceptions 
and experiences and how they become integrated into “existing meaning schemes” (McQuiggan 2012, p.30). A 
study of the perceptions of faculty members will highlight how they make sense of their transition to online 
and blended teaching and learning contexts, a topic missing from the discussions about online learning in the 
literature, according to Allen et al. (2012, p. 10)   
 
Another recent innovation according to Lane (N.D) is connectivism theory a new leaning theory which is based 
on  the  idea  that  connections  among people,  groups,  and  information  are  the  central source  of  learning (for 
more  check  Siemens  2009;  Anderson  and  Kim  2009).  Lane  continues  that  there  are  new  distance  learning 
pedagogies  (cognitive  behaviorist,  social  constructivist,  and  connectivist)  which  allow  for  focus  on  cognitive, 
social, and teaching presence.  In another direction professors knowledge of the content according to Shulman 
(1986) is not sufficient to make good teacher. Pedagogical content knowledge PCK with technological abilities 
which  is  described  as  the  professors’  knowledge  of  how  to  incorporate  technology  into  course  content  is 
necessary in in OL and BL (Mishra and Koehelr, 2006).  
 
Technological content knowledge describes an instructor’s knowledge of how to incorporate technology into 
course content while technological pedagogical knowledge pertains to the knowledge of various technologies 
can  be  sued  in  teaching.  TPCK  produces  an  emergent  form  that  can  be  best  described  as  the  integration  of 
technology into pedagogy when presenting the subject matter (Al‐Salman, 2011, p.7)      
 
TCK, TPK and TPCK describe the aspects of knowledge required for a successful delivery and implementation of 
OL and BL. Thus the pedagogical abilities of professors who teach OL and BL are pivotal as they consider the 
merits  of  OL  and  BL  (Ward,  Peter,  and  Shelly,  2010).  Addressing  these  types  of  required  knowledge  is 
mandated by faculty members who take part in OL and BL.    

3. Review of the research literature 
The  higher  education  landscape  is  changing  worldwide  as  a  result  of  OL  and  BL,  and  faculty  satisfaction  is 
considered  an  important  factor  determining  the  quality  of  OL  courses.  This  study  was  conducted  to  identify 
and confirm factors affecting the satisfaction of online faculty at a university and to develop an understanding 
of faculty perceptions of OL and BL. The brief review of the literature that follows will provide a theoretical 
framework  for  considering  faculty  members’  perceptions  of  OL.  It  will  also  serve  as  a  lens  for  viewing  the 
results and implications of OL and BL in relation to F2F learning in Saudi universities over the past seven years.  
 
Bollinger and Wasilik (2009) investigated faculty perceptions in an online environment and found that student‐
related factors were perceived as most important, suggesting that the instructors tended to be more student‐
oriented  in  their  approaches  to  learning.  Another  qualitative  case  study  examined  how  instructors  of  online 
courses  perceived  the  effectiveness  of  proven  traditional  teaching  methods  as  well  as  cooperative  learning 
strategies in the virtual classroom. Findings revealed that although all five respondents had been working in 
online  learning  contexts  with  their  students  for  two  years  or  more,  two  of  the  respondents  still  had  not 
adapted in their own understanding of how to maximize the online learning context. They were unable to shift 
their  understanding  of  traditional  instruction  to  the  context  of  online  learning.  In  another  study,  Alghamdi 
Hamdan (2012) considered how online education is changing students’ learning culture and how their culture 

219
 
Amani Hamdan 

is  in  turn  influencing  online  education.  There  seems  to  be  less  focus  in  the  literature,  however,  on  faculty 
perceptions of online learning compared to F2F and BL environments.  
 
Kolowish  (2012)  has  indicated  that  faculty  are  more  skeptical  about  the  ability  of  online  environments  to 
facilitate  learning  outcomes  than  are  technology  administrators  on  their  campuses.  In  Packham,    Jones, 
Thomas and Miller (2006) results indicated that tutors argued that motivating students, including the provision 
of constructive feedback and developing an engaging on‐line persona were critical to successful e‐moderation.  
Another survey studying OL and faculty (Allen, Seaman, Lederman and Jaschik 2012) reported that nearly two 
thirds of instructors believe that learning outcomes of OL are somewhat inferior to F2F learning. Yancey (2009) 
argued  that  new  technologies  must  be  embraced  by  instructors  in  order  to  meet  the  needs  of  the  current 
generation of students. Moreover, Trammel and Bruce (2008) indicated that since learning is a social activity, 
OL might be isolating for those who are less technologically savvy, and that even those drawn towards it are 
not sufficiently prepared for the new demands of the learning environment (Al‐Salman, p.6). Similarly, Graham 
(2006) indicated that online (web‐based) learning and face‐to‐face learning have remained largely separate in 
the past due to the differences in their methods and audience needs (Alebaikan 2010, p.44).  
 
Technological  pedagogical  knowledge  is  the  multi‐faceted  domain  of  faculty  members’  knowledge  that 
encompasses content, pedagogy, and technology. It includes the following key aspects:  
ƒ an understanding of how to represent concepts using different technologies;  
ƒ pedagogical techniques that use technologies in constructive ways;  
ƒ knowledge of what makes concepts difficult or easy to learn and how technology can help redress some of 
the problems that students face;  
ƒ knowledge of students’ prior knowledge and theories of epistemology; and 
ƒ knowledge of how technologies can be used to build on existing knowledge (Mishra & Kohler, 2006, p. 16).  
Faculty members need to be equipped with these aspects of knowledge in order to teach effectively in OL and 
BL environments.  

4. Overview of the study 
The main research question of this study focused on how faculty members perceive their experience in online 
teaching and how it is different from blended learning (BL) and face‐to‐face (F2F) teaching. Additional probing 
questions focused on the following topics: 
 
issues instructors faced in OL;  
ƒ the pros and cons and challenges associated with OL compared to F2F and BL;  
ƒ the advantages of OL for Saudi culture (if any);  
ƒ methods of motivating learners; and 
ƒ different  teaching  strategies  and  types  of  prior  knowledge  needed  in  order  to  succeed  in  these  new 
learning environments.  
Data  collection  for  this  study  took  place  in  Spring  2013  from  faculty  members  at  the  College  of  Arts  at  the 
University  of  Dammam.  Faculty  members  in  many  colleges  (such  as  Arts  and  Applied  Community  Services) 
teach  online  courses,  yet  the  College  of  Arts,  with  its  approximately  7,000  female  students,  has  the  highest 
number of courses being delivered online with 524 BL and 916 OL learners. The survey and the semi‐structured 
interview questions were given to five faculty members prior to sending them out to participants in order to 
check their validity and connection to the research question.  

4.1 Method  
This  research  study  used  a  mixed‐methods  approach.  According  to  Creswell  (2012)  mixed  method  research 
consists  of  both  qualitative  and  quantitative  ways  to  design  a  research.  It  is  an  approach  for  collecting, 
analysing and mixing the quantitative with the qualitative in a single study to understand a research problem 
(Creswell  2012).  Using  mixed  methods  happens  when  one  build  from  quantitative  data  incorporate  in 
qualitative data to obtain more detailed information. Survey research was the method used for gathering data 

220
 
Amani Hamdan 

from  faculty  participants’  a  structured  questionnaire  was  developed  to  obtain  open  comments.  Qualitative 
data analysis involved identifying, coding, and categorizing patterns found in the data (Ward, Peters & Shelly 
2010).   
 
Data  was  collected  quantitatively  through  a  questionnaire  and  follow‐up  interviews  were  conducted  with  a 
random sample of faculty members. The questionnaires were collected from faculty members at the College of 
Arts (specifically Library Management, Geography, and History departments). Nine faculty members took part 
in the semi‐structured interviews, which were later analysed for emergent themes. Interviews of participants 
were  conducted  in  Arabic,  audio‐taped  and  later  translated  into  English.  The  researcher  obtained  ethical 
approval  from  the  Institutional  Review  Board  (IRB)  before  commencing  the  study,  and  all  audiotapes  and 
transcribed data were kept confidential and used for research purposes only.  

4.2 Participants 
The participants in this study are (N = 77, 18 males and 59 females) faculty members who were teaching or 
had taught in OL or BL programs, or had taught at least two courses through these methods. The study sample 
was comprised of full‐time and adjunct faculty at a large Saudi public university. After permission and approval 
was obtained from the university’s Office of Institutional Research and the IRB, consent forms were signed and 
an e‐mail invitation was sent to all university faculty (N = 1780). Of the 96 faculty who responded, 77 (18 males 
and  59  females)  submitted  their  feedback  on  a  short  questionnaire.  Of  those  77  participants—ranging  from 
assistant to full professors—the researcher conducted follow‐up interviews with 10 males and 11 females. This 
sample  was  representative  of  the  university  population  in  terms  of  gender  and  percentage  of  full‐time  and 
part‐time  workloads.  Their  experience  teaching  OL  and  BL  ranged  from  3  to  8  years  and  their  experience 
teaching  in  F2F  environments  ranged  from  5  to  35  years.  The  21  faculty  members  selected  for  a  qualitative 
semi‐structured interview (all of whom held terminal degrees) were selected through purposeful, convenient 
sampling as well as snowball sampling, or chain sampling.  

4.3 Data collection 
The data was collected using a questionnaire with ten questions that focused on faculty’s use of technology; 
time spent on online instructional activities; faculty perceptions of their role in OL and BL; and a comparison 
between  OL,  F2F,  and  BL.  The  first  question  was  demographic  information  of  the  faculty  member  and  the 
second  was  about  the  courses  taught  via  OL  and  BL  (more  details  in  Appendix  A).  Follow‐up  one‐on‐one 
interviews  of  semi‐structured  interviews  approach  (Bernard,  2002)  were  utilized.  Of  the  11  volunteers  and 
randomly selected participants provided further reflection on OL and BL and the advantages of each over F2F 
teaching.  The  interview  was  designed  to  allow  for  the  respondent  to  elaborate  on  responses  and  was 
composed of a list of five questions (Appendix B). According to Bernard (2002, p. 206) the idea is to get people 
to  open  up  and  let  them  express  themselves  in  their  own  terms,  at  the  own  pace.”  Both  qualitative  and 
quantitative analyses were used to interpret the data. The researchers intended to use the results for several 
purposes.  The  first  purpose  was  to  collect  data  on  the  use  of  LMS  tools  and  determine  the  level  of  faculty 
expertise, cross disciplines in OL and BL, and their reflections on the advantages and challenges of using these 
methods for teaching and learning. The second purpose was to add to the growing body of research about OL 
that currently contains very little information about faculty reflection.  

4.4 Data analysis 
After collecting the questionnaire, the researcher analysed the data and interview transcripts using grounded 
theory to come up with the main themes. This method presents a single, unified, and systematic method of 
analysis.  Codes  were  collected  from  the  21  interviews  and  categorized  into  6  themes  representing  the 
advantages and 8 themes representing the challenges (see Tables 1 and 2). The researcher attentively studied 
the themes to find a causal relationship between them to generate the theory. 

5. Study results 
Table 1: Categories of advantages of OL and BL over F2F (N = 77) 
Category  Number/percentage of survey response 
Generates discussion among the group  45/58 
New innovative teaching material  24/31 
More enjoyable unpredictable advancement  15/19 

221
 
Amani Hamdan 

Category  Number/percentage of survey response 
Easier accessibility for students and prof  15/19 
Knowledge availability on the Internet, Knowledge diffusion  10/13 
Lifelong learning  10/13 
Table 2: Concerns of faculty members using OL and BL (N = 77) 
Category  Number/percentage of survey response 
Fear of exclusion of large groups  105/77 
Weak infrastructure effect of OL and BL  85/63 
Less effective  75/54 
Teacher‐centered at times  69/51 
Advancement too fast to follow  69/51 
Less control for faculty over learning  60/44 
Less credibility for OL degrees  60/44 
Quality issues  55/40 
Less focus on improving students’ life skills  35/26 

5.1 Reflections on the quantitative data  
Tables 1 and 2 show the advantages and challenges that emerged from faculty perceptions. They explain the 
themes from the quantitative data and how they were translated in terms of percentages.  

5.2 Qualitative data 
Major  themes  emerged  after  analysing  the  semi‐structured  interviews.  The  following  section  will  explore 
selected quotes from interview transcripts. 

5.3 Main themes 

5.3.1 Empowering students 
Several  faculty  participants  indicated  noticeable  enthusiasm  in  their  students’  engagement  in  OL  and  BL 
environments,  which  was  surprising  to  them  as  they  were  not  expecting  it,  especially  when  teaching 
theoretical courses. One professor expressed amazement at how many posts sparked discussion and dialogue 
at a level not seen in an F2F classroom environment. Another described how excited their students were to 
see what video would be posted next, and how they actively engaged with it and spoke their minds. And yet 
another  suggested  that  students  exhibited  confidence  in  expressing  themselves  and  in  showcasing  their 
knowledge/experiences  and  discussing  major  issues,  and  most  of  all  that  they  felt  safe  sharing  in  a  way 
different from F2F learning.  
 
These insights support Ramsden (2003, p.161) in that proper implementation of online teaching and learning 
practices and accompanying assessment is an ongoing dialogue.  

5.3.2 More active learning environment 
Ramsden (2003, p.161) describes how online learning creates space for engagement: 
“Effective online learning enables students to access information in an inquiry‐based mode; it can 
provide a medium for high‐level communication and collaboration through peer learning; it can 
involve interaction with content in a way that enhances understanding (through simulation, for 
example).” 
Faculty experiences of online and blended learning captured in the interviews conducted support Ramsden’s 
perspective. One faculty member describes how “online learning provided a more active learning environment 
for students in which they become engaged in the process of learning. Students were active, engaging, very 
few were not in every class I taught, but the majority were posting and discussing issues.” 

5.3.3 Convenience in time and space 
One of the major advantages of OL and BL that faculty described was the ability to access learning material and 
tap  into  student‐teacher  feedback  at  any  time  and  place  (even  on  the  bus  home  or  at  the  bus  stop).  The 

222
 
Amani Hamdan 

prevalence of smart phones and the connected nature of our lives are given as good reasons to teach courses 
online. 
 
The issue of convenience has been widely agreed upon in the literature. The key drivers identified (Schriver & 
Giles 1999, Kaprowski 2000) are “accessibility and flexibility of delivery” and cost, particularly cheaper delivery, 
reduced travel costs, and reduced time away from work. All these have been positive aspects of OL and BL. It 
also seems that female participants in this study valued flexibility more than male participants, which supports 
other research findings (Shea 2013).  

5.3.4 Motivated students  
Faculty indicated that students in OL and BL courses were much more motivated than F2F students. Some of 
the faculty members perceived this increased motivation as relevant to maturity level. They saw their students 
serious about and taking ownership of their learning, in many cases because they were motivated to complete 
their degree without delay, and that the OL and BL environments attracted a different caliber of student to get 
a  degree  or  learn  a  new  skill.  One  respondent  mentioned  that  when  teaching  OL  she  was  motivated  to  go 
online herself and search for new ways to implement technology to engage her students (by sharing videos on 
Livestream and Ustream) and update her knowledge in that direction. 

6. Main challenges reported 
Despite the fact that the number of faculty members participating in OL and BL is on the rise, there still appear 
to be reluctant faculty members who are skeptical and pessimistic of its future. Some faculty members find OL 
a daunting part of their job. One commented that they are “tired of being glued to the computer screen many 
hours  a  day,”  while  for  another  “it  is  a  challenge  to  give  the  lecture  in  the  synchronous  system  for  two 
different  courses  per  day.”  Nonetheless,  the  number  of  higher  education  institutions  in  Saudi  Arabia 
implementing or moving towards offering online courses and degrees is on the rise to accommodate the high 
demands of different demographics of students seeking education. One of the main challenges highlighted is 
the lack of training and necessary ongoing support for faculty while they teach. Also, other challenges in OL 
and BL reported by faculty members included the failure of infrastructure and over‐reliance on technological 
support. They also worried about whether OL and BL help build learners’ characters and if they are developing 
in a way conducive to the best practices in their fields and disciplines. 
 
One  respondent  observed  that  the  university  should  focus  on  workshops  for  pedagogical  training  designed 
especially for faculty members who are required to teach OL and BL, noting that “the success of an institution 
is  not  in  the  number  of  courses  taught  online  or  students  registered  for  a  class,  but  in  how  effective  the 
teaching is and how efficient the faculty members are.”  
 
Inclusion  of  different  learning  styles  and  acceptance  of  differences  are  other  relevant  issues  that  faculty 
members  reflected  on  in  their  interviews.  One  interviewee  even doubted  that  there was  space for different 
learning  styles  in  OL  and  BL.  Ramsden  (2003,  p.151)  has  reported  that  “some  of  the  challenges  are 
redundancy,  end  of  face‐to‐face  teaching,  and  the  standardized  production  of  curriculum  from  a  digital 
nucleus somewhere in North America. The most serious inadequacy is assuming that the method is the key to 
good learning…no account of the individual learner”. Another interviewee expressed concerns about whether 
students  in  OL  and  BL  get  overburdened  by  all  the  daily  posts  and  teaching  material,  and  if  there  could  be 
quality in all this data. Hart (1987, p.172) states similar concerns: “What we need from educational technology 
are forms of knowledge which may lead to understanding rather than information overload and confusion.” 
Other critics argue that OL does not allow students to have input on or make decisions about the sequence of 
content or learning activities, which may reduce rather than enhance the quality of learning (Kolowich 2012). 
This affects their decision‐making and their overall life changing skills, as indicated in the interviews.  
 
Overall,  it  appears  that  these  professors  have  been  self‐taught  with  minimal  support  from  the  institution. 
Therefore, not providing enough workshops or training to support faculty who teach OL and BL seems to be 
one of the major challenges of the sustainability of online learning.  
 

223
 
Amani Hamdan 

7. Discussion: Pedagogical implications  
The  findings  from  this  mixed‐methods  study  have  implications  mainly  for  the  development  and 
implementation of training for faculty members involved in OL and BL. They also outline the advantages and 
challenges  faculty  members  encounter  transitioning  from  F2F  teaching  and  how  they  can  become  well 
prepared to overcome, accept, and maneuver them. Some faculty members indicated that they are intrigued 
by  OL  and  BL  and  new  methods  of  delivery,  and  joined  the  study  to  learn  more  about  it.  Online  learning 
provides additional structure and information to support campus‐based learning and provides more flexibility 
to meet the needs of students (Ramsden 2003, p.161).  
 
The  four  competency  areas  recommended  by  the  UNESCO  (2005)  coincide  with  the  main  roles  of  online 
instructors. These roles encompass pedagogical, social, managerial, and technical tasks (Al‐Salman 2010, p.8). 
Spence‐Robinson  (2006,  p.34)  reiterates  that  the  success  of  OL  depends  on  how  well  the  online  instructor 
performs/manages  their  concurrent  roles  (such  as  facilitator,  advisor,  counselor,  assessor,  content  expert, 
administrator,  and  so  on).  Ramsden  (2003,  pp.161‐162)  suggests  one  of  the  most  persistent  challenges 
remains ensuring that the technology facilitates learning outcomes in a quality learning environment. Whether 
or not universities adequately address the pedagogical concerns of OL is an issue for further exploration.  
 
A  similar  finding  relates  to  the  question  of  quality  of  teaching  and  learning  in  OL  and  BL  environments. 
Macpherson  et  al.  state  that  a  “lack  of  systematic  quality  evaluation  of  teaching”  keeps  institutions  from 
achieving  the  highest  and  most  consistent  quality.  Faculty  members  in  this  study  were  apprehensive  of  the 
technological  infrastructure  associated  with  the  delivery  of  OL  and  they  concurred  with  the  need  to  have  a 
body  of  policy  makers  checking  for  quality  in  order  to  sustain  this  form  of  learning  and  teaching  and  to 
facilitate peer learning and engagement (Ramsden 2003, p. 151).  
 
As  indicated  in  the  literature,  a  variety  of  benefits  have  emerged  from  OL  instruction,  including  greater 
opportunity for reflection (Dede 2004), contributions from learners who tend to be silent in F2F settings but 
find their voice in mediated interaction (Liaw 2002), and unique opportunities for experiencing multiple visual 
representations  and  virtual  experiences  not  practicable  in  a  typical  classroom  setting  (Owen  &  Liles  1998). 
Moreover, a number of critical determinants for successful online learning have been identified: the necessity 
for  students  to  be  actively  engaged  in  initiating  learning  (Dringus  2000);  differential  engagement  styles  by 
gender  (Schwarz  2001);  and  the  ways  in  which  students  incorporate  prior  knowledge  (Nachmias  &  Segev 
2003). 
 
It  seems,  though,  that  this  study  concurs  with  the  literature  in  indicating  that  initially  skeptical  faculty  gain 
confidence  as  they  become  more  involved  in  OL  (Allen  2012,  p.8).  As  the  interviewee  responses  indicate, 
gaining knowledge and expertise in technology would not have been possible without hands‐on experience as 
a result of their experience in OL.  
8. Suggestions for improving OL and BL 
As  Laurillard  puts  it,  “a  university  is  defined  by  the  quality  of  its  academic  conversations,  not  by  the 
technologies that service them” (2002, p.11). Integrating constructivist learning theory in online learning and 
vice versa is an important milestone for any online learning and teaching to succeed. Faculty and students alike 
need to construct a space where they are able to learn in their own way, and this can certainly be facilitated 
through OL.  
 
Although there seems to be an overall consensus from policy makers and stockholders that OL, BL, and other 
forms  of  LMS  are  going  to  shape  the  future  of  the  education  system  in  Saudi  Arabia,  calls  for  the 
implementation  of  problem‐based  courses  and  case  studies  to  support  individualised  learning  seem  to  be 
absent.  Finding  ways  of  learning  that  do  not  inhibit  students’  access  to  content  and  the  potential  for  its 
understanding  (Laurillard  1987)  is  another  important  consideration  for  policy  makers.  Therefore,  another 
significant way to improve OL and BL is by offering consistent professional development opportunities, which 
currently seem quite limited for faculty who are learning to teach online. Preparation is typically provided in 
the form of technology training, with little focus on the pedagogy of teaching over the web (Kolowich 2012). 
Thus,  necessary  professional  development  in  the  form  of  workshops,  technical  support,  and  incentives  and 
rewards  are  crucial  to  support  this  integrated  pedagogy (Al‐Salman 2011,  p.12).  Faculty  members  who  have 

224
 
Amani Hamdan 

been teaching OL or using BL need much more support than a short workshop or training at the beginning of 
their teaching.  

9. Conclusion 
The  research  literature  highlights  several  lessons  from  faculty  perceptions  that  can  inform  the  practice  of 
online  teaching  and  LMS‐based  learning.  Teaching  in  higher  education  is  always  messy,  unpredictable,  and 
sensitive to context (Ramsden 2003, p.162). This is especially true of OL, BL, and all forms of LMS. With the 
absence of faculty voices and perception, however, higher education would be even messier.  
 
This study sought to encourage and support inclusion of faculty perceptions to fill a void in the literature on 
OL. In a similar vein, it adds to the data on OL as a system of learning and teaching from which instructors can 
glean  quantitative  insights  on  student  engagement  and  the  degree  to  which  professors  have  succeeded  in 
meeting specific learning objectives (Kolowich 2012). Effective OL and BL strategies—as well as the need for 
diversifying  pedagogy  within  these  environments—should  be  the  focus  of  continued  discussion  in  higher 
education research literature. Professional development opportunities, therefore, should be a major goal for 
universities implementing online learning as part of a sustainable technological infrastructure for the coming 
years.  

Appendix A 
1: Faculty demographic data 
Gender: Male                           female 
Years of experiences: 
Academic Rank: 
Type of teaching experienced and years: OL, BL, F2F 
 
Have you taught BL courses? How many? 
 
2: data related to teaching 
Name of course(s) 
Name of institution 
Time spent in this teaching 
Number of students in the course 
Students’ gender: males, females, both 
 
3: How did you accommodate your teaching to be suitable for OL and BL 
4: How OL differed from BL or F2F? 

Appendix B 
What did you want to know before teaching OL and BL 
From your perspectives what are the advantages and disadvantages of OL  
From your perspectives what are the advantages and disadvantages of BL 
Compare  between  F2F,  OL,  and  BL  in  the  time  spent  teaching  through  each  method,  the  way  it  affect  the 
learner, flexibility of dealing with students and their learning 

References 
Alebaikan, R.A. (2010) Perceptions of Blended Learning in Saudi Universities, Unpublished Doctoral, University of Exeter, 
Exeter. 
Alghamdi, H.A. (2012) “The Cultural Aspects of E‐Learning and the Effects of Online Communication: A Critical Overview”, 
In Ugur Demiray, G. Kurubacak, and V. Yuzer (Eds.), Meta‐Communication for Reflective Online Conversations: 
Models for Distance Education, IGI Publisher, New York, pp 184–204.  
Allen, A., Seaman, J., Lederman, D. and Jaschik, S. (2012) Conflicted: Faculty and Online Education, 2012, The Babson 
Survey Research Group and Inside Higher Ed.  
Al‐Salman, S.M. (2011) “Faculty in Online Learning Programs: Competencies and Barriers to Success”, Journal of Applied 
Learning Technology, Vol. 1, No. 4, pp 6–13.  
Bernard, H. R. (2002). Qualitative data analysis I: Text analysis. In H. R. Bernard (Ed.), Resaerch Method of Anthropology. 
Walnut Creek, CA.: Alta Mira Press. 

225
 
Amani Hamdan 

Bolliger, D.U. and Wasilik, O. (2009) “Factors Influencing Faculty Satisfaction with Online Teaching and Learning in Higher 
Education”, Distance Education, Vol. 30, No.1, pp 103–116.  
Creswell , J. (2012). Educational research: Planning, conducting, and evaluating quantitative and qualitative research 
(4thed.). Upper Saddle River, NJ: Pearson Education. 
Dede, C. (2004) “Planning for “Neomillennial” Learning Styles: Implications for Investments in Technology and Faculty”, 
[online] Retrieved May 13, 2009, http://www.gse.harvard.edu/~dedech/DedeNeoMillennial.pdf   
Dringus, L. (2000) “Towards Active Online Learning: A Dramatic Shift in Perspectives for Learners”, The Internet and Higher 
Education, Vol. 2, No. 4, pp 189–195.  
Glazer, H.R., Breslin, M. and Wanstreet, C.E. (2013) “Online Professional and Academic Learning Communities: Faculty 
Perspectives”, Quarterly Review of Distance Education, Vol. 14, No. 3, pp 123–130,179–180.  
Kolowich, S. (2012) “Conflicted: Faculty and OL learning”, [online] Retrieved Jan 12, 2014 
http://www.insidehighered.com/news/survey/conflicted‐faculty‐and‐online‐education‐2012#sthash.UPO3yPss.dpbs 
Koprowski, G. (2000) “Online Learning: The Competitive Edge”, Information Week,  
August, pp 124–128.  
Kupczynski, L., Mundy, M.A. and Maxwell, G. (2012) “Faculty Perceptions of Cooperative Learning and Traditional 
Discussion Strategies in Online Courses”, Turkish Online Journal of Distance Education (TOJDE), Vol. 13, No. 2, pp 84–
95.  
Lane, L. (N.D) “An Open, Online Class to Prepare Faculty to Teach Online”, Journal of Educators Online. 
Lane, L. (2009) “Insidious Pedagogy: How Course Management Systems Affect Teaching”, First Monday, Vol. 14, No. 10.  
Liaw, S.‐S. (2002) “Understanding User Perceptions of World‐Wide Web Environments”, Journal of Computer Assisted 
Learning, Vol. 18, pp 137–148.  
Macpherson, A., Elliott, M., Harris, I. and Homan, G. (2013) “Reflections on E‐learning: Pedagogy and Practice in the 
Corporate Sector”, Retrieved Jan 20, 2014 http://www.ribm.mmu.ac.uk/wps/papers/03‐01.pdf 
Nachmias, R. and Segev, L. (2003) “Students’ Use of Content in Web‐Supported Academic Courses”, The Internet and 
Higher Education, Vol. 6, pp 145–157.  
Owen, M. and Liles, R.T. (1998) “Factors Contributing to the Use of Internet By Educators”, Paper read at the National 
Extension Technology conference, Saint Louis, Missouri.  
Packham, G., Jones, P., Thomas, B. and Miller, C. (2006) Student and tutor perspectives of on‐line moderation, Education 
and Training, 48(4): 241‐251  
Power, M. and Gould‐Morven, A. (2011) “Head of Gold, Feet of Clay: The Online Learning Paradox”, International Review of 
Research in Open and Distance Learning, Vol. 12, No. 2, pp 19–39.  
Ramsden, P. (2003) Learning to Teach in Higher Education, Routledge, London.  
Schmidt, S.W., Hodge, E.M. and Tschida, C.M. (2013) “How University Faculty Members Developed Their Online Teaching 
Skills”, Quarterly Review of Distance Education, Vol. 14. No. 3, pp 131–140,179–180.  
Schriver, R. and Giles, S. (1999) “Real ROI Numbers”, Training and Development, August, pp 51–52.  
Shea, P. (2007) “Bridges and Barriers to Teaching Online College Courses: A Study of Experienced Online Faculty in Thirty‐
Six Colleges”, Asynchronous Learning Networks, Vol. 11, No. 2, pp 73–128.  
Shulman, L. (1986).  Those who understand: knowledge growth in teaching. Educational researcher, 15(2).4‐14.   
Spence‐Robinson, C. (2006). Adapting the old, adopting the new: a pedagogical approach to e‐quality of online instruction 
in higher education environments. Journal of Instruction Delivery Systems,20(3), 12‐17.  
Stewart, B., Goodson, C. and Miertschin, S. (2010) “Off‐site Faculty: Perspectives on Online Experiences”, Quarterly Review 
of Distance Education, Vol. 11, No. 3, pp 187–191,193–194. 
Ward, M., Peters, G., & Shelly, K. (2010). Students and Faculty perceptions of the quality of Onilne Learning experiences. 
International Review of research in Open and Distance Learning, 11(3), 57‐77. 

226
A Paradigm of Transnational Collaborative Neo‐Blended Learning: 
Toward an Exchange Theory of Growth Need – Responsive Source 
Transactions 
Mohamed. Ziad Hamdan  
Hamdan Academy for Higher Education Online, Selangor Darul Ehsan, Malaysia 
mz.hamdan@hotmail.com  
 
Abstract: Contemporary digital technologies supported by Globalization are exerting profound effects on the nature and 
methodologies  of  schooling  and  higher  education.  A  new  e‐learning  approach  has  emerged  out  of  globalized  digital 
technologies  that  is  transnational  blended  learning.  Parallel  to  these  developments,  two  adverse  factors  are  threatening 
the education of generations: instable failing world economies and the masses of new students who are attending college 
each  year.  These  conflicting  uncertainties  are  risking  the  professional  preparation  of  millions  of  young  people  due  to 
economic  shortages  to  finance  both  new  colleges  and  the  costs  of  students'  education.  Hence,  an  urgent  well  thought 
methodology  deems  necessary  to  neutralize  the  above  negative  consequences.  This  is  called  here  a  "transnational 
collaborative  neo‐blended  learning"  (TCnBL).  "TCnBL"  is  mainly  conceptualized  upon  the  system  design  framework. 
Practically,  It  necessitates  the  work  of  three  fundamental  factors:  The  clinical  academic  and  counseling  resource  teacher, 
the  student  initiator,  and  the  educational  connected  resource  room.  In  reality  however,  "TCnBL"  is  implemented  through 
seven consequent systemic clinical steps. For managing students' education, the proposed paradigm is adopting a principle 
of  "guided  open  in‐  open  out  learning"  that  allows  students  individually  and  as  small  groups,  mostly  online,  to  initiate 
learning  and  progress  in  achievement  tasks  without  apparent  external  barriers.  Thus,  individual  students  are  able  to 
proceed  in  leaning  at  anytime,  anywhere,  by  any  available  means  without  the  constraints  of  conventional  schooling 
facilities, schedules, equipments, manpowers and rigid examinations. Nonetheless, what is essentially required for the new 
paradigm to thrive is to transform the traditional services, infrastructures and "mass" educational methodology of schools 
and universities into non‐directive counseling, organizing, sharing and open supporting learning resource centers.  
 
Keywords: growth needs, neo‐blended learning, responsive sources, transnational collaboration, TCnBL paradigm, TCnBL 
exchange theory 

1. Introduction to transnational collaborative neo‐blended learning "TCnBL"  
Proceedings to "TCnBL" Teacher Centered paradigm goes back in roots to Plato Academy  (387 BC ), Learner‐
Centered  Paradigm  (LCP)  on  another  hand  has  its  beginnings  in  Dewey's    writings  and  movement  of 
Progressive education during 1897‐1930. Minter (2011) commented in this regard that the recently used terms 
of  learner‐centered  model  are  merely  "restatements  of  old  ideas  with  new  labels."  While  teacher  centered 
"mass  approach"  has  dominated  the  educational  scene  for  some  2400  years,  and  is  fading  to  end  within 
foreseeable  years,  student  centered  appears  at  the  forefront  of  Information  Age  and  is  transforming  into 
blended  learning  and  elearning."(Barr  and  Tagg  2004;  European  Graduate  School  2014;  Rong  and  Yingliang 
2006).  
 
In this context, Hamdan (1992) wrote that Info‐Global Age has freed the means of education from earth to the 
limitless  open  cyber  space.  Hence  the  behavioral  fields  of  schooling  goals,  priorities,  and  practices  are 
extending  their  domains  to  infinity.  What  is  currently  observed  in  educational  realities  across  the  Globe  is 
nearly as predicted more than two decades ago. 
 
Eric  Schmidt,  reinforced  the  above  notion  by  predicting  (Schmidt  2013;  Schmidt  and  Cohen  2013))  that 
"everyone  in  the  world  will  be online by  2020".  On  governmental  level,  e.g.U.S.A,  President  Barack  Obama 
called  in  2013  for  "the  nation's  classrooms  to  be  transformed  into  digital  learning  centers"  (eSchool  News 
2013a).  In  the  real  practice  (eSchool  2010;  Stansbury  2008;Thompson  2014),  State  Educational  Technology 
Directors  Association  (SETDA)  reported  that  nearly  98‐percent  connectivity  is  observed  in  U.S.  schools  and 
proposed  further  “High‐Speed  Broadband  Access  for  All  Kids"  to  provide  a  technology‐rich  learning 
environment  for  the  coming  years..  However,  eLearning  despite  rising  heavily  in  practice  worldwide,  is 
expected to never be the sole approach for schooling due to different nature of individuals in growth needs, 
cognitive modalities, and availability of responsive sources. There will be environments that are high, fair or 
low in applying elearning, but will never reach the 100% or 0% points practice in this regard. 
 

227
 
Mohamed. Ziad Hamdan 

A group of U.S university professors convened 2014 to debate the fate of lecture room in higher education in 
comparable to some online techniques.  They concluded that "the future of the university won't be without 
bricks, won't be all clicks, but will certainly be far more clicks than bricks" (Schaffhauser 2014); confirming thus 
the lasting role of blended learning in university education.  
 
For blended learning (BL), different practices are observed, examples of these are (Barr and Tagg 2004; Clayton 
Christensen Institute 2012; Rong, Xiaomei and Yingliang 2006):  Rotation, Flex, A La Carte, and Enriched online. 
The Rotation type includes: Station Rotation, Lab Rotation, Flipped Classroom, and Individual Rotation. For the 
effectiveness  of  BL,  more  studies  endorsed  this  result.  A  national  U.S  survey  explored  2013  this  effect  and 
confirmed that a significant percentage of 403,000 sample supported the use of elearning in schooling (Project 
Tomorrow  2013).  Another  U.S  survey  reported  (Piehler  2014)  that  93  %  of  respondents  stated  that  digital 
technologies have a positive effect on student engagement. More effective results of BL and elearning are also 
reported new findings (Salazar‐Xirinachs 2014):  
ƒ "Ways of thinking: that includes creativity, innovation, critical thinking, problem‐solving, decision‐making 
and learning.  
ƒ Ways of working: that refers to communication, collaboration and teamwork.  
ƒ Tools  for  working:  most  of  them  are  based  on  new  information  and  communications  technologies  and 
information age literacy, including capabilities to learn and work through digital social networks.     
ƒ Skills for living in the world: such as a sense of global and local citizenship, life and career developments; 
and personal and social responsibility".  

1.1 Developments of "TCnBL"  
Current  Globalization  coupled  with  more  accelerating  developments  of  information  and  communication 
technologies (ICT) are leading to the merge of a third educational paradigm and theory that is "Transnational 
Collaborative neo‐blended learning (TCnBL). The TCnBL paradigm  views learning as an active "open in‐ open 
out" process initiated by learners based on felt needs and is realized through local, cross borders and online 
transactions  with  qualified  academic,  technological,  professional,  and  technical  sources.  The  TCnBL  theory 
states that "each time individual and small group of students interact directly and online with local and cross‐
borders sources to fulfill growth needs in exchange of agreed upon return benefits, TCnBL is occurred".   
 
TCnBL  is  an  eclectic  approach  of  blended  education  but  relatively  different  in  terms  of  individual  students 
initiatives, guided self decisions for learning in regard of goal, time, space, device,  and social modality. TCnBL 
is  here  to  stay  due  to  considerations  related  to  human  nature,  personal  preferences,  learning  styles,  socio‐
economic  conditions,  and  availability  of  collaborative  learning  sources.  Having  said  that,  TCnBL  is  formed 
based on: 
 
The principles of individual and humanistic psychologies. TCnBL is mainly an individualistic human approach for 
education  which  enables  individual  students  to  progress  in  learning  according  to  their  personal  self‐paced 
speeds, study preferences, and daily engagements. Generally, individual and humanistic psychologies provide 
students with rational free will for learning at the time, location, for what goal, content, and experience they 
need to achieve, and by what media. Brief illustrations (West 2014) in this regard follow:   
 
Flexibility in learning time which provides students with choices of when and how long they want to learn.  
Flexibility in social modalities of learning which allow students to choose with whom they will                work: 
individually, with one other person, with small groups or with larger groups. Flexibility in learning techniques. ‐
Flexibility in choice of learning tasks. 
 
The principles of collaboration, interaction, and task benefit exchange.   
 
Transnational  online/  distance  driven  tasks.  While  conventional  blended  learning  is  normally  accomplished 
within  local  environments  or  locations,  "TCnBL"  is  generally  a  cross  border  cyber  activity  and  utilizes 
responsive sources and services.  
 

228
 
Mohamed. Ziad Hamdan 

Diagnostic  and  formative  assessment  oriented  activity.  These  measures  represent  the  working  backbone  of 
"TCnBL" and exert the role of guiding operational mechanisms for building learning and achievement. 
 
Student's  self  initiated  and  field  directed  activity.  Local  and  cross  border  responsive  sources  are  mainly  on‐
demand helpers, counselors, co‐organizers, coordinators and summative achievement proficiency evaluators.   
 
The systemic framework for education. "TCnBL"  is built upon the principle and practice of psycho‐ educational 
system approach (refer to figure 2) 
 
Technology‐enabled  responsibility  (INTEL  and  LENOVO 2014)  that  necessitates  extensive  utilization  of  digital 
ICTs. The preliminary procedure to realize this merit in "TCnBL" is adopting a "1:1 computing", e.g. a laptop, a 
mobile, a tablet or other digital devices.   
 
The overwhelming number of new students joining yearly college education. It's estimated globally in higher 
education ( Nagel 2014a) that "attendance at 2025 will increase from now 200 million students to 250 millions. 
This means that four new universities would have to be constructed somewhere in the world every week with 
a capacity of 20,000‐ to 30,000 just to accommodate the influx of new students". The realization of this task is 
beyond financial capabilities of most developed countries, not to mention the developing and underdeveloped 
ones.  The  promising  alternative  by  which  these  human,  economic  and  educational  stalemates  could  be 
overcome, is applying "TCnBL" paradigm  in school and university education.  
 
The  contemporary  demands  of  the  college  and  the  workforce  are  for  students  who  can  communicate, 
collaborate, and problem‐solve. Many schools are stuck in older models, preparing students instead to acquire 
memorized  information  and  take  tests.  Today  more  than  ever,  society  (  Lenz  2014)  needs  schools  that  can 
respond to 21st century requirements by creating 21st century learning environments.   

1.2 Technology enabled "TCnBL"  
"TCnBL" as a “Technology‐enabled responsibility” tends, besides utilizing heavily World Wide Web, connected 
halls  and  technology  resource  centers,  is  apt  to  investing  any  contemporary  digital  devices  and  techniques 
available  for  students.  Examples  of  these  technologies  which  are  intensively  observed  in  today  learning 
practice are the three below: 
 
Mobile  Devices.  Project  Tomorrow's  Annual  Speak  Up  survey  polled  some  3.4  million  students,  teachers, 
administrators and parents on the use of technology in education. The results showed (Nagel 2014b) that "All 
middle and high school students have access to mobile devices and are using them for schoolwork". Another 
survey (Bolkan 2014) confirmed similar findings and added that mobile devices are leading to a real paradigm 
shift in the way educational technology actuates learning.  
 
BOYD "Bring Your Own Device". eSchool News (2013b) reported that BOYD is among the ten most significant 
developments in educational technology during 2013. "BYOD initiatives have become more prevalent in school 
districts across the U.S.A. Further, School administrators have started to implement BYOD policies that allow 
students to connect to school networks with their own devices".(Schaffhauser 2014; Stansbury 2014). 
 
The  MOOCs  "Massive  Open  Online  Courses"  which  adopts  a  path  similar  to  that  of  e‐learning,  is  another 
effective widely used tool in elearning. MOOCs are available in every academic subject from elite institutions 
such as Harvard University, Kyoto University and the University of California, Berkeley and as well from other 
higher education institutions. The academic status of  MOOCs is currently approved by accepting MOOCs as 
electives, or as normal courses by means of summative testing or content equation against  specific university 
standards  (eCampus  News  2013a;eCampus  News  2013b;  eCampus  News  2013c;  Layton  2014;  New,  Jake  
2013;Kranz  2014).  Nowadays,  MOOCs  (WINKLER    2014)  are  experiencing  the  turning  point  toward 
accreditation as shifting from being free open studies to certification paid examinations.     

2. The problem of schooling and higher education 
It  appears  from  the  above  that  digital  technologies  are  reinventing  the  process  of  education.  In  fact,  it  is 
expected by means of TCnBL to produce the most profound and lasting educational revolution in how students 
will  learn,  think  critically,  collaborate,  communicate  meaningfully,  exchange  ideas,  solve  problems,  be  self‐ 

229
 
Mohamed. Ziad Hamdan 

reliance, and maintained themselves as dignified inter‐independent persons and professionals. It is anticipated 
within  the  coming  ten  years  in  light  of  accelerating  comprehensive  technological  developments,  to  observe 
schooling  institutions  being  transformed  to  TCnBL  communities.  These  online  affiliations  will  collaborate 
transnationally  together  for  the  welfare  of  all  through  digital  knowledge  and  technology  integrated 
educational  systems.  Thus,  to  continue  education  committed  to  static  massive  methodologies,  without 
considerations  for  the  demands  of  globally  ongoing  psycho‐  educational  and  technological  developments,  is 
seen as a countering setbacks not only for the reformation of education, but also to the ultimate growth of 
generations. TCnBL, its paradigm and theory could be promising learning mechanisms for enabling students to 
reconcile their roles as effective native and world citizens.  
 
Asia  Society  (2014)  noticed  the  possible  above  schooling  calamity  by  stating:"today’s  digital  age,  the  “Net 
generation" students are constantly connected, creating, and multitasking in a multimedia world everywhere 
except in school… the school system must be reinvented to be accountable for most important matters such as 
teaching, learning, and assessing in new ways". Once more, TCnBL, its paradigm and theory aim at reforming 
the identity and process of education for such recommended goals.  

3. Theoretical and technological foundations of "TCnBL", its paradigm and theory 
There are six direct foundations from which the academic and working identities of "TCnBL", its paradigm and 
theory are derived: five psycho‐ social and one technological. Brief explanations follow:  
 
Need  theories.    Individuals  grow  as  they  experience  needs.  These  needs  serve  as  drives,  motives,  stimuli, 
impulses,  or  incentives  for  achieving  better  person's  demands.  This  research  utilizes  two  needs  framework: 
"Growth Needs of students and responsive source" needs of professionals for matters of belonging and self‐ 
actualization.  Examples  of  need  theories  to  which  current  research  has  psycho‐academic  roots  (Gawel1997; 
Hamdan 2006), are: Herzberg's theory of motivation, Maslow's hierarchy of needs, and Hamdan's pyramid of 
individual needs as a dignified social human being. Hamdan's pyramid needs are depicted in figure 1. 

Civic dignified 
Civic dignified  
individual
&  healthy society
&  healthy society

Belonging needs
for society

Commitment needs for 
societal priorities

Self – actualization needs

Daily norm behavior needs

Knowledge / Progress needs

Basic daily survival needs

Figure1: Hamdan’s Pyramid of individual needs 
as a dignified social being
 
Figure 1: Hamden’s pyramid of individual needs as a dignified social being 
Response  theories.  Response  theories  are  another  foundation  of  "TCnBL"  paradigm  and  theory  of  learning. 
Stimulus‐Response  Theories  and  Skinner's Operant  Conditioning (AllPsych  Online2011)  are  primarily  applied, 
firstly  to  tentatively  understand  how  learning  acts  are  happening    in  lieu  of  the  responses  of  academic  and 
professional sources, and secondly to utilize the principles of behavioral theories in assessing the efficacy of 
students'  achievement  of  "Growth  Needs."    It  is  assumed  in  this  regard  that  under  the  normal  human  and 
operating  conditions,  the  quality  of  learning  results  is  dependent  upon  the  quality  of  "responsive  source 
messages".    
 

230
 
Mohamed. Ziad Hamdan 

Learning  theories.  While  "TCnBL"  represents  in  itself  a  new  eclectic  theory  of  learning,  its  academic  and 
psychological descents go back to major learning schools, such as (Hamdan 2003):  
ƒ Thorndike's connectionism, Incremental learning, laws of readiness, effect, personal set and prepotency of 
elements; 
ƒ Pavlov’s and Watson’s stimulus, conditioned and unconditioned stimuli/ responses. 
ƒ Guthrie’s law of contiguity. 
ƒ Skinner’s operant conditioning and reinforcement. 
ƒ Hull’s systemized behaviorism and habit family hierarchy. 
ƒ Tolman’s purposeful behaviorism and molar behavior. 
ƒ Gestalt’s theory, laws and principles. 
ƒ Piaget’s cognitive adjustment theory, cognitive structures, cognitive readiness, and mental operations. 
ƒ Psycho‐physiological theory and neuron cognitive mechanisms. 
ƒ Freud’s Psycho‐analytic theory. 
ƒ Pandora’s social learning theory.  
Exchange  theories.  "TCnBL",  its  paradigm  and  theory  have  psychological  and  academic  origins  in  exchange 
theories of George Homans, Peter Blau, Kelley and Thibaut (Blau 1964;Homans 1958;Thibaut and Kelley 1959). 
"TCnBL"  and  its  paradigm  embrace  the  behavior  exchange  theory  through  well  thought  and  organized 
transnational  transactions  among  students  growth  needs  and  academic,  educational,  professional, 
technological and technical assets of cross borders sources.  
 
Globalization and Transnational Transactions. Due to numerous effects of Info‐ Global Age supported by digital 
communication technologies, a new form of education has emerged, that is cross border schooling. Globally 
transnational collaboration represents a major merit of "TCnBL" paradigm. 
 
Jackson (2014) wrote: "a world‐class education" calls urgently for schools to produce students that are globally 
competent  in  "world  cultures,  languages  and  how  its  economic,  environmental  and  social  systems  work". 
Further,  a  group  of  experts  stated  at  the  Globalization  of  Higher  Education  Conference  (2014)  that 
"International  partnerships  will  continue  to  be  the  catalyst  in  fostering  cross‐border  education.  “The 
combination of an international brand and a credible local partner is very powerful.” Another source (Devaney  
2013) added that “Students will be able to connect virtually with teachers in different schools, expanding both 
the number of classes available to them and the educator expertise”.   
 
Digital  information  and  communication  technologies  (ICTs).  While  previous  foundations  serve  basically  as 
theoretical  frameworks  for  "TCnBL",  contemporary  "ICTs"  represent  its  operational  mechanisms.  "ICTs"  as 
observed,  are  changing  immensely  the  educational  methodology  of  schooling.  The  latest  U.S  "Digital  School 
Districts  Survey"  (Schaffhausen  2014)  confirmed  that  American  schools  are  using  technology  extensively  for 
management,  communication,  continual  improvement,  and  for  learning".  Moreover,  Technology  Industry 
survey,  2014  and  other  studies  reported  similar  results  (eSchool  News  2010;  Evans  2013;  Hallahan    2014; 
Stansbury 2008;Thompson 2014). 

4. Systemic elements constituting "TCnBL"  
TCnBL  and  paradigm  are  conceptualized  in  consideration  of  three  basic  systemic  elements  (Figure  2):                                
Inputs which include two factors:  
 
Factors A‐  Learners'  Growth Needs:  These  are  basically  academic,  educational,  professional  demands  felt  by 
individuals, interest groups, local communities, schools, college departments and institutions for attaining new 
careers, knowledge, skills, values, and interests; or improving and maintaining other comparable ones. Parties 
of "Factors A" initiate contacts with "Factors B‐ responsive sources" for fulfilling their "Growth Needs".  Both 
Factors A and B collaborate together throughout the course of exchanging transnational messages. Factors B‐ 
responsive  sources:  They  are  academic,  educational,  professional,  technological,  technical,  and  logistic 
institutional assets and services available to be exchanged with cross borders "Growth Needs" beneficiaries for 
financial and psycho‐academic returns. 

231
 
Mohamed. Ziad Hamdan 

Processes: Transnational Collaborative interchanged online and direct transactions are dedicated to maintain 
quality  planning,  sharing,  counseling,  guiding,  assessing  and  managing  to  achieve  intended  neo‐blended 
learning tasks.  
           Factor A                                                                                                   Factor B  
                                                                      Processes 
 
                                              
  Students'           Responsive
  Transnational Collaboration- Feeding
Growth Needs
  Oriented Tasks Sources
 
 
  Outcomes: Collaborative
  neoBlended Learnings
 
 
Figure 2: Components of the TCnBL paradigm: Growth Need – responsive source transactions 
Outcomes ‐ Collaborative Blended Learnings: They are products of transnational online and direct transactions 
between learners in "Factors A" and "responsive sources" in Factors B" to achieve stated "Growth Needs".   

5. Learning steps embedded in the TCnBL paradigm  
Hamdan (1993) in a work titled "Reschooling Society" presented  a reformation educational approach close to 
current TCnBL, and proposed seven major steps adapted  here for TCnBL paradigm as follows  ( figure 3): 
 
Step one: Students visit the academic counseling resource room and submit all necessary data concerning their 
individual growth and study needs. Students in this step provide individually various personal, family / social, 
psychological,  achievement  and  behavioral  information,  by  filling  specific  forms,  and/or  answering  related 
questionnaires, tests or personal interviews. The available data will benefit academic counseling teachers and 
other  clinical‐educational  personnel  for  understanding  the  nature  of  students  needs  and  in  suggesting 
appropriate learning treatments in next steps.   
 
Step two: Students consult with academic resource teachers concerning their needs, or declare these needs for 
possible psycho‐educational achievements. The teachers may also suggest to students a need or a set of needs 
that profit a forthcoming learning or personal growth demands. 
 
Step Three: The counselor teachers and individual students review together available data for understanding the 
needs  and  specifying  its  nature  and  degrees.  In  this  respect,  they  gather  and  organize  all  available  psycho‐
educational data of learning needs from different electronic records and normal sources. They look for possible 
achievement gaps or inadequacies and necessary compensations. Finally, decisions are taken on future learnings 
and subject areas involved: learning, re‐learning, educational, psychological, social, personal or behavioral.  
 
Step Four: Analysis and interpretation of available data to identify factors or causes stimulating students' needs. 
These factors could be: developmental concern themselves with new knowledge or skills; personal representing 
forthcoming  aspirations;  social  embedding  relations  with  others;  or  behavioral  exemplifying  performing 
competencies  of  a  task  in  school  or  daily  life.  In  these  cases  and  many  others,  academic  counselor  teachers 
with the collaboration of psychologists, social workers and other school professionals, identify cause and effect 
relationships  among  observed  /  declared  needs  and  their  stimulating  factors.  The  result  will  lead  to  the 
formation of educational or behavioral prescriptions in next step to satisfy students' observed needs.   
 
Step  Five:  Development  of  achievement  prescriptions  appropriate  for  fulfilling  students'  needs.  The 
prescriptions  specify  in  clear  terms  the  psycho‐educational  demands  of  students,  the  characteristics  and 
standards of new achievements, the transnational collaborative responsive sources available for new learnings, 
and  the  formative  assessment  activities  and  success  criteria  which  students  will  experience  while 
implementing the prescriptions.  
 
 

232
 
Mohamed. Ziad Hamdan 

 
  Student Teacher & Teacher & Student
  Student's consulting
visiting student diagnose data 
  with
educational organize  
  resource room resource
  & providing data
various data teacher
 
 
 
 
                                       Feedbacks 
  Teacher & Student
                     develop learning
prescriptions
 
 
  Continuing
  with
  prescription
 
 
 
Assessing Implementing
  Modifying
                prescription individual prescriptions by
  students'
Moving to individual students
 
next achievements
    prescription
 
Figure 3: The constitutional seven steps of TCnBL paradigm  
Step  Six:  Implementation  of  prescriptions  by  individual  students  in  collaboration  of  local  and  cross  borders 
non‐directive  counselors,  academicians,  info‐technologists,  and  other  appropriate  clinical‐educational 
personnel.  Actual  student  learning,  achievement,  and  achievement  assessment  of  "growth  needs"  happen 
mainly throughout this step.    
 
Step Seven: Summative evaluation of students' educational / behavioral achievements. This step will lead to one 
of three schooling decisions: Moving to next prescription due to successful achievement, modifying prescription 
due  to  emerging  difficulty  or  sub‐learning  needs,  or  continuing  with  prescription  due  to  insufficient 
performance.  
 
Operating Factors of  "TCnBL" and paradigm into Schooling and Higher Education Though principals and other 
administrative  personnel  as  Gordon  (2014)  informed,  can  transform  their  conventional  roles  to  effectively 
move their schools to new levels of  connected teaching, learning and  leadership, to promote connection of 
collaborating learners and educational responsive sources regardless of their geographic distance, Still there 
are three other factors that determine the identity and real practice of TCnBL on ground and cyber space schooling. 
These are illustrated in the following  
 
The Clinical Academic and Counseling Resource Teacher: TCnBL paradigm requires a new brand of teachers who 
are non‐directive and professionally qualified in academic specialties, diagnostic clinical techniques, counseling and 
guidance  skills,  and  on‐demand  learning  assessment.  It  should  be  emphasized  here  that  colleges  of  education 
should  reform  their  training  programs  to  fit  the  multi‐dimensional  roles  of  current  resource  teachers  TCnBL 
teachers  of  the  future  monitor  learning  environments,  and  mainly  help  learners  in  planning,  organizing, 
counseling, and co‐steering the path of learning. They will be likely coaching, but as Devaney ( 2013) stated  "the 
real games of learning on ground and the cyber space will be played by students".    
 
The Student Initiator: The student of TCnBL whether is an adult or young person is self – motivated learner. He 
or she initiates fulfilling the felt needs and pursues the suitable paths for achieving the required results with a 
minimal degree of external guidance or help. The TCnBL student is also a committed responsible individual who 

233
 
Mohamed. Ziad Hamdan 

can take decisions, carries them out and holds herself /  himself  accountable for the consequences. Therefore, 

extroversive  students,  particularly    who  lack  above  characteristics  should  be  trained  firstly  on  independent 
working skills to help them depart from the general practice of large groups schooling in which they play the 
role  of  receivers  throughout  learning,  teaching  and  daily  interactions.  The Educational Connected Resource 
Room  (ECRR):  This  room  is  the  third  basic  operational  factor  of  the  new  TCnBL  methodology.  It  replaces  the 
traditional classroom or lecturing hall, and is comparable in role and function to the health clinic in medical care, 
but  with  more  emphasis  on  academics.  The  ECRR  operates  according  to  "open  in  –  open  out"  schedule  for 
fulfilling  students'  psycho‐educational  consultations  and  learning  prescriptions.  Conventional  classes  or  lecture 
rooms could be easily converted to ECRR facilities by furnishing them with effective qualified professionals, digital 
equipments and softwares for serving various students' educational and counseling needs.   

6. Preconditions for application of "TCnBL" paradigm into school and college education 
The dissemination of any educational change in order to succeed, necessitates firstly introducing deep changes 
in the hosting environments in regard of human services, methodologies and infrastructures. For "TCnBL" to 
thrive  educationally,  despite  of  its  claimed  educational  merits  or  good  intentions,  four  serious  undertakings 
should be adopted to qualify schools and colleges for its  effective application. They are briefly as follows:   

6.1 Changing the conventional mass centralized culture of teaching and learning 
Teaching and learning, since Plato Academy 387 BC and up to the end of 20th century, are governed by strict 
centralized culture where teachers act as the center of knowledge universe and absolute referenced academic 
authorities.  However,  with  intensifying  ICT  developments  since  nearly  twenty  years  ago,  time  has  come  to 
outdate this teaching paradigm for the benefit of a new  learning culture, where: 
ƒ Didactic  teachers  are  transformed  to  none‐  directive  counselors  and  stand‐  by  academic  resource 
educators. 
ƒ Students  are  self‐  motivated  to  perform  the  responsibilities  of  learning  on  both  ground  and  the  cyber 
space.   
ƒ Achievement  moves  from  rote  learning  and  literal  memorization  of  facts  to  understanding,  analyzing, 
thinking critically, innovating, and problem solving. 
ƒ Mass summative evaluation and rote examinations are substituted by diagnostic and formative assessments. 
Needless  to  indicate  that  introducing  above  decisive  cultural  changes  in  learning  and  teaching  necessitate 
conducting at both online as well on‐ground,  intensive awareness sessions, informative lectures, seminars, pre 
and in‐service training, electronic chats and conferences, among others.   

6.2 Professional development of school and university personnel  
There is a general agreement among educators (examples follow)  on the ultimate  importance of professional 
development  of  school  and  university  workers  for  the  successful  dissemination  of  new  programs,  curricular 
changes, trends,  different  methods and theories of learning and instruction, and digital info‐communication 
technologies. The lack of pre‐service professional courses and training in education colleges, or the absence of 
in‐service  training  of  school  and  university  personnel  will  lead  to  the  failure  of  educational  innovations 
including  the  current  proposed  "TCnBL",  and  Paradigm.  However,  related  shortcomings  to  above  mandated 
professional development of school and university personnel are already observed widely in U.S.A education 
system,  the  case  which  urgently  should  not  be  ignored  by  American  educators.  (ASCD  2014;  Daccord  2014; 
eSchool News 2013c; Devaney 2013   ; Devaney 2014; Garrett 2014; Lepi 2014; Nagel 2014a; Piehler 2014; Project 
Tomorrow 2013; Stansbury 2013). 

6.3 Remodeling school and college environments 
Introducing the new "TCnBL" and paradigm into schooling calls for renovating the physical settings of hosting 
environments to fit the dissemination requirements of the intended educational change. Classroom facilities 
for  example  should  be  converted  to  educational  and  counseling  connected  resource  rooms  or  centers,  and 
provided  with  more  digital  equipments  and  devices.    Cyber  oriented  human,  educational,  psychological, 
technological, and administrative support services ought to be available in sufficient quantities and qualities. 
Other  Issues  of  high  importance  to  effective  operation  of  TCnBL  into  schooling  involve  improving  the  ratios 
(Lenovo  2010)  of  computers  per  technician,  students  to  technicians,  students  to  all  technical  support  staff, 

234
 
Mohamed. Ziad Hamdan 

staff to plan, develop and implement the new technology. Renovating Learning assessments and policies It is 
critical for the success of TCnBL to redesign learning assessments and policies to fit the demands of students' 
growth needs and the requirements of TCnBL philosophy and practice. It is proposed here, beside the limited 
use  of  summative  evaluation  at  the  end  of  each  studied  course,  to  adopt  two  types  of  assessment:  pre‐
learning  diagnostic  and  during  learning  formative  assessments.  Diagnostic  assessment  concerns  itself  with 
specifying  where  each  student  stands  in  regard  of  required  knowledge  and  skills  before  learning,  specifying 
thus where he or she will start and what content will learn. Diagnostic assessment could be accomplished by 
conducting  online/  direct  interviews,  counseling  sessions,  questionnaires,  or  direct  questions.  Formative 
assessment  on  another  hand  can  (Stansbury  2010)  provide  data  useful  to  systemic  change  in  policies  at  the 
district  level,  and  to  changes  in  instruction  at  students'  learning  levels.  Formal  and  informal  formative 
assessments measure what students are achieving. The data obtained could then be used to modify teaching 
and learning goals and activities to further students' engagement and performance.  Although there are more 
on‐ground and software tools available for formative assessment of learning, e.g. "Socrative, Geddit, Kahoot 
and Google Forms"(Clark 2014), this Author recommends for matter of simplicity and for breeding the values 
of  students'  self‐  made  decisions,  self‐  confidence,  self‐  initiation,  self‐  continuing  learning..  to  provide  each 
study topic or course with built‐ in assignments / activities by which individual students can move in learning 
from one topic or skill to another based on self assessment of her/his progress.       

References  
AllPsych Online. (2011) Classical and Operant Conditioning. http://allpsych.com/psychology101/.  
ASCD (2014). ASCD PD Online. http://www.ascd.org/professional‐development/.  
Asia Society. (2014) Seven Skills Students Need for Their Future. After Dr. Tony Wagner's book, The Global Achievement 
Gap. http://asiasociety.org/.   
Barr , Robert B. and Tagg, John (2004). From Teaching to Learning ‐ A New Paradigm for Undergraduate Education. 
http://critical.tamucc.edu/.  
Blau, Peter. (1964) Exchange and power in social life. New York: Wiley. http://books.google.jo/. 
Bolkan, Joshua. (2014) Survey: Most Mobile Device Deployments Are Not 1:1. THE Journal, http://thejournal.com/. 
Carter, Denny. (2013) Cracking the MOOC ‘assessment nut’. www.ecampusnews.com/.  
Clark, H. (2014) 4 Powerful Formative Assessment Tools for the Chromebook Classroom. edudemic , May 8, 2014. 
http://www.edudemic.com/  
Clayton Christensen Institute. (2012) Blended Learning Model Definitions. http://www.christenseninstitute.org/ 
Daccord, Tom. (2014)  Helping  teachers grasp mobile learning’s possibilities. www.eschoolnews.com/ý. 
Devaney, Laura. (2013) The Classroom of 2024: Four future hallmarks. eSchool News. http://www.eschoolnews.com/.   
Devaney, Laura. (2014) Librarians’ new digital role. Vol. 17, No. 5 eSchoolNews.com/.  
European Graduate School EGS. (2014) PLATO– BIOGRAPHY. Http://www.egs.edu/library/plato/.  
eCampus News. (2013a) MOOCs could be a sea change. eCampus News.htm/.                                         
eCampus News. (2013b) The ABCs of MOOCs: what it’s like to enroll? Resource Center, http://www.ecampusnews.com /.  
eCampus News. (2013c) Staff and Wire Reports. MOOCs: the future of higher education, or a passing phase? Educator's 
Resource Center, http://www.ecampusnews.com/   
eSchool News. (2013a) Obama to ask for increased eRate aid. http://www.eschoolnews.com/ 
eSchool News. (2013b) Top 10 ed‐tech stories of 2013, No. 6: BYOD and social media. http://www.eschoolnews.com/  
eSchool News. (2013c) Special Report: Powering the Digital Classroom. http://www.eschoolnews.com/. 
eSchool News. (2010) Schools need models for linking data, practice. eSchool News.com/. 
Evans, Julie. (2013) From Chalkboards to Tablets: The Digital Conversion of the K‐12 Classroom. Speak Up 2012 Educator & 
Parent Report. http://www.tomorrow.org/. 
Garrett , J. (2014) Developing a Framework for a Customized Faculty Development Evaluation Plan. Faculty Focus, 
M A Y , 2 0 1 4 . http://www.facultyfocus.com/.  
Gawel, Joseph E. (1997) Herzberg's theory of motivation and Maslow's hierarchy of needs. Practical Assessment, Research 
& Evaluation, 5(11). http://PAREonline.net/..  
Globalization of Higher Education Conference. (2014) Exporting American Higher Education Around the World. Tuesday, 
March 25, 2014. http://www.globalizationofhighereducation.com/. 
Gordon, Dan. (2014) Connected Teaching, Learning and Leadership. http://thejournal.com/ 
Hallahan, James. (2014) TECHNOLOGY INDUSTRY SURVEY 2014. MORTIMER SPINKS & COMPUTER WEEKLY, 2014  ‐
WWW.MORTIMERSPINKS.COM/.  
Hamdan, M. Z. (1992) “Re‐Schooling Society with a Clinical Approach for the Education of Global Inter‐Independence”. 
Damascus‐ Syria: Modern Education house. 
Hamdan, M. Z. (2006) The Impasse of Education in Developing Countries‐ Problems and Proposed Solutions.  Damascus, 
Syria: Modern Education House 
Hamdan M. Z. (2003) Learning Theories ‐ Applications of Learning Psychology in Education. Damascus: Modern Education 
House.

235
 
Mohamed. Ziad Hamdan 

Homans, George C. (1958) "Social Behavior as Exchange". American Journal of Sociology 63 (6): 597–606. Retrieved March  
2014  
INTEL AND LENOVO. (2014) Whitepaper‐ Seven Steps to Improving Learning Outcomes with Technology‐Enabled 1‐to‐1 
Learning. Sponsored by INTEL AND LENOVO. thejournal.com/. 
Jackson, Anthony. (2014) Global Competence. Asia Society.  http://asiasociety.org/ 
Internet Stats Today. (2013) Internet Users in 2020. http://www.internetworldstats.com/ 
Kranz, Garry. (2014) MOOCs: the Next Evolution in E‐Learning? Workforce.com /. 
Layton, Julia. (2014) How Massive Open Online Courses (MOOCs) Work. How Stuff Works. 
http://people.howstuffworks.com/ 
Lenovo. (2010) Whitepaper.“The Unique Challenges Facing the IT Professional in K‐12 Education.” School Dude. Com and 
the Consortium of School Networking. In Lenovo‐Whitepaper. Seven Steps.  
 Lepi, K. (2014) Why Professional Development Matters. Edudemic. May 10, 2014. http://www.edudemic.com/ 
Lenz, B. (2014) Watch What's Working: A New Deeper Learning Resource.edutopia MAY 9, 2014 
http://www.edutopia.org/ 
Minter, Mary Kennedy. (2011) Learner‐Centered (LCI) Vs. Teacher‐Centered (TCI) Instruction: A Classroom Management 
Perspective. American Journal of Business Education – May 2011 Volume 4, Number 5. 
http://journals.cluteonline.com/.  
 Nagel, David. (2014a) 6 Technology Barriers in Education. Campus Technology, 02/05/14.  http://campustechnology.com/. 
After, Johnson, L and Others (2014). NMC Horizon Report: 2014 Higher Education Edition. Austin, Texas: The New 
Media Consortium.  
Nagel, David.  (2014b) One‐Third of U.S. Students Use School‐Issued Mobile Devices. Project Tomorrow 04/08/14. THE 
Journal, http://thejournal.com/ 
New, J. (2013) University of Maryland University College to offer credit for MOOCs.  
Piehler, Christopher. (2014) Survey Finds 50 Percent of K‐12 Teachers Get Inadequate Support for Using Technology in the 
Classroom. THE Journal, http://thejournal.com/. 
Project Tomorrow. (2013) Speak Up 2013 National Research Project Findings‐ A second year review of flipped learning. 
Speak Up 2013 National Findings.  http://www.tomorrow.og/.  
Rong Liu, Xiaomei Qiao & Yingliang Liu.( 2006) A PARADIGM SHIFT OF LEARNER‐CENTERED TEACHING STYLE: REALITY OR 
ILLUSION? Arizona Working Papers in SLAT – Vol. 13, 2006. http://slat.arizona.eduncoh.slat.arizona.edu/. 
Salazar‐Xirinachs, José M. (2014) 21st Century Skills and the Age of Responsibility. Keynote remarks."Global Trade and 
Development Week 2014", Kuala Lumpur, Malaysia. http://www.ilo.org/global/ 
Schaffhausen, D. (2014) Report: Most Schools Delivering BYOD Programs, Training Teachers in Mobile Devices Usage. T.H.E. 
News Update, thejournal@1105newsletters.com/.  
Schaffhauser, D. (2014) Is It Time To Dismantle the Lecture Hall? Campus Technology http://campustechnology.com/. 
Schmidt ,Eric. (2013) Eric Schmidt Predicts Entire World Will Be Online By 2020. INQUISITR. 
http://www.inquisitr.com/618893/eric‐schmidt‐predicts../ 
Schmidt ,Eric and Cohen, Jared. (2013) The New Digital Age: Reshaping the Future of People, Nations and Business. Barnes 
& Noble
Staff and Wire Reports. (2010) Schools need models for linking data, practice. eSchool News.com/  
Stansbury, Meris. (2014)  The 6 hidden tricks for Bring‐Your‐Own‐Device success. Reinventing the Classroom. eSchool News. 
www.eschoolnews.com/.   
Stansbury, Meris. (2013) More training is key to better school data use. eSchool News, http://www.eschoolnews.com/. 
Stansbury, Meris. (2010) Boost Student Achievement with Connected Teaching, Next Generation Collaboration, Top News. 
Nov 18th, 2008http:sessions,/www.eschoolnews.com/. 
Stansbury, Meris. (2008) Ten ways to boost learning with technology. eSchool News.com/. 
  Thibaut, N. and Kelley, H. (1959) The social psychology of groups. New York Wiley.   
http://archive.org/..thib/socialpsychology.txt.  
Thompson.G. (2014) IT Trends, Bandwidth for All. The journal. http://thejournal.com/.                    
West, Peter.  (2014)  What you should know about self‐paced  blended  learning. Powering  the Digital Classroom. eSchool News. 
http://www.eschoolnews.com/. 
WINKLER, KIRSTEN. (2014)  VERIFIED CERTIFICATES – MOOC’S MONEY MAKER OR ANACHRONISM?  edcetera – straight talk 
on edtech. April, 2014. http://www.edukwest.com/         

236
Scores in Final Exams From Students who Were Involved in Face to 
Face Tutorials Were Lower Than Those who Were not Involved: 
Why? 
Herman Herman 
Universitas Terbuka, Jakarta, Indonesia 
herman@ut.ac.id  
herman@ecampus.ut.ac.id 
 
Abstract: This article discusses the influences of face‐to‐face tutorials to the students’ ability in answering problems in final 
test at a university which over open and distance learning. Population was students from non‐education Faculties who live 
in cities of Bandung, Jakarta and Serang in the first semester of 2011. Sample was students who were involved in face to 
face tutorials where the number of students in each class was  ≥ 10. Scores in final exams from the students in face to face 
tutorials  and  students  not  in  face  to  face  tutorials  then  were  compared.  The  finding  showed  that  mostly  scores  in  final 
exam from students who were involved in face to face tutorial were lower than those who were not involved.  This fact 
showed that something might be wrong in the process of face‐to‐face tutorial at the university. The policy on face to face 
tutorials could also be blamed as the cause of that finding. From 99 courses, there was no single course where participants 
in  face  to  face  tutorials  had  higher  mean  score  in  final  exam  than  those  who  were  not  in.  Seven  courses  did  not  show 
significant means differences in final exam. For 92 courses, the mean scores of final exam from those who were involved in 
face  to  face  tutorial  were  significantly  lower  than  those  who  were  not.  Problem  could  be  in  tutorial  process.  How  the 
students  did  the  assignment  in  the  class?  Did  they  work  together?  Problem  could  also  be  in  the  policy  of  face‐to‐face 
tutorials where it could not force the students to study hard. University needs to evaluate its policy on face to face tutorial. 
Beside that university also need to evaluate the process of face to face tutorials. 
 
Keywords: face‐to‐face tutorials, scores in face to face tutorials, scores in final test, University’s policy 

1. Introduction 
Learning  or  studying  is  an  activity  that  should  be  done  by  students  or  persons  who  are  involved  in  schools, 
universities, or trainings. A set of courses in a curriculum should be finished and should be mastered by the 
students. One indicator that shows their success in mastering courses is their grades (Crocker & Algina, 1986). 
According to Wickham (2008) the more diligent the students the better are their grades.  
 
Studying in classes is not everything. The students should learn much more outside the class. By definition, for 
one  credit  course  in  face  to  face  university,  students  should  do  face  to  face  activities  in  the  class  with  the 
lecturer  for  one  hour/week.  But  students  should  also  learn  for  two  hours/week,  outside  the  class.  This 
definitions shows that students need to spent much more time to study outside the class. Whatever learning 
systems students use whether face to face or open and distance learning, the basic line is they need to study 
hard. 
 
Open  and  distance  learning  (ODL)  is  a  learning  system  that  offers  by  ODL  institutions.  There  is  a  physical 
distance  between  the  students  and  the  lecturers  (Bufford,  2005).  Usually  the  students  and  lecturers  are  in 
different places. It means students and lecturers are not in the same room/class when they are in teaching and 
learning  process.  Therefore,  teaching  and  learning  process  in  ODL  is  not  exactly  similar  to  teaching  and 
learning process in face to face classes. In addition, there is almost no teaching process such as in face to face 
university. Indonesian government allows the universities to open programs by using ODL. Students in one of 
these universities were selected to be the sample in this research. 
 
Theoretically, students in ODL should prepare three hours/week as individual learning for one credit course. 
Students in ODL usually will depend on written materials whether in printed form or in electronic form. The 
contents  should  be  easy  to  be  read  and  easy  to  be  understood.  Without  any  help  from  the  lecturer/tutor, 
students are supposed to be able to learn those materials by themselves.  
 
As  an  ODL  institution,  this  university  also  offers  tutorials  such  as  face  to  face  and  online  tutorials  to  its 
students.  Score  in  online  tutorial  will  contribute  30%  to  the  final  score.  Online  tutorials  are  free  of  charge. 
Meanwhile, score in face to face tutorial will contribute 50% to the final scores. Face to face tutorials are fees 
based.  In  the  case  that  student  takes  both  tutorials,  the  biggest  contribution  of  one  tutorial  will  be  taken. 

237
 
Herman Herman 

Students who do not involve in any tutorial will receive scores purely from final exams. In this article, the focus 
is only on face to face tutorial. The question is what is the impact of face to face tutorial to the students’ scores 
in final examination? 

2. Tutorial 
Unlike face to face universities, students in ODL generally learn from written materials called modules. Since 
students  mostly  learned  from  modules,  the  modules  should  be  self‐contained  and  self‐instruction.  The 
modules are usually completed by non‐printed materials in the form of CD, VCD or web supplement. Students 
basically can learn by themselves or learn in groups (Buford, 2005).  
 
Generally, ODL institutions do not have enough lecturers to teach their students. These institutions usually use 
lecturers  who  are  eligible  from  other  institutions  (outsource).  Those  lecturers  come  from  reputable 
universities  in  Indonesia.  Every  province  in  Indonesia  has  at  least  one  state  university  and  several  private 
universities. These lecturers can be functioning as tutors and some of them are also functioning as advisors in 
graduate  programs.  To  be  involved  in  tutorials,  the  tutors  should  fulfill  some  criteria.  Therefore,  tutors 
qualification should be unquestionable.  
 
There are eight (8) times face to face activities under tutor supervision in the class. Some activities are tutors 
presentations  and  class  discussions  where  the  topics  are  given  by  the  tutors.  To  have  score  in  discussion, 
students  must  actively  involve  by  giving  their  opinion.  Tutors  then  will  record  the  students’  responds  as 
materials in giving a score. There are also three assignments that must be done in the class. These assignments 
are similar to the tests. However, the number of items in assignment is not too many since the students only 
have one hour to answer the questions. Tutors then evaluate the assignments and give the scores. The grade 
in tutorials will be based on scores in students’ activities in the class discussions and also be based on scores 
from the three assignments.  
 
Basically,  face  to  face  tutorials  in  ODL  universities  are  almost  similar  to  the  class  activities  in  face  to  face 
university.  Tutors  explain  some  concepts,  ask  some  questions,  create  discussions,  and  give  assignments. 
However, not every topic in the modules can be covered in face to face tutorials. In face to face universities, 
the number of meetings in the class  is usually 16 times. In face to face tutorials, the number of meeting is only 
eight times, including the three (3) assignments. Each meeting in face to face tutorials needs two hours and 
each assignment needs one hour. Since the number of meeting is only eight times, tutors need to give selected 
materials which is difficult to be understood by the students. Tutors need to manage that limited time in order 
to reach optimum result in tutorials. Therefore, tutors need to have good ability in communication and need to 
have good mastery in a course since they need to explain difficult content to the students. 
 
Tutors  also  need  to  have  ability  in  motivating  the  students.  Theoretically,  students  are  adult  students.  They 
should already have high motivation in learning. However, since they are working people, tutors still need to 
remind them that they must have good preparation to do the final exam. Motivating students is not as easy as 
saying it. Even though, the students are mature, but as working people it is not easy to switch between the 
working climate to the learning climate (Nonis & Hudson, 2006). 
 
Synergy  between  tutors  and  students  is  important.  Tutors  give  course  materials  that  are  assumed  to  be 
difficult to the students. The students need to study hard in order to master the courses. Basically, students 
have to arrange their time that fit to them as much as they can. It is clear that without studying hard, students 
will have nothing to be mastered. Without studying hard, their score will be low. 
3. Method 
The  research  was  conducted  in  year  of  2011  at  semester  1.  Population  in  this  study  was  all  students  who 
registered in 2011 at one University in Indonesia which offer ODL who lived in cities of Jakarta, Bandung and 
Serang.  Basically  there  are  four  Faculties  in  this  University  which  are  Faculty  of  Education,  Faculty  of 
Mathematics and Natural Sciences, Faculty of Economic, and Faculty of Politics and Social Sciences. 
 
Students in Faculty of Education are teachers and mostly from elementary schools. This Faculty has the largest 
number of the students. It is assumed that these students have already had manner in how to learn. Faculty of 
Mathematics and Natural Sciences has the smallest number of the students. It is hard to find in the tutorials 

238
 
Herman Herman 

classes that contain more than 10 students. Faculty Economics and Faculty of Politics and Social Sciences have 
moderate number of the students. Therefore, only courses from study programs in Faculty of Economics and 
Faculty of Politics and Social Science were taken in this study. 
 
There were 218 courses that offered face to face tutorials at that time. However, only 99 courses were chosen 
in this study, because there were at least 10 students who were involved in face to face tutorials. Students’ 
means scores in final exams were compared between those who were in face to face tutorials and those who 
were not. 
 
Scores in final exam were taken from University’s database. From central limit theorem, means value from any 
distribution is normally distributed (Hoog and Craig, 1978). Therefore, t‐test was used in comparing the mean 
scores from the two groups. 

4. Result 
Table 1: Students’ scores in face to face tutorial for 99 courses 
Scores in  Minimum  Maximum  Mean  Std. Deviation 
F2F Tutorials  3.00  100.00  80.621  12.65465 
Table 1 shows the descriptive scores of face to face tutorials for 99 courses. Students mean scores in face to 
face  tutorial  was  quite  high.  Even  though  some  students  got  lower  scores,  85%  of  their  scores  were  above 
70.00 (see Table 3).  
Table 2: Students means scores in final exams for 99 courses 
Status  N  Mean  Std. Dev. 
Final Exam Scores  Not  in F2F tutorial  7940  54.759  8.064 
In F2F tutorial  10214  43.860  11.901 
Mean  scores  in  final  exam  for  99  courses  from  those  who  were  not  in  and  those  who  were  in  face  to  face 
tutorials are showed in Table 2. The difference between their mean scores was almost 11.00. This discrepancy 
is quite big. In addition, standard deviation of final exam scores from those who were in face to face tutorials 
was  also  higher.  It  means,  the  distributions  of  scores  in  final  test  from  the  students  in  face  to  face  tutorials 
were wider. 
Table 3: Distribution of students’ scores who involved in face to face tutorials for 99 courses 
Scores  in   F2F  Scores  in Final Exam 
No.  Frequency  % 
Tutorial  Min  Max  X  SD 
1  00<F2F<=10  9  .1  22  48  37.507  10.421 
2  10<F2F<=20  44  .4  13.33  71.11  38.129  12.029 
3  20<F2F<=30  68  .7  13.33  78.00  45.921  14.671 
4  30<F2F<=40  62  .6  16.00  68.89  43,771  13.102 
5  40<F2F<=50  75  .7  12.00  90.00  38.069  11.860 
6  50<F2F<=60  240  2.3  18.00  82.00  41.059  10.808 
7  60<F2F<=70  1032  10.1  14.00  88.00  42.239  10.979 
8  70<F2F<=80  2659  26.0  14.00  88.00  44.236  11.358 
9  80<F2F<=90  3708  36.3  11.11  86.00  45.343  12.064 
10  90<F2F<=100  2317  22.7  10.00  86.67  42.331  12.230 
  Total  10214  100.0         
95.1% of the students’ scores were above  60.00. It can be seen from Table 3 that only 4.9% of scores were 
below 60.00. Usually, students with scores smaller than 60 were the students who did not involved completely 
in face to face tutorials activities. They could be absence in some of face to face activities, or they did not finish 
the assignments in the class.  
 
All students’ means scores in final exams from those who were in face to face tutorials were not higher than 
those  who  were  not  in.  Only  six  courses  had  statistically  equal  means  scores.  For  the  rest  of  93  courses, 
students’ scores in final exams from those who were in face to face tutorials were lower than those who were 
not in. 

239
 
Herman Herman 

5. Discussion 
With  the  assumption  that  students  who  were  involved  in  face  to  face  tutorials  will  study  much  more  than 
students  who  were  not  involved,  scores  in  final  test  for  those  who  were  in  face  to  face  tutorials  should  be 
larger than those who were not in. However,  in this study that assumption was violated. Finding showed that 
scores  in  final  test  for  those  who  were  in  face  to  face  tutorial  was  smaller  than  those  who  were  not.  The 
question is why? The simplest answer is “students who were in face to face tutorials did not study as hard as 
those who were not in face to face tutorial”. The next question is why it happened? 
 
To pass the course, students need to have score ≥ 55.00. For 85% of the students in face to face tutorials, to 
reach the final score of 55.00, they only need to have scores of 40 or less in final test. If these students were 
satisfied just to pass the course, those scores in final test was more than enough. 
 
There was nothing wrong with these students behavior. Their target probably is only to pass the course. Since 
the contribution of face to face tutorial to the final score is 50%, they could use this opportunity to reach the 
minimum  criteria  of  passing  grade.  It  seems  that  it  is  not  too  difficult  to  reach  high  score  in  face  to  face 
tutorial. However in fact, these students did not reach high score in final exams. These students were not too 
curious  in  reaching  high  scores.  There  are  so  many  questions  that  need  to  be  answered  from  this  finding.  
What  did  students  do  in  face  to  face  tutorial?  What  did  tutors  do  in  evaluating  the  students  so  that  the 
students  had  high  scores?  What  was  wrong  in  the  face  to  face  tutorial  process  that  could  not  force  the 
students  to  study  hard?  Did  the  policy  in  contributing  the  tutorial  scores  to  the  final  test  scores  does  not 
motivate  the  students  to  study  hard?  Does  University  need  to  have  another  policy  to  force  the  students  to 
study harder? 
 
According to Koriat and Nussinson (2009), self learning will be effective if it is monitored. Monitoring students 
learning is important to see the degrees of course mastery. Monitoring and controlling (MC) the process that 
occur  during  learning  process  may  be  conceptualized  as  involving  the  operation  of  meta‐level  processes 
(Nelson & Narens, 1990). The operation of meta‐level processes oversee object‐level operations (monitoring) 
and  return  signal  to  regulate  this  operation  in  a  top‐down  fashion  (control).  This  framework  used  the 
assumption that monitoring is driving and guiding control operations. As an example, in self‐learning students 
are assumed to monitor the degrees of course content mastery. The effort to study the course content will be 
stopped whenever the desired level of mastery is already reached (Dunlosky & Hertzog, 1998).  
 
The  model  of  monitoring‐control  (MC)  is  assumed  to  underlie  a  meta‐cognitive  regulation.  Beside  the  MC 
model, Koriat, Ma’ ayan, & Nussinson (2006) introduced control‐monitoring (CM) model. They argued that in 
general meta‐cognitive monitoring guides behavior. But sometimes monitoring itself is based on the feedback 
from control operation. As an example, a strong feeling of knowing during the attempt to retrieve information 
from  memory  may  motivate  increased  effort  in  searching  for  the  elusive  target.  That  feeling  may  itself  be 
based on feedback from attempting to search for the target‐the accessibility of partial information following 
initial search (Koriat, 1995; Koriat & Levy‐Sadot, 2001). 
 
From these two models, it seems that MC model is the closest to the phenomena that students will stop their 
effort when they know that they will pass the course. Dunlosky & Hertzog (1998) statement is also fit to that 
phenomena. Students stopped or decreased their effort in studying whenever they know that their score in 
face to face tutorial was already high.  
 
Motivation  affects  the  students’  effort  in  reaching  the  good  grade.  Many  studies  showed  this  statement. 
According  to  Pintrich  &  Schunk  (1996),  motivation  will  influence  how  and  why  people  learn,  and  how  they 
perform.  Motivation  was  found  to  be  the  best  predictor  of  students’  achievement  (Oxford,  Park‐Oh,  Ito,  & 
Sumrall,  1993a,  1993b).  Another  study  also  found  that  motivation  and  attitude  were  the  best  predictors  of 
students’  grade  point  average  (Hendrickson,  1997).  It  seems  that  tutors  have  not  been  succeeded  in 
motivating the students to study harder. 
 
According to Deci, Ryan & Williams (1996) and Sheldon & Biddle (1998) students vary in their engagement and 
their  enthusiasm  for  schoolwork.  They  also  vary  in  the  degree  to  which  they  go  on  to  demonstrate  lifelong 
interest in education and learning.  Self determination theory (SDT) analyzes these differences by focusing on 
the  content  of  the  goals  that  people  have  for  learning  and  the  learning  context  within  which  the  goals  are 

240
 
Herman Herman 

pursued  (Deci,  Ryan,  &  Williams  1985;  Ryan  &  Deci,  2000).  Within  SDT,  learning  is  an  active  process  that 
functions  optimally  when  students’  motivation  is  autonomous  for  engaging  in  learning  activities  and 
assimilating new information (Ryan & Deci, 2000). 
 
A  research  has  examined  qualities  of  the  social  context  that  undermine  autonomous  motivation  and  that 
facilitate autonomous motivation. Social context that are controlling what people should do (pressure people 
through use of incentives, deadlines, and punishments or through reliance on instructions) have been found to 
diminished autonomous motivation (Deci, Koestner, & Ryan, 1999). This result in decreased persistence and 
poorer  learning,  especially  conceptual  learning  requires  deep  processing  of  information  (Grolnick  &  Ryan, 
1987). Conversely, environment that support autonomy have been found to enhance autonomous motivation 
and facilitate learning, test performance, and adjustment (Black & Deci, 2000; Ryan & Connell, 1989). As open 
and distance learning institution, University gives much freedom to its students to study anytime fit to them, 
whenever they want, by using their learning styles. However, many of them did not optimize that opportunity. 
Therefore,  the  learning  materials  which  they  were  mastered  was  not  enough  to  cover  the  materials  in  final 
exam. As consequence, many of them received low score in final exam. 
 
Almost all students in ODL institutions are adult students. They are usually working people. As working people 
most of their time is for working. They need to have good strategy in managing their time in order to learn 
course materials.  Too much time in working has consequence that they will lose the course. Too much time in 
learning,  it  will  reduce  their  income.  They  need  to  balance  their  time.  According  to  Nonis  &  Hudson  (2006) 
students spend less time in studying and more time in working is two trends that all colleges and universities 
have  to confront.  Lowering  academic  standards  by  minimizing  effort  and  by  expecting  less  achievement  is  a 
sort‐time strategy. 
 
The good news from the findings was that written materials in University are very good. Basically, most of the 
students  who  did  not  involved  in  face  to  face  tutorials  learned  from  modules.  Most  of  these  students  had 
significantly  higher  scores  than  those  who  were  in  face  to  face  tutorials.  As  additional  information,  the 
modules  were  developed  by  experts  to  be  self‐contain  and  self‐instruction.  Students  basically  do  not  need 
tutor/lecturer  to  guide  them  in  studying.  Every  material  for  each  goal  is  already  prepared  in  the  module. 
Moreover, students can also learn from other sources as long as consistent with the instructional goals. 
6. Conclusion 
There are some possibilities that can cause the low score of final test for the students who were involved in 
face  to  face  tutorial.  First  possibility  is  students  were  already  satisfied  with  the  score  from  face  to  face 
tutorials. They didn’t need high score in final test in order to pass the course. Their target is only passing the 
course. They also did not have high motivation in having grade B or A. Theory of Monitoring‐control (MC) seem 
to be fit for this situation. Students will decrease their effort in studying for final exam, since they know that 
they already have high score in face to face tutorial. 
 
Another possibility is because the process in face to face tutorials could not force the students to study harder. 
Tutors could not motivate the students to study harder in preparing for final exams. 
 
In  contrast,  students  who  were  not  involved  in  face  to  face  tutorials  had  significantly  higher  score  in  final 
exam. Basically they learn from modules. This fact showed that the content in modules is not difficult to be 
understood. Beside that, they studied harder than the students who were in face to face tutorials. Since they 
study mostly from modules, therefore, the modules are really self‐contain, self‐instruction and not too difficult 
to be studied. 
 
It is suggested that University needs to revise its policy that 50% of scores in face to face tutorials contribute to 
the final score. This policy does not challenge the students to learn properly, to learn harder in preparing the 
final tests. University can also make a new policy that the students should reach a certain score in final exam in 
order to use their scores in face to face tutorials. Something wrong could also happened in the process of face 
to  face  tutorial,  such  as  how  the  students  do  their  assignment.  Therefore,  University  needs  to  evaluate  this 
process. 

241
 
Herman Herman 

References 
Black, A.E., & Deci, E.L. (2000). The Effect of Instructors’ Autonomy Support and Students’ Autonomous Motivation on 
Learning Organic Chemistry: A Self‐Determination Theory Perspective. Secience Education, 84, 740‐756. 
Bufford, J. Jr. (2005). An Introduction to Designing and Delivering Courses and Programs at a Distance, Advance Methods in 
Distance Education: Applications and Practices for Educators, Administrators and Learners. eds. K.E. Dooley, J.R. 
Lindner, & L.M. Dooley, London, Yurchack Printing Inc.  
Crocker, L. & Algina, J. (1986). Introduction to Classical & Modern Test Theory, Chicago, Holt, Rinehart and Winston, Inc. 
Deci, E.L., Ryan, R.M., & Williams, G.C. (1985). Intrinsic Motivation and Self Determination in Human Behaviour, New York: 
Plenum Press. 
Deci, E.L., Ryan, R.M., & Williams, G.C. (1996). Need Satisfaction and the Self Regulation of Learning. Learning and 
Individual Differences, 8,  165‐183. 
Deci, E.L., Koestner, R., & Ryan, R.M. (1999). A Meta‐Analytic of Experiments Examining the Effect of Extrinsic Reward on 
Intrinsic Motivation. Psychological Bulletin, 25, 627‐668. 
Dunlosky,J., & Hortzeg, C. (1998). Aging and Deficits in Associative Memory: What is the Role of Strategy Production? 
Psychology and Aging, 13, 597‐607. 
Grolnick, W.S., & Ryan, R.M. (1987). Autonomy in Children’s Learning: An Experimental and Individual Difference 
Investigation. Journal of Personality and Social Psychology, 52, 890‐898. 
Hendrickson, A.B. (1997). Predicting Students Success with the Learning and Study Strategies Inventory (LASSI). 
Unpublished Master’s Thesis, Iowa State University, Ames, IA. 
Hoog, R.V dan A. T. Craig. (1978) Introduction to Mathematical Statistics, New York, Macmillan Publishing Co.,Inc. 
Koriat, A. (1995). How do We Know that We Know? The Accessibility Model of the Feeling of Knowing. Psychological 
Review, 100, 609‐639. 
Koriat, A., & Levy‐Sadot, R. (2001). The Combined Contributions of the Cue‐Familiarity and the Accessibility Heuristics to 
Feeling of Knowing. Journal of Experimental Psychology: Learning, Memory and Cognition, 27, 34‐53. 
Koriat, A., Ma’ayan, H., & Nussinson, R. (2006). The Intricate relationships between Monitoring and Control in 
Metacognition: Lessons for the Cause‐and‐Effect Relation between Subjective Experience and Behavior. Journal of 
Experimental Psycolog, General, 135, 36‐69.  
Koriat, A. & Nussinson, R. (2009). Attributing Study Effort to Data‐Driven and Goal‐Driven Effect: Implications for 
Metacognitive Judgments. Journal of Experimental Psychology; Learning, Memory and Cognition, Vol. 35, No. 5, 1338‐
1343. 
Nelson, T.O., & Narens, L. (1990). Metamemory: A Theoritical Framework and New Findings. In G. Bower (Ed.). The 
Psychology of Learning and Motivation: Advances in Reasearch and Theory. New York, Academic Press. 
Nonis, S.A., & Hudson, G.I. (2006). Academic Performance of College Students: Influence of Time Spent Studying and 
Working. Journal of Education for Business, January/February 2006, 151‐159. 
Oxford, R., Park‐Oh, Y., Ito, S., & Sumrall, M. (1993a). Japanese by Satellite; Effect of Motivation, Language Learning Styles 
and Strategies, Gender, Course Level, and Previous Language Learning Experience on Japanese Achievement. Foreign 
Language Annals, 26(3), 358‐371. 
Oxford, R., Park‐Oh, Y., Ito, S., & Sumrall, M. (1993b). Learning a Language by Satellite Television: What Influences Student 
Achievement? System, 21(1), 31‐48. 
Pintrich, P.R. & Schunk, D.H. (1996). Motivation in Education: Theory, Research, and Application, Englewood Cliffs, NJ, 
Prentice‐Hall Inc. 
Ryan, R.M., & Connell, J.P. (1989). Perceived Locus of Causality and Internalization: Examining Reasons for Acting in Two 
Domains.  Journal of Personality and Social Psychology, 57, 749‐761. 
Ryan, R.M., & Deci, E.L. (2000). Self Determination Theory and the Facilitation on Intrinsic Motivation, Social Development 
and Well‐Being. American Psychologist, 55, 68‐78. 
Sheldon, K.M., & Biddle, B.J. (1998). Standards, Accountability, and School Reform: Perils and Pitfalls. Teachers College 
Record, 100, 164‐180. 
Wickham, S.J. (2008). http://EzineArticles.com/?expert=SteveWickham. Downloaded at 3‐11‐2010. 
 

242
Digitalizing Feedback: Reducing Teachers’ Time Investment While 
Maintaining Feedback Quality 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder  
VU University Amsterdam, Amsterdam, The Netherlands 
j.vander.hulst@vu.nl 
p.van.boxel@vu.nl  
s.meeder@vu.nl  
 
Abstract:  Research  shows  that  feedback  on  students’  writings  can  greatly  help  students  to  learn,  provided  that  the 
feedback  is  given  in  a  timely  manner,  is  sufficiently  informative  for  the  students  and  that  opportunities  are  present  for 
students to act on the feedback (Hattie and Timperley, 2007; Shute, 2008; Gibbs, 2010). In practice, however, it appears 
that in spite of the amount of time teachers spend on assessing their students’ work, the potential gains to be made from 
feedback,  frequently  remain  untapped  by  students.  In  the  last  decade,  there  has  been  a  steady  growth  in  the  area  of 
dedicated marking and feedback tools, including marking software for written essays (Heinrich and Milne, 2012; van Boxel, 
2012).  The  practical  and  pedagogical  benefits  these  tools  offer,  include  easier  assignment  handling  and  storage  of 
feedback, and more varied ways in which feedback on written student work can be constructed. Whilst the rich potential 
for more effectiveness of teacher’s marking practices is starting to emerge, it is recognised that the real impact is yet to be 
illustrated, and that further evidence is required, especially with regards to educators’ points of view (Buckley and Cowap, 
2013; Herman et. al, 2014). This paper presents the results of a case study which took place in an introductory Psychology 
course taken by 500 first‐year students at the VU University Amsterdam. Twelve teachers provided first year Psychology 
students with online feedback on a series of written essays using the GradeMark marking tool. Different feedback types 
were employed at various stages of the essay writing process, such as text annotations and grading forms (‘rubrics’). The 
tutors all made use of the same set of pre‐developed feedback fragments and rubrics. The first aim of the case study was 
to investigate whether the shift to an online marking process would help teachers to develop a more efficient workflow, 
and  consequently  save  time.  The  second  aim  of  the  study  was  to  investigate  how  the  use  of  different  types  of  digital 
feedback  instruments  would  contribute  to  the  quality  of  the  feedback.  Teachers’  and  students’  perceptions  regarding 
effectiveness and feedback quality were obtained via online questionnaires and interviews with the course coordinators. 
Results  show  that  the  use  of  GradeMark  did  save  time  according  to  half  of  the  teachers.  Particularly  text‐annotated 
feedback that is directly linked to the work of the students, combined with personal summarizing remarks, was perceived 
as  quality‐enhancing  by  students  as  well  as  teachers.  The  perceptions  of  the  effectiveness  of  a  rubric  (grading  forms) 
revealed a more mixed picture amongst both groups. Recommendations for implementation of a digital feedback tool in 
large courses with multiple teachers are discussed.  
 
Keywords: digital feedback, reduction of teacher time, efficiency, feedback quality, large classes, implementation of 
feedback tool, text‐annotation, rubrics 

1. Introduction  
It is clear that providing feedback is an important teacher task. Review studies by Hattie and Timperley (2007) 
and Shute (2008) have shown that feedback can greatly help students to achieve their learning goals. Feedback 
on  students’  writings  can  greatly  help  students  to  learn,  provided  that  the  feedback  is  given  in  a  timely 
manner, is sufficiently informative for the students and that opportunities are there for students to act on the 
feedback (Hattie and Timperley, 2007; Shute, 2008; Gibbs, 2010). Nicol (2009) gives specific recommendations 
for  good  teacher  feedback:  it  needs  to  be  understandable  for  students,  selective,  specific,  timely, 
contextualized, nonjudgmental, balanced, forward looking and transferable. 
 
In practice, however, it appears that in spite of the amount of time teachers spend on assessing their students’ 
work, the potential student gains to be had from feedback frequently remain untapped. This is regrettable, not 
just  because  students  are  missing  out  on  opportunities  to  learn,  but  also  because  it  is  important  that  the 
limited amount of teaching time available is used as effectively as possible. The question therefore arises as to 
whether, and how, the practice of giving feedback can be made more effective and more efficient.  
 
In  the  last  decade,  there  has  been  a  steady  growth  in  the  area  of  essay  feedback  and  marking  software 
including Moodle workshops, GradeMark (Turnitin), Waypoint, Markin and WebMark (Welch, 2012; van Boxel, 
2012). Heinrich and Milne (2012) and Welch (2012) identify both practical and pedagogical benefits of using 
marking software. The digital management of written assignments provides logistical benefits which can result 
in time and cost savings and a generally more efficient marking ‘workflow’ for the teacher. Online marking can 

243
 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder 

also contribute to better feedback quality. It requires teachers to make their feedback criteria explicit, which 
may  signify  a  departure  from  their  former,  more  implicit  ways  of  marking,  instead  using  predefined 
assessment criteria. The possibility these tools offer to re‐use stored and categorized feedback makes it easier 
for teachers to provide students with feedback at crucial times in the learning process. 
 
Marking tools often enable feedback to be delivered via rubrics. Heinrich and Milne (2012) describe these as 
being the ‘centre of an educationally sound marking system’. A rubric is a matrix in which multiple assessment 
criteria  for  an  assignment  are  identified  (e.g.  grammar,  methodology,  structure)  and  graded  in  terms  of 
different  levels  of  achievement  (unsatisfactory,  satisfactory,  good,  excellent).  For  each  level,  a  qualitative 
description may be given, providing the student with insight in both the required level of performance and his 
actual performance. The growth perspective offered by a rubric redefines the concept of feedback to that of 
feedforward. A rubric can also be used to provide higher‐level feedback over the lifespan of a course or even 
curriculum (e.g. to monitor academic skills progress amongst students).  
 
Research  to  date  indicates  that  students  generally  have  a  positive  attitude  towards  the  online  handling  of 
assignments, due to the time and place independent submission of their work. Factors identified by students 
which  contribute  towards  the  quality  of  online  feedback  include  greater  anonymity,  a  greater  volume  of 
comments compared to paper‐based marking, and feedback being connected to the point of error in the text, 
as  opposed  to  handwritten  comments  in  the  margin  (Herman  et.  al.,  2014).  Teachers  also  tend  to  display  a 
positive attitude towards online handling and marking of assignments, pointing at increasing efficiency of the 
marking process,  and  easier and quicker  marking of certain  assignment formats  (Buckley  and  Cowap,  2013). 
Whilst the potential for more effectiveness of teacher’s marking practices is starting to emerge, it is recognised 
that the real impact is yet to be illustrated, and that further evidence is required, especially with regards to 
educators’ points of view (Buckley and Cowap, 2013; Herman et al, 2014).   
 
This  case  study  was  conducted  to  increase  insight  in  the  use  of  digital  feedback  tools.  Digital  tools  can  be 
designed with varying affordances. The specific design of a feedback tool can be expected to shape the way 
feedback is given, making some ways of use more likely than others. The contribution of our case study to the 
current research is an in‐depth look at how the feedback giving process is implemented within specific marking 
software and the users’ experiences with the software.  
 
Affordances of the GradeMark grading tool 
 
The marking software used was GradeMark. There are reasons to expect that the use of this grading tool can 
potentially raise the feedback quality and save teachers’marking time. 
 
Clarity and formulation of feedback   
 
First of all, feedback has to be understandable for students; a basic prerequisite being that feedback should be 
readable. Digital feedback eliminates the issue of illegible teachers’ handwriting. Secondly, the way feedback is 
formulated  is  important;  feedback  should  be  comprehensible  and  encouraging  for  students  in  order  to  be 
effective (Nicol, 2009; Lizzio & Wilson, 2008; Agius & Wilkinson, 2013).  
 
Since in GradeMark  feedback can be stored and re‐used, it has to be formulated only once. This can make it 
worthwhile for teachers to invest time in the formulation of carefully crafted feedback.   
 
Advantages of annotations  
 
Students  value  focused  and  specific  comments,  especially  when  it  comes  to  formative  feedback.  In  their 
literature  review  on  the  perceptions  of  students  (and  teachers)  of  written  feedback,  Agius  and  Wilkinson 
(2013) concluded that students prefer margin comments (annotations) to feedback on cover sheets, because 
annotations give them more guidance on where and how to improve their writing. In GradeMark, it is possible 
to  link  feedback  comments  to  highlighted  elements  in  the  submission,  which  allows  for  showing  students 
specific  examples  in  their  work  where  the  feedback  applies  to.  This  can  be  expected  to  contribute  to  the 
students’ understanding of and appreciation for the feedback.  
 
 

 
244
 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder 

Alignment with assessment criteria  
 
As  has  been  noted  in  the  literature,  alignment  of  the  feedback  to  the  instructional  context  is  essential  for 
learning (Nicol, 2009). GradeMark offers the functionality to link an assignment to a rubric, which allows for 
learning  goals  and  assessment  criteria  to  become  more  transparant.  In  Grademark,  the  rubric  can  be  made 
visible for students before they start working on their assignment, which can guide them during their work.  
 
Personalized feedback  
 
Feedback has a relational and socioemotional aspect as well. If students perceive that the assessor is engaged 
with  their  submission,  they  find  the  feedback  fairer  and  more  acceptable  (Lizzio  &  Wilson,  2008).  Thus, 
feedback should have a personal touch, revealing the engagement of the marker with the student’s work. In 
GradeMark  especially  the  ‘General  comments’  and  the  possibility  to  create  personal  annotations  in  the 
students’ texts, provide possibilities for personalized feedback. 
 
Timeliness of feedback 
 
The digital mode can contribute to the timely delivery of feedback to the extent that the online grading tool 
saves  teachers’  time  which  can  result  in  faster  delivery  of  the  feedback.  Secondly,  because  students  have 
access to their feedback anytime they don’t have to wait till next class meeting for receiving feedback.  
 
Other  quality  issues  are  less  depending  on  the  digital  mode  and  are  more  determined  by  the  design  of  the 
learning  situation  (e.g.  if  there  is  a  possibility  for  students  to  act  upon  the  feedback,  for  instance  by  the 
application of multistage assignments) and the content of the feedback (e.g. is the feedback directed to the 
task or the writing process).   
 
Time saving for teachers  
 
Teachers spent a considerable amount of time on providing feedback on students’ works. Digital marking tools 
may  provide  logistical  benefits  which  make  the  ‘workflow’  for  the  teacher  more  efficient.  Grademark  helps 
teachers to control their workload, by the central collection and storage of essays, the overview of students 
that submitted their papers, the in‐built check for plagiarism, and the possibility to re‐use feedback comments.  
2. Description of the case study  

2.1 Educational context 
The purpose of the case study was to investigate whether the employment of this digital feedback practice by 
a team of teachers would:   
ƒ help teachers to keep the time spent on giving feedback under control 
ƒ increase the quality of feedback through the use of different feedback types 
ƒ encourage a more consistent feedback approach by teachers 
The case study was carried out from September to October 2012. The course was a first‐year Bachelor course 
on  Methodology,  taken  by  five  hundred  students  on  the  education  and  psychology  study  programmes.  The 
aim of the course is to give an initial introduction to scientific thinking and research methods. It is an intensive 
course in which students write several assignments. Small‐group tutorials were given by twelve –mostly junior 
‐ teachers, who were also responsible for assessing the assignments and providing feedback on them. These 
tutorial teachers were working under the supervision of an experienced course coordinator.  
 
Each student wrote six assignments in six weeks, on which the teachers gave written feedback. Students had 
to receive their feedback quickly enough so that they could use it to improve or correct the next version of 
their  assignments.  This  placed  considerable  strain  on  the  teachers,  who  had  to  provide  feedback  on  a  large 
number  of  assignments  in  a  very  short  time.  In  previous  years,  there  was  a  great  deal  of  variation  in  how 
teachers  gave  feedback  to  students  on  this  course.  The  coordinating  teacher  hoped  that  the  use  of  a  joint 
feedback instrument would increase the consistency of the feedback among the teachers. 
 

 
245
 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder 

The  large  scale  of  the  course  also  generated  some  practical  problems,  such  as  organizing  the  logistics;  the 
administration of the assignments after they had been handed in; and distribution of feedback and marks back 
to  the  students.  The  course  coordinator  envisaged  that  using  GradeMark  would  therefore  also  lead  to  an 
improvement in assignment management procedures.  

2.2 Description of the feedback process and marking tool   
Feedback  software  –  The  software  that  was  used  for  giving  feedback  was  GradeMark  (part  of  iParadigm’s 
Turnitin  software  suite).  Teachers  and  students  accessed  the  GradeMark  feedback  environment  via  the 
university’s virtual learning environment (Blackboard). GradeMark allows for feedback to be given by means of 
annotations in the text, a marking scheme (’rubric’), general comments (either written or in the form of a short 
voice recording). In this pilot all of these three functionalities were used.  
 
Text  annotations  –  GradeMark  provides  the  possibility  to  built  up  a  library  of  feedback  commonly‐used 
feedback  (known  as  ‘QuickMarks’).    These  QuickMarks  can  be  placed  at  specific  places  in  the  students’ 
writings,  and  can  be  linked  to  specific  text  elements  (e.g.  to  a  paragraph,  a  sentence,  or  a  single  word). 
Teachers  can  formulate  personalized  text  annotations,    or  can  drag  and  drop  re‐usable  feedback  comments 
from a library.  
 
In  this  course,  five  ‘QuickMark’  sets  were  developed,  which  related  to  the  different  sections  of  a  research 
report: Introduction, Method, Results, Conclusion, and Discussion, with a total of thirty feedback fragments. In 
addition,  a  sixth  set  of  ‘general’  comments  was  devised  (in  relation  to  the  use  of  language,  references  to 
literature, and a list of positive comments). Each QuickMark set consists of a pre‐constructed feedback section 
and space for additional comments which the tutorial teachers could give to individual students as a means of 
further  explaining  the  pre‐written  feedback  (see  Figure  1).  Formative  feedback  was  given  for  the  first  five 
assignments by means of these standardized QuickMark sets.  

 
Figure 1: Example of a Quickmark set (right window) and QuickMark text annotation in a student essay 
Rubrics ‐ furthermore, two rubrics were developed. They were used formatively (for the first assignment) and 
summatively (for the final version of the report.). The rubric matrix consisted of a four‐point performance scale 
and  predefined  assessment  criteria.  The  cells  of  the  matrices  described  the  reached  and  required  level  of 
performance  in  qualitative  statements.  The  aim  was  to  provide  students  with  information  on  their  current 
level of achievement, and guidance towards further progress on the performance scale. For the final version of 
the report, the rubric was used to determine the assignment grade. 
 
 

 
246
 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder 

 
Figure 2: Example of a performance rubric 
General  comments  –  the  teachers  used  the  functionality  to  write  general  comments  for  the  whole  of  the 
student’s work. General comments are free text, and can range from a few words till a number of paragraphs. 
 
Division of duties – The Quickmarks and rubrics were designed by the course coordinator and an experienced 
teacher. The Quickmarks were formulated on the basis of feedback fragments which had been developed in 
previous  years  by  a  number  of  teachers  who  –  on  an  individual  basis  –  had  started  to  use  GradeMark. 
Educational  training  and  technical  support  were  provided  by  the  central  educational  support  service  of  the 
university, which also carried out the case study evaluation.  
 
Teacher  training  –  All  the  teachers  attend  a  workshop,  which  was  aimed  primarily  at  discussing  the  goal  of 
giving feedback in the context of this course, developing a shared interpretation of the predefined feedback 
fragments, and agreeing on how to grade the students’ papers. Among the topics discussed was for example 
the emphasis that should – or should not – be placed on spelling and grammatical errors vis‐à‐vis feedback on 
the content of the students’ assignments. A practical instruction on how to use the digital feedback tools was 
part of the workshop as well. 

2.3 Research methodology 
A  combination  of  quantitative  and  qualitative  research  methods  were  used  in  this  case  study.  Quantitative 
data  were  derived  from  two  different  online  questionnaires  (a  teacher  and  student  version).  The 
questionnaires  contained  statements  (five‐point  Likert  scale),  yes/no  questions,  and  open‐ended  questions. 
The  Likert‐scale  questions  were  coded  from  ‐  ‐  (code  1,  ‘strongly  disagree’)  to  ++  (code  5,  ‘strongly  agree’). 
Qualitative data were gathered by means of open‐ended questions in the questionnaires and in an interview 
with the course coordinators.  

3. Results  

3.1 Response  
At the end of the course, students and teachers were asked to complete an online questionnaire. Hundred and 
one out of the 500 students completed this (a response rate of 20%), and seven of the twelve teachers.  

3.2 Results from the student evaluation 
Receiving digital feedback 
 
In general, students were positive about using a digital feedback tool. A clear majority found it easy to hand in 
their work digitally (M=4.2; SD 0.73) and to consult their teacher’s feedback online (M=4.0; SD 0.88).  
 
Speed and quantity of the feedback 
 
The students were reasonably positive about the speed with which they received feedback (M=3.65; SD 0.94), 
and they were satisfied with the amount of feedback they received (M=3.87 SD 0.92). 

 
247
 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder 

Quality of the feedback  
 
The students were also positive about the quality of the feedback, with more than half giving it a score of 8 or 
more out of 10. Eighty percent of the students stated that the amount of feedback was sufficient.  
 
Affordances of different feedback types 
 
Annotations in the text – Students value feedback that is written directly in their texts (Table 1). Qualitative 
statements  derived  from  the  questionnaire  indicate  that  students  appreciate  the  fact  that  the  feedback  is 
directly linked to specific text fragments in the essay, and that it usually contains enough concrete information 
on how to make improvements. It was perceived by a majority of the students as being ‘motivational’. Ninety‐
two percent answered the question whether ‘they would like to receive this type of text‐annotated feedback 
in future assignments’ affirmatively. 
Table 1: Student evaluation of feedback via text annotation 
Student views on the value of text annotation as a means of  Av  Sd 
feedback 
I found the feedback in the text clear  3,81  0,74 
I found the feedback in the text motivational  3,81  0,77 
The feedback in the text helped me improve my work  4,20  0,63 
Rubrics – The students’ appreciation of the rubrics shows a somewhat less clear‐cut picture. Rubrics get the 
highest  valued  with  regards  to  their  function  of  making  assessment  criteria  more  transparent.  It  can  also 
provide insight in strong and weak points in the students’ performance. 
 
Some students commented that they would like to see the improvements or corrections they need to make 
set out in more concrete terms. Also, the relationship between the rubric and their final mark was not always 
entirely clear. Nonetheless, a large majority of students (89%) stated that they would like to be assessed for 
other subjects in the future by means of a rubric. 
Table 2: Student evaluation of feedback via rubrics 
Student views on the value of rubrics as a means of feedback  Av  Sd 
The rubric made clear on which aspects my work was being  3,87  0,58 
assessed 
The rubric gave me a better idea of what my strong and  3,62  0,81 
weak points are 
The rubric helped my to understand the grade I was given  3,32  0,90 

3.3 Results from the teachers’ evaluation  
Giving  digital  feedback  –  Teachers  were  almost  unanimously  positive  on  giving  digital  feedback  on  written 
assignments.  They  indicated  that  the  system  was  easy  to  get  used  to,  and  that  it  was  a  helpful  tool  when 
evaluating  students’  work.  All  teacher  respondents  indicated  they  would  like  to  use  digital  marking  in  the 
future,  both  for  giving  feedback  and  for  grading  student  work.  The  course  coordinator  also  considered  it  a 
permanent future method for marking, stating that ‘it is an excellent tool to work with ‐  it would seem very 
old‐fashioned to go back to marking papers with the help of a pen again’. 
 
Quality of feedback – Teachers mostly perceived the use of a QuickMark set and the summarizing remarks as 
contributing  to  the  quality  of  their  feedback.  The  rubric  was  not  felt  to  considerably  enhance  quality.  Some 
teachers thought that this particular rubric was too broadly formulated, or insufficiently relevant to the points 
being  assessed.  In  spite  of  this,  a  majority  (60%)  would  still  like  to  use  a  rubric  to  give  feedback  and  assess 
work in future courses. 
 
Enhancing  consistency  –  According  to  the  course  coordinator,  this  method  of  working  indeed  led  to  more 
consistent feedback than in previous years, stating ‘everyone –both teachers and students – is pulling now in 
the same direction’. It also allowed to reach easier agreement in the case a second marker was brought in. The 
teachers were less unanimous when it came to responding to the statement, “whether the use of the same 
rubric  meant  that  the  feedback  or  evaluations  closely  corresponded”  (20%  agreed,  40%  disagreed,  and  40% 
neither agreed nor disagreed).  

 
248
 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder 

Saving time and improving the logistics – Half of the respondents indicated that GradeMark saved time with 
regards to marking. Estimates of the actual amount of time saved, ranged from ten to thirty percent.  
 
It should be pointed out that some teachers did not believe that the software provided optimum support with 
regard to the logistics of checking work. One feature they missed, was having a clear visual overview of which 
papers they already provided with feedback, and which ones not, meaning they something had to open papers 
again to double check whether they already had inserted feedback. Also, the system did not provide optimum 
support for the creation of separate subgroups for each teacher.  

4. Conclusion and discussion  
The  most  important  conclusion  from  this  case  study  is  that  Turnitin  is  a  useful  tool  for  teachers  to  provide 
feedback  quickly  to  a  large  group  of  students.  The  use  of  the  online  feedback  tool  is  appreciated  by  both 
teachers  and  students  alike,  which  is  consistent  with  earlier  studies  (Herman  et.al.,  2014).  In  this  study,  we 
went one step further than in previous studies, by looking in‐depth at the functionality of the feedback tool 
used. This revealed that students and teachers showed a high appreciation especially of text annotations in the 
form of QuickMarks, standardized and reusable feedback comments that are linked to specific text passages. 
Students found this form of feedback clear and motivational, and an excellent tool when improving their texts. 
This confirms the preference for margin comments that was reported by Agius and Wilkinson (2013).  
 
The  rubrics  were  also  rated  fairly  highly  by  the  students,  although  they  were  less  effective  –  as  far  as  the 
students were concerned – at making clear what the evaluation of their work was based upon. Some teachers 
struggled with using the rubric, and believed that the relationship between the mark (for an assignment) and 
the textual corroboration of the mark did not ‘correspond’ when used summatively. The coordinator thought 
that in some areas the rubric was formulated too “rigidly”. A new rubric has since been devised on the basis of 
these experiences. 
 
In  the  view  of  the  coordinator,  the  use  of  one  single  assessment  system  for  essays  has  indeed  helped  to 
improve consistency in the feedback given by different teachers. This is primarily due to the use of a common 
QuickMark  set.  The  teachers  were  very  willing  to  use  a  generic  set  of  comments,  perhaps  because they  are 
relatively young and less experienced, and “still finding their way when it comes to carrying out evaluations”. If 
the tool is used in this way, it can indeed contribute to the quality of feedback.  
 
The teachers reported to have saved some time during this case study. Bearing in mind that a great deal of 
time was initially invested in developing the feedback, as the QuickMark set gets re‐used in future courses and 
teachers have become familiar with the software, time savings should even be more significant. In addition, 
the teachers believe that the feedback set can also be used in other courses they teach. The coordinator and 
co‐developer spent a lot of time developing the set, but the investment has been worthwhile: the availability 
of  a  feedback  instrument  with  a  collection  of  high  quality,  standard  feedback  comments,  which  allows  the 
important  task  of  providing  feedback  to  be  carried  out  effectively.  The  benefits  of  such  an  instrument  are 
expected to be reaped in the years to come in the teaching of methodology courses and beyond.  
Acknowledgements 
The authors thank the teachers and students of the ‘Methodology I’ course at the Department of Psychology 
and Education (Vrije Universiteit Amsterdam) for their contribution to this case study.  

References 
Agius, N.M. & Wilinson, A. (2013). Students’ and teachers’ views of written feedback at undergraduate level: a literature 
review. Nurse Education Today, Available online at http://dx.doi.org/10.1016/j.nedt.2013.07.005  
Buckley, E. and Cowap, L. (2013), “An evaluation of the use of Turnitin for electronic submission and marking and as a 
formative feedback tool from an educator's perspective”, British Journal of Educational Technology, Vol. 44, pp 562–
570.  
Gibbs, G. (2010) Using assessment to support student learning. Leeds: Leeds MetPress. 
Hattie, J. and Timperley, H. (2007) “The Power of Feedback”, Review of Educational Research, Vol. 77, No. 1, March, pp 81–
112.  
Heinrich E. and Milne J. (2012) “Pathways for improving support for the electronic management and marking of 
assignments”, Australasian Journal of Educational Technology, Vol. 28, No. 2, pp 279‐294.  

 
249
 
Janneke van der Hulst, Patris van Boxel and Sanne Meeder 

Herman H. M. Tse, Anne M. H. Christie and Vishal Rana (2014), “Perceptions of online marking in management education”. 
International Journal of Educational Research and Development, Vol. 3(5), pp. 084‐091, May 2014 Available online at 
http://www.academeresearchjournals.org/journal/  
Lizzio, A. & Wilson, K. (2008). “Feedback on assessment: students’ perceptions of quality and effectiveness”. Assessment & 
evaluation in higher education, Vol. 30, (3), 263‐275.  
Nicol, D. (2009). Good design of written feedback for students. In: McKeachy. Teaching Tips: Strategies, research and 
th
theory for college and university teachers. 13  edition, Houghton Miffin, New York. Pp.  108‐124.  
Shute, V.J. (2008) “Focus on formative feedback”, Review of Educational Research, Vol. 78, No. 1, pp 153‐189. 
Van Boxel, P. (2013) “Trends and Developments in On‐screen Marking and Grading of Essays” [abstract]. In: Book of 
Abstracts of the 18th International Conference on Technology Supported Learning and Teaching; November 28‐30; 
Berlin; Online Educa Berlin, p 61. 
Welch, L. (2012) “The role of computer aided marking and feedback in the assessment process: a critical review”. [online], 
The University of Edinburgh, Available online http://online.education.ed.ac.uk/2012/02/lyndsey‐welch‐the‐role‐of‐
computer‐aided‐marking‐and‐feedback‐in‐the‐assessment‐process‐a‐critical‐review/ 

 
250
The Scoring of Matching Questions Tests: A Closer Look 
Antonín Jančařík and Yvonne Kostelecká 
Charles University in Prague, Faculty of Education, Prague, Czech Republic 
antonin.jancarik@pedf.cuni.cz 
yvona.kostelecka@pedf.cuni.cz 
 
Abstract: Electronic testing has become a regular part of online courses. Most learning management systems offer a wide 
range of tools that can be used in electronic tests. With respect to time demands, the most efficient tools are those that 
allow  automatic  assessment.  The  presented  paper  focuses  on  one  of  these  tools:  matching  questions  in  which  one 
question can be paired with multiple response terms. The aim of the paper is to identify how the types of questions used in 
a  test  can  affect  student  results  on  such  tests  expressed  as  test  scores.  The  authors  focus  mainly  on  the  issue  of  the 
possible increase in scores that can occur with the use of closed questions, when students, after selecting the answers to 
the  questions  they  know  the  correct  answers  to,  then  guess  the  answers  to  the  remaining  questions  (see  Diamond  and 
Evans, 1973, Ebel and Frisbie, 1986, Albanese, 1986). The authors show how the number of distractors (unused answers) 
included  in  a  question  influences  the  overall  test  score.  The  data  on  multiple‐choice  and  alternative‐  response  tests  are 
well‐known.  But  not  much  is  known  about  matching  questions.  Estimating  formula  scores  for matching‐question  tests  is 
important  for  determining  the  threshold  at  which  students  demonstrate  they  possess  the  required  level  of  knowledge. 
Here  the  authors  will  compare  the  scores  obtained  for  three  types  of  closed  questions:  multiple  choice,  alternative 
response and matching questions. The analysis of matching assignments in this paper demonstrates that they are a useful 
tool for testing skills. However, this holds only if the assignment has at least two distractors. Then the informational value 
of this type of assignment is higher than that of multiple‐choice assignments with three distractors. The results currently 
indicate that these types of assignment are not useful if the objective of the testing is to rank students or to distinguish 
between very good students – and this applies even if two distractors are used. In the case of such an objective, it is better 
to use multiple‐choice assignments. 
 
Keywords: testing, random score, test results, matching type  

1. Introduction 
A general objective of this paper is to determine how the use of closed test assignments and questions may 
influence  student  test  scores,  and  based  on  an  analysis  of  the  data  obtained  to  determine  the  most 
appropriate types of test assignments with the greatest discriminating power. We will determine what scores 
students will attain and the probability of their attaining them if they know the answers to a certain number of 
questions and guess the answers to the remaining questions (see Diamond and Evans, 1973, Ebel and Frisbie, 
1986 and Albanese, 1986). We will compare the scores obtained for three types of closed questions: multiple 
choice, alternative response and matching questions.  
 
This  study  was  motivated  by  the  preparation  and  assessment  of  tests  of  Czech‐language  knowledge  to  be 
applied  to  the  children  of  immigrants  to  the  Czech  Republic  (see  Kostelecka  and  Jancarik,  2014).  The  tests 
examined  in  the  course  of  this  research  contained  the  various  above‐mentioned  types  of  questions.  For  a 
comparison of the results in individual areas it was necessary to distinguish the random score(s) in relation to 
the  type  of  test  used.  We  found  that  the  score  formula  is  well‐known  in  cases  where  multiple‐choice  and 
alternative‐response (true/false) types of question are used. We were however unable to find in the literature 
corresponding  calculations  for  the  matching  type  of  question.  Our  calculations,  which  are  presented  below, 
show that matching questions have different attributes from the other two question types. Most notably, the 
scoring formula for this type of question is not a linear function. This means that it is possible to change the 
properties of the test, particularly the area in which the test possesses a best discriminating power. We will 
demonstrate  this  aspect  of  matching  questions  using  the  example  of  the  situation  that  motivated  this 
research, namely, the need to create language tests that distinguish between students on the basis of a 60% 
level of knowledge of the material tested.  

2. Multiple‐choice questions 
There is currently a wide range of programmes that can be used to create matching‐type questions and enable 
their  use  both  on  websites  and  in  almost  every  type  of  e‐learning  system.  One  very  frequently  used 
programme for creating this type of test is Hot PotatoesTM (see Figure 1), for which there also exists a plugin 
for integration with the Moodle Language Management System (LMS). 

251
 
Antonín Jančařík and Yvonne Kostelecká 

Figure 1: Hot PotatoesTM 
Individual programs differ of course in terms of the number of options and their visual presentation (see Figure 
2). Usually, however, they offer the user the option to choose the number of questions and possible answers.  

Figure 2: Matching‐type question in LMS Fronter 

3. Calculating probabilities 
To calculate the possible scores students can obtain and the probability of students obtaining those scores we 
used classic methods of probability and combinatorics (see Charter, 2000). We shall assume in the context of 
all  the  calculations  carried  out  in  this  paper  that  the  student  knows  the  answers  to  a  pre‐set  number  of 
questions and that he or she guesses the answers to the remaining questions on the basis of the student using 
each  of  the  responses  just  once.  Programs  automatically  ensure  that  one  answer  cannot  be  used  for  more 
than one question.   
 
The number of questions and the number of answers have an effect on the total random score that a student 
can  attain  on  a  test.  We  focus  primarily  on  tests  in  which  one  question  comprises  five  sub‐questions.  This 
number is based on the number used in the original test studied in our previous research. Moreover, it is easy 
to  fix  the  points  awardable  using  this  number  of  sub‐questions  and  to  create  combinations  of  questions  for 
tests of different length.  
 
The number of answers we use ranges from five to seven. In this paper, we will analyse three versions that 
could be used in a test, in a situation where the basic task is that the student is asked to match five items and 
the student would be able to choose from: 
ƒ five response options (the 5‐5 type),  

252
 
Antonín Jančařík and Yvonne Kostelecká 

ƒ six response options (the 5‐6 type) and  
ƒ seven response options (the 5‐7 type).  
The  results  we  compare  here  are  of  the  scores  students  would  probably  obtain  using  the  above‐mentioned 
types  of  test  tasks  and  of  those  they  would  obtain  if  we  used  multiple‐choice  or  alternative‐response 
tasks/questions.  
 
To calculate the probability of students obtaining a certain score (see Arratia and Tavare, 1992, Pitman, 1997) 
we used rencontres numbers  as described, for instance, by Riedel (2006), where   is the number 
of permutations of an  ‐element set that keep   elements fixed.  
 

3.1 The 5‐5 type of matching question 
In the case of the 5‐5 type of matching question, the student is presented with five response options (without 
using  distractors)  and  has  to  correctly  match  them  to  the  five  lexical  items.  Table  1  presents  the  calculated 
probabilities of obtaining individual scores. The rows give the number of questions the student would answer 
correctly,  while  the  columns  give  the  probability  of  the  given  score  being  attained.  We  are  interested  in 
learning,  for  instance,  what  the  probability  is  that  a  student  who  knows  the  answer  to  fewer  than  three 
questions  will  ultimately  obtain  three  or  more  points  on  the  overall  given  task  (and  will  thus  complete  the 
assignment successfully with a score of 60% or more). Table 1 indicates that the probability of students who 
know the answer to just two questions getting a score of three or more points is greater than 50% in this type 
of assignment (there is a 50% likelihood that the student will obtain three points, and a 17% likelihood that the 
student will obtain as many as five points for this assignment). 
Table 1: The 5‐5 type of matching question: the number of answers a student knows – the total score 
  0  1  2  3  4  5 
0  37%  38%  17%  8%  0%  1% 
1    38%  33%  25%  0%  4% 
2      33%  50%  0%  17% 
3        50%  0%  50% 
4          0%  100% 
5            100% 

3.2 The 5‐6 type of matching question 
Table  2  presents  the  score  and  probability  calculations  for  the  type  of  matching  question  that  uses  one 
distractor  (the  5‐6  type).  The  informative  value  of  this  test  is  greater  than  that  of  the  multiple‐choice 
assignment using three distractors. However, students who know the answer to just two questions still have 
more  than  a  50%  probability  of  surpassing  the  required  score  of  3  points  and  being  assessed  as  having 
successfully completed this task. 
Table 2: The 5‐6 type of matching assignment: 5 questions and 6 matching options (1 distractor) 
  0  1  2  3  4  5 
0  43%  37%  15%  4%  1%  0% 
1    44%  37%  15%  3%  1% 
2      46%  38%  13%  4% 
3        50%  33%  17% 
4          50%  50% 
5            100% 
             

253
 
Antonín Jančařík and Yvonne Kostelecká 

3.3 The 5‐7 type of matching question 
Table  3  shows  the  probabilities  of  different  scores  being  obtained  in  relation  to  the  number  of  answers  a 
student truly knows in the case of a matching assignment using two distractors (the 5‐7 type). In this type of 
assignment, the probability that a student who knows two correct answers will obtain three points is less than 
50%. This is therefore the best type of assignment among those studied here for testing the language skills of 
immigrant students in the prepared diagnostic test.  
Table 3: The 5‐7 type of matching assignment: 5 questions and 7 matching options (2 distractors) 
  0  1  2  3  4  5 
0  48%  36%  13%  3%  0%  0% 
1    50%  36%  12%  2%  0% 
2      51%  38%  10%  2% 
3        58%  33%  8% 
4          67%  33% 
5            100% 

3.4 A comparison of tests 
A comparison of all the above‐mentioned test assignments is presented in Tables 4 and 5. The results for the 
tests  with  the  multiple‐choice  (M‐C)  and  alternative‐response  (T‐F)  types  of  question  were  also  included  in 
these tables for comparison. Table 4 calculates the average score of a student in individual tests in relation to 
the  number  of  correct  answers  the  student  actually  knows.  The  figures  indicate  that  for  the  purpose  of  the 
diagnostic  test  the  best  type  of  assignment  from  those  studied  is  the  matching  assignment  using  two 
distractors.   
Table 4: Average scores for the different types of test assignment  
  T‐F  M‐C  5‐5  5‐6  5‐7 
0  2.5  1.25  1.0  0.8  0.7 
1  3.0  2.00  2.0  1.8  1.7 
2  3.5  2.75  3.0  2.8  2.6 
3  4.0  3.50  4.0  3.7  3.5 
4  4.5  4.25  5.0  4.5  4.3 
5  5.0  5.00  5.0  5.0  5.0 
Table  5  shows  the  probability  that  a  student  who  knows  the  correct  answer  to  two  or  fewer  questions  will 
attain  the  required  minimum  of  three  points  to  pass  the  assignment.  This  threshold  corresponds  to  the 
requirements of the language test that the initial calculations were prepared for. The results indicate that the 
alternative‐response  type  of  assignment  (true/false)  is  not  appropriate  because  it  is  a  poor  informational 
value.  The  best  type  of  assignment  with  the  highest  informational  value  is  the  matching  question  with  two 
distractors. Pretesting moreover showed that this type of test assignment appeals to students and is easy to 
understand.   
Table 5: The probability a student can successfully pass the assignment even if s/he has less than the required 
amount of knowledge to pass  
  T‐F  M‐C  5‐5  5‐6  5‐7 
0  50%  10%  9%  5%  3% 
1  69%  26%  29%  19%  14% 
2  88%  58%  67%  54%  49% 

4. Calculating probabilities for a combination of questions 
The  calculations  show  that  the  score  formula  pro  the  matching‐type  test  is  not  (unlike  the  other  types  of 
questions  studied)  a  linear  function  (cf.  Ridel,  2006).  As  a  result,  the  matching  type  of  test  has  better 
discerning  power  at  some  levels  of  required  skills  than  other  tests.  On  the  other  hand,  when  multiple 
questions  are  used  the  overall  resulted  is  affected  by  how  the  student’s  knowledge  is  distributed  between 
different  questions.  Table  6  shows  the  situation  where  a  student  is  presented  with  two  matching‐type 
questions and knows the answer to six sub‐questions. The average attained score is divided according to how 
the sub‐questions to which the student knows the answers are divided.  
 

254
 
Antonín Jančařík and Yvonne Kostelecká 

Table 6: Average score for two questions of the same type based on a distribution of six correct answers 
  5‐5  5‐6  5‐7 
5‐1  7  6.8  6.7 
4‐2  8  7.3  6.9 
3‐3  8  7.4  7 
The  results  show  that  students  whose  knowledge  is  distributed  evenly  among  the  questions  have  a  slight 
advantage. This fact needs to be taken into account in the development and assessment of tests.   

5. Determining the score formula for matching‐type tests 
As already shown above, the score formula for the matching‐type test is not a linear function. The following 
table (Table 7) presents the corresponding values of the function for all three types of test studied here.  
Table 7: Formula score for the selected test and the attained score 
  0  1  2  3  4  5  6 
5‐7  0.00  0.58  1.38  2.36  3.47  4.62  5‐7 
5‐6  0.00  0.54  1.32  2.25  3.28  4.42  5‐6 
5‐5  0.00  0.50  1.19  2.07    4.00  5‐5 

6. Conclusion 
The matching‐type test has significant potential and is a suitable tool particularly in tests that seek to assess 
the knowledge a student has attained. For example the matching‐type test with two distractors is very good at 
distinguishing knowledge levels measured against a 60% passing score.   
 
The results currently indicate that these types of assignment are not useful if the objective is to rank students 
or to distinguish between very good students – and this applies even if two distractors are used.  
 
The calculations make it possible to compare the scores attained in different types of test because they allow 
the score values to be ‘purged’ of random score increases that can occur in relation to the type of test used. 
This paper presents the score values of the scoring formula for the 5‐5, 5‐6 and 5‐7 types of test and introduce 
a method that can be used to calculate these values also for other types of test.  

Acknowledgements 
This  article  was  financially  supported  by  the  Czech  Science  Foundation  within  the  project  Integration  of  the 
children of non‐nationals into the Czech elementary schools, registration number: 13‐32373S 

References 
Abu‐Sayf, F. K. (1979) The scoring of multiple‐choice tests: A closer look, Educational Technology, Vol. 19, pp. 5‐15. 
Albanese, M. A. (1986) The correction for guessing: A further analysis of Angoff and Schrader, Journal of Educational 
Measurement, Vol. 23, pp. 225‐235. 
Arratia, R. and Tavare, S. (1992) “The cycle structure of random permutations”, Annals of Probability, Vol. 20, pp. 1567‐
1591. 
Charter, R. A. (2000) Determining random responding to objective tests, Journal of Psychoeducational Assessment, Vol. 18, 
pp. 308‐315. 
Diamond, J. and Evans, W. (1973) “The correction for guessing”, Review of Educational Research, Vol. 43, pp. 181‐191. 
Ebel, R. L. and Frisbie, D. A. (1986) Essentials of educational measurement (4th ed.). Englewood Cliffs, NJ: Prentice‐Hall. 
Kostelecká, Y. and Jančařík A. (2014) “The process of Czech language acquisition by foreign pupil at lower secondary 
school”, Journal of Efficiency and Responsibility in Education and Science, Vol. 7, No. 1, pp. 8‐13. 
Pitman, J. (1997) Some probabilistic aspects of set partitions, American Mathematical Monthly, Vol. 104, pp. 201‐209. 
Ridel, M. R. (2006) “The statistics of random permutations”, [online], 
http://www.oocities.org/markoriedelde/papers/randperms.pdf 

255
The Long March or Bold Strokes: Comparing Strategies for Adopting 
EVS Learning Technology at a UK University 
Amanda Jefferies, Marija Cubric and Julie Vuolo 
University of Hertfordshire, Hatfield, UK 
a.l.jefferies@herts.ac.uk 
m.cubric@herts.ac.uk 
j.c.vuolo@herts.ac.uk 
 
Abstract: In recent years there has been much encouragement to investigate the use of classroom technologies to enhance 
the student learning experience especially in the STEM subjects but now extending across other subject areas as well.  A 
typical classroom technology is electronic voting system (EVS) handsets which allow a lecturer to invite students to vote for 
their  choice  from  a  selection  of  given  answers.  Recently,  a  medium‐size  UK  University  has  purchased  over  9000  EVS 
handsets  for  use  across  the  academic  Schools  as  an  innovative  means  for  supporting  formative  and  summative  testing. 
Numerous training and support sessions have been provided to staff with the intention of supporting new and experienced 
users and increasing the take up by academics. As noted in earlier research reported at ECEL  2013, the student feedback 
was  very  positive  for  the  use  of  EVS  for  formative  activities,  and  less  so,  for  its  use  in  summative  assessment.  A  recent 
review of the trends of EVS adoption at the University has been undertaken to inform decision‐making and future use and 
support  for  the  technology.  One  aspect  of  this  review  has  considered  the  effectiveness  of  the  strategies  adopted  by 
different  academic  Schools.    EVS  adoption  and  use  across  the  University  has  been  compared  and  placed  within  Rogers’ 
theory of the diffusion of innovation. This paper further considers a set of six different strategies adopted for EVS use by 
academic Schools. They have been categorised according to several variables, including their choice of speed of uptake and 
the  number  of  handsets  in  use.  The  inherent  strengths  and  possible  weaknesses  of  the  approaches  adopted  are 
considered. Among the questions raised were, does a strategy of large‐scale technology adoption over a short time period 
indicate a greater likelihood of long term engagement and ultimate adoption of the technology?  Or, does a longer elapsed 
time  taken  for  a  gradual  purchase  and  adoption  of  EVS  technology  suggest  a  greater  inclination  for  the  embedding  of 
technology for  enhancing learning? What other success factors  should be considered alongside the training and support 
provided  for  technology  adoption  to  enhance  the  likelihood  of  long  term  adoption  of  classroom  technologies?  The 
discussion provides a comparison of six different strategies identified across the university and the rationale behind them 
and  then  proposes  a  set  of  strategy  choices  which  can  lead  to  a  greater  likelihood  of  successful  adoption  of  classroom 
technology. 
 
Keywords: EVS, clickers, classroom technologies, HE learning, institutional strategy, academic choices 

1. Introduction 
For  several  years  the  Higher  Education  community  has  been  exploring  the  use  of  classroom  technologies  to 
support student learning and enhance student engagement in campus‐based teaching environments. Learning 
from the experiences of schools in the U.S A. and elsewhere, the use of ‘clickers’ or student response systems 
has grown steadily at UK universities in recent years. The benefits and challenges of response systems used for 
teaching and assessment have been widely documented already (see for example Kay and LeSage, 2009) and 
their  use  has  been  applauded  for  the  opportunities  they  offer  for  swift  feedback  to  students  (Shaffer  and 
Collura, 2009) whether in formative or summative use and for the resulting feedback they offer to academics 
to ascertain how much students have understood from their learning, (Beatty, 2004) and for improvements in 
learning outcomes (Shapiro & Gordon, 2013; Preszler, Dawe, Shuster & Shuster, 2007). Students have reported 
their appreciation of the anonymity that using clickers affords them in large classes and have welcomed the 
competitive element that clickers can bring to learning (Heaslip, Donovan and Cullen, 2014) and finding that 
the use of clickers improves their understanding of course content. 
 
The  use  of  clickers  has  been  hastened  by  the  advent  of  reliable  classroom  technology  that  can  support 
response systems when they are used for summative assessment and may also link with student records in the 
managed  learning  environment  (MLE)  to  offer  a  prompt  turnaround  of  assessed  material.  Offering  further 
examples of their benefit for engaging students through their extensive formative use in his Physics classes, 
the  respected  Harvard  educator  Erik  Mazur  has  contributed  widely  to  the  body  of  evidence  which  supports 
their  classroom  use  (see  for  example;  Schell,  Lukoff  &  Mazur,  2013).    In  this  paper  ‘clickers’  or  ‘response 
systems’ will be discussed through the acronym of EVS (Electronic Voting Systems), which is the more common 
term in the UK.   

256
 
Amanda Jefferies, Marija Cubric and Julie Vuolo 

Moving  on  from  the  lessons  of  initial  research  into  EVS  use  across  UK  and  US  universities  (Dufresne,  et  al., 
1996;  Mazur  &  Hilborn,  1997;  Draper  &  Brown,  2002)  this  paper  will  consider  the  patterns  of  EVS  use  in  a 
medium‐size  UK  university  which  has  invested  widely  in  their  use  for  enhancing  a  culture  which  supports 
technology  use  for  deepening  student  engagement.  While  originally  used  primarily  for  STEMM  subjects 
(Science,  Technology,  Engineering,  Maths  and  Medicine)  this  paper  explores  the  issues  of  embedding  EVS 
usage across other academic schools in the university and in particular seeks to deepen the understanding of 
the success factors in EVS use and the academic culture which enables them to flourish.   

2. The local environment 
The  university  in  question  is  located  in  southern  England  and  has  over  27,000  full‐time  equivalent  students 
registered  across  its  campus‐based  and  online  distance  programmes.  It  has  been  well‐known  in  the  UK  for 
investing in online and blended learning to support students wherever they are based (Alltree, et al, 2010). The 
university  has  made  extensive  use  of  its  own  custom‐built  MLE  since  2001,  which  allows  student  and  staff 
engagement via virtual portals. Online engagement reached over a million page accesses in the early months 
of the 2013‐14 academic year. Research has been undertaken for more than a dozen years into student and 
staff engagement with technologies to enhance learning by academics (see for example Thornton et al, 2005). 
EVS have been used here since 2004, but this start was originally in experimental ways and primarily across a 
small sub‐section of academic schools, namely Engineering, Biosciences and Healthcare programmes (Lorimer 
& Hilliard, 2008). The handset purchases at this time were from a variety of suppliers and used within school‐
based programmes; the EVS purchase strategy was first co‐ordinated centrally in 2010.  
 
The widespread use of EVS technology within the university began in earnest in 2010‐11 with the commitment 
of  the  university  to  fund  the  purchase  of  some  6,000  TurningTechnologies™  handsets  and  their  associated 
hardware  receivers  in  order  to  equip  the  majority  of  classrooms  across  the  two  almost  adjacent  campuses. 
This  commitment  for  EVS  purchase  was  undertaken  in  support  of  a  student  digital  learning  enhancement 
project and based on the record of the previous successful use of EVS over 6 years among undergraduate and 
postgraduate students and supported by ongoing international research into their efficacy and reflected on by 
Jefferies & Cubric (2012) and Lorimer & Hilliard (2008). 
 
During the 2010‐11 academic year, seven out of the eight existing academic schools committed to using the 
EVS  with  targeted  cohorts  of  students  and  to  support  academic  staff  in  engaging  with  the  technology  for 
supporting  student  learning.  Extensive  support  was  made  available  with  training  events  held  regularly  on 
campus and through technology champions at a local and institutional level as previously recommended by, 
among others Anderson et al (1998). The development of pedagogies which would encourage the formative 
use of EVS on a regular or occasional basis was discussed and shared widely by academics (Jefferies & Cubric, 
2013).   
 
Since  2011  many  academic  schools  have  continued  to  expand  their  use  of  EVS;  there  are  now  over  9,000 
handsets  registered  to  students  in  addition  to  extra  cohort  sets  purchased  by  schools  themselves.  As  some 
academic  schools  have  increased  their  use,  others  have  seen  their  use  of  EVS  in  the  classroom  decline, 
accordingly a recent study has set out to evaluate how far EVS use has become embedded into the university 
culture and why. Having previously explored the success factors and barriers affecting technology engagement 
among academic staff (Jefferies, 2011) this study considers the trends of adoption for EVS use and embedding 
within the institution.  
3. Methodology 
The  study  described  below  was  undertaken  between  February  2014  and  June  2014  as  part  of  a  wider 
evaluation of trends in technology used for learning at the authors’ institution. The following objectives were 
set out. 
ƒ To provide an understanding of the spread of EVS use and the roll out strategies for EVS across different 
Schools. 
ƒ To provide an initial analysis of recent trends of EVS use  
ƒ To  identify  those  local  success  factors  which  had  guided  the  strategies  of  schools  which  use EVS  widely 
and reliably and receive positive feedback from students (Jefferies & Cubric, 2012). 

257
 
Amanda Jefferies, Marija Cubric and Julie Vuolo 

A  mixed  methods  approach  using  quantitative  and  qualitative  methods  was  used  to  address  this  variety  of 
research  objectives.  Both  a  broad  view  of  trends  of  use  and  specific  local  usability  were  investigated  and 
different methods employed accordingly with an initial email sent to academic schools to inform them of the 
evaluation  being  undertaken.  Detailed  quantitative  data  on  student  registration  numbers  for  on‐campus 
students was provided by the academic school registrars. The latter allowed a comparison between student 
numbers and ownership of EVS handsets to be calculated.  
 
Two short quantitative surveys were devised and set up online for completion by Programme Tutors and the 
School Student Representatives. The survey requested information on the extent and quality of the use of EVS 
on  a  module  by  module  basis.  The  outputs  were  compared  with  data  from  interviews  with  the  local  School 
based academic EVS champions and the eight Associate Deans for Learning and Teaching (ADLT) to provide as 
full a picture as possible of EVS usage. 
 
Alongside the quantitative data, qualitative data was gathered through a combination of the following: 
ƒ A  review  and analysis  of  the  individual  academic  school EVS  reports,  previously  compiled  in 2011‐12 by 
school‐ based technology champions 
ƒ A focus group discussion and short  qualitative survey with the school‐based EVS Champions 
ƒ Individual discussions with the ADLT for each academic school 
ƒ Individual semi‐structured interviews with EVS Champions in person, via telephone or e‐mail 
The qualitative data was gathered in the chronological order shown in the bulleted list above and an iterative 
analysis and review was undertaken. This allowed for final semi‐structured interview questions to be asked of 
EVS  champions  towards  the  end  of  the  study  in  order  to  target  some  apparent  gaps  in  the  authors’ 
understanding of EVS usage. 
 
School sizes will vary but it was not the aim of this study to seek a comparison between school size and levels 
of  technology  adoption.  The  authors’  interest  lay  in  the  extent  of  the  technology  embedding  across  both 
STEMM and non‐STEMM Schools given the equality of opportunity from the Centre‐led provision of training 
and support.  
4. Findings and discussion  
The authors considered the different trends which emerged from the evaluative study in two ways. First of all, 
they  considered  how  the  different  users  of  EVS  across  the  academic  schools  might  map  to  the  Individual 
Innovativeness theory (Rogers, 1995) see Figure 1 below, which states that individuals who are predisposed to 
being innovative will adopt an innovation earlier than those who are less predisposed. Figure 1 shows Rogers’ 
bell  shaped  distribution  of  Individual  Innovativeness  and  the  likely  percentage  of  potential  adapters  in  each 
category.  On  one  extreme  of  the  distribution  are  the  Innovators,  who  typically  seek  to  adopt  an  innovation 
very early. On the other extreme are the Laggards who resist adopting an innovation until as late as possible, if 
ever.  Anderson  et  al’s  work  demonstrated  how  this  curve  broadly  fitted  with  academics  experiences  at  the 
University  of  Alberta,  (Anderson  et  al,  1998).  The  users  at  the  authors’  institution  were  not  asked  to  define 
themselves  according  to  Rogers’  placement  so  the  proposed  percentages  are  taken  as  a  rough  guide  only.  
Some academic schools which were teaching STEMM subjects might be expected to have a higher proportion 
of academics who would confidently engage with technology in student learning. Here, it was suggested, might 
be found a greater proportion of the Innovators and Early Adopters (EA). While this turned out to be true to a 
certain  extent  early  adopters  of  technology  were  found  across  all  the  academic  subjects,  with  a  small 
numerical increase in those teaching the STEMM subjects. 
 
Of greater interest to the authors however was Rogers’ Rate of Adoption theory which states that innovations 
are diffused over time in a pattern that resembles an s‐shaped curve. Rate of Adoption theory states that an 
innovation  grows  gradually  before  experiencing  a  period  of  rapid  growth.  An  example  of  how  a  rate  of 
adoption might typically be represented by an s‐curve is shown in Figure 2. The theory also states that after 
the period of rapid growth, the innovation's rate of adoption will gradually slow down.  
 

258
 
Amanda Jefferies, Marija Cubric and Julie Vuolo 

 
Figure 1: Rogers’ Individual Innovativeness Theory (1995) 
 

%age  of 
adopters

Period  of  rapid 

growth

Time
 
Figure 2: Rogers’ Rate of adoption theory (1995) 
The authors have used the timeline of innovation in Figure 2 to explore the changes at the university in recent 
years focussing on the ‘s‐shaped’ curve in the figure to explore where different Schools are located and the 
strategy which led to that point. The initial period of a slow rate of growth was the time between 2004 and 
2010  when  pockets  of  EAs  across  the  different  (primarily  STEMM  focussed)  academic  schools  explored 
different ways to use EVS technology and shared innovation among themselves, with limited and slow take‐up 
in other academic areas. A period of rapid growth as discussed above had then taken place between the end of 
2010 and through 2011 with a major expansion in the use of EVS classroom technologies and the enlisting of a 
group  of  users  to  champion  and  support  the  wider  sharing  and  embedding  of  EVS  technologies.  Following 
Rogers’ characteristic s‐shaped curve the evaluation of where the technology adoption trend led, was found to 
show  distinctive  characteristics  for  different  schools  and  this  was  not  fully  correlated  to  whether  they  were 
STEMM based or not.   
 
Secondly the authors considered the trends for individual schools according to their strategies for starting up 
and continuing EVS use. All schools had equal access to the centrally provided programme of technical support 
and seminar programme. The latter offered a range of seminars aimed at a cross‐section of Roger’s user types, 
including sessions for those who were just starting out in using EVS in the classroom as well as those who had 
more experience and shared their own experiences for improving practice and develop a local community of 
practice (Wenger,1998). 

259
 
Amanda Jefferies, Marija Cubric and Julie Vuolo 

Six typical strategies were proposed during the evaluation of the trends of technology adoption and use from 
the  original  data  gathered,  relative  to  the  speed  of  EVS  adoption  and  subsequent  trajectory  of  embedding. 
These  have  been  categorised  and  described  according  to  their  primary  characteristics  from  the  authors’ 
viewpoints as follows:‐ 
ƒ Big bang  
ƒ Well considered  
ƒ Steady Burn 
ƒ Steady Flicker 
ƒ Flicker and Fade 
ƒ Falter 
It  is  evident  from  the  descriptive  titles  given  to  the  different  trends  above  that  some  of  the  strategies  have 
been  more  successful  than  others,  and  it  became  clear  during  the  recent  evaluation  that  not  all  of  the 
academic  schools  which  had previously  embraced  technology  adoption in  2010/2011 have  continued  to  use 
EVS widely.  
 
In considering the current position of the location of the technology use on Rogers’ ‘s‐shaped’ curve above, 
some schools are continuing to grow in their  use of EVS technology while some are declining in their overall 
use. Three strategies were identified as showing a trend of continued growth and engagement by academics in 
the use of EVS technologies. These were:‐ 
ƒ Well considered 
ƒ Steady burn 
ƒ Steady flicker 
The  three  which  have  not  been  so  successful  in  engaging  a  growing  number  of  academic  staff  with  using 
technology were ‐ Big bang, Flicker and Fade, Falter. Many of the schools characterised as following the more 
successful  trends  are  in  STEMM  subjects  while  those  schools  which  have  moved  on  with  their  pedagogy 
choices and have a stable or declining use of EVS are more typically non‐STEMM subjects. There are however  
a couple of exceptions where teams of ‘innovators’ and ‘early adopters’ still continue to use EVS in their own 
teaching and champion their use in non‐STEMM schools.  
 
What has led to the characteristics of increased or declining engagement with classroom technologies in each 
of these cases? The description of ‘Well considered’ was applied to those academic schools which gave much 
thought to their commitment to EVS over an extended period of time. They have typically been growing their 
expertise  over  several  years  and  have  a  number  of  enthusiasts  among  their  academic  staff.  One  of  the 
exemplars of the ‘well considered’ group committed to purchasing a handset for each incoming undergraduate 
student  some  two  years  before  the  main expansion  at the  university  in  2010‐2011. Consequently they have 
been developing local staff skills over a long period of time and ensuring support from experienced colleagues 
on  a  wide  range  of  modules.  This  was  undertaken  with  top‐down  commitment  at  senior  management  level 
from  the  Dean  of  School.  At  any  one  time  up  to  50%  of  staff  may  be  engaged  in  using  EVS  on  their  taught 
modules.  The  primary  use  has  been  with  formative  and  summative  quizzes  which  may  contribute  as  ‘low‐
stakes’ assessments to students’ final grades. 
 
The description of ‘Steady Burn’ indicates a steady start to the process of experimenting with and engaging on 
a  small‐scale  with  EVS  technologies.  There  has  typically  been  a  small  core  of  staff  who  developed  their 
classroom pedagogy early on in the chronology and acted as innovators/early adopters. An investment in staff 
training  and  extensive  local  in‐house  support  was  provided  at  grassroots  level  from  the  departmental 
champion.  As a result the schools in this group have typically increased their user base among academic staff 
slowly but steadily and the user base has grown steadily over time.  
 
The  description  of  ‘Steady  Flicker’  also  indicated  a  slow  start  to  the  adoption  of  EVS,  primarily  but  not 
exclusively in non‐STEMM academic schools where there had been little prior emphasis on concentrated use 
of  technologies  to  support  learning  and  teaching.  In  some  schools  there  was  a  small  core  of  specialist  and 
more  innovative  academic  staff  who  were  keen  to  explore  and  share  practice  on  a  regular  basis.  A  typical 

260
 
Amanda Jefferies, Marija Cubric and Julie Vuolo 

characteristic of the adoption described as Steady Flicker was the smaller class sizes where students would be 
known individually to the academic leader and where there was an existing more conversational approach to 
pedagogy  which  encouraged  student  interaction  without  an  additional  need  for  EVS  handsets.  Some 
academics  in  this  group  took  electronic  attendance  registers  regularly  with  EVS  while  using  them  less  for 
polling and summative assessment. An example of a non‐STEMM subject using the EVS was by an academic in 
Humanities who used the more sophisticated handsets for the students to submit answers to her formative 
homework tests, uploading their answers electronically at the start of her classes. The distinction here is that 
although  the  user  base  remains  fairly  small  a  consistent  interest  is  maintained  in  pockets  throughout  the 
school. 
 
The description of ‘Flicker and Fade’ was applied to those schools where the number of users stayed at a lower 
than  expected  level  and  growth  in  EVS  usage  did  not  experience  an  increase  when  compared  with  other 
schools. Schools described thus might be STEMM or non‐STEMM focussed. The issues over engagement were 
however complex and differed for each school.  Some schools had a policy of using Mac‐based computers in 
their  labs  and  encouraging  student  ownership  of  Macs  because  of  the  availability  of  Mac‐based  software  in 
their area. The EVS handsets chosen initially did not have a reputation for working well with Macs and after 
initial  enthusiasm  EVS  use  was  dropped  because  of  difficulties  of  using  them  with  the  embedded 
Turningpoint™/Powerpoint™ software. Other schools within this descriptor had a small core of regular users 
which did  not expand  as  in  other  schools.  The  overall  collective  experience  was  minimal  and  academic  staff 
made limited use of centralised training. Some formative use was made across undergraduate programmes in 
these  schools.  Whereas  the  ‘Well  Considered’  schools  had  enthusiastic  and  committed  support  from  senior 
managers, this was less evident in the Flicker and Fade schools and as a result there was less commitment to 
employing an Educational Technologist. 
 
Those schools which were described as ‘Faltering’ in their use of EVS were typically from non‐STEMM subjects, 
which  could  not  see  how  their  pedagogy,  described  by  practitioners  as  ’hands‐on’  might  develop  further 
through using EVS. Some academics experimented with EVS early on but decided that it was not enhancing the 
student experience and ceased to promote it further. The overhead of writing quality questions was too high 
for some academics compared with the perceived benefits of using the EVS technology. 
 
The  description  of  ‘Big  Bang’  was  attributed  to  a  group  of  STEMM  and  non‐STEMM  schools,  which  showed 
great  enthusiasm  initially  when  the  EVS  classroom  technologies  project  was  launched.  They  exhibited  a 
number of hallmarks of success early on, such as the engagement of senior management and their buy‐in to 
EVS use and widespread support for encouraging use with mainstream academics. Their top‐down leadership 
involvement  led  initially  to  a  speedy  introduction  of  EVS  technologies,  with  their  use  for  summative 
assessments being mandated in one school across the main undergraduate programmes. However, the speed 
of  engagement  with  EVS  as  a  potential  for  supporting  swift  feedback  on  summative  assessments  was  not 
matched  by  a  commitment  to  involve  all  the  necessary  teaching  staff  in  extensive  training  and  confidence 
building. In one non‐STEMM school the fast introduction was undertaken without considering the additional 
need for administrative and educational technologist support. Their focus for using EVS was predicated on the 
potential for time‐saving on the academic workload through the use of EVS for summative assessment rather 
than on building the use of EVS into the pedagogy of learning and assessment. This contradicted Anderson et 
al’s  assertion  that:  ‘The  compelling  reasons  that  attract  mainstream  faculty  must  be  based  on  pedagogical 
effectiveness.’ (1998). Thus instead of the expected progress to broaden EVS use in future years  as had been 
experienced by schools following either a ‘Well considered’ or  ‘Steady Burn’ trajectory, EVS was rejected by 
academic staff and engagement became limited to a small minority using EVS for formative support and polls. 
 
How  does  this  variety  of  engagement  and  their  descriptors  for  classroom  technology  use  tie  in  with  Moss 
Kanter’s views on promoting organisational change and development?  She described in a series of papers and 
textbooks that organisational leaders engage in two types of actions that help promote organizational change: 
‘bold  strokes’  and  ‘long  marches’  (Moss  Kanter  et  al.,  1992).  ‘Bold  strokes  are  typically  those  strategic 
decisions  or  major  initiatives  which  might  include  investing  critical  resources  in  the  development  of  a  new 
technology or a dramatic new product. The ‘long marches’ can be described  as focussing more on continuous 
improvement  initiatives  and  operational  matters  such  as  improving  quality  and  customer  relationships, 
restructuring work and organizational alignments, as well as a host of other actions which function to improve 
organizational effectiveness.’ (Manley et al, 1998) 
 

261
 
Amanda Jefferies, Marija Cubric and Julie Vuolo 

Moss Kanter’s description of ‘bold strokes’ and a ‘long march’ when applied less to organisational change per 
se  but  instead  to  the  introduction  of  new  technology  indicates  that  either  of  these  might  be  a  successful 
strategy  to  follow.  It  is  therefore  the  detail  of  the  embedding  of  the  changes  into  the  culture  which  can  be 
seen as critical to whether the change leads to longer term transformation or not.  In considering the notion of 
the  ‘long  march’  the  implication  is  that  slow  and  focussed  progress  and  growth  might  generally  lead  to 
sustained  success  but  it  is  clear  from  the  examples  of  EVS  introduction  above  that  it  is  not  necessarily  the 
speed of the introduction of technology which leads to success or failure. A ‘long march’ was described as the 
approach taken by five of the example school descriptors above but only some of their strategies ultimately 
led  to  the  embedding  of  classroom  technologies  within  the  school  culture.  The  three  descriptions  of  Well 
considered,  Steady  burn  and  Steady  flicker  show  steady  progress  over  several  academic  years  which  has 
ultimately led to the successful embedding of EVS technologies. The keys to their success appear to lie in the 
leadership  and  top‐management  support  for  embedding  technology,  the  extensive  use  made  of  central 
training and the provision of ‘technology buddies’ in the form of the school‐based EVS adopters, also known as 
‘local champions’, with an existing network of enthusiastic innovators and early adopters.   
 
Previous research has indicated high levels of student satisfaction experienced when use is made of classroom 
technologies to enhance student engagement with taught material, (Jefferies & Cubric, 2012). This indicated 
that there was no significant difference in students’ satisfaction across subject groups whether STEMM or non‐
STEMM related, but a significant difference in satisfaction between formative & summative use with frequent 
formative use being praised and only low‐stakes approaches for summative use being preferred. Commitment 
by academics is clearly required to ensure that introducing new technologies is a successful strategy and does 
not lead to growth which then stagnates and dies. This was the picture for the ‘Flicker and Fade’ and ‘Falter’ 
approaches. In these schools there were insufficient early adopters and a senior leadership less committed to 
introducing and embedding classroom technologies. The examples of a ‘bold strokes’ initiative in terms of the 
Big Bang approach was unsuccessful in embedding classroom technologies into the schools involved. This was 
not  because  of  the  lack  of  initial  leadership  and  senior  support  but  through  the  misunderstanding  of  many 
academics of the need for greater involvement in the training offered and fuller personal engagement with the 
technology  they  were  using.  It  was  not  therefore  the  speed  of  the  introduction  which  caused  the  rapid 
subsequent decline in use but a combination of other factors, including the absence of a carefully examined 
pedagogy to scaffold and support the EVS use.  
5. Conclusion 
What can be learnt about the different strategic approaches explored here to anticipate those which will lead 
to successful adoption and embedding of technology in academia? In this paper we have compared strategies 
for EVS technology adoption in one university, in an academic and social media environment which is a world 
away  from  Anderson  et  al’s  original  1998  paper,  which  considered  barriers  to  technology  adoption  by 
academics.  Technology  is  now  an  integral  part  of  the  professional  and  social  lives  for  nearly  all  mainstream 
academics regardless of subject but still some academics choose not to adopt certain technologies. 
 
 As  with  other  organisations,  the  key  indicators  include  top‐down  and  local  management  support  but  an 
additional hallmark of successful embedding has been the core group of local early technology adopters from 
each academic school who are willing to engage with colleagues by sharing the potential of EVS technology. 
Whether the embedding of technology within the classroom develops fast or slowly it is the human support for 
colleagues at a local level to develop their pedagogy and scaffold their use of technology to enhance learning, 
which has been crucial to its lasting embedding.  

Acknowledgements 
The  authors  gratefully  acknowledge  the  contribution  of  their  colleagues,  especially  the  members  of  the 
Learning and Teaching Institute and the 'EVS champions' at the University of Hertfordshire. 

References 
Alltree, J., Jefferies, A., Russell, M. (2010) The Blended Learning Unit, University of Hertfordshire: A Centre for Excellence in 
Teaching and Learning, Evaluation Report for HEFCE, March 2010, available online at: 
http://www.herts.ac.uk/fms/documents/teaching‐and‐learning/Hertfordshire‐CETL‐Evaluation‐Report‐March‐2010‐
Final.pdf 
Anderson, T.,Varnhagen, S. & Campbell, K. (1998) Faculty Adoption of Teaching and Learning Technologies: Contrasting 
Earlier Adopters and Mainstream Faculty, The Canadian Journal of Higher Education Volume XXVIII No. 2,3, 19 

262
 
Amanda Jefferies, Marija Cubric and Julie Vuolo 

Beatty, I. (2004).Transforming Student Learning with Classroom Communication Systems. EDUCAUSE Research Bulletin, (3), 
1‐13, available online at: http://www.educause.edu/ir/library/pdf/ERB0403.pdf 
Draper, S. W., & Brown, M. I. (2002) Use of the PRS handsets at Glasgow University, Interim Evaluation Report: March 
2002. 
Dufresne R.J., Gerace W.J., Leonard W.J., Mestre J.P. & Wenk L. (1996) Classtalk: a classroom communication system for 
active learning. Journal of Computing in Higher Education 7, 3–47. 
Heaslip, G., Donovan, P. &Cullen, J.G. (2014) Student response systems and learner engagement in large classes. Active 
Learning in Higher Education, 15(1) 11 –24 
Jefferies, A. & Cubric, M. (2012) Evaluating Electronic Voting Systems (EEVS) Briefing Paper for JISC Assessment and 
Feedback Programme, Strand B available online at: 
http://jiscdesignstudio.pbworks.com/w/page/48734953/EEVS%20Project 
Jefferies, A. (2011) ‘Introducing and Using Electronic Voting Systems in a Large Scale Project With  Undergraduate 
Students: Reflecting on the Challenges and Successes’ In Greener, S.& Rospiglio, A. (Eds) Proceedings of 10th  
European Conference for E‐Learning, Brighton, UK, API pp. 319‐325 
Jefferies, A. & Cubric, M. (2013) ‘Planning for Success in Introducing and Embedding Technology to Enhance Learning’ In 
Ciussi, M. & Augier, M. (EdS) Proceedings of 12th European Conference for E‐Learning, Sophia Antipolis, France, API 
pp. 156‐163 
Kay, R. H., & LeSage, A. (2009). Examining the benefits and challenges of using audience response systems: A review of the 
literature. Computers & Education, 53(3), 819‐827. 
Lorimer, J. & Hilliard, A.(2008) Use of an Electronic Voting System (EVS) to Facilitate Teaching and Assessment of Decision 
Making Skills in Undergraduate Radiography Education. In: Remenyi, D., (Ed). Proceedings of 8th European 
Conference on e‐Learning,2009 Bari, Italy. ACI, 351‐357. 
Manley, T. R., Martin‐Vega, l., Shaw, W. H. & Mighdoll, P. (1998)Understanding organizational culture and its role in 
organization transformation and development. International Conference on Engineering and Technology 
Management. Pioneering New Technologies: Management Issues and Challenges in the Third Millennium. IEMC '98 
Proceedings.1998 San Juan, PR IEEE, 342‐349. 
Mazur, E. & Hilborn, R. C. (1997). Peer instruction: A user's manual. Physics Today, 50(4), 68‐69. 
Moss Kanter, R., Stein, B. A. & Jick, T. D. (1992) The challenge of organizational change: How companies experience it and 
leaders guide it. New York. 
Preszler, R.W., Dawe, A., Shuster, C.B., & Shuster, M. (2007).Assessment of the effects of student response systems on 
student learning and attitudes over a broad range of biology courses. CBE‐Life Sciences Education, 6(1), 29‐41. 
Rogers, E. (1995) Diffusion of innovations (4th ed.)The Free Press, New York 
Schell, J. Lukoff, B., Mazur, E (2013), Catalyzing Learner Engagement using Cutting‐Edge Classroom Response Systems in 
Higher Education, in Wankel,C.& Blessinger,P. (ed.) Increasing Student Engagement and Retention Using Classroom 
Technologies: Classroom Response Systems and Mediated Discourse Technologies (Cutting‐edge Technologies in 
Higher Education, Volume 6), Emerald Group Publishing Limited, pp.233‐261 
Shaffer, D.M. & Collura, M.J. (2009) Evaluating the Effectiveness of a Personal Response System in the Classroom. Teaching 
of Psychology, 36(4) 273–277 
Shapiro, A.M. & Gordon, L.T. (2013) Classroom clickers offer more than repetition: Converging evidence for the testing 
effect and confirmatory feedback in clicker‐assisted learning. Journal of Teaching and Learning with Technology, 2(1) 
15 ‐ 30. 
Thornton, M., Alltree, J., Jefferies, A., & Jones, I. (2005) ‘Introducing Web‐based learning: An investigation into its Impact 
on University Lecturers and their Pedagogy.’ Journal of Information Technology Impact, 4, pp. 91‐98 
Wenger, E. (1998) Communities of Practice: Learning, Meaning, and Identity, Cambridge, Cambridge University Press. 
  

263
Exploring the use of iPads in Danish Schools 
Md. Saifuddin Khalid1, Olivera Jurisic1, Henrik Stein Kristensen1 and Rikke Ørngreen2 
1
Department of Learning and Philosophy, Faculty of Humanities, Aalborg University, 
Aalborg, Denmark 
2
Department of Learning and Philosophy, Faculty of humanities, Aalborg University, 
Copenhagen, Denmark 
khalid@learning.aau.dk 
ojuris10@student.aau.dk 
hskr13@student.aau.dk 
rior@learning.aau.dk 
 
Abstract: Mobile devices, especially the integration and adoption of iPads in school classrooms, is gaining emphasis across 
the research and development forums of academic, policy, organizational, political, and public spheres. In April 2012, the 
Danish government announced that they would allocate DKK 500 million to develop the use of IT in elementary schools in 
Denmark.  Since  then,  many  municipalities  have  purchased  iPads  for  schools  for  large  sums.  The  existing  literature, 
however, says very little about how these IT resources are being used or should be used in teaching. This paper contributes 
to the knowledge of how teachers and students use iPads in school contexts. During fall 2013, three elementary schools’ 
second  and  sixth  graders  were  observed,  and  their  subject  teachers  were  interviewed.  The  researchers  applied  a  social 
constructivist  perspective  and  a  qualitative  research  design,  using  grounded  theory  methodology.  The  relevant  factors 
identified  were  available  knowledge  and  adoptable  practice  (including  innovation  evaluation,  subject  culture,  learning 
activity design, and teachers’ and students’ skill level with iPads); advantages (including mobility, multimodality, access to 
information,  startup  time,  and  differentiated  learning  environments);  and  adoption  barriers  (including  accessibility, 
training, and economy) as seen in relation to technology, pedagogy, and content. The paper concludes that the identified 
nature of knowledge, practices, and barriers are similar to the trend of integrating and adopting desktop computers and 
other  educational  technologies.  However,  there  are  some  unique  advantages  that  iPad  and  other  mobile  devices  can 
enable through apps, readiness, etc. Policies and strategies should be adopted to combine training and maintenance along 
with ensuring access to iPads. 
 
Keywords: iPad, school, educational technology, barriers, advantages, adoption, integration 

1. Introduction 
Mobile devices, especially the integration and adoption of iPads in educational institutions’ classrooms and in 
different learning contexts, is gaining emphasis in many countries (Falloon 2013; Kucirkova et al. 2014; Miller, 
Krockover,  and  Doughty  2013).  With  the  arrival  of  the  iPad  in  spring  2010,  as  the  representative  of  mobile 
devices called tablets, “popular press hyperboles has referred to 2010 as the ‘year of the tablet’ and most have 
privileged the Apple iPad as the flag‐bearer” (Brand and Kinash 2010; Talevski 2010). In New Zealand, Melhuish 
and Falloon (2010) have drawn attention by discussing that the iPad has similar functionalities as a laptop, but 
the iPad’s mobility and active mode like smartphones made it unique compared to other devices. As part of a 
pilot study in the math classrooms of United Arab Emirates (UAE) colleges and universities, Al Refi et al. (2013) 
reviewed that the drivers and barriers of using iPads in classrooms include the following factors:  
save paper, flexibility and portability, save cost, iPad is unable to view flash based programs, iPad 
encourages  independent  learning,  increase  confidence  in  students,  support  math  apps, 
personalize  learning  environment,  long  battery  life,  accessibility  of  apps  at  home,  iPad  cannot 
manage multiple apps at the same time, attractive devices (mobility features), supports e‐book 
initiative,  support  independent  as  well  as  group  learning,  encourages  interaction  between  the 
students, increase student engagement, provide immediate corrective feedback, supports student 
collaboration, induces class distraction, and improve student performances. (p. 42)  
Jahnke and Kumar (2014) investigated Danish K‐12 classrooms and identified teachers’ “use of multiple apps 
and  focus  on  creativity,  production,  and  collaboration  in  the  learning  process”  (p.  81).  The  trend  of 
investigation of the integration and adoption of iPad can also be categorized by the education level in which 
those studies were situated, namely, pre‐school (Manches 2011), elementary school (Chou 2013; Huang et al. 
2012),  and  tertiary  education  (Manuguerra  and  Petocz  2011)  and  to  teach  individuals  with  a  disability 
(Kagohara  et  al.,  2012). Most  of  the  empirical  work  on  information  and  communications  technology  (ICT)  in 
education, including iPads in schools, has explored practices within a context, endorsing the need for situated 

264
 
Md. Saifuddin Khalid et al. 

exploration, and disseminating across communities of research, policies and practice. The facts or phenomena 
that  must  be  explored  are  less  known  to  the  researcher,  but  can  “produce  interesting  questions  for  further 
investigation now or in the future” (Andersen 2013, p. 20). Therefore, this paper takes as points of departure 
from  the  Danish  government’s  emphasis  on  integrating  and  adopting  digital  learning  materials  in  schools 
(Ministry of Education 2012b, 2012c), and that neither a clear approach nor an effect study in this relation has 
been found in the current literature. According to the Ministry of Children and Education, DKK 500 million has 
been allocated as part of the eGovernment Strategy 2012‐2015. The goal is to support the purchase of digital 
learning materials. All students have access to well‐functioning ICT in education, have clear targets for the use 
of  ICT  and  digital  learning  resources  and  learning,  and  research  on  IT‐based  learning  methods  (Ministry  of 
Education 2012a). The Danish government’s initiatives are not free from criticism by researchers. Concern has 
been expressed that there is often no clear strategy for how and when iPads will be used (Mortensen 2012). “It 
is unfortunate that we spend so much money on a technology that we do not know exactly how will get us 
further. In fact, research today tells us very little about how the iPad specifically works in relation to learning.” 
Pedagogy experts anticipate that the new wave of IT enthusiasm in the form of tablet purchases will end up 
leading  to  traditional  and  unimaginative  teaching,  because  very  little  relevant  software  for  iPads  and  other 
tablets has been developed (Ministry of Education 2012b). Thus, to raise additional questions and contribute 
to understanding of this concept, focusing on the context of Danish primary schools, this paper explores, how 
do students and teachers experience the use of iPads in teaching and learning activities in the classroom? 

2. Methodology and methods  

2.1 Data collection tools 
Three  primary  schools  in  Aalborg  municipality  were  selected  using  convenience  sampling.  To  observe  the 
behavior and actions in the context (Bryman 2012), 1.5 hours of structured observations were conducted in 
one  class  at  each  school.  Three  face‐to  ‐face  interviews  were  conducted  immediately  after  the  three 
observation  sessions  to  “gain  knowledge  about  people's  living  situations,  their  opinions,  attitudes  and 
experiences”  (Tanggaard  Pedersen  2010,  p.  29).  Table  1  provides  an  overview  of  these  qualitative  empirical 
data.  
Table 1: Table summary and overview of empirical data 
  School 1  School 2  School 3 
Date  26 Nov. 2013  28 Nov. 2013  2 Dec. 2013 
Class/level  Second grade  Sixth grade  Second grade 
Number of  19 students  15 students  15 students 
students and  Teacher A  Teacher B  Teacher C 
teachers 
Courses  Mathematics  Mathematics  Danish (language) 
What  iPads (6 students) and  iPad mini (students);  iPad (students); 
technology is  computer (13 students);  iPad (teacher)  iPad mini (teacher) 
included in  teacher instructs using the 
teaching?  computer connected to the 
smart board 
What do  Primarily the doctrine of  Primarily the doctrine of geometry  Development of reading 
students  addition through the use of  through the use of the program  and writing skills 
learn?  the program  Geogebra; become familiar with the 
(Educational  MatematikFessor; become  program 
purposes)  familiar with the program 
Tools for data  Observation  Observation  Observation 
collection  (1.5 hours)  (1.5 hours)  (1.5 hours) 
Semi‐Structured Interview  SSI: Teacher B  SSI: Teacher C 
(SSI): Teacher A (10 minutes)  (20 minutes)  (20 minutes) 
Experience  The school has a class set of  The school purchased iPad minis for all  All students in first, 
with iPad  23 iPads that mainly belong to  students in the middle years  second, and third grades 
the first year groups/classes.  group/classes at the school for this  since the 2012/2013 
The set was purchased for the  school year. However, the devices were  school year, have been 
school starting 2012/2013.  handed to the students only about a  provided with their own 
month before due to a lack of iPad  personal iPads. 
covers. Students have been given their 
own personal iPads. 

 
265
 
Md. Saifuddin Khalid et al. 

2.2 Data treatment method  
Using the constructivist perspective, grounded theory (GT) was applied to analyze the data. First, the meaning 
of the interview data was condensed by transcribing the most significant quotes (Kvale and Brinkmann 2009). 
Then, GT was applied to categorize, to make simplifications, to devise relationships among categories, and to 
communicate clearly. 
 
In  recent  years,  several  approaches  to  GT  have  emerged,  and  Bryant  and  Charmaz  (2007)  suggest  the  term 
grounded theory families from a Wittgenstein perspective, in which there are many similarities to the applied 
approaches but not one set of phases or one stable definition (2007, p. 11–12). In this research, the project 
team  members’  pre‐knowledge  of  theories  and  practices  is  recognized  and  made  explicit.  What  the  analyst 
sees in data occurs from existing knowledge about the domain, which is why different people see and focus on 
different  aspects  of  the  data  and  therefore  construct  different  analyses  (Thornberg  2012).  For  example, 
Thornberg  states  the  following  about  observation:  “observation  could  never  be  totally  free  from  theoretical 
influence because seeing is already a “theory‐laden” undertaken” (2012, p. 246). Furthermore, “neither data 
nor theories are discovered, but are constructed by the researcher as a result of his or her interactions with 
the  field  and  its  participants”  (Thornberg  2012,  p.  248).  This  means  this  GT  study  was  conducted  from  a 
constructivist  perspective  in  which  existing  theories  (applying  known  concepts,  theories,  and  models  of  the 
fields and new literature reviews) unfold as follows: 
ƒ Going into the field without specific theoretical consciousness; the purpose is to explore and wonder. 
ƒ The first data analysis is performed without using existing theory extensively to focus on what the data 
say.  
ƒ The  second  data  analysis  applies  conscious  use  of  existing  theory  to  validate  or  criticize  findings  in  the 
data. 
Charmaz (2006) articulated GT analysis tools in a constructivist paradigm. Using Charmaz’s guidelines for the 
coding process, and initial coding, the data were reviewed line by line and then divided into passages. Passages 
could  be  between  1  and  2  line  and  up  to  10  lines  long.  For  each  passage,  a  1‐  to  5‐word  code‐name  was 
assigned to refer to the content. Codes with similar content were put in the same category (Charmaz 2006). 
Then  open  and  axial  coding  was  used,  which  formed  the  final  set  of  categories  in  a  tree‐like  structure.  The 
codes were condensed into eleven categories, which are shown in Figure 3. The most relevant categories were 
selected for analysis (Charmaz 2006). Two categories, economy and teacher’s role, were deselected since the 
development of qualitative insights would require further exploration.  

 
Figure 3: Axial coding: Eleven categories 

3. Analysis  
This section is divided into two sub‐sections: data discovery, where the most prominent discoveries in the data 
are outlined as elements for devising a theory, and validation, where the elements are validated and critically 
discussed through the use of external theory. 

 
266
 
Md. Saifuddin Khalid et al. 

3.1 Data discovery 

3.1.1 Programs/apps in use 
The  curriculum  at  School  1  integrated  the  math  program  MatematikFessor  (translated,  “The  Mathematics 
Professor”),  accessed  via  a  web  browser.  The  students,  through  their  own  logins,  solved  the  problems 
developed  by  the  teacher.  The  teacher  can  follow  the  students’  progress  in  task  responses  on  an  iPad  or  a 
computer through a personal login. Students have the opportunity to ask “the professor”/program for help. 
There is also an element of competition in the program (boys versus girls) to achieve the highest number of 
correct  answers.  Students  navigated  well  in  the  program  and  engaged  in  tasks.  The  curriculum  at  School  2 
integrated  a  geometry  program/app  called  Geogebra,  which  helps  learners  draw  figures  in  different  sizes. 
Students  not  familiar  with  the  program  found  it  difficult  to  navigate,  and  did  not  show  enthusiasm.  These 
domain apps (e.g., mathematics) require the students follow the program step by step, and allow only answers 
one way due to the fixed structure of the app, which limits involvement with and learning about the subject.  
 
The curriculum at School 3 integrated several apps: Showbie, Nearpod, BookCreator, Explain Everything, and 
Cabinet.  The  Showbie  app  can  be  described  as  an  evolved  version  of  Dropbox,  where  the  students’  work, 
assignments,  etc.,  are  stored  and  shared.  Nearpod  is  an  app  for  sharing  and  controlling,  through  which 
students receive content on their monitors, prepared and sent by the teacher. While the teacher, on an iPad, 
scrolls  between  different  drawings  prepared  by  the  students,  the  students  can  follow  on  their  iPads.  The 
teacher can prepare questions and drawing assignments, send them to the students, and follow the students 
in their responses. BookCreator engages students with multimodal production, including text, audio, images, 
videos, etc. Using Explain Everything, students can record video and sound, and all added objects are stored, 
grouped, organized, and copied. Finally, Cabinet is a text handling and editing tool the student uses in PDF files 
to strike out words, underline, write, add, color, select all verbs, etc. The five apps are not subject‐specific but 
are useful in several educational contexts (subjects and levels). All five in some way allow student production, 
student  creativity,  knowledge  sharing,  and  reflection.  Most  importantly,  the  apps  give  the  teacher  the 
opportunity  to  facilitate  a  teaching  lesson  with  many  activities  since  the  apps  are  simple  and  provide  faster 
student production and switching. Through this category of open and non‐controlled apps in multiple learning 
contexts, there may be consistency in iPad use throughout the school and among subjects.  

3.1.2 The structures of iPad‐integrated lessons  
In  the  first  two  teaching  observations,  second‐  and  sixth‐grade  mathematics  at  schools  1  and  2,  we  found 
similarities between the lesson structures. In the second‐grade classroom, the teacher used the blackboard to 
teach for about 25 min, during which he reviewed the day’s assignments and drew shapes on the board. The 
students participated and asked questions, and they did not use iPads. Then the teacher introduced how the 
assignments should be completed on the iPad. Students then focused on the assignment for an hour. In the 
sixth‐grade classroom, the lesson was structured during a half‐hour introduction to the day’s topic for study 
and assignments, and the students worked independently with their own iPad to solve the assignments. The 
teaching took place, at the beginning, primarily via a smart board. Students were told not to touch their iPads 
while  the  homework  is  reviewed.  Thus,  these  lessons  included  a  classic/traditional  teaching  beginning  with 
primarily  one‐way  communication  from  the  teacher  to  the  students  without  the  students  using  their  iPads. 
Teacher C at School 3 devised a different structure: “I do not start to instruct them. I just say they need to pick 
up the book and put their headphones on, and then they go off. And then most of them understand what to 
do.” In teacher C’s classroom, all necessary guidance for solving the assignments was digitally recorded on a 
common platform of which the students are aware and can access. If they did not understand the task, then 
they could replay it.  

3.1.3 iPad supported by physical learning materials 
At  schools  1  and  2,  the  students  used  paper  and  pencil  along  with  an  iPad  and  computer.  At  School  3,  the 
students  worked  with  their  narrative  of  a  story  in  book  format  and  iPad  simultaneously.  On  the  iPad,  the 
questions were available, and students wrote the answers on their iPad. In the book, which was next to the 
iPad, the students found the answers. It seems that the iPad was involved due to school expectations on the 
strategic level, and not because teachers could see students’ academic achievement. Teacher B stated: “Now 
we’ve  got  computers  at  school.  It  must  revolutionize  education.  It  has  not  really  happened.  The  same  with 
smart boards: They would revolutionize education. It has not really happened.” Consequently, iPads are not 

 
267
 
Md. Saifuddin Khalid et al. 

used  as  a  supplement  to  existing  learning  resources  but  as  a  kind  of  “doubling  up”  on  learning  tools.  In 
teachers  A’s  and  B’s  lessons,  effective  learning  goals  were  lacking  when  the  iPad  was  included,  whereas 
teacher  C’s  lessons  appeared  to  have  effective  goals  and  engaged  the  students.  These  lead  to  the  following 
categorization and analysis concerning teachers’ lack of skills and lack of knowledge about the involvement of 
iPads in education.  

3.1.4 Teachers’ lack of knowledge  
Teachers  A  and  B  reported  that  they  lacked  inspiration  and  new  knowledge  regarding  the  use  of  iPads  in 
education. Teacher C actively worked in iPad‐integrated classrooms for several years; in addition to courses on 
using iPads in education, teacher C has also had contact with people responsible for organizing iPad courses. 
Furthermore, teacher C was part of a team with other teachers at the school, where they discussed, shared 
knowledge,  and  worked  to  integrate  iPads  at  School  3. At  School  3,  it  was  more  or less  up  to  the individual 
teacher to acquire new knowledge. Thus, “Either due to a lack of concrete guidance or personal motivation,” 
teacher  3  said,  “I  put  myself  fixed  with  a  chair  and  begin  to  try  it  myself.”  Teacher  C  said  that  his  lack  of 
knowledge affected the quality and the way he worked with the iPad: “So, it’s not just things that are floating 
around in various programs—they have six documents open at once ... Where I say: Well, I know how we store 
on the computer in the old‐fashioned way, but I really do not know how to do it on the iPad yet.” 
 
There  are  indications  that  the  iPad  has  not  sufficiently  incorporated  as  a  learning  tool  in  the  teachers’ 
educational  designs  and  therefore  was  often  involved  in  a  simple  way,  such  as  by  downloading  a  specific 
learning program as MatematikFessor. Teacher B pointed to the lack of leadership as a barrier: “The problem is 
that if we all stand more or less at the same level, and there is no one who can lead and say: We can use this to 
raise  the  level.”  In  fact,  teacher  B  called  for  some  of  the  things  that  teacher  C  was  part  of.  The  iPad  teams 
could be a source of inspiration, and a community in which the teachers can lean on both in the doctrine of the 
iPad technical challenges and in pedagogical integration. 

3.1.5 Teachers are not given guidance 
It is largely the teachers’ own responsibility to search for inspiration and new knowledge in the field, without a 
significant  guide  or  guideline  for  their  research.  Teacher  B  said  that  except  for  a  course  in  which  they  were 
presented with 20 apps that were good for teaching, the teachers had not been required to attend any other 
courses or similar measures. Teacher B said: “Basically, I sat down and have used it as much as possible. Yes, it 
might be nice with a course and there might be other things—is there a guide somewhere? … I just wonder ... 
it's voluntary courses. That means, that it is not something that is recognized in my work. I'm going to such a 
course today. So, I can actually choose to say, I do not want to, or I have to be elsewhere today.” 
 
Teachers had the opportunity to expand their understanding of the use of iPads in education through courses 
if they did not mind using their free time. However, this was a school, not a ministerial, decision, since teachers 
A and C expressed that they had taken several courses and they were in the same boat as teacher B when it 
came to self‐help.  

3.1.6 Students’ differences: second grade vs. sixth grade 
Time spent on integration and adoption is an important factor, since the sixth‐grade students had only had and 
worked  with  their  iPads  for  several  months,  while  the  second‐grade  students  had  had  their  iPads  for  little 
more than a year. We observed “speed” and go‐on‐attitude” in the second grade at schools 1 and 3 in their 
use  of  apps  and  iPad,  even  though  the  second‐grade  students  at  School  1  had  not  previously  worked 
considerably and did not have their own iPads. In sixth grade at School 2, the students had far more technical 
problems  with  the  iPads,  which  they  searched  with  the  teacher's  help.  The  sixth‐grade  students  navigated 
more slowly, felt more uncertain, and showed resistance to the use of Geogebra.  
 
Age  appears  to  play  a  central  role.  The  second‐grade  students  “growing  up”  with  the  iPad  had  some 
advantages, such as typing on the iPad keyboard. It is perhaps a challenge for sixth‐grade students to change 
from using a PC keyboard to a tablet keyboard. Teacher C anticipated this as a temporary factor and not as a 
concern: “I also write a report of eight pages on my iPad. You learn. Especially, like those students who have 
not been used to anything else. There is a fear in the upper classes ... they are of course not used to use the 
iPad from when they were smaller.” 

 
268
 
Md. Saifuddin Khalid et al. 

Regarding functionality and perceived affordances, teacher C said: “Students write much faster. And the fact 
that they can go in and edit (…) I think it is a great advantage too ... I can certainly see that they have written a 
lot  more  than  what  they  would  otherwise  do.”  The  students  were  quicker  to  express  themselves  in  writing, 
and they wrote longer text passages.  

3.1.7 To personalize or to borrow 
If the students did not own an iPad and could not use it at home, then they might forget their skills or have a 
lack of access when desired. This complicates the implementation of the planned teaching. Teacher B said that 
ownership  and  convenient access  enable greater  knowledge  acquisition  regarding  iPad  and  educational  use. 
Confidence and knowledge of the iPad sped up the work flow since the students asked fewer questions related 
to  understanding  the  technology  and  its  use,  and  the  students  navigated  faster.  These  contributed  to  the 
quality  of  the  teaching  time.  At  School  1,  students  borrowed  iPads  from  the  school,  and  teacher  A  said,  “It 
does not matter if it’s an iPad or a computer,” because MatematikFessor is accessible on both. However, the 
fact that students were less enthusiastic in class might be a related issue; it’s not clear what the students are 
less enthusiastic about: the class in general or using a computer or using an iPad or the app. 

3.1.8 Advantages of using iPads 
A thorough review of the data shows several benefits of using iPads. First, students found delight. Teacher A 
stated:  “I  think  this  is  primarily  from  home;  they  associate  the  iPad  with  having  fun.”  The  second  benefit  is 
mobility, which we observed. Teacher A said:  
The advantage of iPad over computer is that students can take it outside. We had a lesson with 
geometry when they were out taking pictures via an app and made a collage. For two blocks of 
lessons we managed to be outside, take pictures, make collage and print them. We would never 
have achieved that with ordinary laptop. … spread out in the classroom, out in the common room 
and a small room next to the classroom.  
The students could personalize their learning environment to some extent. Calmness was observed as teacher 
C sent the students out of the classroom for independent work via their iPad. Moreover, it was surprising to 
see how long it was quiet in class when students worked with iPads compared to observations in conventional 
classes. The observations note shows this, from the second grade at School 1: “After 40 min into teaching (...) 
still very quiet in class.”  
 
Third, the iPad helped students learn various skills. Teacher C facilitated tasks from home for the day’s lessons 
for students on a common platform, where students could listen to the recorded assignment and then work 
independently.  
 
The  last  advantage  was  the  start‐up  time,  which  the  three  teachers  expressed  several  times.  For  instance, 
teacher C said: “I have used several tablets ... the iPad is easy … It is very fast to turn on, shut down and pack 
up—about 2 min.” The iPad made the transition from one activity to another activity at School 3 efficient. At 
School  1,  some  students  worked  with  iPads  and  others  on  laptops.  It  took  some  time  (maybe  10  minutes) 
before all the students’ computers were turned on and on the Internet and found the intended website. Those 
with iPads were much faster. In addition, MatematikFessor on iPad was faster with scrolling, typing, and tasks. 

3.1.9 Disadvantages: Technology issues 
iPad  functionality‐related  challenges  were  identified  at  each  school.  At  School  1,  the  iPads  were  being 
updated, and the research team nearly lost the opportunity to see them in use. At School 2, several students 
were frustrated since the iPads were freezing or deleting their work. At School 3, students had to spend most 
of the lesson at the teacher’s table where the iPad could be connected to power. Further problems arose since 
students  must  speak  and  listen  to  the  reading  of  a  test.  Teacher  C  explained  that  the  recently  provided 
headphones were incompatible with the covers and could not be connected to the iPads.  
 
Teacher C also mentioned that the students downloaded games, leaving no room for the apps for classroom 
activities,  and  the  teachers  then  had  to  delete  games  from  each  iPad.  As  a  result,  the  school  has  locked 
students’ access to download or delete new apps. We observed that a student could not continue his reading 

 
269
 
Md. Saifuddin Khalid et al. 

since his younger brother had deleted an app at home, and there was no time to help student download the 
program. It seemed technological problems are now part of everyday life. 

3.1.10 Disadvantages: Students forgot to bring iPads to school 
At schools 2 and 3, students sometimes forget their iPads at home. At School 2, the students could borrow a 
school  laptop  and  access  the  program  through  the  Internet  browser.  Since  School  3  used  only  apps,  it  was 
necessary  to  have  additional  school  iPads  as  back‐up.  Since  teacher  C  in  the  observed  teaching  and  in  the 
interview showed more integration of iPads in the classroom than schools 1 and 2, the teacher was asked how 
dependent the students were on the iPads and what happened when the students forgot their iPads. Teacher 
C replied:  
Yes,  they  are  dependent.  We  have  two  “loaner  iPads,”  so  it  helps  a  little.  Okay,  there  was  no 
power at one of them today. We have many stay‐at‐home parents, and we will simply call home 
in the morning and say they forgot their iPad. We cannot expect that they do, but actually many 
do... But they are very dependent to bring it to school. You can create some activities where they 
can sit in pairs. But they had to record some sound today, and it was not so easy in pairs. 
The more a school integrates the use of iPads in teaching, the more the dependence factor rises, and back‐up 
plans  are  necessary.  If  several  students  have  forgotten  their  iPads,  or  the  school‐loaned  iPads  are  out  of 
power, as was the case in this study, there is a risk that some students lose the opportunity to attend classes 
on an equal footing with their classmates.  

4. Discussion and conclusion 
This  qualitative  study  explored,  in  the  context  of  Danish  primary  schools,  how  do  students  and  teachers 
experience the use of iPad in teaching and learning activities in the classroom? Although only three classrooms 
from three schools were studied, the findings are rich and provide nuanced views, which are expected to have 
a strong contribution in practice and policies for iPad initiatives in Denmark and around the globe.  
 
The study identifies that with the increase of the integration of technology in teaching‐learning activities, the 
roles  of  a  teacher  and  students,  along  with  the  roles  of  parents,  have  become  heavily  dependent  on 
technology. The apps on iPads, both subject‐specific and open‐ended, require the development of knowledge 
and  skills  regarding  the  specific  technology,  technology‐supported  pedagogy,  and  technology‐related‐
classroom management (Hew and Brush 2006).  
 
Restricting  access  to  (un)install  apps,  providing  backup  devices,  and  providing  access  to  power  sources  for 
recharging are the technology‐related‐classroom management issues identified in this study. Although open‐
ended apps playfully engage the students, they found the subject‐specific (mathematics) apps less enjoyable. 
Further investigation is required to identify whether the lack of motivation is due to the subject, the nature of 
the  interaction  within  the  app,  or  other  contextual  school‐related  factors.  Technology‐supported  pedagogy 
includes the structure or learning design of a lesson, which should be incorporated in teacher training instead 
of  expecting  each  teacher  to  find  an  innovative  idea.  The  lack  of  training  for  teachers,  time  pressure,  and 
technical  support  were  identified  as  critical  issues,  which  have  been  stressed  in  educational  technology 
literature for the last three decades (Ertmer 1999; Hennessy, Harrison, and Wamakote 2010; Khan, Hasan, and 
Clement  2012).  The  findings  in  this  study  in  particular  show  that  teachers  and  schools  need  to  know  more 
about the feasible learning designs for their specific target group, domain, and context. 
 
The speed and attitude in relation to the use of iPads depend on the time spent adopting the device. The rate 
of adoption and opportunities to be persuaded/to have developed a positive attitude increase with the higher 
duration  of  time  spent  (Rogers  2003).  Furthermore,  time  is  also  involved  if  one  has  to  migrate  from  one 
technology (e.g., PC) to another (e.g., iPad). Gaining efficiency (whether for the teacher or student) requires 
spending time with the technology (iPad) and practicing the desired skills. 
 
Integrating  iPads  in  lessons  can  greatly  transform  the  structure  of  lessons,  and  depends  significantly  on  the 
teacher’s role and her or his adoption of apps, structuring of information, and communication strategies. If the 
class structure includes explanation of the activities using the app, then a large proportion of the lesson time is 
spent on introductions, which may cause increased stress factors, for the students and the teacher.  
 

 
270
 
Md. Saifuddin Khalid et al. 

It  might  be  claimed  that  the  use  of  iPads  has  shown  strong  advantages  over  the  PC  and  can  argued  as  a 
significant  reason  for  defending  the  technical  feasibility  aspect.  The  iPad  enables  mobility  (i.e.,  can  be  used 
outside conveniently) and offers multi‐functionality (i.e., camera, communication tools, and teaching‐learning 
activities)  and  multi‐modality  (i.e.,  video,  audio,  image,  and  text).  In  addition,  iPads  are  viewed  as  a  fun 
technology  by  students,  which  leads  to  more  attention  and  engagement  for  longer  duration  than  otherwise 
possible. The iPad can create a personal learning environment, breaking the boundaries between formal and 
informal  learning  spaces.  This  makes  young  students  calm  and  focused  while  they  are  engaged  in  learning 
activities,  as  well  as  have  the  potential  to  improve  the  quality  of  lessons  by  enabling  students  to  become 
informed about lesson content in advance. This can save the teacher time by decreasing the time required for 
explanation in plenary, and dedicating more time to students who need more help. 
 
We  recommend  that  policies  and  strategies  should  be  adopted  to  combine  training  and  maintenance  along 
with ensuring access to iPads. Future studies covering a large number schools and involving mixed methods 
might be a direction for evaluating and revisiting the current policies and strategies across national, regional, 
school district, and individual school levels.  

References 
Andersen, I. (2013) Den skinbarlige virkelighed: vidensproduktion i samfundsvidenskaberne, Samfundslitteratur, 
Frederiksberg. 
Brand, J. and Kinash, S. (2010) “Pad‐agogy: A Quasi‐Experimental and Ethnographic Pilot Test of the iPad in a Blended 
Mobile Learning Environment”, in C.H. Steel, M.J. Keppell, P. Gerbic & S. Housego (Eds.), Curriculum, technology & 
transformation for an unknown future. Proceedings ascilite Sydney 2010, Sydney, pp. 147–151.  
Bryant, A. and Charmaz, K. (2007) “Grounded Theory Research: Methods and Practices’, in Bryant, A. and Charmaz, K. (eds) 
The Sage Handbook of Grounded Theory, Sage, Los Angeles. 
Bryman, A. (2012) Social Research Methods, 4th ed., Oxford University Press, Oxford. 
Charmaz, K. (2006) Constructing Grounded Theory: A Practical Guide Through Qualitative Analysis, Sage, London. 
Chou, M.‐J. (2013) “Effects of Computer‐Assisted Instruction on Learning Satisfaction: A Case Study on G1 Pupils Using 
iPad", Actual Problems of Economics, Vol 140, No. 2, pp 460–467. 
Ertmer, P.A. (1999) “Addressing First‐ and Second‐Order Barriers to Change: Strategies for Technology Integration”, 
Educational Technology Research and Development, Vol 47, No. 4, pp 47–61.  
Falloon, G. (2013) “Young Students Using iPads: App Design and Content Influences on Their Learning Pathways”, 
Computers & Education, Vol 68, pp 505–521.  
Hennessy, S., Harrison, D. and Wamakote, L. (2010) “Teacher Factors Influencing Classroom Use of ICT in Sub‐Saharan 
Africa”, Itupale Online Journal of African Studies, Vol 2, pp 39–54. 
Hew, K.F. and Brush, T. (2006) “Integrating Technology into K‐12 Teaching and Learning: Current Knowledge Gaps and 
Recommendations for Future Research”, Educational Technology Research and Development, Vol 55, No. 3, pp 223–
252.  
Huang, Y.‐M., Liang, T.‐H., Su, Y.‐N. and Chen, N.‐S. (2012) “Empowering Personalized Learning with an Interactive E‐Book 
Learning System for Elementary School Students”, Educational Technology Research and Development, Vol 60, No. 4, 
pp 703–722. 
Jahnke, I. and Kumar, S. (2014) “Digital Didactical Designs: Teachers’ Integration of iPads for Learning‐Centered Processes”, 
Journal of Digital Learning in Teacher Education, Vol 30, No. 3, pp 81–88. 
Kagohara, D.M., Sigafoos, J., Achmadi, D., O’Reilly, M. and Lancioni, G. (2012) “Teaching Children with Autism Spectrum 
Disorders to Check the Spelling of Words”, Research in Autism Spectrum Disorders, Vol 6, No. 1, pp 304–310. 
Khan, M.S.H., Hasan, M. and Clement, C.K. (2012) “Barriers to the Introduction of ICT into Education in Developing 
Countries: The example of Bangladesh”, International Journal of Instruction, Vol 5, No. 2, pp 61–80. 
Kucirkova, N., Messer, D., Sheehy, K. and Fernández Panadero, C. (2014) “Children’s Engagement with Educational iPad 
Apps: Insights from a Spanish Classroom”, Computers & Education, Vol 71, pp 175–184.  
Kvale, S. and Brinkmann, S. (2009) InterView: introduktion til et håndværk, Hans Reitzel, København. 
Manches, A. (2011) “Digital Manipulatives: Tools to Transform Early Learning Experiences”, International Journal of 
Technology Enhanced Learning, Vol 3, No. 6, pp 608–626. 
Manuguerra, M. and Petocz, P. (2011) “Promoting Student Engagement by Integrating New Technology into Tertiary 
Education: The Role of the iPad”, Asian Social Science, Vol 7, No. 11, pp 61–65.  
Melhuish, K. and Falloon, G. (2010) “Looking to the future: M‐learning with the iPad”, Computers in New Zealand Schools: 
Learning, Leading, Technology, Vol 22, No. 3, pp 1–16. 
Miller, B.T., Krockover, G.H. and Doughty, T. (2013) “Using iPads to Teach Inquiry Science to Students with a Moderate to 
Severe Intellectual Disability: A Pilot Study: IPad Inquiry for Students with Disabilities”, Journal of Research in Science 
Teaching, Vol 50, No. 8, pp 887–911. 
Ministry of Education (2012a) “50 millioner kroner uddeles til digitale læremidler i folkeskolen i 2012”, 
http://uvm.dk/Aktuelt/~/UVM‐DK/Content/News/Udd/Folke/2012/Jun/1 20614‐50‐millioner‐kroner‐uddeles‐til‐
digitale‐laeremidler‐i‐folkeskolen‐i‐2012?allowCookies=on. 

 
271
 
Md. Saifuddin Khalid et al. 

Ministry of Education (2012b) Hvis iPad’er i folkeskolen er svaret, hvad var spørgsmålet så?, The Ministry of Education, 
Denmark, http://www.uvm.dk/Uddannelser/Paa‐tvaers‐af‐uddannelserne/Stafetten/Stafetten‐36‐Jeppe‐Bundsgaard. 
Ministry of Education. (2012c) iPad’er i folkeskolen, The Ministry of Education, Denmark, 
http://uvm.dk/Uddannelser/Folkeskolen/~/UVM‐DK/Content/News/Udd/Folke/2012/Maj/120524‐iPader‐i‐
folkeskolen?smarturl404=true.  
Mortensen, H.N. (2012) “IT‐Branchen advarer mod skolers milliondyre iPad‐ræs”, http://www.version2.dk/artikel/it‐
branchen‐advarer‐mod‐skolers‐milliondyre‐ipad‐raes‐48956. 
Rogers, E.M. (2003) Diffusion of Innovations, 5th ed., Free Press, New York. 
Talevski, J. (2010) “Apple to Usher in ‘Year of the Tablet’”, The Sydney Morning Herald [Online], 
http://www.smh.com.au/digital‐life/computers/apple‐to‐usher‐in‐year‐of‐the‐tablet‐20100120‐mkz4.html. 
Tanggaard Pedersen, L. and Brinkmann, S. (2010) Kvalitative metoder: en grundbog, Hans Reitzel, København. 
Thornberg, R. (2012) “Informed Grounded Theory”, Scandinavian Journal of Educational Research, Vol 56, No. 3, pp 243–
259. 
 

 
272
Team‐Based Learning in a UK Medical School: Using Mobile‐
Friendly Technology to Support the In‐class Individual Readiness 
Assurance Test 
Shihab Khogali, Alisdair Smithies, Alison Gray, Annalisa Manca and Natalie Lafferty 
University of Dundee School of Medicine, Dundee, UK 
s.e.o.khogali@dundee.ac.uk;  
a.smithies@dundee.ac.uk 
a.y.gray@dundee.ac.uk 
a.manca@dundee.ac.uk 
n.t.lafferty@dundee.ac.uk 
 
Abstract:  Team‐based  learning  (TBL)  provides  opportunities  for  application  of  knowledge  and  problem‐solving.  The  TBL 
strategy incorporates structured individual and teamwork activities and multiple small groups in a single classroom setting. 
Students  are  required  to  prepare  individually  before  attending  in‐class  sessions  during  which  they  take  an  individual 
readiness assurance test (iRAT) followed by team readiness assurance test (tRAT), based on the same set of questions. The 
TBL process culminates in student teams engaging in face‐to‐face problem‐solving activities. Traditionally, iRAT responses 
may be captured by clickers or on paper processed by optical‐mark‐reader systems, which can be difficult to process for a 
large class size. This paper describes a case study, in which mobile online assessment technology was successfully applied 
to  support  automated  capture  and  processing  of  iRAT  responses  during  TBL.  An  open‐source  online  learning  platform, 
Moodle  (version  2.6),  was  accessed  by  students  in  a  state‐of‐the  art  lecture  theatre  with  WiFi  provisioning  for  900 
simultaneous connections, to deliver iRATs for 195 Year 3 medical students. During each TBL module, individual students 
were presented with a set of iRAT multiple‐choice questions in‐class and required to respond within ten minutes. Students 
were asked to use their own devices (mobile or laptop) in‐class to enter responses for iRAT questions. More than 95% of 
students were able to access the platform in‐class without problems. With the assessments taking place at the beginning of 
an in‐class session, the results can be compiled and presented to the facilitator whilst the student teams were discussing 
the questions to complete the tRAT. Individual students were unable to identify which questions they answered incorrectly 
before  the  teams  completed  the  tRAT.  Facilitators  were  able  to  use  the  information  provided  from  the  iRAT  platform 
together with that from the tRAT to inform focused explanation of concepts, before student teams engage in the problem‐
solving activities of TBL. Moodle (version 2.6) fulfilled our functional requirements for an iRAT assessment platform during 
in‐class TBL sessions, demonstrating usability, accessibility, validity and accuracy. 
 
Keywords: team‐based learning, formative assessment, open source, mobile devices 

1. Introduction 

1.1 Team‐based learning 
Team‐based  learning  (TBL)  is  a  strategy  for  small  group  learning,  originally  used  in  business  education 
(Michaelsen  et  al.  2002).  Over  the  last  decade,  TBL  has  been  gaining  increasing  acceptance  in  medical 
education  (Parmelee  et  al.  2012).  From  an  educational  perspective  TBL  provides  opportunities  for  student‐
centred, active, collaborative group learning with opportunities to apply knowledge to solve clinical problems. 
Moreover, unlike traditional problem based‐learning (PBL), TBL offers the added benefit of holding individual 
students and student teams accountable for their performance, including pre‐class preparation (as assessed by 
readiness  testing)  as  well  as  contributions  to  the  team  (as  assessed  by  peer  evaluation).  From  a  resource 
perspective  TBL  may  help  ease  pressures  on  the  need  for  simultaneous  multiple  rooms  and  simultaneous 
multiple small group facilitators.  
 
The  TBL  strategy  incorporates  structured  individual  and  teamwork  activities.  A  typical  TBL  course  comprises 
several  TBL  modules.  Each  TBL  module  may  occupy  a  number  of  classes  and  involves  a  readiness  assurance 
process (RAP), which prepares the students for the more complex application activities of TBL. The RAP part of 
TBL  involves  5  stages,  one  pre‐class  and  another  4  in‐class  stages.  The  5  stages  of  RAP  are:  (1)  Pre‐class 
preparation:  Students  are  assigned  preparatory  material  to  individually  review  before  coming  into  the 
classroom. (2) Individual readiness assurance test (iRAT): This is the first stage of in‐class RAP of TBL.  During 
this  stage,  individual  students  answer  a  set  of  multiple‐choice  questions.  The  iRAT  provides  individual 
accountability for acquiring the knowledge required for problem‐solving during the application activities part 
of TBL. (3) Team readiness assurance test (tRAT): During this stage of the RAP, student teams discuss the same 

273
 
Shihab Khogali et al. 

set of multiple‐choice questions face‐to‐face in‐class to agree consensus team answers for the questions. The 
tRAT  provides  team  accountability  for  acquiring  knowledge  required  for  problem‐solving  during  the 
application activities part of a TBL module. It also assists the development of team cohesiveness in preparation 
for  the  problem‐solving  application  activities  part  of  a  TBL  module.  (4)  Appeals:  During  this  stage  of  RAP, 
students  teams  are  encouraged  to  complete  a  written  appeal  for  readiness  questions  they  answered 
incorrectly, explaining their defence for any alternate answers they believe to be correct. This stimulates the 
student teams to revisit concepts they struggled with. (5) Teacher clarification/explanation (mini‐lecture): This 
concludes  the  RAP  part  of  TBL.  The  teacher focuses  on  concepts  which  are  still  difficult  for  students  to 
grasp.  Following  the  RAP,  the  student  teams  engage  with  the  application Activities  part  of  a  TBL  module. A 
significant part of in‐class time is usually spent in team‐based problem solving activities during the application 
part of TBL. 
 
A challenge for facilitators during the RAP part of TBL is to capture and process iRAT results in a timely manner. 
Traditionally,  iRAT  results  may  be  captured  using  clickers  or  on  paper  processed  by  optical‐mark‐reader 
systems (Parmelee et al. 2012) and this can be a resource and time intensive process for a large class size. This 
paper describes the application of mobile online assessment technology to support the capture and processing 
of iRAT responses during the RAP part of TBL. 

1.2 Context 
The  undergraduate  medical  curriculum  at  the  University  of  Dundee  is  a  5‐year  course  delivered  over  two 
phases.  Phase  1  (Year  1‐3)  is  structured  learning  around  body  systems.  The  final  block  of  Phase  1  of  the 
Dundee  undergraduate  medical  curriculum  is  a  three‐week  course,  known  as  Transition  Block  1  (TB1).  The 
main two aims of TB1 are to encourage students to apply and integrate their knowledge and skills from the 
system‐based learning to solve clinical problems and to enhance student team‐working skills. 
 
A hundred‐and‐ninety‐five (195) Year 3 medical students, entering the preparation in practice phase (Phase 2, 
Years 4 and 5) of the curriculum, participated in the 2013/2014 TB1 course. Learning strategies used during the 
course include, team‐based learning (TBL) and clinical skills sessions. Seven TBL modules were delivered during 
TB1 course. For purposes of TBL, the class was divided at the beginning of the academic year into thirty‐two 
teams  of  about  six  students  per  team.  Students  remain  in  the  same  teams  throughout.  TBL  was  used  in  a 
formative manner, in this context. 
 
Each TBL module occupied six formal timetabled hours: two hours for individualised pre‐class preparation, two 
hours for in‐class RAP and another two hours for in‐class team application activities.  For each TBL module pre‐
class preparatory materials, provided by the module lead, were made available to students online in advance 
of the sessions. Each in‐class RAP was facilitated by the relevant TBL module lead with initial support from the 
TB1 course convenor and the Technology and Innovation in Learning Team (TILT).  For each TBL module, the 
in‐class team application session (problem‐solving activity) was facilitated by the module lead together with a 
general practitioner, physician and a hospital specialist, where possible.   
 
A  staff  development  programme  ensured  that  teaching  staff  involved  in  delivering  the  TBL  sessions  in  TB1 
were  familiar  with  the  educational  approach  of  TBL.  The  TBL  module  leads  were  kept  abreast  of  the 
technology developments around the iRAT. 
2. Method 

2.1 Implementing an online solution for individual Readiness Assurance Test (iRAT) during in‐
class team‐based learning (TBL) sessions 
Having run TBL sessions in TB1 in previous years and encountered problems with clickers it was decided to use 
an online technology to support the iRAT. Initially, the primary institutional virtual learning environment (VLE) 
and assessment platforms (Blackboard and Questionmark Perception) were configured to support delivery of 
the  individual  Readiness  Assurance  Tests  (iRATs)  during  each  in‐class  RAP  part  of  the  TBL  modules.  The 
approach was tested prior to the start of TB1 by inviting the year group of students to asynchronously answer 
a set of mock questions using their mobile devices. 
 

274
 
Shihab Khogali et al. 

The  TBL  modules  were  run  in  a  state‐of‐the‐art  250‐seat  lecture  theatre  designed to accommodate  TBL  and 
other  interactive  learning  approaches  (Figure  1).  The  lecture  theatre  comprises  clustered  team  seating 
arrangements, dual data projection facilities and multimedia systems, combined with WiFi provisioning for up 
to 900 simultaneous connections. In an age when students are increasingly bringing their own laptops, tablets 
and smartphones to campus for note‐taking and personal study, a “Bring Your Own Device” (BYOD) strategy 
seemed an appropriate approach for in‐class TBL sessions.  Before the start of TB1, students were emailed and 
asked to use their own devices (mobile or laptop) for iRATs. Spare tablets were made available by the medical 
school for those who did not own a portable device. 

 
Figure 1: University of Dundee School of Medicine state‐of‐the‐art lecture theatre designed to accommodate 
team‐based learning and other interactive learning approaches 
An  introductory  lecture  with  the  TB1  course  convenor  offered  the  first  opportunity  to  test  capacity  for 
concurrent  logins  for  195  students,  but  it  became  apparent  that  there  were  problems  with  using  the 
institutional platforms in this context.  The platforms were apparently unable to support the number of users 
(195  students)  accessing  the  service  simultaneously  and students  were  unable  to  complete  the  introductory 
practice  assessment  during  the  introductory  lecture.  Technical  issues  limiting  access  were  not  immediately 
identifiable, but it is possible that the complex user authentication of the two linked systems, together with 
infrastructure restrictions between them may have contributed to the problem. An alternative approach was 
necessary within a very short time frame to ensure the sessions ran as planned. 

2.2 Functional requirements for an online iRAT assessment platform 
This section of the paper describes the functional requirements for a system to support delivery of iRATs. The 
basic functional requirements for the system were established from previous experiences with TBL, including 
attempts to use clickers for iRAT in a large classroom setting. The basic requirements are summarised in Table 
1, below: 
Table 1: TBL: Essential functional requirements for a platform for an individual Readiness Assurance Test (iRAT) 
platform 
1.  The hardware and operating system requirements of a selected iRAT platform must permit implementation 
using existing infrastructure. 
2.  Should only require basic configuration that can be done without upskill or a need to bring in external resources.

3.  Provide stable access for multiple concurrent users in‐class via mobile technology. 

4.  Support the iRAT process with appropriate role‐based access. 

275
 
Shihab Khogali et al. 

5.  Deliver online iRAT assessments in a format accessible by the majority of Web‐enabled devices. 

6.  Be configurable to present a set of questions to students in a randomised order during an iRAT event. 

7.  Be configurable to deliver assessment events within a specified time window. 

8.  Allow the test responses to be submitted by each user within a specified length of time from their own starting 
time. 
9.  Be capable of immediately processing test responses and immediately generating individual scores of 
participants. 
10.  Be able to associate an iRAT assessment score from an event with the individual taking that assessment. 

11.  Be configurable to inform the participants of their percentage score without providing information about which 
question they have answered incorrectly. 
12.  Provide aggregated data from individual student responses to promptly inform tutor facilitating an in‐class TBL 
session. 
13.  Afford authentication for participants, using their pre‐existing institutional login credentials. 

14.  Be capable of securely storing accurate retrievable data of individual responses. 

The Quiz feature embedded within Moodle version 2.6, was identified as fulfilling the functional requirements 
for an iRAT assessment platform, as per Table 1 above. Moodle (Modular Object‐Oriented Dynamic Learning 
Environment) is a free to use open source VLE with no licensing costs. The system is simple for an educational 
technology team to implement with comprehensive instructions for configuration. Moodle is supported via a 
large  collaborative  online  community,  who  also  contribute  to  its  ongoing  development.  Although  Moodle  is 
not presently used  as the  primary  e‐learning platform  at  the  University  of  Dundee,  it  provided  an  attractive 
immediate solution to support the delivery of iRATs during the TBL process and allowed students to login using 
their pre‐existing credentials. 

2.3 Implementation: using the quiz feature of Moodle as an assessment platform for iRAT during 
in‐class TBL sessions 
Using Moodle’s quiz feature, a readiness test for each of the seven TBL modules was created (Table 2). 
Table 2: TBL: Creating individual readiness assurance test (iRAT) questions in Moodle ‐ workflow process 
1.  The iRAT questions were provided by TBL module leads and coordinated by the TB1 course convenor and the 
administrative staff in the medical school office. 
2.  The assessment event was set up within the Moodle VLE by an educational technologist. 
3.  iRAT test questions were added to the iRAT assessment event. 
4.  Each iRAT assessment was tested and configured for delivery at the required time. 
5.  Students logged into the Moodle platform in‐class, using their own devices and their pre‐existing institutional 
login credentials. 
6.  Students were able to access the iRAT assessment at the required time in‐class. 
7.  The students completed the iRAT assessment. 
8.  The iRAT responses were submitted by the student or automatically submitted after 10 minutes of the 
students’ first access. 
9.  The responses were processed by the Moodle system and an iRAT grade generated for each student. 
10.  Once all submissions were made, the summary statistics for the assessment event were accessed 
immediately by an educational technologist and made available to the module facilitators as a report. 
Each readiness test comprised a maximum of ten best‐answer Multiple Choice Questions (MCQs), each with a 
five‐option list. The MCQ questions were provided by the seven TBL module leads. The readiness tests were all 
delivered online to students with a randomised question order to prevent collaboration. The questions were 
made available online for the first twenty minutes of the relevant TBL in‐class RAP. Students were allowed ten 
minutes to complete the test, after which the test timed out and any unsubmitted responses were saved. 
 
The  iRAT  responses  were  immediately  processed  and  a  summary  of  the  results  downloaded  and  made 
available to facilitators, while the students were engaged with the tRAT process. Individual students were not 
able  to  identify  which  questions  they  answered  incorrectly  until  the  teams  completed  the  tRAT.  Facilitators 

276
 
Shihab Khogali et al. 

were able to use the information provided from the iRAT platform together with that from the tRAT to inform 
focused explanation of concepts which require further clarification, before student teams engage on problem‐
solving activities of TBL.  
 
There  were  some  initial  problems  in  the  first  TBL  module  due  to  unfamiliarity  with  the  range  of  advanced 
configuration  options  in  the  Moodle  Quiz  feature  causing  timeout  and  feedback  format  issues.  These  were 
quickly resolved and the technology supporting the iRAT ran seamlessly throughout the remainder of TB1. A 
small  number  of  students  had  problems  with  their  portable  devices  and  so  given  paper  copies  of  the  iRAT 
questions  to  complete.  These  were  then  manually  marked  and  the  scores  added  to  the  students’  electronic 
TBL record. 

3. Evaluation 
The system under review in this case study is the Quiz element of the open‐source VLE, Moodle, which acted 
as a data collection and processing platform for the iRAT component of TBL. The system was successfully used 
to  enhance  face‐to‐face  large  in‐class  sessions,  which  included  a  component  to  formatively  assess  the 
knowledge of individual students. The automation of the iRAT gave tutors the ability to select from a range of 
report types that present individual and aggregated performance data. 
 
To evaluate the suitability of the approach of using Moodle for iRAT assessment during TBL, a framework is 
required to assess its functional effectiveness as a system which can provide feedback within an educational 
context.   The  accountability  framework  described  by  Baker  (2005),  to  evaluate  a  technology  for  which 
feedback is a core feature, was used to evaluate the iRAT Moodle approach described in the method section of 
this paper. The evaluation criteria were adapted from Baker (2005) and include: usability, accessibility, added 
value,  validity,  accuracy,  utility  and  training;  all  of  which  were  applied  with  particular  emphasis  on  user 
experience and feedback. A similar framework and criteria were previously successfully applied by Hattie et al 
(2006), to evaluate an educational assessment technology innovation. The evaluation criteria addressed by the 
use of Moodle for the iRAT are summarised in Table 3, below. 
Table  3:  Framework  and  criteria  for  evaluation  of  use  of  Moodle  for  individual  Readiness  Assurance  Test 
during in‐class TBL sessions 

Criteria  Description  Addressed within Moodle by: 

Usability  The W3C (World Wide Web Consortium), according  Intuitive navigability for staff users 

to ISO 9241, defines usability as the “effectiveness,  involved with technical configuration and 
efficiency and satisfaction with which specified users  iRAT set‐up. The platform provided an 
achieve specified goals in particular environments”  easy‐to‐use environment in which to 
(Koivunen & May 2002). The term refers to the ease  build the iRAT assessments. Student 
of use of any technology or system, stressing the  users were able to log in, access and 
importance of their affinity to users’ needs.  complete the assessments with minimal 
guidance. Staff users were able to access 
student responses in suitable formats. 
The usability of the Moodle platform 
made the iRAT assessment process 
simple and smooth. 

Accessibility  A technology should guarantee ease of access for all  Meets a range of Web accessibility 

users. This includes multi‐device, multi‐technology  guidelines (Moodle Accessibility 
and multi‐user attributes so that it supports access  Statement, 2014). The Moodle Quiz iRAT 
from different platforms.  assessments were accessible and 
compatible using most common browser 
platforms, on Mac, PCs, and mobile 
devices (including tablets and smart 
phones). 

Added value  Baker (2005) suggested that a technology adds value  Enhanced personalisation of the learning 

to an educational activity by increasing efficiency and  experience during TBL, giving students an 
quality. Quality is determined by the availability of  indicator of their own performance in 
knowledge to the user and is influenced by the  iRATs and providing tutors with 
validity, accuracy and utility of the technology.  immediate feedback from the iRAT 

277
 
Shihab Khogali et al. 

Criteria  Description  Addressed within Moodle by: 

assessment response data about those 
concepts that required further 
explanation. 

Validity  A system demonstrates validity through its alignment  The satisfactory extent to which Moodle 

to the curriculum outcomes and its applicability to  met the functional requirements for the 
teaching activities.  iRAT assessment established the method 
outlined within this paper as a valid 
approach for managing the iRAT process. 

Accuracy  A technology demonstrates accuracy when it  The summary data for each assessment, 

provides correct information. According to Baker  provided by Moodle was of a sufficient 
(2005) this concept also includes the notion of  level of detail and accuracy to clearly 
reliability or dependability.  establish students’ understanding of key 
concepts and diagnose immediate 
learning needs. 

Utility  Baker (2005) suggests that the information  The information provided by the Moodle 

generated by the system must be useful, accessible,  platform was useful due to the 
timely, and have sufficient credibility to be taken  immediacy of its availability in 
seriously by users.  appropriate formats to meet the needs 
of both staff and students. 

Training  The training requirements for the system must be  Guidance for technical implementation 

reasonable.  was available from the Moodle website. 
One TILT team member had prior 
experience of using Moodle and that 
experience was helpful in enabling the 
team to quickly build and configure 
assessments. The platform is intuitive 
and students required minimal guidance 
to access the iRAT assessments. 

To  establish  the  extent  to  which  the  iRAT  assessment  system  created  within  Moodle  met  the  evaluation 
criteria,  feedback  was  elicited  from  students  and  staff.  Particular  emphasis  was  placed  on  feedback  data 
collected  by  the  medical  school  from  students  as  part  of  routine  evaluation  of  teaching  and  also  anecdotal 
feedback from staff. 
 
The response rate from students, completing the routine feedback form provided by the medical school at the 
end of each system/teaching block in Year 1 to 3 (Phase 1) of the curriculum, was 91% for TB1 course (178 out 
of  a  possible  195  Year  3  medical  students  completed  the  feedback  form  for  TB1  course).  The  majority  of 
students (88.7%) thought that “adequate opportunity for formative assessment was provided” during TB1 (this 
question was answered by a total of 177 students, Table 4). Student free‐text comments, which were deemed 
relevant to the use of technology to support TBL, are shown in Table 5. 
Table 4: Student responses taken from TB1 course feedback: Opportunity for formative assessment  
Q. Adequate opportunity for formative assessment was provided. 

Strongly Agree:    35.0%  62 

Agree:    53.7%  95 

Neither Agree nor 
  7.3%  13 
Disagree: 
Disagree:    3.4%  6 

Strongly Disagree:    0.6%  1 

278
 
Shihab Khogali et al. 

Table 5: Student free‐text comments relevant to the use of technology taken from TB1 course feedback 
‘Tbl is better with the online questions instead of the handsets’ 
‘I felt on the whole, the technology ran smoothly ‐ and so a big thank you to the staff in the background who made the 
sessions happen’ 
‘I liked the online platform for the iRAT questions much better than previous Questionmark technology. (And it worked 
better!’)’ 
‘So this is how TBL is meant to work! A very structured approach and a good way to learn and to do so in a group. 
‘Thank you for working so hard on the technology which added so much to the learning and sessions’ 
‘Also once the IT was fixed on day 1 the online tests worked very well’ 
‘Once the technical problems were resolved the teaching was of high quality’ 
‘The sessions were more interactive and students were more motivated, involved, attentive’ 
‘The organisation and execution of the TBL format of learning was handled well despite some of the technical 
problems’ 
‘The use of mobile devices was good to enable rapid score assessment and few problems with this were encountered’ 
‘I would say that the new IT lead man, tried really hard to make the computer questioning work and I think it turned 
out well’ 
Staff feedback about the system was generally positive, highlighting the relevance and utility of the timely data 
provided by the system during in‐class TBL sessions.  The timeliness of the feedback enabled staff to tailor the 
mini‐lecture  component  of  the  TBL  session  to  address  the  concepts  that  students  were  struggling  to 
understand and apply. 

4. Discussion and conclusions 
Whilst others have sought to implement technology to support TBL (Robinson & Walker 2008; Palsolé & Awalt 
2008;  Gomez,  Wu  and  Passerini  2010,  for  example),  the  approach  described  in  this  paper  is  novel  in  that  it 
underpins  the  iRAT  part  of  TBL,  by  providing  immediate  and  comprehensive  data  obtained  in‐class  through 
mobile technology. The need for a system that provides immediate and accurate iRAT data became apparent 
to us through our previous experiences to implement TBL for a large class size. These experiences helped us 
identify some basic requirements for a system which can effectively support iRAT (Table 1). The initial solution 
of  using  Questionmark  Perception  accessible  via  Blackboard  proved  problematic  during  the  final  round  of 
testing.  Following  this,  Moodle  was  identified  as  a  possible  solution  that  could  meet  the  educational  and 
technological requirements for the iRAT. The aim of this case study was to establish if Moodle would provide 
an efficient approach to capture and immediately process iRAT data during in‐class TBL sessions.  
 
Underpinning the iRAT process with an online assessment platform accessible in‐class via mobile technology 
provided clear educational benefits. The Quiz settings in the Moodle platform allowed for the randomisation 
of multiple choice options, preventing students from referring to letters when voting for answers during the 
tRAT component  of  TBL.  With  paper‐based  iRAT,  all  students  are presented  with  the questions  and lettered 
answer options in the same order, hence students can easily use the letters to agree consensus answers during 
the tRAT component of TBL, by going in circle stating which letter they had each selected as an answer to an 
MCQ question. The consensus team answer to an MCQ question can then simply be decided by a majority vote 
(Robinson & Walker 2008). The Moodle approach for iRAT described in this paper eliminates the possibility for 
identifying MCQ answer options by letters, hence facilitating discussion and interaction, as student teams have 
to read each question carefully to reach a consensus answer.  
 
The Moodle platform proved to be a reliable tool for assessment, improving the in‐class TBL process. Students 
were more engaged with the assessment and were able to review and change answers prior to submitting the 
assessment. The system provides intrinsic reliability by keeping memory of selected answers, in case of loss of 
Internet connection. Thanks to the embedded report system, facilitators were immediately able to identify key 
issues from the iRAT feedback reports. This enabled them to use information from the iRAT together with that 
from the tRAT to inform focused explanation of concepts. 
 
The main limitation of the approach described in this case study was the level of the initial support required 
for  in‐class  TBL  sessions.    This  is  however,  in  our  experience,  true  of  any  implementation  of  educational 
technology.    Initial  investment  in  the  configuration  of  the  technology  and  staff  development  and  hands  on 
support  are  essential  if  the  technology  is  to  genuinely  enhance  the  learning  experience  and  support  the 
various  roles  of  the  teacher.  As  teachers  gain  confidence  and  familiarity  with  the  technology  the  level  of 
support required scales down.  

279
 
Shihab Khogali et al. 

Any  educational  intervention  must  be  planned  taking  into  consideration  the  local  context.  Parmelee  and 
Michaelson (2010) provided twelve tips for doing effective TBL, but did not include how to decide on the most 
appropriate  approach  for  capturing  and  processing  iRAT  responses.  As  these  approaches  may  vary  widely 
depending on the local context, we suggest adding “decide on the most appropriate approach to capture and 
process iRAT responses” as a thirteenth tip for doing effective TBL.  
 
The success or failure of technology‐mediated educational interventions depends on many factors, including 
environmental  factors  (e.g.  technology  infrastructure),  educational  and  technological  support,  teachers’ 
expertise in the technology and the use of it, and the appropriate integration of technology‐mediated activities 
within  a  curriculum  and  its  outcomes  (Baker  &  Herman  2003).  Moodle  provided  an  ideal  infrastructure  to 
support  in‐class  iRAT  during  the  TBL  process.  The  availability  of a  dedicated  technology  and  innovation  in 
learning team (TILT), coupled with significant local expertise in curriculum and course design and a state‐of‐
the‐art  lecture  theatre  with  reliable  WiFi  access,  provided  opportunities  for  successful  integration  of 
technology to support in‐class TBL activities in Dundee.  

References 
Baker, E. L., Herman, J. L. (2003). A distributed evaluation model. In: G. D. Haertel & B. Means (Eds.), Evaluating 
educational technology: Effective research designs for improving learning. New York, NY: Teachers College Press. 
Baker, E. L. (2005). Improving accountability models by using technology‐ enabled knowledge systems (TEKS) (CSE Report 
No. 656). Los Angeles, CA: National Center for Research on Evaluation, Standards, and Student Testing (CRESST), 
University of California, Los Angeles.  
Gomez, E.A., Wu, D., Passerini, K. (2010). Computer‐supported team‐based learning: The impact of motivation, enjoyment 
and team contributions on learning outcomes. Computers & Education, No. 55, pp 378‐390.  
Hattie, J.A., Brown, G.T.L., Ward, L., Irving, S.E. and Keegan, P.J. (2006). Formative Evaluation of an Educational Assessment 
Technology Innovation: Developers’ Insights into Assessment Tools for Teaching and Learning (asTTle). Journal of 
MultiDisciplinary Evaluation, No. 5.  [Online]. Available at 
http://journals.sfu.ca/jmde/index.php/jmde_1/article/viewFile/50/57. [Accessed: 10 June 2014]. 
Koivunen, M., May, M. (2002). Exploring Usability Enhancements in W3C Process. Position paper for W3C Usability 
workshop in Washington DC. [Online]. Available at http://www.w3.org/2002/09/usabilityws.html. [Accessed: 10 June 
2014]. 
Michaelsen, L.K., A.B. Knight and L.D. Fink. (2002). Team‐Based Learning: A Transformative Use of Small Groups in College 
Teaching. New York: Greenwood Publishing Group. 
Moodle Accessibility Statement, moodle.org Web‐based community. [Online]. Available at: 
http://docs.moodle.org/27/en/Accessibility. [Accessed 15 June 2014]. 
Palsolé, S., Awalt, C. (2008). Team‐Based Learning in Asynchronous Online Settings. In: L. Michaelsen, M. Sweet, & D. 
Parmelee (Eds.), Team‐Based Learning: Small‐Group Learning’s Next Big Step. San‐Francisco, CA: Jossey‐Bass. 87‐95.  
Parmelee D., Michaelsen L.K. (2010). Twelve tips for doing effective Team‐Based Learning (TBL) Medical Teacher, Vol. 32, 
No. 2, pp 118–122. 
Parmelee D., Michaelsen L.K., Cook S., Hudes P.D. (2012). Team‐based learning: A practical guide: AMEE guide no. 65. 
Medical Teacher, Vol. 34, No. 5, pp 275–287. 
Robinson, D.H. Walker, J.D. (2008). Technological Alternatives to Paper‐Based Components of Team‐Based Learning. New 
Directions for Teaching and Learning, No. 116. 
Team Based Learning, Readiness Assurance Process: Classroom Logistics. [Online]. Available at: 
www.teambasedlearning.org. [Accessed: 1 April 2014]. 

280
Affective Learning Manifesto – 10 Years Later 
Agnieszka Landowska 
Department of Software Engineering, Faculty of Electronics, Telecommunications and 
Informatics, Gdansk University of Technology, Gdansk, Poland 
nailie@eti.pg.gda.pl 
 
Abstract: In 2004 a group of affective computing researchers proclaimed a manifesto of affective learning that outlined the 
prospects and white spots of research at that time. Ten years passed by and affective computing developed many methods 
and  tools  for  tracking  human  emotional  states  as  well  as  models  for  affective  systems  construction.  There  are  multiple 
examples of affective methods applications in Intelligent Tutoring Systems (ITS). This paper revises whether the white spots 
from  the  2004 manifesto  have been  covered as  well  as  explores  the  progress in  affective  tutoring  systems  construction. 
The  article  provides  also  a  brief  comparison  of  selected  affective  tutoring  systems.  When  reviewing  affective  computing 
literature in 2014 one might be impressed – there are algorithms that recognize affect from diverse input channels with 
accuracies  reaching  over  90%.  There  are  emotional  virtual  characters  and  some  of  them  are  used  in  e‐learning 
environments. However, although there is much progress in affective computing research, it seems that more white spots 
are found than covered, which is typical for relatively young scientific domains. Highest emotion recognition accuracies are 
obtained  for  distinguishing  two  emotions,  which  is  obviously  not  enough  for  learning  systems.  Some  of  the  future 
challenges  include:  improvement  of  both  accuracy  and  granularity  of  emotion  recognition,  methods  for  emotion 
representation models mapping and comparison, integration of emotion recognition results from multiple input channels, 
effective  intervention  models  for  learning,  design  patterns  and  frameworks  for  affective  tutoring  systems,  models  for 
quantifying and integration of uncertainty related to emotional states recognition, affect‐adaptive control flows and more. 
The  thesis  of  this  paper  can  be  summarized  as  follows:  Affective  computing  grew  up  from  infancy,  however  it  is  still  far 
from maturity especially when applied to learning support. During the decade of diverse investigations, affective‐cognitive 
imbalance in ITS has changed in research, however has not changed in learning support tools. 
 
Keywords: affective computing, affective learning, e‐education, intelligent tutoring systems, affective tutoring systems 

1. Introduction  
Teachers  know,  that  emotional  state  of  a  learner  influences  the  effectiveness  of  educational  process. 
Motivation  and  engagement  foster  memorization  and  understanding  in  learning,  Teachers  in  classrooms  as 
well  as  in  virtual  environments  not  only  instruct  and  explain,  but  also  encourage,  stimulate  and  inspire 
learners,  which  is  independent  on  the  subject  of  learning.  Emotional  intelligence  is  claimed  to  have  more 
influence  on  human  educational  and  professional  success  than  mathematical,  lingual  or  spatial  competence 
that  create  conventional  notion  of  intelligence  (Goleman  2010).  Therefore  addressing  emotional  aspect  of 
learning is so important in learning environments, both traditional and electronic. 
 
Emotional  factor  is  rarely  addressed.  Intelligent  tutoring  systems  and  other  e‐learning  environments  almost 
always concentrate on cognitive goals, leaving affective learning aside. Current trend is to develop methods for 
more  natural  human‐computer  interaction  and  there  are  also  new  techniques  and  tools  for  emotional 
interaction with computers, including emotions’ receptiveness and expression. 
 
However, there is still a gap between what we know about emotions in educational processes and what we 
support within tutoring systems. In 2004 a group of affective computing researchers proclaimed a manifesto of 
affective learning that outlined the prospects and white spots of research at that time (Picard et al. 2004). Ten 
years  passed by  and  affective  computing developed  many  methods  and  tools  for  tracking  human emotional 
states  as  well  as  models  for  affective  systems  construction.  This  raises  the  main  research  question  of  this 
paper: Are affective computing methods and tools now, in 2014, mature enough to be applied in educational 
systems and environments?  
 
This  paper  explores  the  progress  of  affective  computing  and  its  application  in  education.  Matters  linking 
affective  learning  and  affective  computing  are  described  and  an  outline  of  affective  computing  manifesto 
claims is provided. This preliminary overview is followed by analysis of the literature from 2004 to 2014 both 
on affective computing and affective learning, especially concentrating on the combination of both. Selected 
Affective  Tutoring  Systems  (ATS)  are  analyzed  and  compared  to  show  diversity  of  concepts  and  method  for 
affect‐aware systems construction.  As a result new findings are identified as well as some challenges named. 
 

281
 
Agnieszka Landowska 

2. Affective learning and affective computing 
Affective  learning  is  a  term  used  to  describe  the  phenomena  of  emotional  states’  influence  on  human 
cognition  and  learning  (Landowska  2013a).  That  area  was  intensively  explored  in  psychology  and  pedagogy, 
long time before affective computing developed its methods and tools. Some studies on affective learning are 
dated long before 2004, e.g. research on long‐term memory performance depending on the level of arousal 
and valence (Bradley et al. 1992). There are several rules‐of‐thumb, that summarize the effect of emotions on 
learning:  higher  arousal  levels  are  better  than  lower  ones  (better  to  be  angry  than  bored),  emotions  of 
extremely  high  and  very  low  arousal  are  not  sufficient  for  educational  processes,  learning  is  fostered  by 
concentration, engagement and the state of flow (Picard&Klein 2002) and more.  
 
Affective  learning  and  e‐education  combination  can  result  in  mutual  benefits:  affective  learning  might  (and 
perhaps should) occur in e‐learning environments and e‐education provides a perfect opportunity to study the 
phenomena  of  affective  learning.  Affective  computing  research,  that  might  be  useful  for  learning  systems 
includes: 
ƒ human  emotion  recognition  based  on  diverse  input  channels  (e.g.  facial  expressions,  textual  inputs, 
physiological parameters, posture analysis), 
ƒ emotion modelling and quantification in a computable form (ideally also understandable for human), 
ƒ control flows that can utilize information on affect, 
ƒ affective interventions that could be undertaken automatically by systems, 
ƒ personality, mood and emotional states modelling for virtual characters, 
ƒ emotion expression and visualization. 
Recognition of an emotional state of a human in front of a computer can be based on several inputs, including: 
facial  expressions,  body  posture  and  movements  analysis,  textual  inputs  analysis,  voice  signals  processing, 
input devices usage patterns as well as physiological measurements interpretation. If emotion recognition is 
applied in e‐learning environments, inputs available at home computer desks should be used, therefore video 
(face  and  posture),  peripherals  usage  and  textual  inputs  can  be  analyzed  and  interpreted  to  retrieve 
information on a learner’s affect. A restriction must be made, that body language and facial expressions can be 
controlled and even falsified (actors do this as a profession) leading to false recognition results.  
 
As  an  emotional  state  is  recognized,  it  must  be  somehow  quantified  or  named.  There  are  several  emotion 
representation  model  types,  including:  label‐based  models  (emotional  states  are  assigned  with  words  or 
phrases),  discrete  models  (emotional  states  are  expressed  as  a  combination  of  a  pre‐defined  emotions  set), 
dimensional  (a  number  of  dimensions  are  used  to  quantify  emotional  states)  and  componential.  There  are 
three most common representations of emotions used in emotion recognition and affective tutoring systems, 
i.e. Ekman six basic emotions model (Ekman&Davidson 1999), Pleasure‐Arousal‐Dominance PAD dimensional 
model  (Mehrabian  1997)  and  OCC  componential  model  (Ortony,  Clore&Collins  1988).  However,  most  of  the 
emotion recognition algorithms use simple two‐state label‐based emotion representation (e.g. distinguishing 
boredom from no‐boredom).  
 
Affective  intervention  is  a  modification  of  standard  control  path  or  system  behaviour  in  response  to  user 
affective  state  and  it  aims  at  providing  effective  execution  of  a  task  (Landowska  2013a).  It’s  important  to 
emphasis,  that  affect‐aware  tutoring  systems  should  make  affective  interventions  only  when  the  learning 
process  is  endangered  by  an  ineffective  emotion  (e.g.  boredom),  but  refrain  from  intervention,  when  an 
emotional state supports learning (e.g. flow). Affective interventions of a tutoring system can be a very simple 
modification of control flow, as human teachers’ interventions are usually also very subtle and even though 
effective. Adapting a learning path, displaying an intermediary joke or adding some animation as a distractor 
are examples of simple automatic interventions, that may address boredom. Some tutoring systems employ 
more sophisticated techniques including voice messages and even virtual mentors, tutors or classmates with 
facial  and/or  postural  emotion  expression.  The  aim  of  this  section  was  to  introduce  a  set  of  factors  for 
comparison  of  affective  tutoring  systems,  that  is  provided  later  in  section  4.3  and  the  following  descriptive 
criteria  might  be  taken  into  consideration:  emotion  recognition  methods  and  input  channels,  emotion 
representation  model,  type  and  form  of  emotional  intervention  (definition  of  emotional  states  requiring 

282
 
Agnieszka Landowska 

intervention,  intervention  set  and  triggering  rules),  interaction  type  used,  affect  expression,  affective 
phenomena exploited as well as expected influence on learning process. exploited psychological phenomena. 

3. Claims of affective learning manifesto 2004 
In 2004 a group of affective computing researchers proclaimed a manifesto of affective learning (Picard et al. 
2004) and the main claims included concerns about insufficient knowledge on emotions in learning processes 
as well as immature methods of affect recognition, interpretation and implementation in intelligent systems.  
 
The  manifesto  outlined  gaps  in  social  sciences,  that  provide  nearly  a  hundred  of  definitions  of  emotion  and 
multiple  theories  on  how  emotions  are  made.  At  the  same  time  relatively  little  is  known  on  the  role  of 
emotions in cognition, rational decision making and creation. The manifesto claimed a need for joint research 
from  multiple  fields  of  neurology,  cognitive  science,  psychology  and  even  medicine  to  explain  emotional 
phenomena, its origins and implications on how people work and learn. There are multiple studies on emotion 
influence  on  learning,  that  include  role  of  beliefs,  self‐efficacy,  audience,  past  experience  and  many  other 
factors.  However  the  manifesto  authors  evaluate,  that  the  theories  are  not  at  a  level,  that  is  suitable  for 
implementation  in  an  interactive  machine  model.  The  emotion  theories  are  incompatible  with  computer‐
based processing and therefore hard to apply in e‐learning environments. The manifesto authors concluded, 
that the extension of cognitive theory to explain and exploit the role of affect in learning is in its infancy (Picard 
et al. 2004). 
 
Some  other  observations  concerned  affective  computing  state  at  the  time  of  manifesto  and  they  were  also 
very  critical.  Automatic  emotion  recognition  at  that  time  was  in  the  preliminary  stage  of  research  with  few 
results and low accuracy. The main problem in elicitation of a person’s emotional state is that we do not know 
the right answer, as there is no way of determining for sure the affective state of a human. Self‐reports can be 
intentionally biased or unintentionally misleading, as they depend on when and how the information is asked. 
Deduction of an emotional state from observable symptoms has also several uncertainty factors, including not 
only precision of recognition algorithm, but also the quality of the input channel and interpersonal variability. 
Moreover, observable symptoms are frequently not direct indications of an emotional state, e.g. people smile 
not only when they are happy, but also when they feel nervous or embarrassed (Whitehill 2011). It’s easier to 
recognize a smile than to resolve what it means.  
 
Considerations on emotion recognition in the manifesto concluded with the statement, that the state of the 
art in affect recognition is similar to that of speech recognition decades ago (Picard et al. 2004).  
 
The affective learning manifesto intended to explore the gaps, that should be successfully resolved in order to 
apply affective computing methods in education and e‐education. To sum up, the manifesto authors called for 
new research to: 
ƒ build tools and technologies that elicit and respond appropriately to affective factor, 
ƒ build new models of learning systems, that incorporate affect, 
ƒ develop  resources  and  learning  environments,  that  are  affectively  evocative  and  support  affective 
learning. 
The affective learning manifesto was quite critical, especially in evaluation of applicability of affective learning 
research  in  practical  design  of  educational  environments.  It  was  also  an  opening  for  forthcoming  research, 
showing the main goals and diversity of aspects to explore. The manifesto authors were not the only critical 
voice  in  2004.  Michael  Muller  questioned  computers  as  social  actors  approach  as  well  as  using 
psychophysiological measurements of emotions without a stated theory of emotions (Muller 2004). Lindgaard 
expressed  strong  scepticism  towards  claims  that  affective  responsiveness  of  computers  can  make  human 
better‐functioning and happier (Lindgaard 2004). Ward and Mardsen suggested, that a human uses intentional 
communicative affect while interacting with another human, which is more important than reactive affect to 
stimuli  and  this  distinction  might  have  an  enormous  impact  on  emotion  recognition  and  understanding 
(Ward&Marsden 2004).  
 
Ten  years  have  passed  by  since  the  criticism  in  2004  and  affective  computing  is  one  of  the  most  rapidly 
developing  domain  in  computer  science.  Is  this  progress  enough  to  allow  for  common  application  in 
educational systems? 

283
 
Agnieszka Landowska 

4. Overview of the domain progress 
When looking into affective computing literature in 2014 one might be impressed – there are algorithms that 
recognize affect from facial expressions, posture analysis, voice, textual inputs, behavioural patterns changes 
as well as physiology. Diverse emotional states are automatically recognized with accuracy reaching over 90% 
(e.g.  Ko&Sim  2010).  There  are  virtual  characters,  that  have  not  only  emotional  states,  but  also  moods  and 
personalities (Nkambou 2006). The characters often express their emotional state with mimics as well as body 
language  and  voice  (Sarafzadeh  et  al  2008).  It  may  seem,  that  there  are  methods  and  technologies  mature 
enough to be applied in diverse systems, including tutoring software. The overview of the domain progress is 
based  on  a  literature  review  and  is  reported  in  three  sections:  progress  of  affect  elicitation  and  response, 
studies  on  affect  in  learning  and  e‐learning  and  a  comparison  of  selected  affective  tutoring  systems  (as 
described by their authors). 

4.1 Progress of tools and techniques of affect elicitation and affective response 
The mostly observable progress relates to affect elicitation from diverse input channels and, as stated before, 
some  researchers  report  accuracies  as  high  as  90%  (Ko&Sim  2010).  However,  some  restrictions  must  be 
provided:  the  highest  accuracies  are  obtained  for  two‐state  analysis  (for  example  differentiation  boredom 
from no‐boredom) and for personalized emotional reaction models, which requires baseline observation and 
annotation. Best results are obtained for the channels, that are rarely available at home or school computer 
desk:  prosodic  features  and  physiological  measurements.  Moreover,  good  results  can  be  achieved  for 
multimodal  emotion  recognition,  which  is  sensitive  to  missing  channels.  As  there  is  so  much  uncertainty 
related to emotion recognition, a model for its quantification is still missing (Landowska 2013a). 
 
There are also few studies on the effects of affective feedback on student’s emotional state and performance 
(Robinson et al, 2009, Rodrigo et al 2012). 

4.2 Studies on affect in learning and e‐learning 
During the last decade multiple diverse studies have been performed on affect in learning and e‐learning. An 
interesting  study  on  program  comprehension  showed,  that  the  higher  emotional  quotient  of  a  person,  the 
better the comprehensibility and debugging ability of any program (Savarimuthu et al 2010).  
 
Another study of dynamics of affective state in complex learning processes emphasis, that a learner frequently 
and  smoothly  oscillates  between  the  equilibrium  of  flow  and  other  states  (D’Mello,  Graesser,  2012).  One  of 
the recent research reveals a surprising result, that confusion can be beneficial for learning and therefore ATS 
goals should be revised not to avoid that state of a learner’s mind (D’Mello et al 2014).  
 
Another  study  on  emotions  frequency  and  persistence  in  learning  environments  discovered,  that 
concentration and engagement are reported as emotional states during for about 60‐65% of the interaction 
time with some learning environments. Boredom, confusion and frustration frequency did not exceeded 20%. 
The same research revealed, that boredom is the most persistent state, close to mood rather than reaction to 
learning experience (Baker et al. 2010). 
 
Research  conducted  on  a  large  international  group  of  novice  students  (730)  in  Netherlands  indicates  that 
achievement emotions play an important mediator in how students engage with both on‐line and face‐to‐face 
education  (Tempelaar  et  al  2012).  Another  study  on  educational  virtual  world  (Second  Life)  measured,  that 
students’ level of enjoyment and boredom has influence on their achievement level (Noteborn et al 2012).  

4.3 Studies on affective tutoring systems 
An  affect‐aware  system  is  defined  as  a  program  of  any  main  functionality,  that  additionally  recognizes 
emotional state of a user and has control mechanisms and application logic able to handle the information on 
affect (Landowska 2013b). Intelligent Tutoring System (ITS) can be an affect‐aware application if provided with 
mechanisms to recognize learner’s affective state and somehow reacting to it (such application is also called 
an  Affective  Tutoring  System,  ATS).  Usually  intelligent  tutoring  software  processes  information  on  user’s 
performance  in  educational tasks  in  order to  adapt  its  behaviour  and  learning paths  to  user  experience  and 

284
 
Agnieszka Landowska 

profile.  Affective  systems  adapt  not only  to  user  experience  and  knowledge,  but  also  to  learner’s  emotional 
state. 
 
In 2011 at Gdansk University of Technology a project was started that aimed at practical implementation of 
affective computing science into an e‐learning system called Gerda. Gerda is a virtual teacher, that questions 
students  on  operating  systems  and  aims  at  both  checking  and  consolidating  their  knowledge  in  the  subject. 
From that point until now Gerda is being developed, still far from providing a real affective learning experience 
and it seems to be also true for the other analyzed affective tutoring systems. The experience of trying to build 
an affective tutor allowed to verify applicability of affective computing research in practical settings. 
 
There are several characteristics, that can describe affective tutoring systems and a list of those was provided 
in  section  2. From  the  features  mentioned  emotion  recognition  and  representation,  intervention  model  and 
expected  influence  on  learning  process  is  used  in  this  paper  to  analyze  and  compare  some  examples  of 
affective tutoring systems. The selection of the descriptive criteria was based on the variance of values, as the 
intention of the paper is to show diversity and complexity of affective tutoring systems. The ATS comparison 
results are presented in Table 1. 
Table 1: Affective tutoring systems comparison summary 
System name  Emotion recognition  Emotional intervention and output  Expected 
(source)  and representation  influence on 
learning 
process 
Emilie‐1 &  Emilie 2 captures learner’s  Emilie 1 expresses emotions concerning  Emilie‐1 is 
Emilie‐2  emotions from facial  knowledge, skills and performance  claimed to be 
(Nkambou  expressions. Detects:  history (2D or 3D virtual character  applicable as 
2006)  satisfaction, confidence,  expressing hope, fear, satisfaction, relief,  any tutoring 
surprise, confusion and  disappointments).  agent 
frustration.  (coaching, 
critiquing etc.) 
in order to 
raise students’ 
productivity 
and facilitate 
their 
enjoyment or 
at least make 
positive 
impression. 
Easy with Eve  Based on video channel (posture  Emotional Embodied Virtual Character,  Help to 
(Alexander et  and facial expressions). Detects:  that performs facial expressions ad well  maintain the 
al 2006,  boredom, confusion, inattention  as posture movements (body language).  states of flow 
Sarafzadeh et  and anxiety.  and helps to 
al 2008)  overcome 
states of 
“stuck” of any 
kind. 
AutoTutor  Dialogue‐based features are  Embodied agent (facial expressions) as  Not explicitly 
(D’Mello et al  extracted and analyzed to  well as verbal response is provided.  provided. 
2008)  identify confusion, eureka 
(delight) and frustration and 
boredom. 
Vicor  Student’s emotions not  Embodied Conversational Agent (talking,  Enhance the 
(Grujic et al  recognized.  gesturing and performing facial  quality of 
2009)  expressions).  experience for 
on‐line 
students by 
exploiting 
persona 
effect. 
Intelligent  Expected emotional state is  Virtual tutor actions (animations) are  Promote a 
Tutor for  predicted based on OCC theory  chosen based on affective state and  positive 

285
 
Agnieszka Landowska 

System name  Emotion recognition  Emotional intervention and output  Expected 

(source)  and representation  influence on 
learning 
process 
Learning  and Five Factor Model.  knowledge state (with affective  affective 
Robotics  preceding the knowledge state, as  student state. 
(Hernandez et  human teachers reported to do).  Considers a 
al 2009)  trade‐off 
between 
learning and 
affect. 
EMASPEL (Ben  Face expression analysis  Embodied conversational agent is used,  Intrinsic 
Ammar et al  classified into  decision on intervention is made on  motivation 
2010)  Ekman’s six basic emotions set  emotional state, curriculum progress and  reinforcement, 
student history.  interventions 
for 
engagement 
and 
persistence. 
MMT  Expected emotional state is  Voice communication (cartoon doctor  Students 
(Alepsis,  predicted based on OCC theory,  interface agent): enthusiasm (student’s  motivation for 
Virvou, 2011)  obtaining happiness, sadness,  doing well), anger (student seems  more 
anger, fear or surprise as a  careless), whisper (helping).  engagement 
result.  and enjoying 
learning 
process. 
Gerda  Based on student’s textual input  Both textual and video response is  Reacts to 
(Landowska  analysis using dictionaries of  performed and video response is chosen  anger (3 
2013a,  affect‐annotated words,  from a set of pre‐recorded action set  levels), 
Landowska  provides a point in PAD model,  (performed by actor).  frustration (3 
2013b)  then discretized.  levels), 
boredom, 
hilarity and 
idleness. 
Refrains from 
intervention in 
states close to 
neutral. 
Fermat  Face expressions and voice is  Microsoft Genie agent placed within  Not explicitly 
Affective ITS  analyzed to recognize: Ekman’s  Fermat interface can perform  provided. 
(Cabada et al  six basic emotions and neutral  congratulate, confused, explain and 
2012, Barron‐ state.  suggest expressions. 
Estrada et al 
2012) 

5. Results summary and discussion 
There are several conclusions that might be drawn from the above study on affective tutoring systems: 
ƒ there is no one standard emotion model for quantifying learner’s affective state, OCC model for emotion 
prediction is frequently used, but diverse emotion sets and models are also applied, 
ƒ some  of  the  ATS  concentrate  on  learner’s  emotion  recognition  and  some  on  emotion  expression  by 
embodied tutors, however most of ATS address both directions of affective interaction loop, 
ƒ facial expression analysis is one of the mostly explored affect recognition technique, 
ƒ embodied  agents  are  frequently  used,  but  their  influence  on  learning  performance  is  not  explicitly 
evaluated, 
ƒ some  of  the  systems  are  developed  for  research  purposes  and  do  not  provide  information  on  expected 
effect on learning performance, 

286
 
Agnieszka Landowska 

ƒ there  are  several  reasons  for  applying  ATS:  increasing  student’s  performance  in  learning  processes, 
enhancing  student  enjoyment  and  making  an  impression  (the  latter  is  mentioned  explicitly  only  once, 
however might be a hidden cause of sophisticated embodied agents visualizations). 
Most  of  the  affective  tutoring  systems  analyzed  concern  research  applications  only  and  no  information  is 
provided  on  any  popular  learning  management  system  that  employs  any  of  the  developed  frameworks, 
designs  and  methods.  It  seems,  that,  typically  for  research,  more  attention  is  paid  to  emotion  recognition 
accuracy and emotion expression realism than to the most important part – the effect on learner and learning 
process.  
 
Author  of  the  paper  acknowledges,  that  chosen  approach  to  literature  review  and  analysis  are  not  without 
limitations. The main limitation of the study include subjective choice of affective tutoring systems described 
and  subjective  choice  of  criteria  for  the  comparison,  although  the  selection  was  justified  by  the  purpose  of 
showing diversity of ATS. Another restriction should be provided for literature review, as it was performed by 
one person and on the resources available on‐line only.  

6. Conclusions 
The paper intended to explore the progress of affective computing and affective learning domain, especially in 
the  context  of  e‐learning.  There  are  issues,  that  were  intensively  explored  by  researchers  during  the  last 
decade, such as emotion recognition on different and combined input channels, sensing without interfering, 
patterns  of  measurable  external  changes  associated  with  feelings,  deliberately  expressed  emotions  versus 
natural expressions, emotion induction for research purposes as well as creating applications that learn about 
a person’s affect. However, the progress in some of the above mentioned areas resulted in identification of 
new challenges to be solved. Due to neurobiologists, psychologists, sociologists as well as affective computing 
researchers we know more about what an emotion is, and how it could be measured. However it is still little 
known on how to influence emotional states within learning environments and the effectiveness of different 
tutoring strategies is yet to be proved. Some of the future challenges include: 
ƒ improvement  of  both  granularity  (number  of  distinguishable  emotional  state  classes)  and  accuracy  of 
emotion recognition, as with raising granularity, accuracy usually suffers (Chao et al 2012) and two‐state 
emotion recognition is not enough for learning support, 
ƒ recognizing affect form multiple channels, not relying on facial expressions only, as this input channel is 
dependent on: human controlling mimics, availability of camera at learner’s computer desk, quality of the 
camera and light conditions in the room, 
ƒ finding a model for expressing uncertainty related to emotion recognition and affective intervention, 
ƒ providing  some  mapping  between  diverse  emotion  representation  models  (PAD,  Ekman’s,  OCC  etc)  in 
order to either compare or integrate results coming from diverse input channels, 
ƒ defining an optimal affective learning subspace or precise emotion set, that have been proved to support 
learning or developing methods for retrieving such an individual space from observation and interaction 
with a learner. 
To sum up, the thesis of this paper can be summarized as follows: Affective computing grew up from infancy, 
however  is  still  far  from  maturity  especially  when  it  comes  to  learning  support.  In  2014  affective  tutoring 
systems seem rather research applications than real‐life learning environments. Affect‐aware features are not 
present in the popular learning management systems. During the decade of diverse investigations, affective‐
cognitive  imbalance  in  ITS  has  changed  in  research,  however  it  has  not  changed  in  learning  support  tools. 
Although  the  results  of  10  years  of  research  are  very  encouraging  and  promising,  we  are  still  far  from 
ubiquitous  affective  tutoring  systems.  Perhaps,  it  would  be  more  beneficial  first  to  perform  studies  on 
effectiveness and user experience of common learning environments and tutoring systems, and then to equip 
them with the most sophisticated interfaces and reasoning capabilities. 
References 
Alepis, E. and Virvou, M. (2011) „Automatic generation of emotions in tutoring agents for affective e‐learning in medical 
education”, Expert Systems with Applications, Vol. 38(8), pp 9840–9847. 
Alexander, S., Sarrafzadeh, A., and Hill, S. (2006) “Easy with Eve: A functional affective tutoring system”, 8th International 
Conference on ITS Workshop on Motivational and Affective Issues in ITS, pp 5–12.  

287
 
Agnieszka Landowska 

Baker, R. S. J. d., D’Mello, S. K., Rodrigo, M. M. T. and Graesser, A. C. (2010) „Better to be frustrated than bored: The 
incidence, persistence, and impact of learners’ cognitive–affective states during interactions with three different 
computer‐based learning environments”, International Journal of Human‐Computer Studies, Vol. 68(4), pp 223–241. 
Ben Ammar, M., Neji, M., Alimi, A.M. and Gouardères, G. (2010), “The Affective Tutoring System”, Expert Systems with 
Applications, Vol. 37 No. 4, pp. 3013–3023. 
Barrón‐Estrada, M.L., Zatarain‐Cabada, R. and Pérez, Y.H. (2012), „An Intelligent and Affective Tutoring System within a 
Social Network for Learning Mathematics” Advances in Artificial Intelligence, Springer, pp 651–661. 
Bradley, M.M., Greenwald, M.K., Petry, M.C., Lang, P.J. (1992) “Remembering pictures: Pleasure and arousal in memory”, 
Journal of Experimental Psychology: Learning, Memory, and Cognition, Vol. 18(2), pp. 379‐390. 
Cabada, R.Z., Estrada, M.L.B., Beltran, V., Cibran, R., Garcia, C.A.R. and Perez, Y.H. (2012), “Fermat: Merging Affective 
Tutoring Systems with Learning Social Networks”, 12th IEEE conference on Advanced Learning Technologies, pp. 
337–339. 
D’Mello, S.K., Craig, S.D., Witherspoon, A., McDaniel, B., and Greesser, A. (2008) „Automatic detection of learner’s affect 
from conversational cues”, User Modeling and User‐Adapted Interaction, Vol. 18(1‐2), pp 45–80. 
D’Mello, S. and Graesser, A., (2012) „Dynamics of affective states during complex learning”, Learning and Instruction, Vol. 
22(2), pp 145–157. 
D’Mello, S., Lehman, B., Pekrun, R., and Graesser, A. (2014) „Confusion can be beneficial for learning”, Learning and 
Instruction, Vol. 29, pp 153–170. 
Ekman, P., Davidson, R. (1999) The Nature of Emotion: Fundamental Questions. Oxford University Press. 
Goleman, D. (1997) Emotional Intelligence: Why It Can Matter More Than IQ, Bentam. USA. 
Grujic, Z., Kovacic, B. and Pandzic, I.S. (2009) „Building Victor‐A virtual affective tutor”, 10th International Conference on 
Telecommunications, pp 185–189. 
Hernández, Y., Arroyo, G. and Sucar, L.E. (2009) „Obtaining Teachers’ Expertise to Refine an Affective Model in an 
Intelligent Tutor for Learning Robotics”, 8th IEEE Mexican Conference on Artificial Intelligence  pp 122–127.  
Landowska, A. (2013a) “Affective computing and affective learning – methods, tools and prospects”, EduAction. Electronic 
education magazine, No. 5(1), pp 16‐31. 
Landowska, A. (2013b) “Affect‐awareness Framework for Intelligent Tutoring Systems”, 6th International Conference on 
Human Systems Interaction, Gdansk, Poland, June, pp 540‐547. 
Lindgaard, G., (2004) „Adventurers versus nit‐pickers on affective computing”, Interacting with Computers, Vol. 16(4), pp 
723–728. 
Ko, K.‐E. and Sim, K.‐B. (2010), “Development of a Facial Emotion Recognition Method Based on Combining AAM with 
DBN”, IEEE, pp. 87–91. 
Mehrabian, A. (1997) „Comparison of the PAD and PANAS as models for describing emotions and for differentiating anxiety 
from depression”, Journal of psychopathology and behavioral assessment, Vol. 19(4), pp 331–357. 
Muller, M. (2004) „Multiple paradigms in affective computing”, Interacting with Computers, Vol. 16(4), pp 759–768. 
Nkambou, R. (2006) „A framework for affective intelligent tutoring systems”, 7th IEEE International conference on 
Information Technology Based Higher Education and Training, pp 2‐8. 
Noteborn, G., Bohle Carbonell, K., Dailey‐Hebert, A. and Gijselaers, W. (2012) „The role of emotions and task significance in 
Virtual Education”, The Internet and Higher Education, Vol. 15(3), pp 176‐183.  
Ortony, A., Clore, G., Collins, A. (1988) The cognitive structure of emotions. Cambridge University Press.  
Picard, R.W., Klein, J. (2002) “Computers that recognize and respond to user emotion: theoretical and practical 
implications”, Interacting with computers, Vol. 14(2), pp 141‐169.  
Picard, R.W., Papert, S., Bender, W., Blumberg, B., Breazeal, C., Cavallo, D., Machover, T., Resnick, M., Roy, D. and 
Strohecker, C. (2004) “Affective learning – a manifesto”, BT Technology Journal, Vol. 22, No. 4, pp 253‐269. 
Robison, J., McQuiggan, S. and Lester, J. (2009) “Evaluating the consequences of affective feedback in intelligent tutoring 
systems”, 3rd IEEE International Conference on Affective Computing and Intelligent Interaction, pp 1–6. 
Rodrigo, M. M. T., Baker, R. S. J. D., Agapito, J., Nabos, J., Repalam, M. C., Reyes, S. S., and San Pedro, M. O. C. Z. (2012) 
“The Effects of an Interactive Software Agent on Student Affective Dynamics while Using an Intelligent Tutoring 
System”, IEEE Transactions on Affective Computing, Vol. 3(2), pp 224–236. 
Sarrafzadeh, A., Alexander, S., Dadgostar, F., Fan, C., and Bigdeli, A. (2008) “How do you know that I don’t understand? A 
look at the future of intelligent tutoring systems”, Computers in Human Behavior, Vol. 24(4), pp 1342–1363.  
Savarimuthu A., Arockiam, L. and Aloysius, A. (2010) „A study on the Impact of Emotional Quotient on Program 
Comprehension”, Proceedings of the International Conference on Communication and Computational Intelligence, 
Perundurai, Erode, India, December, pp 357‐361. 
Tempelaar, D. T., Niculescu, A., Rienties, B., Giesbers, B., and Gijselaers, W. H. (2012). „How achievement emotions impact 
students' decisions for online learning, and what precedes those emotions”, Internet and Higher Education, Vol. 
15(3), pp 161–169. 
Ward, R.D., Marsden, P.H. (2004) „Affective computing: problems, reactions and intentions”, Interacting with Computers, 
Vol. 16(4), pp 707–713. 
Whitehill, J., Serpell, Z., Foster, A., Lin, Y.‐C., Pearson, B., Bartlett, M., & Movellan, J. (2011). „Towards an optimal affect‐
sensitive instructional system of cognitive skills”, IEEE Computer Vision and Pattern Recognition Workshops, pp 20–
25.  
 

288
Imagined and Actual Practices Using ICT: Incongruity and 
Consequences for Inclusion 
Karin Levinsen, Birgitte Sølbeck Henningsen and Sofie Paasch 
ResearchLab: IT and Learning Design, Aalborg University, Denmark 
kale@learning.aau.dk 
bhe@learning.aau.dk 
sofiepaasch@gmail.com 
 
Abstract: Information and Communication Technologies (ICT) play an increasing role in public schools as a whole; at the 
same  time,  ICT  is  championed  as  part  of  a  proposed  solution  (in  Danish  educational  policies)  to  strengthen  inclusion  of 
children with various difficulties in ordinary classes. However, the vision of ICT as a solution rests upon the teachers’ ability 
to  implement  ICT  into  their  teaching  methods  in  ways  that  are  supportive  and  inclusive.  Furthermore,  the  general 
perspective on ICT is that it is a tool that mediates between a user and that user’s intention to achieve some specific aim. 
In relation to inclusion, this means that ICT is used as a tool to bridge the gap produced by a child’s disability and mediate 
between the child and learning. However, recent research shows that ICT has multiple representations and also emerges as 
an  actor  in  its  own  right  in  educational  practices.  Another  research  trend  characterizes  included  children  as  being  in 
difficult situations and contexts rather than having inherent disabilities. From this perspective, ICT becomes one element of 
a  contextual  modification  that  alters  the  difficult  situation  and  allows  the  child  to  participate  in  ordinary  class  activities. 
Working from these premises, this paper presents the context, methodology, and findings of a case study into ICTs role as 
an  actor  in  the  inclusion  and  exclusion  of  children  in  grade  one.  In  the  case  study,  we  find  an  incongruity  between  the 
teachers  understanding  of  technology  when  interviewed  and  the  teachers  actual  teaching  use  of  technology  under 
observation; what may be described as a tool on the theoretical plane becomes a dynamic force in the social structure of 
the real‐world classroom. We also find that this incongruity goes unnoticed by the teacher. We argue that the failure to 
notice this discrepancy may lead to a lack of guidelines and scaffolding of the pupils’ collaborative work using ICT, ironically 
leading  to  exclusion  rather  than  inclusion.  Finally,  we  discuss  possible  interventions  that  may  support  the  teachers’ 
reflections on ICT in practice and alleviate ICT incongruities.  
 
Keywords Inclusion, exclusion, ICT, children in difficulties, perception of technology, primary school 

1. Introduction 
In  Denmark  the  concept  inclusion  of  children  in  difficulties  into  ordinary  public  school  classes,  has  become 
increasingly  central  and  dominating  in  Danish  school  policies  over  the  last  20  years  due  to  the  Danish 
Governments  obligation  after  signing  The  Salamanca  Statement  in  1994  (UNESCO  1994).  Alongside  the 
implementation of inclusion, a widespread critical discussion and debate has emerged within public schools, at 
the political and pedagogically academic arena and in the public media. Leading pedagogic researchers in the 
Danish  academic  field  claim  that  the  way  inclusion  is  being  implemented  in  Danish  schools,  results  in 
deteriorated conditions for children challenged by various difficulties. Accordingly many Danish public school 
teachers debate and object in public to further inclusion (Aisinger 2013, Danmarks Evalueringsinstitut 2013). 
On the other hand leading pedagogic researchers also argue in public for inclusion of children with difficulties 
into ordinary classes, since research show that pupils who earlier was taken out of the ordinary teaching and 
given a special needs education often considered themselves as outsiders (Hesselager 2004). 
 
ICT  is  often  presented  as  an  element  in  proposed  solutions  to  strengthen  inclusion  of  children  in  various 
difficulties in ordinary classes and the Danish Government likewise proposes ICT as a part of the solution to 
successfully  implement  inclusion  in  Danish  public  schools  (Danish  Government  2003).  However,  various 
problems  are  associated  with  the  implementation  of  ICT.  Among  others,  the  digital  technology  has  led  to 
changes in the school practice, but hardly had any impact on the design for learning approach or the learning 
goals (Langager 2009). A report from the Danish Counsel of Technology finds that in general teachers express 
that  integration  of  ICT  into  their  teaching  practice  is  problematic  and  they  feel  a  lack  of  time  to  prioritize  a 
meaningful integration of ICT (Teknologirådet 2011). 
 
Whether  ICT  becomes  a  lever  or  a  solution  in  inclusion  or  not  rests  upon  the  individual  teachers’  ability  to 
implement ICT. This makes it interesting to explore the individual teachers’ approach to ICT and their approach 
to ICT in relation to inclusion.  We conducted a case study in this field and our findings revealed an incongruity 
between  the  teachers’  imagined  approach  to  ICT  and  technology  when  spoken  of,  compared  to  the  actual 
teaching  practice.  We  found  this  incongruity  stayed  unnoticed  by  the teacher  during  our case  study  and  we 

289
 
Karin Levinsen, Birgitte Sølbeck Henningsen and Sofie Paasch 

argue that this discrepancy between the imagined and actual practice contains a risk of missing guidelines and 
scaffolding of the pupils’ collaborative work using ICT and the risk of exclusion rather than inclusion. 

2. Literature study 
The researchers’ and teachers’ understanding of learning difficulties, inclusion and ICT rest on the Salamanca 
Statement,  which  according  to  Dyson  (1999)  offers  a  weak  definition  and  therefore  leaves  the  concept 
inclusion  open  for  various  interpretations  which  are  mutually  incompatible.  As  a  consequence  the  research 
literature displays two main theoretical perspectives on learning difficulties, inclusion and ICT that unfolds in 
separate  or  opposing discourses  (Kotsik  & Tokareva  2007).  The  two perspectives  originate  from  respectively 
social  constructivism  and  a  cognitive  science  when  it  comes  to  learning  difficulties  related  to  psychical 
disabilities (Rustemier 2002, Levinsen K. T. 2008, Tetler & Langager 2009).  
 
Regarding inclusion, the social constructivist perspective is that children’s learning difficulties are constructed 
in the social context. Therefore the children are perceived as being in difficulties that refer to the context and 
learning  environment  around  the  child  and  interventions  that  support  inclusion  are  related  to  that  specific 
context.  In  the  cognitive  science  perspective,  children’s  learning  difficulties  and  behaviour  are  seen  as 
immanent cognitive disabilities where the children’s difficulties are originating from the individual child. In this 
perspective children are perceived as having difficulties and the focus for possible interventions becomes the 
individual.  
 
The two perspectives courses different understandings of ICT in relation to inclusion. The traditional position 
sees  ICT  as  a  tool  with  build‐in  affordances  specifically  designed  to  compensate  for  a  person’s  disability  or 
handicap (Florian & Hegarty 2004, Sheehy 2005). This is called compensational ICT and aims at changing the 
user.  Opposed  to  this,  the  social  constructivist  perspective  sees  ICT  as  a  preventive  and  substitutional 
continuation of the person (Langager 2009, Levinsen 2010). In this perspective technology takes on multiple 
appearances  and  functions  (de  Laet  &  Mol  2000)  such  as  tool,  feature  for  and  continuation  of  the  child, 
personal identification marker, digital environment, and social actor. Thus, ICT plays an active role in changing 
the practice and the context around the individual and lets the child participate equally on the specific child’s 
own terms. Levinsen found (2010) that the difference between compensating ICT and substituting ICT is not to 
be found in the technology itself but in the way the technology is perceived and approached by especially the 
responsible  grownups  (teachers,  parents).  That  is,  the  difference  emerges  as  a  consequence  of  the  users’ 
technological  understanding  of  the  technology.  Therefore,  the  same  technology  may  take  on  either 
appearance.  
3. Theory 
We find that the above mentioned perspectives would benefit by being seen as complementary rather than 
opposites. There are people having immanent learning difficulties (physical or mental disabilities) and people 
who are in learning difficulties without having a disability (social conditions in school or family). Therefore, no 
matter the origin of the learning difficulties – immanent, socially constructed or a mix ‐, both perspectives are 
equally  important  if  inclusion  is  to  be  successful.    However,  the  research  literature  displays,  that  this 
complementary  view  is  not  what  we  may  expect  to  find  in  the  everyday  practice.  The  research  report  from 
Danmarks  Evalueringsinstitut  (2011)  found  an  underlying  discrepancy  between  the  imagined  objectives  and 
the  actual  inclusive  practice.  Avramidis  and  Norwich  (2002)  in  their  substantial  literature  study  found  that 
teachers  attitude  to  inclusion  is  strongly  influenced  by  the  nature  and  severity  of  actual  learning  difficulties 
and by the availability of physical and human support. Similar, Brinkmann found that the social constructivist 
view  has  lost  ground  in  ways  where  the  meaning  of  intervention  has  turned  into  treatment  “…  human 
characteristics or capacities, that earlier did not call diagnoses and treatment are now spoken of as treatment 
requiring diseases” (Brinkmann 2010, p. 15, authors translation).  
 
In order to clarify and to explore the teachers’ approach to inclusion, technology and ICT we find it useful to 
distinguish  between  being  in  or  having  learning  difficulties  and  their  related  technological  understandings 
substituting or compensating ICT. In order to come closer to the teachers’ actual perception of and approach 
to technology and ICT we find Orlikowski’s two perspectives (Orlikowski 2009) on conceptual understanding of 
technology ‐ exogenous force and emergent process ‐, and their impact of on the use of technology useful.  The 
first perspective exogenous force sees technology as an externally imposed and autonomous driver of changes 
which  have  significant  and  predictable  impact  on  human  outcomes.  The  second  perspective  emergent  force 

290
 
Karin Levinsen, Birgitte Sølbeck Henningsen and Sofie Paasch 

understands  technology  as  material  artifacts  that  are  socially  defined  and  neither  fixed  nor  universal,  and 
which  emerges  in  multiple  and  dynamic  ways  from  situated  processes  of  interaction  with  the  artifacts  and 
which  are  with  no  predictability  constitutively  entangled  in  everyday  life.  Orlikowski’s  exogenous  force 
corresponds with the perception of ICT as  compensating and with specifically designed build‐in affordances, 
while  emergent  force  corresponds  with  the  perception  of  ICT  as  multiple  appearances  of  substituting  ICT 
mentioned above. 

4. Research context and methodology 
As  the  teachers’  role  is  central  in  relation  to  the  success  of  inclusion  with  and  without  ICT  and  it  means 
something  to  the  inclusive  practice,  how  the  teacher  understands  inclusion  and  the  role  of  ICT  from 
respectively a social constructive, cognitive or mixed perspective, we designed the present research with the 
aim to capture as much of the complexity in the practice in relation to ICT and inclusion as possible. 
 
Due  to  the  unpredictable,  dynamic  and  emerging  nature  of  our  research  object  the  study  takes  on  an 
explorative rather than a hypothesis driven approach. Therefore we choose to produce our empirics through a 
case study in a real life classroom setting. In order to sharpen the focus on our research interest, the case had 
to  fulfil  certain  requirements:  The  teacher  should  be  experienced  in  using  ICT  in  everyday  teaching  practice 
and  as  a  tool  or  actor  in  relation  to  inclusion.  Some  students  in  the  class  should  be  subjects  to  an  inclusive 
practice  due  to  learning  difficulties.  These  requirements  were  fulfilled  in  the  chosen  class  where  some 
students  were  what  Levinsen  (2010)  calls  potentially  challenged,  as  they  display  learning  difficulties  beyond 
average, but have no diagnosis.  
 
st
We  collected  data  in  an  average  1   grade  class  in  a  suburb  to  Copenhagen,  the  capital  of  Denmark  with  24 
students  ‐  boys  and  girls.  We  observed  the  students’  use  of  ICT  during  Danish  lessons  over  a  period  of  two 
weeks at the end of a 5 week course where the class worked organized as pairs on their assignment with an 
average  of  5  Danish  lessons  per  week.  The  students  used  laptops  and  MS‐Word  to  write  about  a  specific 
animal  of  their  own  choice.    They  collected  information  about  the  animal  using  a  website  (danske‐dyr.dk) 
where they could read text about the animal and listen to the same information as a sound file. The course 
included an introduction to laptops in general and to MS‐Word specifically. As we observed during the last two 
weeks of the course, the students had gotten familiar with both hardware and software. The teacher in our 
case  study  had  previously  participated  in  a  similar  research  and  development  project  focusing  on  the 
contextual approach (children in difficulties) in relation to ICT and inclusion (Levinsen 2010). 
 
There is strong critique of using cases and case studies in the way proposed in this paper (Yin 1994, Newby 
2010).  The critique claims the case study’s inability to produce generalizable knowledge and subsequently, the 
inability  to  contribute  to  scientific  knowledge,  testing  of  hypothesis  and  theory‐building.  Flyvbjerg  (2006) 
argues  that  the  critique  is  paradigmatic  and  that  most  case  theory  relate  to  an  epistemic  and  explanatory 
tradition in order to cope with the critique. However, the epistemic tradition out rules central aspects of the 
unpredictable and emerging lived practice that constitutes the core of both case and practice studies. Taking a 
critical approach to the pros and cons of case studies, Flyvbjerg discusses from a constructivist and interpretive 
position,  to  what  extend  and  under  which  conditions,  cases  and  case  studies  contributes  to  scientific 
knowledge. 
 
Our  research  interest  is  to  explore  how  ICT’s  role  in  relation  to  inclusion.  According to  Flyvbjerg  “When  the 
objective  is  to  achieve  the  greatest  possible  amount  of  information  on  a  given  problem  or  phenomenon,  a 
representative  case  or  a  random  sample  may  not  be  the  most  appropriate  strategy    As  it  is  often  poor  in 
information.  Atypical  or  extreme  cases  often  reveal  more  information  …”(Ibid  p.  229).  Flyvbjerg  sets  up  a 
typology for cases and argues that a specific case may represent aspects of more than one type (ibid p. 230): 
ƒ Extreme: To obtain information on unusual cases, which can be especially problematic or especially good 
in a more closely defined sense 
ƒ Critical: To achieve information that permits logical deductions of the type, “If this is (not) valid for this 
case, then it applies to all (no) cases.”  
ƒ Paradigmatic: To develop a metaphor or establish a school for the domain that the case concerns 
Our case is atypical in the sense that it represents a single case and an in depth study into a limited context. It 
is therefore expected to produce more information than a literature study or a typical case study. Due to the 

 
 
291
 
Karin Levinsen, Birgitte Sølbeck Henningsen and Sofie Paasch 

specific set of requirements in the selection of the case, this study is atypical and matches both the extreme 
and  the  critical  case.  The  case  is  extreme  in  the  sense  that  the  teacher  is  experienced  in  using  ICT  in  the 
everyday  teaching  practice  and  has  participated  in  a  research  and  development  project  aiming  at  ICT  and 
inclusion.  Accordingly,  arguments  as:  “if  the  teachers  were  more  skilled”;  “if  we  felt  more  comfortable  with 
using ICT”, which are often put into play (Danmarks Evalueringsinstitut 2011) are not important issues in this 
case.  The  case  becomes  critical  due  to  its  extreme  qualities  and  we  may  argue  that  if  teaching  practise  and 
inclusion works well or display problems or even collapse here, then it applies to other cases as well.  
 
As  mentioned,  our  research  strategy  aimed  at  an  extensive  capturing  of  the  complex  and  unpredictable 
everyday  practice  in  the  classroom.  In  order  to  sustain  an  open  and  explorative  approach  we  applied  an 
abductive research design (Halkier 2001) where we systematically changed perspectives and approach to the 
collected  data  including  an  ongoing  iterative  process  shifting  between  an  empirically  and  theoretical 
perspective. The data collection was inspired by ethnographic methods such as observation meaning that we 
witnessed and experienced the context (ibid p. 141) while documenting through thick description notes, video 
and qualitative interviews.  

5. Findings and discussion 
Our analysis revealed discrepancies between the teachers imagined teaching practice and use of ICT, mainly 
stated  though  the  teachers  articulation  during  the  interview  and  the  teachers  actual  teaching  practice 
observed  in  the  classroom.  With  reference  to  Orlikowski  (2009)  and  her  distinction  between  the  two 
perspectives  on  conceptual understanding  of  technology  ‐  exogenous  force  and emergent  process  –  and  the 
impact  of  these  on  their  holders  attitude  and  practice  regarding  ICT,  we  find  these  discrepancies  of  great 
importance.  The  importance  of  this  finding  is  strengthened  as  we  found  in  several  instances,  that  these 
discrepancies  displayed  a  negative  influence  on  specific  students’  collaboration  in  the  classroom  and  on  the 
inclusion of children in learning difficulties. In the following we will present the discrepancies and elaborate on 
an explanatory perspective on ‘why’ these discrepancies occur. 
 
To unfold this aspect, we explored the teacher’s approach to inclusion of children as either having or being in 
learning difficulties and how the teacher perceived the origin of a specific child’s learning difficulties as either 
contextual or immanent. In the case study, the teacher was well reflected and stated in the interview that she 
perceived  children’s  learning  difficulties  as  constructed  and  influenced  by  the  context,  that  is,  as  mainly 
situated  and  constructed  in  the  social  arena.  Accordingly,  the  teacher  felt  that  she  approached  children’s 
different  learning  difficulties  with  the  attitude:  children  in  learning  difficulties;  but  without  neglecting,  that 
some children might have learning difficulties. However, the video analysis of the teacher’s practice shows a 
dominant perception of student’s learning difficulties, actions and behavior as immanent and belonging to that 
specific student. For example in the practice, the teacher did not research the situation, context or background 
before  intervening  and  directed  her  interventions  and  scolding  towards  the  individual  student  displaying 
learning  difficulties  instead  of  both  students  in  a  pair.  In  these  instances  we  discovered  through  our  filmed 
data that prior to the teacher’s interventions occurred disagreements and conflicts between the two students 
sharing a computer.   
 
As the literature showed the importance of the teacher’s attitude to inclusion and conceptual understanding 
of  technology  to  how  the  teacher  implements  ICT  into  the  teaching  practice,  we  combined  these  specific 
approaches  with  an  ICT‐perspective  using  the  concepts  compensating  and  substituting  ICT.  As  introduced 
earlier, the compensating approach to ICT aligns with children having learning difficulties that are perceived as 
immanent and ‘owned’ by the individual child. Our analysis showed that the teacher primarily perceived the 
students’  learning  difficulties  as  immanent  and  not  as  social  constructed  and  performed  a  compensating 
teaching practice. 
 
To  further  clarify  the  teachers  approach  to  ICT  and  inclusion,  we  applied  Orlikowski’s  two  conceptual 
understandings  of  technology  as  an  additional  perspective.  Our  study  revealed  a  dominant  exogenous  force 
perspective  in  the  teachers  practice.  This  became  apparent  in  the  teacher’s  handling  of  ICT  in  collaborative 
situations and in the teacher’s handling of students that appeared to be inactive in the class. In relation to the 
teachers handling of ICT in relation to collaborations, the teacher introduced the laptops without introducing 
learning design‐frame or social guidelines regarding the use of the computers. Therefore, the students had to 
find  their  own  way  when  negotiating  collaborative  strategies.  This  omission  of  the  learning  design  suggests 

292
 
Karin Levinsen, Birgitte Sølbeck Henningsen and Sofie Paasch 

that  the  teacher  expected  the  computer  to  function  in  the  same  way  for  all  pairs,  which  we  interpreted  as 
perceiving  the  computer  as  a  predictable  and  autonomous  driver  of  the  learning  process  and  the  social 
teamwork  between  the  students.  Our  analyses  revealed  problematic  consequences  of  this  approach  to  ICT. 
We found in several cases students who intentionally excluded their learning‐buddy from the activities at the 
computer  and  we  found  unproductive  quarrels  or  what  Littleton  and colleagues (2005)  names Disputational 
Talk among the students.  
 
When  looking  at  the  teachers  handling  of  apparently  inactive  students,  the  exogenous  force‐perspective 
became even clearer. The teacher physically moved students in learning difficulties on their chair and placed 
them in front of the computer, apparently wanting them to be hooked up to the computer. The teacher did 
not research the situation by questioning the student(s) about the lack of participation and did not include the 
surrounding context in evaluating the situation. This reaction points toward the compensating approach to ICT 
that focuses on the technology as a predictable driver of a change due to the build in affordances and towards 
seeing  the  learning  difficulties  and  the  child’s  behaviour  ‐  in  this  case  a  lack  of  participation  ‐  as  originating 
from  the  individual  child.  This  is  why  the  teacher  only  directs  interventions  towards  the  individual  child  in 
learning difficulties. Thus, being hooked up to the computer points to the teachers perception of the computer 
as  an  autonomous  driver  of  the  learning  process  and  that  the  computer  in  itself  can  produce  the  wanted 
change and learning in the student. 
 
The teachers handling of apparently inactive pupils and the teachers striving to get these pupils hooked up to 
the computer, revealed yet another discrepancy between the imagined and actual practices using ICT. In the 
interview the teacher stated that students could contribute to the collaboration not only through being active 
at the computer. For example students could contribute by getting ideas and comment on the activities at the 
computer. However, the actual practice showed that in order to be perceived as participating and active by the 
teacher, students had to be hooked up to the computer. Our study documented that this focus on students as 
hooked up to the computer, produced a narrow arena for collaborative activity. We saw students considered 
as active by the teacher, because they appeared to be active on the computer, but in fact they were not active 
in the way the teacher expected. For example one student typed the letter A and filled out an entire page with 
A’s.  
 
The  striving  for  pupils  to  be  connected  to  the  computer  also  seemed  to  create  other  aspects  of  narrow 
perception  and  understanding  of  collaboration  and  situations.  In  several  cases  we  noticed  students  who 
intentionally  used  their  body  to  exclude  learning‐buddies  from  the  computer  and  that  this  exclusion  stayed 
unnoticed by the teacher. The excluding students was praised by the teacher for being active and participating 
at  the  computer  while  the  excluded  student,  who  now  appeared  inactive,  was  scolded  for  the  missing 
participation.  One  could  argue  that  the  teachers  missing  research  into  the  participation,  is  a  result  of  the 
narrow  focus  on  the  connection  to  the  computer  as  well  as  a  result  of  the  narrow  perception  of  behavior, 
where behavior is perceived as immanent the pupil in the actual practice and not a result of social influence. In 
some cases we saw students object to the exclusion from their learning‐buddy and to the teachers scolding. 
The students who managed to oppose were mostly considered by the teacher to be strong both socially and 
academically. On the other hand, the teacher perceived the students who did not manage to oppose scolding 
or exclusion as having both social challenges in the class as well as learning difficulties.  
 
The  teacher’s  exogenous  force‐approach  became  apparent  in  other  ways  for  example  in  relation  to  the 
teachers  understanding  of  collaboration  between  the  students  using  ICT.  In  the  interview  the  teacher 
expressed  an  overall  positive  interpretation  of  the  collaborations  by  pairs  around  the  computers  and 
presented  examples  of  well‐functioning  and  efficient  collaboration  between  the  students.  However,  our 
observations  and  analyzes  revealed  examples  of  collaborative  problems  among  the  students.  The  teachers 
understanding  of  the  collaborations  around  ICT  as  mainly  well‐functioning,  effective  and  resourceful 
emphasized how the teachers perceived ICT as a positive mediator and a predictable and autonomous driver 
of  the  teamwork  between  the  students.  In  practice,  this  understanding  created  a  tendency  to  overlook 
conflicts in several collaborative situations involving ICT. In several instances we documented that the teacher 
did  not  notice  conflicts  and  subtle  battles  about  access  to  the  computer.  The  fact  that  these  conflicts  were 
quite subtle and easy to miss could explain why they passed unseen by the teacher.  
 
When we look at the Disputational Talk (Littleton et. al. 2005) that passed unnoticed by the teacher, we found 
that these conflicts often appeared in relation to the use of ICT. Especially we found that the disagreements 

 
 
293
 
Karin Levinsen, Birgitte Sølbeck Henningsen and Sofie Paasch 

were  often directly  related  to  the physical affordance of the  digital  devices  and  software  in  play. Numerous 
conflicts arose due to the circumstance that laptops are designed as a single‐person tool and that the students 
had  to  work  in  pairs  around  the  computers.  (This  use  of  laptops  is  typical  in  Danish  public  schools  mainly 
because the access to computers in schools is limited). The teacher in our study did not guide or support the 
students’  collaboration  around  the  laptops,  so  the  pupils  had  to  negotiate  their  own  strategies  for  the 
collaboration, which resulted in various types of quarrel. Typically both parties wanted to handle the computer 
and found it difficult to share the access to the computer once they had won the access. This points out the 
importance of the teacher providing guidelines and support in the use of ICT. 

6. Conclusion 
Because it rests upon the individual teachers’ ability to implement ICT into their teaching methods in ways that 
are inclusive, the technological view and professional competencies of the individual teacher becomes crucial. 
This  motivated  our  case  study,  were  we  researched  the  complex  everyday  life  in  a  classroom  around  one 
teacher using ICT in the teaching sessions. Our research design strived to capture multiple aspects influencing 
a teachers approach and practice around ICT in relation to inclusion. 
 
Our study revealed an incongruity between the teachers’ imagined approach when interviewed and the actual 
teaching practice. The interview uncovered an approach towards children’s difficulties, as being mainly socially 
influenced  with  a  mainly  substituting  approach  to  ICT  in  relation  to  inclusion  and  an  understanding  of 
technology as an emergent and situated process and an unpredictable factor. The teachers practice however 
showed an approach towards children’s difficulties, as being mainly immanent in the individual student with a 
mainly  compensating  approach  to  ICT  in  relation  to  inclusion  and  an  understanding  of  technology  as  an 
exogenous  force  including  a  view  upon  ICT  as  being  a  predictable  factor  and  an  autonomous  driver  of  a 
change. 
 
We found that this discrepancy and a practice dominated by an exogenous approach to technology combined 
with  a  compensating  use  of  ICT  led  to  a  narrow  interpretation  and  understanding  of  the  situations  in  the 
classroom. Furthermore, it led to a lack of guidelines around the collaborative work among the students using 
ICT  and  in  some  cases  to  exclusion  where  students  in  learning  difficulties  were  excluded  by  their  learning 
buddy from accessing the computer and were scolded for the missing participation by the teacher. The narrow 
approach overlooks important aspects. For example the fact that ICT (also) is a dynamic unpredictable force 
and important actor in the social structure of the real‐world classroom.  
 
As a recommendation we suggest that teachers’ professional competence building in the future – both teacher 
education and in service training ‐ includes broader and multiple perspectives in order to understand and deal 
with the variety of typical situations and behavior related to ICT and inclusion.  
References 
Avramidis, E., and Norwich, B. (2002) “Teachers' attitudes towards integration / inclusion: a review of the literature”, 
European Journal of Special Needs Education , Vol 17, Np 2, pp 129‐147. 
Aisinger, P. (2013). “Ph.d.‐studerende: Blind inklusion kan have negativ effekt”, [online], Folkeskolen, 24. juni 2013, 
http://www.folkeskolen.dk/531204/phd‐studerende‐blind‐inklusion‐kan‐have‐negativ‐effekt. 
UNESCO. (1994).” Salamanca Erklæringen og Handlingsprogrammet for Specialundervisning”, [online], The Danish Ministry 
of Education, http://pub.uvm.dk/1997/salamanca.pdf 
Brinkmann, S. (2010). ”Det diagnosticerede liv: Sygdom uden grænser”, in S. Brinkmann, & S. Brinkmann (Eds.), Det 
diagnosticerede liv: Sygdom uden grænser, Aarhus: KLIM, pp. 15‐31. 
Danmarks Evalueringsinstitut. (2011). Indsatser for inklusion i folkeskolen. Forskningsrapport fra Danmarks 
Evalueringsinstitut (Research report from the Danish Institute for Evaluation). 
Danmarks Evalueringsinstitut (2013). ”Inklusion er håndværk, ikke ideologi”, [online], Danmarks Evalueringsinstitut, 
http://www.eva.dk/e‐magasinet‐evaluering/2011/evaluering‐november‐2011/201dinklusion‐er‐handvaerk‐ikke‐
ideologi201d. 
Dyson, A. (1999). “Inclusion and Inclusions: Theories and discourses in inclusive education”, in H. Daniels, & P. Garner, 
World yearbook of education 1999: Inclusive education, London: Kogan Page, pp 36‐54. 
de Laet, M. and Mol, A. (2000). “The Zimbabwe Bush Pump: Mechanics of a Fluid Technology”, Social Studies of Science , 
Vol 30, No. 2, pp 225‐263. 
Flyvbjerg, B. (April 2006). “Five Misunderstandings About Case‐Study Resarch”. Qualitative Inquiry , Vol. 12, No. 2, pp 219‐
245. 
Florian, F. and Hegarty, J. (2004). ICT and Special Educational Needs. UK: Mcgraw‐Hill Education, Open University Press.  

294
 
Karin Levinsen, Birgitte Sølbeck Henningsen and Sofie Paasch 

Halkier, B. (2001). “Kan Pragmatisme være Analytisk?: Studiet af Miljøhensyn i Forbrug som Eksempel”, in Bransholm 
Pedersen, K. and Drewes Nielsen, L. (Eds.) Kvalitative Metoder: Fra Metateori til Markarbejde, 1. ed., Frederiksberg: 
Roskilde Universitetsforlag, pp 41‐59. 
Hesselager, Ø. (2004). ”Specialundervisning skaber outsidere”,  Information  (Danish news paper)[online], 
http://www.information.dk/90813 
Kotsik, B., Tokareva, N. (2007). “UNESCO IITE Contribution to e‐Inclusion Policy Development for Education of Students 
with Disabilities”. The first International Conference on ICT & Accessibiliy, Information and Communication 
Technology and Accessibility (ICTA) 07, Hammamet, Tunisia. 
Langager, S. (2009).” IKT, specialpædagogik og digitale læringsveje”, in S. Tetler and S. Langager Specialpædagogik i skolen ‐ 
en grundbog, Gyldendals lærerbibliotek, København, pp 265‐290. 
Levinsen, K. T. (2008). Projekt IT‐mappen – at gøre inklusion med substituerende it. Rapport 1, Danmarks Pædagogiske 
Universitetsskole, Aarhus Universitet, Institut for Didaktik. 
Levinsen, K. T. (2010). “Substituting ICT as a lever for inclusion of children with reading and writing difficulties”,  Journals of 
Cases on Information Technology , Vol 12, No. 3, pp 74‐89. 
Littleton, K., Mercer, N., Dawes, L., Wegerif, R., Rowe, D. and Sams, C. (2005). ”Talking and thinking together at Key Stage 
1”, Early Years: An International Journal of Research and Development ,Vol  25, No. 2, pp 167 ‐182.  
Newby, P. (2010). Research Methods for Education. Pearsons Education Ltd, Harlow, UK. 
Orlikowski, W. J. (2009). “The sociomateriality of organisational life: considering technology in management research”, 
Cambridge Journal of Economics, Vol 34, pp 125‐141.  
Sheehy, K. (2005).”ICT and Special Educational Needs: a Tool for Inclusion”, British Journal of Learning Disabilities, Vol 33, 
No. 4, pp 206–207. 
Rustemier, S. (2002). Social and Educational Justice: The human rights framework for inclusion. Centre for Studies on 
Inclusive Education, Bristol. 
Danish Government. (2003). IT i folkeskolen ‐ en investering i viden og velfærd, [online], Danish Ministry of Education, 
www.uvm.dk: http://pub.uvm.dk/2003/it/ 
Teknologirådet (2011). Skole og medier – it‐understøttelse af læring,[online], 
http://www.tekno.dk/pdf/projekter/p11_skole_og_medier/p11_Rapport_Skole_og_medier‐
it_understoettelse_af_laering.pdf 
Tetler, S. and Langager, S. (2009). Specialpædagogik i skolen ‐ en grundbog. Gyldendal Lærerbibliotek. 
Yin, R. K. (1994). Case Study Resarch ‐ Design and Methods. SAGE Publications. 

 
 
295
How to Build Your own Science Experiment in a Virtual World 
Robert Lucas 
Keylink Computers Ltd, Kenilworth, UK 
rob@keylinkcomputers.co.uk 
 
Abstract:  Currently  3d  immersive  simulations  of  science  experiments  implement  a  single  configuration  that  the  user  or 
experimenter interacts with.  The user may turn knobs and take readings, but the apparatus is, for the most part, pre‐set in 
the configuration that serves the particular experiment, whilst the user is expected to take readings for that configuration. 
One  trend  in  current  science  education  is  to  allow  students  to  design,  construct  and  then  perform  an  experiment.  This 
gives the student a much wider, deeper and engaging experience.  However, such an approach is extremely expensive on 
time  and  resources.  It  is  possible  to  provide  this  experience  in  a  3d  simulated  environment  by  taking  advantage  of  the 
object‐oriented  nature  of  current  programming  languages.    This  allows  us  to  build  behaviour  into  our  3d  instruments 
alongside their graphical representations.  This results in virtual scientific instrumentation that is configurable by the end 
user (rather than the programmer) which can then be used to assemble an experiment without any further programming.  
This allows the same virtual device to be used in different contexts and in different ways.  Allowing an instrument to be 
dragged  into  position  and  then  configured  for  the  particular  usage  required  by  the  experimenter.  An  example  of  this  is 
given in the paper that shows how a timing gate can be designed as a self‐contained virtual component that can be moved 
and orientated by the end user to suit many different virtual experiments.  For example: In one orientation it can be used 
to  time  a  swinging  pendulum  and  in  another  orientation  it  can  be  used  to  measure  the  passing  time  of  an  accelerated 
trolley as part of an investigation into Newton's Laws.  It is shown how this approach has been applied to a range of virtual 
instruments  which  allow  users  to  construct  experiments  from  their  own  design  using  a  library  of  virtual  scientific 
instruments  which  constitute  a  true  virtual  laboratory.  Providing  this  flexibility  in  a  virtual  environment  has  enormous 
advantages  in  that  there  is  no  extra  expense  beyond  creating  the  virtual  instruments  in  the  first  place.    Once  these  are 
created any number of users can design and then perform their own experiments in a virtual world.  Additionally, creating 
a library of virtual instruments enables many different experiments to be rapidly created and performed. 
 
Keywords: 3D, Virtual experiments, virtual instruments, 3d experiments, virtual laboratory, 3d simulated environments 

1. Introduction 
Over the past few decades computer games that use 3D graphics has grown into a massive industry and the 
vast profits made has driven the development of the associated hardware and software needed to realistically 
render  their  content.  More recently  there  has  been an  increasing  use of  3D  simulation  in  science and  other 
disciplines  which  takes  advantage  of  the  same  hardware  and  software.    These  applications  are  sometimes 
called ‘Serious Games’, although these also include non 3d games, and encompass a huge range of possibilities 
that  include  language  learning,  healthcare,  safety  training,  equipment  maintenance,  astronomy  and  much 
more.  An overview can be found in (Connolly et al 2012).  There are also many examples by the author, which 
include  a  3D  Celestial  Sphere  (Lucas  2010),  A  Telescope  Simulator  used  to  train  students  embarking  on  a 
course in observational astronomy (Lucas, Kolb 2009), some science experiments (Lucas 2009) and an archery 
simulation for teaching the motion of projectiles (Lucas 2010). 
 
A slightly different approach to the 3d games engine based applications is the Interactive Screen Experiment 
(Hatherley  2009)  which  uses  a  set  of  photographs  of  an  actual  experiment  to  create  an  interactive  movie.  
Although  these  have  the  advantage  of  being  based  directly  on  an  actual  experiment,  they  suffer  from  a 
combinatorial explosion of needed photographs to represent anything which is non‐trivial and often need to 
make  such  drastic  compromises  that  the  actual  science  that  is  represented  is  no  longer  valid  (Lucas  2010).  
They  are  mentioned  here  as  they  tend  to  target  the  same  type  of  application,  science  experiments,  as  the 
authors  work.    Other  approaches  include  3D  avatar  based  collaborative  environments  such  as  (Scheucher 
2009).  In this example, although we have a 3d environment, the experiment itself is a 2d visualisation.  The 
actual use of 3d to represent the environment and the experiment is very rare indeed as a search on Google 
Scholar will confirm. 
 
All of these approaches, where applied to science experimentation, have the equipment ‘nailed down’.  The 
experiments  are  rigidly  defined  by  the  configuration  of  the  equipment.    This  is  particularly  true  of  the  ISEs 
where the use of photographs entirely limits the user to those views that have been taken by the designers of 
the  experiment.      Not  only  is  the  apparatus  nailed  down,  only  one  view  of  it  is  usually  available.    The  user 
interaction in all cases is limited to varying the parameters of the apparatus as it is set up to perform what is 

296
 
Robert Lucas 

precisely intended by the designer of the experiment.  Furthermore, any scientific apparatus can only do that 
which it was intended to do. This is what I call the ’prescriptive use of scientific apparatus’. 
 
Figure 1 shows an example of such an experiment built using a 3d games environment: 

 
Figure 1: A simulation of Rutherford’s gold foil experiment 
In this experiment a radioactive source emits alpha particles towards a thin gold foil which can be seen in the 
centre of the glass dome.  The user can change the angle of the detector and count the number of particles 
arriving at the various angles that he/she sets. 
 
The  Institute  of  Physics  states  that  students  undergoing  laboratory  training  should  have  the  opportunity  to 
‘plan  an  experimental  investigation’.  Some  of  the  advantages  of  this  are  discussed  in  (Sneddon  2010).    The 
advantages  should  be  clear  as  planning  an  experiment  is  a  deeper  experience  than  simply  following  a 
prescribed  approach  to  obtaining  a  particular  result.    In  Bloom’s  taxonomy  (Bloom  1956),  his  table  of  the 
cognitive  domain  puts  planning  and creating  at  the  level  of  synthesis which  is  above  application or  analysis.   
The argument for extending this design approach to a virtual environment is made in (Darius 2007) where the 
observation is made that the students have the chance to do and re‐do experiments without ‘excessive use of 
time and resources'. 
 
The goal of this paper is to show that we can provide students with the opportunity to design an experiment in 
a virtual world and that our scientific apparatus does not have to be prescriptive in the sense that it can only 
be used for exactly the purpose intended.  The following example will make this approach clear. 
 
Niels  Bohr  was  a  Danish  physicist  who  made  important  contributions  to  Quantum  Mechanics  for  which  he 
received  the  Nobel  Prize  in  Physics  in  1922.    When  a  student,  he  was  asked  in  an  examination  how  to 
determine  the  height  of  a  building  using  a  barometer.    The  examiner  fully  expected  that  the  only  correct 
answer would be to use the barometer to measure the air pressure at the top and bottom of the building and 
use this difference to calculate the difference in heights.  However, it is reported (Morris 1969) that Niels Bohr 
gave the answer that you were to take the barometer to the top of the building, drop it and time its descent 
which then could be used to calculate the height.  Other possible solutions are also proposed such as using the 
barometer as a length measure.  The point to note is these are all valid solutions and we should not tie the 
students into doing his experiment in a prescribed fashion.  This is the approach taken in creating our virtual 
laboratory.  We will make our virtual instruments behave (in as much as we can) like their real counterparts 
and if the student uses one in a way that has not been predicted then that is all to the good.   

 
297
 
Robert Lucas 

2. The physics engine 
As we are planning on letting our user move the apparatus about, we need to understand a little about how 
things work inside a 3d game simulation.  At the heart of a 3d game development environment is a Physics 
engine.  This is the software that calculates where everything is and what orientation it is in for each frame 
that  then  gets  rendered.    It  uses  Newtonian  mechanics  to  make  the  necessary  calculations.    In  doing  this  it 
must  calculate  all  collisions  between  objects,  the  forces  involved  and  their  consequences.    This  is  a 
complicated and processor intensive task.  Collision processing in particular strains the bleeding edge of our 
current systems.  Anyone who has played a computer game will almost certainly have spotted the inaccuracies 
that occur in Physics engines when computing the consequences of collisions.  It is not uncommon to see inter‐
penetration  of  what  should be  solid  objects  when  the  engines  just  don’t  have  the  time  to  detect  a collision 
early enough. 

 
Figure 2: Lara puts her foot in it. 
Figure  2  shows  Lara  (Tombraider  2014)  with  her  left  leg  penetrating  the  body  of  one  of  her  victims.    The 
particular Physics being used is Rigid Body Mechanics.  When we want an object to behave as an object that 
has mass and can be collided with we make it a rigid body.  This puts it under the control of the Physics engine. 

 
Figure 3: A rigid body component attached to a cart 
In Figure 3 you can see how in the Unity (Unity 2014) game development environment a rigid body component 
is attached to a model cart that then causes the cart to move under the control of the Physics engine.  A typical 
consequence of this is that: should the cart be on a slope, then it will roll down the slope.  Also notice that a 
box collider is attached to the cart.  This is the box that the Physics engine will use to determine any contact 
the  cart  has  with  other  objects.    It’s  a  simple  box  to  keep  the  necessary  amount  of  computation  down.  
Applying arbitrary meshes as colliders quickly brings a Physics engine to its knees which will result in a very low 
and unacceptable frame rate.  This illustrates a typical object oriented approach.  The cart is an object which 

 
298
 
Robert Lucas 

has various sub‐objects.  These have properties such as Mass and Drag that can be seen in Figure 5 and we can 
attach methods to the object (i.e. code) to make them have particular behaviours. 

3. Achieving movement of experimental apparatus 
We  need  our  users  to  be  able  to  move  objects  around  and  we  have  the  restriction  that  this  must  be  done 
through the actions of the mouse.  This is not a trivial task.  In the real world picking up something with our 
hand, such as an egg, moving it from a fridge rack on to the table seems like a very simple operation.  It is for a 
human of course, but the actual mechanics that is taking place is hugely complicated.  There are forces being 
applied  to  the  egg  by  each  finger,  there  are  corresponding  reaction  forces  from  the  egg  onto  the  finger.    A 
precise amount of force is applied to grip the egg so that it is neither dropped nor broken.  Another precise set 
of forces is used to move it and avoid collisions with other objects.  If we tried to synthesise this through the 
inputs available from a mouse, we might end up with something like the Crane Claw game where the user tries 
to use a simple interface to control a claw on the end of a crane to grab a prize and manoeuvre it over the win 
chute.    All  the  user  effort  would  go  into  learning  how  to  move  things  around.    We  clearly  need  a  simple 
mechanism for moving objects. 
 
If an object is a rigid body then the only way to move it is by applying the necessary force.  This works fine for 
pushing  things  around  a  table,  but  it  is  much  too  complicated  for  picking  something  up  and  moving  it  in  3 
dimensional space.  The only option is to stop it being a rigid body whilst it is being picked up and positioned 
by the user.  We can do this by letting the user click on the object he/she wants to use and then:  
ƒ Disable the rigid body component. 
ƒ Calculate from the mouse and camera position a direction to move in. 
ƒ Make the move. 
ƒ Process any collision ourselves (removing the rigid body means that there will be no automatic collision 
detection). 
ƒ In the case of any collision, re‐enabling the rigid body. 
ƒ Using a second click on the object to release it by re‐enabling the rigid body. 
The consequence of (5) is that if the user picks up an object and then collides with another object, then the 
object  is  released.    This  makes  picking  up  an  object  from  the  table  and  moving  it  a  smooth  and  natural 
operation  as  making  contact  with  the  table  after  the  object  has  been  picked  up,  places  it  at  the  point  of 
contact. 
 
We  can  use  the  up  and  down  mouse  movement  to  change  the  height  of  an  object  and  the  left  and  right 
movement to change the left and right position relative to the camera.  This leaves the scroll button to control 
the distance of the object from the camera.  However, putting an object precisely where you want it when the 
object can be moved in 3d and clearly the screen is a 2d representation is a challenge.   What is happening 
here is that a 3d world is being processed in order to be displayed on a 2d screen, this is then perceived by our 
eyes  as  a  2d  image  which  then  is  interpreted  by  our  brain  as  a  3d  model!    Clearly  the  intervening  2d 
representation is an information bottleneck. What we need is some extra information to establish the depth of 
an object into the screen.  Various cues are used by the eye which include overlapping which is the strongest 
cue (Gregory 1966) and shadows.  In practice, an overhead light creating a shadow works extremely well.  The 
brain is very used to shadows and immediately interprets an object’s shadow as a depth cue. 
 
In (Lucas 2009) an experiment involving a spectroscope is described.  This was implemented stereoscopically 
using  shutter  glasses  (Lucas  2012).    At  the  time  this  was  seen  as  a  novelty,  something  that  made  the 
experience  a  bit  more  special,  but  not  something  that  was  seriously  being  considered  for  the  students  who 
might access the experiment.  However, in the current context, where depth perception is extremely valuable 
in that it allows us to position objects in a 3d space, it would be a highly desirable approach.  It would seem 
that shutter glasses have become rather outdated and difficult to obtain given that stereo vision having moved 
out of the amateur experimenter market and into mainstream television.   However, the advent of the ’Google 
Cardboard’ headset as well as the Google Cardboard Application from the Play Store (Google 2014), has made 
available  a  cheap  virtual  headset  that  makes  use  of  a  smartphone.    This  makes  possible  some  interesting 
developments and we fully intend to investigate the possibilities that this technology offers. 
 

 
299
 
Robert Lucas 

 
Figure 4: Using a shadow to place the cart accurately on the track 
An added problem is that because all of the objects are capable of colliding with any other objects we can find 
any of them in any orientation.  If you accidently drop the cart so that it hits the edge of the track then it will 
probably  turn over,  it  might even  fall  on  the  floor.   So  it  is  necessary  when picking  objects up  to be able  to 
change their orientation.  This is simply provided for by using the mouse wheel at the same time as the X, Y, 
and Z keys for rotations around those axes. 

4. Simulating scientific apparatus 
For the range of experiments to be considered in detail here, there are a number of trivial and several more 
complicated objects.   Among the trivial objects are various blocks that can be used to support a track with a 
length  scale,  a  slope,  a  protractor,  a  ruler,  some  simple  carts  of  different  masses  and  a  ball  bearing.    More 
complicated devices are a timing gate with a digital timer with an auxiliary gate and some scales for weighing 
the carts or whatever else the user wishes to weigh. 

 
Figure 5: The simulated apparatus for a range of experiments 
All these objects are rigid bodies and can be picked up and orientated by the user.  Dropping a block on the 
scales will probably move them.  Placing the track onto the blocks takes a deal of care in avoiding collisions 
with other objects, a long track is after all a fairly unwieldy object in the real world and it is no different in the 
virtual  world.  Moving  these  objects  around  to  create  a  setup  for  an  experiment  is  a  unique  experience.    It 
seems quite surprising when at first you knock something over due to a careless movement, especially when 
that object then collides with another object and so on.  One very quickly adjusts to the amount of care that is 
needed when moving objects around as it gets quite tedious to be constantly having to retrieve objects from 
the floor! 
 
The  timer  is  a  device  that  works  in  a  number  of  ways  that  can  be  configured  by  the  user.    In  its  most  used 
mode  it  will  start  timing  when  the  light  beam  in  the  U gate  is broken.    This  is  constructed  as  a  hierarchy  of 
components which include the digital display, and the configuration buttons.  There are methods attached to it 
and various subcomponents to give it the necessary behaviour such as the U gate being rotated by the user 
positioning the mouse over the U gate and using the mouse wheel. 

 
300
 
Robert Lucas 

 
Figure 6: One of the carts passing through the timing gate 
In Figure 6 the cart is passing through the timing gate.  You can see the spot of light just to the right of the ‘A’.  
The digital counter counts the number of seconds that the beam of light is broken.  In the simulation the beam 
of light is replaced by a collider.  This is a necessity as obtaining the value of the light falling on an object is not 
something  that  can  be  computed  without  the  necessary  hooks  into  the  game  engine,  however  this  is  a 
theoretical  possibility.    Using  a  collider  is  a  pragmatic  solution  and  does  not  change  the  functionality  of  the 
timing gate, it will time whatever passes through it, just like the real light beam one would. 

5. Performing an experiment 
Various experiments can be designed and performed with the above specified components, among them are: 
plotting the acceleration of a ball down a slope to determine the distance/speed relationship, determining the 
acceleration due to gravity or establishing the conservation of momentum.  In performing the first of these the 
user might: 
ƒ Create a slope by positioning two blocks of different heights on the table and putting the track onto them. 
ƒ Placing the timing gate over the track and adjusting the height and orientation of the ‘U’ gate part (See 
figure 6). 
ƒ Picking up and dropping the ball‐bearing onto the track at a specific position. 
ƒ Noting the distance and the elapsed time from the timing gate. 
ƒ Resetting the timing gate to zero, placing it further along the track. 
ƒ Repeating from 3. 
When  the  user  has  collected  a  set  of  readings  he  or  she will  then  be  able  to  plot his  or  her  graph and  with 
some prompting may be able to establish the relationship between distance and speed (which is clearly not 
linear due to the acceleration). 
 
Of  course  the  user  might  design  this  experiment  quite  differently,  he  or  she  might  use  the  timing  gate 
accessory as a prop for the track, after all its height can be adjusted so it does this quite well and is not needed 
in this experiment for anything else.  In figure 8, an enterprising user has decided to measure the fall of the 
ball‐bearing vertically from the top of the table to the floor using the track as a ruler, note that the U gate has 
o
been rotated through 90 . 
 
It is the inherent flexibility that is built into each component that makes this possible and makes this approach 
a richer tool for teaching Physics.  The students have the opportunity to discuss the different approaches taken 
and  their  attendant  advantages  and drawbacks,  an  opportunity  completely  denied  them  in  a  pre‐assembled 
experiment whether virtual or not. 

 
301
 
Robert Lucas 

 
Figure 7: The user can adjust the height and angle of the ‘U’ gate 

 
Figure 8: An enterprising use of the track as a vertical ruler 
A  significant  problem  is  encountered  with  the  accuracy  of  the  Physics  Engine  in  calculating  forces  and  their 
consequences.  A simple illustration of this is that using the scales to weigh an object repeatedly can lead to 
different  results.    In  real  life,  scales  offer  very  repeatable  results  with  accuracy  to  a  tenth  of  a  gram  being 
common with a cheap set of electronic scales.  In our virtual experiment the reading might vary by as much as 
2‐3%.  Attempts to improve the accuracy by changing the number of iterations used by the Physics Engine has 
not yielded much improvement and this remains a problem that needs to be solved. 

6. Extending the science 
This is all very well for exploring Newtonian mechanics which is what the Physics engine is simulating anyway.  
What  happens  when  you  stray  into  other  scientific  domains?    In  different  areas  we  need  to  supply  the 
necessary simulation code in the frame update function of the game engine. Clearly, for such a simulation to 
be  viable  we  must  be  able  to  do  such  calculations  in  the  very  short  time  interval  of  a  single  frame.    For 
example, in an electrical simulation we would need to add code that performed updates to voltage, current 
and  charge  amongst  other  parameters  on  a  frame  by  frame  basis.    Perfectly  good  simulators  have  been 
created  for  electrical  circuitry  and  their  methods  are  directly  transferable  to  a  3d  environment  with  the 
additional need for 3d models of all the components being simulated.  Connectivity would be determined by 
collision  detection.    As  with  the  examples  given  here,  all  components  would  need  to  be  rigid  bodies.    A 
dropped capacitor  would  fall  to  the  table  or  the  floor.    Furthermore,  electrical properties  would need  to be 
assigned to all objects for consistency.  A circuit might be completed by accident by placing a steel ruler across 
some  connections  necessitating  all  objects  having  a  resistance  property.    In  our  virtual  experiment  for 

 
302
 
Robert Lucas 

measuring  Planck’s  constant  (Keylink  2014)  we  have  implemented  a  multi‐meter  which  is  a  device  for 
measuring a range of electrical properties such as resistance and voltage.  It is straightforwardly implemented 
as an object (in the Computer Science sense) with the properties and methods that support its functionality 
along with the graphics and the necessary animation (the position of the knobs and digital display) that reflect 
its operation. 

 
Figure 9: An electrical multi‐meter in a simulated experiment. 
Any scientific realm can be accommodated by this method of adding its simulation code into the frame update 
procedures although some might be too difficult for today’s computing power.  For example, liquids that can 
be poured from one vessel to another realistically are currently not possible.  If you have seen this being done, 
such as in the film ‘Ratatouille’ then be aware that the rendering was not done in real time.  In (Collider 2014) 
some frames from Monster Inc. are reported as taking 11‐12 hours each. 

7. Conclusions 
The object oriented paradigm is ideal for representing real life objects with its ability to give any object a set of 
properties and behaviours that mimic the real counterpart.  This is true where there are no graphics involved 
and many simulations take this form.  When graphics are added, as we have here, we get the huge advantage 
of  our  objects  coming  to  life  and  reflecting  their  real‐world  behaviour  as  3d  animations  that  the  user  can 
interact with.   This approach has been used to great effect in creating scientific apparatus that has realistic 
behaviour which can then be used in a flexible way not only to construct experimental scenarios but to allow 
the end user to do this. 
 
The  experimental  laboratory  using  the  timer  gates  described  herein  is  a  rich  environment  for  exploring 
Newtonian mechanics despite some problems with accuracy.  This allows the user to experiment in a variety of 
ways that may not be predictable.  This allows the user not only to design the experiment but to experiment 
with  different  designs.    It  is  this  element  that  is  such  a  valuable  experience  to  the  budding  scientist  as 
recognized by the Institute of Physics.  Easily moving the various devices around proved a challenge when the 
interface is limited to mouse and keyboard input.  However, this was successfully overcome by a combination 
of  disabling  the  Physics  for  the  object  and  augmenting  the  usual  depth  cues  with  a  shadow  from  a  virtual 
overhead  light.    It  is  proposed  that  this  could  be  made  even  more  effective  by  rendering  the  scene 
stereoscopically as has been implemented in a previously created virtual experiment but taking advantage of 
the availability of the inexpensive virtual reality headset called ‘Google Cardboard’. 
The current implementation represents a significant improvement on rigidly designed virtual experiments.  Its 
successful implementation has given us the impetus to extend the number of scientific instruments that are 
implemented in this fashion and thus increase the number of possible experiments. 
References 
Bloom B. S. (1956) “Taxonomy of Educational Objectives, Handbook 1: The Cognitive Domain”.  New York: David McKay Co 
Inc. 
Collider (2014) “Pixar by the Numbers – From Toy Story to Brave”.  http://collider.com/pixar‐numbers‐toy‐story‐brave/  
(accessed 30 May 2014). 

 
303
 
Robert Lucas 

Thomas M. Connolly, Elizabeth A. Boyle, Ewan MacArthur, Thomas Hainey, James M. Boyle (2012) “A systematic literature 
review of empirical evidence on computer games and serious games”.  Computers and Education.  Volume 59, Issue 
2, September 2012 pages 661‐686. 
Darius PL, Portier KM Schrevens E (2007) “Virtual Experiments and Their Use in Teaching Experimental Design” 
International Statistical Review Volume 75, Issue 3,  pages 281–294, December 2007. 
Hatherly P, Jordan S and Cayless A (2009) “Interactive screen experiments – innovative virtual laboratories for distance 
learners”.  Eur. J. Phys. 30 (2009) 751‐762) 
Google Cardboard http://www.androidcentral.com/weekend‐project‐make‐or‐buy‐your‐own‐google‐cardboard‐vr‐headset 
(accessed 10th August 2014). 
Gregory R. L. (1966) “Eye and Brain the psychology of seeing”.  World University Library. Weidenfeld and Nicolson. 
Institute of Physics (2011), Degree Accreditation, 
http://www.iop.org/education/higher_education/accreditation/file_43311.pdf (accessed 28 May 2014). 
Keylink (2014) http://www.keylinkcomputers.co.uk/virtualscienceexperiments.html (accessed 28 May 2014). 
Lucas R J, Kolb U. (2009) “Use of 3‐D Virtual Environments in Teaching Physics and Astronomy”.  Proceedings of Frontiers In 
Science Education Research. Cyprus March 2009 Eastern Mediterranean University press 2009. ISBN 978‐975‐8401‐
67‐3. 
Lucas, R J.  (2010). “Using a virtual world for teaching the motion of projectiles”. In Norton, Andrew ed. Electronic 
Resources for Teaching and Learning (In press). The Open University, pp. 58–64. 
Lucas, R J (2010). . “The Celestial E‐Sphere”. In Norton, Andrew ed. Electronic Resources for Teaching and Learning (In 
press). The Open University, pp. 58–64. 
Lucas R J. (2010) “3‐D Immersive Screen Experiments”.  Proceedings GIREP 2009. , (Groupe International de Recherche sur 
l'Enseignement de la Physique) 17‐21 August 2009 Leicester University. ISBN 978‐1‐4461‐6219‐4. 
Lucas R. J. 2012 Virtual Spaces for 3D Animation.  Journal of 3D Imaging.  Volume 195. The Stereoscopic Society. 
Morris V. C. (1969).  “Modern movements in educational philosophy”.  Houghton Mifflin. 
Scheucher, B.  Bailey, P. H. Güt,l C. Judson Harward, V. (2009) “Collaborative Virtual 3D Environment for Internet‐Accessible 
Physics Experiments” iJOE – Volume 5, Special Issue 1: REV2009, August 2009 
Sneddon P. (2010) Experimental design exercises – physics labs B&Q style.  Physics Higher Education Conference, 
th
University of Glasgow 9  September 2010. 
http://www.heacademy.ac.uk/assets/ps/documents/events/2010/phec/Proceedings_of_PHEC_2010.pdf (accessed 
29th May 2014) 
Tombraider (2014) www.tombraider.com (accessed 28 May 2014). 
Unity (2014) www.unity3d.com (accessed 28 May 2014). 

 
304
Digital Education With IT: How to Create Motivational and Inclusive 
Education in Blended Learning Environments Using Flipped Learning 
– A Study in Nurse Education 
Niels Bech Lukassen1, Annette Pedersen 1, Annegrethe Nielsen1, Christian Wahl1 and 
Elsebeth Korsgaard Sorensen2 
1
University College of Northern Denmark (UCN), Aalborg, Denmark 
2
Aalborg University (AAU), Dept. of Learning and Philosophy, Denmark  
NBL@ucnact2learn.dk 
AEP@ucn.dk 
ann@ucn.dk 
chwa@ucn.dk 
elsebeth@learning.aau.dk 
 
Abstract: The purpose of this paper is to examine how collaborative IT‐design integrated in pedagogic designs can create 
motivation  and  transfer  from  an  educational  setting  into  the  student’s  clinical  education.  Learning  design  for  higher 
education can be challenging, especially in subjects with great quantities of theoretical material and where students have 
difficulties  in  linking  theory  with  practice.  This  paper  reports  a  case  study  in  the  nurse  bachelor  education,  in  which  the 
subject  studied  is  “Organization,  administration  and  management”.  Former  evaluations  indicate  great  student 
dissatisfaction.  The  ways  of  teaching  in  this  subject  was  dominated  by  lectures  from  one  teacher  and  oral  student 
presentations.  Many  students  felt  excluded  and  frustrated  after  class  and  could  not  relate  the  subject  content  to  the 
hospital context. In this design we carry out experiments with Flipped Learning integrating Otto Scharmer’s Theory U as a 
motivational pedagogical model to ensure quality and a meta perspective in linking theory into internship. The research 
design  is  inspired  by  action  science  research  experiment  and  is  ontologically  embedded  with  practice  as  it  employs 
participatory  observation,  focus  group  interviews  as  instruments  to  collect  data.  The  learning  experiment  is  based  on 
blended  learning  theory  and  explores  ways  of  creating  motivational  learning  designs  to  enhance  transfer.  In  a  blended 
learning  environment  the  teacher  must  create  a  community  of  inquiry  and  consider  factors  such  as  social,  teaching  and 
cognitive presence. This paper is an account of an investigation into how online activities combined with the principles of 
Flipped Learning can create and enhance motivation.  
 
Keywords: higher education, blended learning, motivation, transfer, flipped learning, pedagogic, Theory U, inclusion, 
collaboration, participation 

1. Introduction ‐ The problem of motivation in nursing school environments 
The  nursing  education  is  a  three  and  one‐half  year  program  consisting  partly  of  theoretical  and  partly  of 
clinical education. Graduates are entitled to the title Bachelor of Sciences in Nursing. The holder of the title is 
authorized  to  practice  as  a  Registered  Nurse  in  accordance  with  the  laws  of  the  Danish  parliament  on 
authorization (UC 2014 ).  
 
What  initiated  our  interest  was  the  students’  lack  of  motivation  in  a  certain  element  of  their  3rd  year  of 
education. In this module (15 ECTS) the main focus is on nursing, acute and critically ill patients’ experiences, 
reactions,  conditions  and  actions  in  relation  to  acute  critical  illness,  suffering  an  imminent  death.  These  are 
areas, students find exciting, interesting and motivating in itself, obviously part the nursing core and clinical 
practice. 
 
One theme (2 ECTS) during this module focuses on the subject nursing management and organization theory.  
This  subject  is  perceived  as  highly  abstract,  as  the  students  find  it  hard  to  understand  the  theory  and  are 
having trouble seeing how it applies to being a nurse. This is illustrated by these quotes from previous students 
following the course, as well as in table 1 (below): 
"We are not supposed to be leaders". 
"Hard to figure out the connection between the teaching and practice, and this is probably due to 
our relatively small practical experience”. 
 

305
 
Niels Bech Lukassen et al. 

Table  1:  Students’  and  teachers’  experienced  organization  and  collaboration  theme  of  the  course  (previous 
module) 
From the teachers’ point of view (narratives)  From the students point of view (narratives) 
Uninterested students  Abstract and difficult literature 
Unprepared students  Boring lectures 
“Why can’t students realize that this issue is important”  “Dry subject – therefore I choose to stay at home” 
“The students only discover the relevance to the end of  Lack of relevance to practice and the rest of the 
the training (and then it is too late).”  modules topics 
Organization and management theory is boring 

In order to address the motivation issue we were inspired to revise the theme using a design, based on Flipped 
Learning,  integrating  Otto  Scharmer’s  Theory  U  as  a  model.  Our  expectation  was  that  these  changes  would 
inspire the students to find the course more interesting and encourage them to attend the course and work 
within the theoretical frame of the theme. The use of Flipped Learning may enable the teacher to spend more 
time  to  enter  a  reflective  dialogue  with  the  students  about  the  theme  content  thus  reducing  heavy  lecture 
time. 
 
For facilitating online activities the nursing education is using “itslearning” (hereinafter referred to as ITSL) as 
their primary tool. ITSL comes with a set of features that one would expect from any learning management 
system (LMS). ITSL is using the concept of “courses” to organize the overall structure of the site. 
 
We wanted to motivate and activate the students to increase their conception of the theme in order to see it 
as important to their future work as nurses, as they do with the other courses on the subject. 

2. Research design ‐ Exploring the pedagogical practice of nursing education 
The  overall  project  is  designed  as  an  action  research  project  focusing  on  pedagogic  development  to  induce 
motivation and transfer. Four of the authors participated in the design of various teaching elements for the 
lessons  in  question,  and  one  of  the  authors  taught  some  of  the  lessons.  The  choice  of  action  research  as 
methodological  framework  enabled  us  to  study  and  evaluate  the  pedagogic  changes,  while  participating  in 
pedagogic development in collaboration with the teachers (Nielsen & Nielsen 2010).  
 
To  explore  the  actual  learning  process,  we  applied  a  range  of  different  methods.  As  a  start  we  strived  to 
describe  the  educational  challenge  by  looking  into  evaluations  of  similar  courses  in  earlier  years,  informal 
interviewing of one of the teachers, who also contributed to the narrative shown in the introduction of this 
article. 
 
Having decided which IT‐based items we wanted to implement in the five day course, we planned on taking 
advantage of every step of the students learning behavior to gather data for later investigations and analysis. 
Having  exposed  material  for  the  students  to  use  in  their  preparation  for  the  course,  we  could  register  how 
many of the students who have accessed the material ‐ and the time of registration. We could register how 
they performed on the tests and observe, if they had difficulties turning in the different formats of reports we 
assigned for them: pictures, sound files, forms and text. 
 
During the sessions we used different kinds of observation method to gain insight in how the students worked 
with the material and how they interacted with each other and the teacher. 
 
After the course we conducted 2 focus group interviews with five students each moderated by two members 
of the project team. Besides the teachers were asked to reflect on the execution of the theme and how they as 
teachers had worked with the students previously. 
3. Motivation as the vehicle for learning 
In  order  to  learn,  the  student  must  be  exposed  to  the  subject  in  question  and  be  able  to  apply  the 
psychological  energy  to  acquire  the  knowledge,  skill  or  competence.  Learning  is  energy  consuming  and  to 
mobilize  the  energy  to  learn,  a  learner  may  experience  curiosity  or  an  unsatisfied  need  for  knowledge, 
understanding  or  the  acquisition  of  skills  and  thus  be  motivated  to  spend  the  energy.  Illeris  (Illeris  2006) 
defines motivation as a component of this driving force developed through life when the individual interacts 

306
 
Niels Bech Lukassen et al. 

with  his  or  her  environment.  Learning  is  seen  as  a  response  to  a  need,  but  also  a  delight  in  itself,  through 
which mental and bodily balance can be achieved.  
 
Motivation for learning can be promoted by many sources and it is well known that the social environment in 
which the education takes place has a big impact on learning (Illeris 2006). Especially for children and young 
people are the social opportunities an important vehicle for engagement and commitment in the educational 
activities.  But other social factors are important also in an education leading to a specific professional such as 
nursing.  The  social  construction  of  the  professional  identity  is  at  stake  and  can  be  seen  as  part  of  the 
background  for  the  nursing  students’  decisive  opinions  on  the  organization  and  management  theme.  The 
nursing students not only find the knowledge presented in the course irrelevant – they may see themselves as 
something  different  from  an  administrator  hence  defending  their  professional  identity  by  refusing 
engagement in the organization and management course. 
 
To be able to interpret a learning situation and see the subject as meaningful is crucial for student motivation. 
Biesta  (Biesta  2013)  see  the  lack  of  experienced  meaning  as  a  main  reason  for  motivational  problems  in 
contemporary  education.  It  is  possible,  Biesta  makes  a  plea  for  engaging  students  in  learning  activities,  in 
anticipation  of  gaining  competence.  But  it  is  even  more  important  to  engage  the  students  in  learning 
adventures  where  enthusiastic  teachers  are  able  to  present  subjects  and  offer  activities  in  such  a  way  that 
students willingly undertake the challenge and risk of learning. 
 
Sørensen (Sørensen 2013) has looked specifically on the use of IT in teaching and finds that the use of IT in 
itself seems to motivate students to spend energy on learning activities. The three factors that encourage this 
are the (1) flexibility of independent study planning, (2) manufacturing products and (3) the use of different 
digital  media.  Sørensen  also  points  out  that  using  competition  as  a  part  of  learning  activities  seem  to 
encourage students to engage in learnings activities by which they may eventually learn (Sørensen 2013). 
 
In an education, which leads to a specific professional role in society, an important focus is transfer from the 
learning environment to the workplace. Maximizing the transfer is an important consideration for educators 
and students. Educational activities, which seem to have a high impact on transfer will encourage the students 
to participate. Wahlgren (Wahlgren 2009) distinguishes between near and distant transfer with near transfer 
indicating transfer of knowledge and skills directly to practice situations with similar characteristics and distant 
transfer indicating transfer of concepts and more complex analysis of practice situations. 
 
Using  IT‐based  designs  as  simulation  makes  it  possible  to  mimic  reality  and  thereby  present  knowledge  and 
skills training in a way that can support near transfer. Simulations as well as other types of IT‐based designs 
can support distant transfer by involving students in analytic work, roleplaying and group discussions. 
4. A Flipped Learning ‐ pedagogic design 
A part of our design is "Flipped Learning". The method was introduced by Salman Khan in 2004, when he and 
his staff started producing more than 4,000 tutorials on YouTube about learning mathematics. Khan's goal of 
Flipped Learning is to reduce the heavy lectures in class and instead prioritize collaborative and free activities 
(Kahn 2013).  
 
As  part  of  the  students’  preparation  they watch  a  video  where  the teacher presents  a  particular  theoretical 
issue. If the students have seen the theoretical lecture before the physical session in class, it provides more 
time in which: 
 
The  students  may  in  the  light  of  the  videos  make  more  and  more  informed  questions  to  the  theoretical 
content of the lesson. 
 
The students can engage in collaborative processes. 
 
The students may, at their own pace, watch the videos several times. 
 
A  Flipped  Learning  design,  is  not  about  choosing  between  the  teacher  or  the  learner‐centered  teaching 
method, but uses elements of both forms. Peer instruction also has a positive effect. This increases the focus 

 
 
307
 
Niels Bech Lukassen et al. 

on  the  higher  taxonomy  levels  (Bloom  1956).  To  get  to  the  top  in  the  taxonomy  Blooms  point  is  that  the 
learning  process  should  make  room  for  feedback  and  corrections  at  one  to  one  interactions  (Hamdan  et  al. 
2014). 
 
The  cognitive  psychological  phenomenon  priming  (Gade  1997),  also  plays  a  key  role  in  the  Flipped  Learning 
concept. The students have before class reviewed and reflected on the teacher's videos to prime the students' 
memory. This gives the students greater opportunity to restore (recall) the knowledge they acquire from the 
videos and in the classroom (Hamdan et al. 2014). This can be linked to the theory of pre‐training, where the 
students before class have undergone some instructions. Pre‐training is based on research in Cognitive Load 
Theory, which states that we have a natural limit to how much information we can handle at once. Pre‐training 
can reduce the cognitive overload that can often occur with traditional teaching (Hamdan et al. 2014). 

5. Theory U based exercises – post video watching 
In our design we used Theory U by Otto Scharmer (Scharmer 2009) as a pedagogic exercise. Theory U offers 
participants  different  processes  that  lead  their  journey  through  different  ways  of  thinking  or  turn  their 
awareness on how to make changes within a specific area and sharing experiences  
Table 2: Example of an exercise based on Theory U: This particular exercise was used with a provided case 
Theory U  Group assignment 
Downloading patterns from  Agree on the most interesting theme in the case that in your point of view is 
the past  important for nursing practice. Write down cues. 
Seeing and sensing  Explain each other in group how you understand this specific theme and how you can 
use it in your future nursing practice. 
Presencing  How can you involve other partners at the hospital (doctors, physiotherapists etc.) 
when you discuss quality and patient safety? 
Crystallizing  How can you argue that the terms management and organization can relate to your 
nursing practice and is crucial for your profession? 
Prototyping  What will you change – regarding your theme? Do you have a new understanding of 
quality? 
Performing  Relate your proposal to an evidence based practice and theories in implementation. 
How do you implant your intervention? 
Before  the  students  were  introduced  to  the  exercise  they  watched  a  video  in  which  the  teacher  presents  a 
particular theoretical issue within the theme organization and collaboration. The idea of using Theory U was to 
introduce a new way of seeing organizational and administrative problems in the case. In Scharmer’s model 
there are two crucial points that are of interest if we look at our intention of using a motivational model to 
ensure  quality  and  a  meta  perspective  in  linking  theory  into  clinical  pratice.  The  first  point  is  Sensing.  This 
phase of the model U does not only bring forth the participants intellectual understanding of a problem from 
the case but also encourage the students to verbalize their emotional empathy in relation to the problem. That 
way  the  students  get  a  profound  understanding  of  the  problems  in  the  case,  which  contains  several  topics 
related to the theme. 
 
Throughout  the  processes  in  the  Theory  U  the  students  let  go  of  old  ways  to  learn,  old  ways  to  look  upon 
things  and  old  ways  to  feel  about  things.  This  point  is  called  Presensing  and  helps  the  students  to  reach  a 
creative space.  
 
A  central  thing  in  Scharmer’s  thinking  is  concentrated  around  the  understanding  of  stop  Downloading. 
Downloading refers to the daily decisions we make every day that often are based on experiences from the 
past  we  use  in  the  present  in  a  unexamined  way  (Dencker  2008).  Our  daily  life  problem‐solving  requires 
introspection, self‐discipline and peace if we want to stop downloading and become aware of our unconscious 
decisions hence make room for new ways of problem‐solving (Hildebrandt 2012). 
6. Inclusion through blended learning  
An inclusive learning design must involve all students in class. It must set high expectations and make room for 
mutual  adaptation  between  educator  and  student.  An  important  milestone  in  our  design  was  to  increase 
student  motivation,  participation  and  create  an  inclusive  learning  environment  for  all  nurse  students. 
Education  is  all  about  communication  and  how  communication  can  make  room  for  participation  for  the 
student. All students in a learning environment must be aware of the common goal, be motivated and show 

308
 
Niels Bech Lukassen et al. 

interest  in  the  subject  to  be  a  participant  (Biesta  2014).  If  the  student  does  not  participate  in  the  learning 
environment  the  student  is  excluded.  This  student  exclusion,  is  as  stated  in  the  introduction,  our  primary 
concern for this class in “Organization, administration and management”. In an inclusive learning environment 
we need to create a design which connects the students both physically in class and online with ITSL. Our aim 
was  to  create  a  community  of  practice  where  the  students  collaboratively  can  share  meanings,  ideas, 
knowledge, determine solutions and build innovations. 
 
Our  learning  community  was  inspired  by  Lave  and  Wenger’s  concept  of  legitimate  peripheral  participation 
(Lave & Wenger 1991) and his concept of Communities of practice (CoP) (Wenger 1998), stressing the three 
components: 1. Domain. 2. Community. 3. Practice (Wenger 1998). 
 
In  our  design  we  provided  the  opportunity  for  the  student  to  be  a  part  of  a  domain.  A  CoP  has  an  identity 
defined by shared domain of interest. An import part of our design was the use of Socrative in class. Socrative 
is  a  free  online  functional  learning  aid,  which  allows  the  students  to  share  knowledge  anonymous.  The 
students  worked  with  a  task  that  involves  role‐play  and  were  asked  to  submit  their  conclusions  online  on 
Socrative. This created a visually shared domain of interest where the students were able to share knowledge, 
get an overview of the answers from the other groups and discuss agreements and disagreements. After the 
session the teacher collected the data from Socrative and placed it in a shared place on ITSL.  
 
In a community it is fundamental that students in the domain interact and engage in shared activities, assist 
each other and share information (Wenger 1998). They must build new relationships and strengthen old ones. 
This  learning  concept  gave  the  teachers  a  significant  amount  of  extended  timeframe  for  meta  perspective 
collaborative activities and experiments with new group constellations. The students were able to intensively 
discuss  the  (sometimes  difficult)  concepts  and  theories  in  the  subject  “Organization,  administration  and 
management”. When their interaction and engagement sometimes failed the teacher had the time to sit down 
at be an active listener and (new) temporary legitimate member of the student community. Our observations 
and  focus  group  interviews  shows  great  satisfaction  with  this  type  of  learning  environment  and  shows  an 
engaging, productive and life‐giving classroom. Student quote: 
“It gave a good overview, better than what we had in the previous topics.” 
“It was good to know that we could ask questions to the teacher even though we didn’t have any 
at the time.” 
In a CoP, there needs naturally to be a practice. A CoP is not just students who have an interest in something. 
The student must develop a shared repertoire of resources, which in our design includes the videos on ITSL, 
conclusions from Socrative, answers from the quiz on ITSL and other elements that can be used as a resource 
for the student. It can also be an especially interesting conversation with the teacher or classmate that triggers 
or  inspires  the  student  for  further  studies.  Our  primary  goal  is  that  learning  must  be  seen  as  a  social 
participation ‐ that is, an individual as an active participant in the practice of social communities, and in the 
construction of the student identity through these communities (Wenger 1998). Students create in an ongoing 
learning process their shared identity through engaging in and contribution to the CoP. The motivation to be a 
more  central  participant  in  a  CoP  can  give  a  powerful  motivation  for  learning.  Students  will  have  a  wish  to 
grow skills if the people they respect or admire have the same skills. 
 
We adopted an education design model developed by Randy Garrison and Norman Vaughan that provides a 
framework  for  developing  a  CoP  in  further  nurse  education  using  traditional  teaching  principles  and  it 
technologies.  Garrison  and  Vaughan  (Garrison  &  Vaughan  2008)  present  an  evidence‐based  framework  for 
collaboratively working in a blended learning environment. The framework, named Community of Inquiry (CoI) 
is a recursive model in that each of the core elements supports the others. The elements are social presence, 
cognitive presence and teaching presence, and it is important to note the interdependence across and within 
the presences (Garrison & Vaughan 2008). 
 
The  social  presence  category  represents  the  category  of  where  the  design  must  provide  a  risk  free  learning 
environment, where the students can express themselves and develop personal relationships and gain a sense 
of belonging to the community.  
 

 
 
309
 
Niels Bech Lukassen et al. 

First of all ITSL is doing this by offering the students a profile. All students are identified by their real name and 
they  can  add  information  about  themselves,  giving  everyone  else  a  sense  of  their  personality.  Whenever  a 
student (or teacher) has been active, writing in a forum, posting a file etc. the name of that student will be 
connected to the action giving other students the possibility to navigate to the student’s user profile. When 
students  and  teachers  login  to  ITSL  they  can  see  a  list  of  users  that  are  online,  which  give  the  students  an 
awareness of their presence.  
 
The students are third year students and are apparently socially grounded as a group. Our observations in the 
physical classroom indicate a great level of social interaction with great laughs and personal interest and care 
for each other. Social interaction is alone inadequate to sustain a CoI and achieve educational goals and higher 
levels  of  learning  require  meaningful  discourse  to  collaboratively  construct,  critically  reflect  and  confirm 
understanding  (Garrison  &  Vaughan  2008).  Therefore  the  CoI  must  in  addition  include  a  cognitive  presence 
that supports the cyclical inquiry pattern of learning from experience through reflection and conceptualization 
to action and on to further experience (Garrison & Vaughan 2008), which David Kolb, inspired by Piaget and 
Dewey also suggested. Cognitive presence is a recursive litigation, which includes that the students must have 
a sense of puzzlement, exchange information, connect their ideas, explore new opportunities and apply new 
ideas.  
 
In an LMS like ITSL many of the features support this, if used correctly. An example could be a forum where 
students  can  discuss,  give  feedback  or  share  ideas  with  each  other  or  a  personal  blog  where  students  can 
reflect on their own learning or comprehension.  
 
Last  but  not  least  the  CoI  must,  in  an  educational  context,  include  teaching  presence  to  connect  the  above 
elements  and  secure  student  productivity.  Teaching  presence  provides  facilitation,  direction,  design, 
curriculum, methods and is the crucial element that brings social and cognitive presence together.  
7. Findings  
During sessions in the classroom employing the principles of Flipped Learning observations indicate how the 
time was spend. We found that the teacher dominated the learning environment with one way teaching 20% 
of the time while the students worked collaboratively and engaging 70% of the time. The last 10% was used by 
technical, practical, and social issues. 
 
In the use of ITSL the teacher decides which features are appropriate to use for a specific course. In our setup 
we used the following features: 
ƒ Rich‐text pages 
ƒ Uploaded videos and presentations 
ƒ Assignments 
ƒ Quizzes 
ƒ Course dashboard with bulletins 
The course content (an area of the course for storing files and activities) contained 15 folders including the one 
used  by  our  theme.  As  each  folder  had  several  subfolders  the  complexity  of  the  course  content  was 
overwhelming for some of the students. The starting point was a rich‐text page that introduced the sessions, 
group work and activities for the students. The rich‐text page was a simple way for the teacher to describe the 
theme content in one page and students found it useful as expressed at the focus group interview: 
“After finding the page I found it informative and useful.” 
But not all students were used to this way of presenting information: 
“We have never seen this kind of page before and were not informed about it in the first place.” 
Obviously it can be difficult to navigate a course in ITSL, especially with that many folders. 
 
As part for our Flipped learning four videos were produced. The students were told to see the videos preparing 
for two of the sessions. Each video had a length of 13 to 19 minutes and presented theory for the sessions. 
Overall the students were satisfied with the use of videos: 

310
 
Niels Bech Lukassen et al. 

“I can easily read up on the things watching the videos again.” 
“I think I learned more.” 
But at the same time students also encountered problems while watching the videos: 
“Sometimes the video just stopped and I had to start all over again.” 
Unfortunately many students had the same kind of issues with the videos, either problems with pausing the 
video  or  downloading  it  (often  to  mobile  devices).  The  video  files  were  uploaded  to  ITSL  and  had  to  be 
downloaded, before they could be watched. Different browsers and operating systems apparently handle this 
in different ways, a fact that we were not aware of and witch were crucial especially for novice students. Other 
comments are more related to the way that theory was presented and that the videos should not be seen as a 
replacement of traditional media like the book: 
“I need something written in a book that explains the theories as well.” 
And that the level of which the traditional sessions are remediation should be considered again:  
“It would be great if I could see the teacher while she was speaking.” 
Students still prefer looking at the teacher in combination with the slides and not only the slides. 
 
One of the activities that the students should do outside the classroom were quizzes. We did two quizzes on 
two different topics encouraging the students to take the quizzes while they were working in groups. After the 
course 1/3 of the students had answered the quizzes. At the focus group interviews students found the quizzes 
useful. 
 
Even though ITSL can give the students an overview of the course using the dashboard it still seems difficult for 
the students to get information. The students chose to make their own online discussions on Facebook. 
“We  have  created  our  own  closed  group  on  Facebook.  We  are  all  on  Facebook  except  two 
students. We use this to communicate on academic and practical issues in all of our classes. And 
we share files and documents as well”.  
“ITSL is not logically and intuitively designed” ‐ “It´s very confusing with all those subfolders” 
Moving  communication  between  students  (and  indirectly  from  teacher  to  students)  from  ITSL  to  Facebook 
undermines  part  of  the  intention  with  ITSL  and  ruins  our  documentation  for  their  interaction.  It  also  shows 
quite well the general relationship of the students to it – they use the tool what they feel most appropriate in 
a given case. 
8. Conclusion 
As  expected  we  found  that  time  in  classroom  employing  the  principles  of  Flipped  Classroom  was  spend  on 
collaborative  group  work  instead  of  traditional  lecturing.  Our  empirical  data  indicated  that  many  students 
engaged in high quality discussions resulting in answers to the problems described in a provided case. 
 
To enhance learning a selection of online materials were available to the students. Many students worked with 
the materials and produced the intended products, and at the focus group interview students expressed that 
they found the exercises helpful to structure their work with the case.  
 
Especially  the  quizzes  were  found  to  be  helpful  by  the  students  to  assess  their  understanding.  To  further 
exploit  this  feature  the  students  should  be  able  to  revisit  all  information,  videos,  resources  and  activities  in 
ITSL ensuring that the student at any time can read up on the curriculum. 
 
From  the  focus  group  interviews  and  observations  during  students’  group  work  we  found  that  we  had 
overestimated the students’ ability to understand how the online activities interacted with the activities in the 
classroom hence making it difficult for them to benefit fully from the assignments.  
 
In  a  blended  learning  environment  like  this,  it  is  important  that  the  teacher  creates  a  connection  between 
classroom  and  online  activities.  Our  observations  confirmed  the  results  from  literature  review  that  lack  of 
connection between online activities and classroom activities influence the student opportunities to learn and 
engage.  

 
 
311
 
Niels Bech Lukassen et al. 

Our results suggest three primary focus points. The teachers must: 
ƒ contextualize and summarize the academic materials on ITSL – focus on scaffolding 
ƒ coordinate their roles in class – focus on collaborative teaching 
ƒ interact sufficient with students in class – focus on the creating a relationship  
Use of IT in education does not create motivation for learning but IT based designs can make a difference. If 
the  teacher  succeeds  in  creating  the  relationship  between  the  a  digital  mediated  content  and  the  academic 
community in the classroom the student’s engagement is strengthened. 
 
Did our IT based design impose any influence on the students’ motivation and learning outcome? Potentially it 
has as we have seen higher degree of student activity and several of our pedagogic designs worked the way 
they were intended. Further analysis of the data gathered throughout the theme will help us answering this 
question. 
 
The  answer  to  the  question  will  have  potential  impact  on  the  organization  of  other  higher  educational 
programs  which  share  the  challenge  to  engage  the  students  in  learning  subjects  which  the  students  do  not 
perceive as part of the core curriculum. 

References 
Biesta, G., Et opgør med nyttetænkningen. In N.U. Sørensen, E.M. Skaalvik & Unges lyst til læring (projekt) eds. 2013. 
Unges motivation og læring : 12 eksperter om motivationskrisen i uddannelsessystemet Kbh.: Hans Reitzel, pp. 268 
sider. 
Biesta, G.J.J., 2014. Den smukke risiko i uddannelse og pædagogik. Aarhus: Klim. 
Bloom, B. ed., 1956. Taxonomy of educational objectives : the classification of educational goals. New York: David McKay. 
Dencker, L., 2008. De første par skridt ind i Scharmers "U"‐univers [Online]: Ankerhus. 
Available at: 
http://www.ankerhus.dk/fileadmin/user_upload/ankerhus/dokumenter/artikler/De_foerste_par_skridt_ind_i_Schar
mers_U‐univers_01.pdf [Accessed 09.14]. 
Gade, A., 1997. Hjerneprocesser : kognition og neurovidenskab. Kbh.: Frydenlund Grafisk. 
Garrison, D.R.,1945‐ & Vaughan, N.D., 2008. Blended learning in higher education : framework, principles, and guidelines 
[Online]. 1. udgave. San Francisco, CA: Jossey‐Bass. 
Hamdan, N. et al., 2014. A review on flipped learning [Online]: George Mason University. 
Tilgængelig fra: 
http://www.flippedlearning.org/cms/lib07/VA01923112/Centricity/Domain/41/LitReview_FlippedLearning.pdf. 
Hildebrandt, S., 2012. Introduktion til teori U. Kbh.: Gyldendal Business. 
Illeris, K., 2006. Læring. 2. reviderede udgave. udgave. Frederiksberg: Roskilde Universitetsforlag. 
Kahn, S., 2013. The future of education [Online]. Kahn Academy. 
Tilgængelig fra: http://www.khanacademy.org/talks‐and‐interviews/key‐media‐pieces/v/khan‐academy‐‐the‐future‐
of‐education [Lokaliseret 2014]. 
Lave, J. & Wenger, E., 1991. Situated learning : legitimate peripheral participation. reprinted edn. Cambridge: Cambridge 
University Press. 
Nielsen, B. & Nielsen, K., Aktionsforskning. In S. Brinkmann & L. Tanggaard eds. 2010. Kvalitative metoder : en grundbog 
Kbh.: Hans Reitzel. 
Scharmer, C.O., 2009. Theory U : leading from the future as it emerges : the social technology of presencing. San Francisco: 
Berrett‐Koehler. 
Sørensen, B., Styrk deltagerperspektivet. In N.U. Sørensen, E.M. Skaalvik & Unges lyst til læring (projekt) eds. 2013. Unges 
motivation og læring : 12 eksperter om motivationskrisen i uddannelsessystemet Kbh.: Hans Reitzel. 
UC 2014, . The Deaconess University College, School of Nursing [Online]. 
Available at: http://www.sygeplejeskolen.diakonissen.dk/Default.aspx?ID=1106 [Accessed 09.2014]. 
Wahlgren, B., 2009. Transfer mellem uddannelse og arbejde [Online]. København: NCK. 
Wenger, E., 1998. Communities of practice : learning, meaning, and identity. Cambridge: Cambridge University Press. 
 

312
Cyberseniors and Quality of Life: A Focus on Social Networking 
Leticia Rocha Machado, Anelise Jantsch, José Valdeni de Lima and Patricia Alejandra Behar 
Graduate Program in Computer Education (PPGIE) at Federal University of Rio Grande do 
Sul (UFRGS), Av. Paulo Gama, Porto Alegre, Brazil 
leticiarmachado@yahoo.com.br  
anelise.jantsch@gmail.com  
valdeni@inf.ufrgs.br  
pbehar@terra.com.br  
 
Abstract: In the contemporary world which emphasizes the new, the different and the snapshot, we perceive an inversion 
of roles with regard to stages of life and appreciation of individuals. The old age in Western societies has often been linked 
to inactivity and biological decline. To reinforce this thought we find the cult of youth which dominates media, advertising 
and the contemporary society (Brandão and Silveira, 2010). Aging is not only a question of genetics and biology, but also 
psychological and social issues. Aging is a natural development of life and depends on the environmental conditions and 
the  socio‐cultural  characteristics  of  seniors’  lives  (Freitas,  2011).  Nowadays  the  information  and  communication 
technologies  (ICT)  have  contributed  to  dissemination  of  knowledge  through  several  means,  and  to  do  so  ICT  use  digital 
tools. These tools allow not only research but also may provide conditions towards knowledge to be shared and socialized. 
Thus, these technologies may help older people to reduce isolation and loneliness, increasing their chances of keeping in 
touch with family and friends, including their social relationships through the use of social networks as a tool to facilitate 
the active aging achievement (Páscoa, 2012). In this sense the population is increasingly concerned about the quality of life. 
Quality of life encompasses different factors and therefore it is considered multidimensional. So, quality of life refers about 
biological,  educational,  psychological  and  social  aspects  which  include  new  changes  in  society.  The  use  of  ICTs  can  help 
seniors  to  enjoy  and  include  themselves  in  the  Knowledge  Society,  mostly  through  Digital  Social  Networks  (DSN)  where 
they can relate with family and friends. The Digital Social Networks (DSN) foster changes in social relationships and they 
are a medium that enable changes in social relations, this research aims to investigate the influence of the use of DSN by 
elderly  who  are  already  digitally  included  and  utilize  this  type  of  technology.  We  investigated  the  DSN  influence  in  the 
quality  of  life  of  seniors.  For  this  purpose,  a  survey  was  conducted  with  twelve  seniors  who  participated  in  a  course  of 
digital inclusion in Brazil, during 2009 to 2013. We used the WHOQOL‐bref Questionnaire of World Health Organization to 
evaluate the quality of life perceived by the participants. Our findings indicate that seniors were active participants in the 
DSN,  and  use  it  mainly  to  communicate  with  each  other  and  exchange  information  as  a  way  to  maintain  existing 
relationships and to obtain new ones. This shows that DSN can improve the quality of life for seniors. 
 
Keywords: computer mediated communication, social media, Web 2.0 tools, digital social networks, Facebook 

1. Introduction 
The number of older people grows every year (Ala‐Mutka et al., 2008). The World Health Organization (WHO) 
reported on Geneva that life expectancy has increased an average of six years around the globe. In Brazil there 
was an increase of eight years (WHO, 2014). These data indicate how important is to think about the quality of 
life  in  an  older  population.  In  Brazil,  as  in  other  countries,  the  elderly  population  is  increasingly  occupying 
spaces in the society. To conform to the demographic reality, seniors are participating more actively in social 
life. Seniors are becoming more involved in communities, and they are creating new social networks. Today we 
can find the elderly at different communities (face‐to‐face and virtual) to improve their knowledge on subjects 
of interest of this group (Brandão and Silveira, 2010; Páscoa, 2012).  
 
Among the new ways of learning are the digital technologies. Older people are using more technologies like 
smartphones,  media  players,  tablets  and  more  (Chen  and  Chan,  2014).  Despite  the  larger  offer  on  new 
technologies, the elderly still want to learn the use of computer. Seniors see the computer as a great tool to 
stimulate  memory  and  to  build  or  to  enhance  new  knowledge.  They  recognize  in  the  computer  a  variety  of 
resources for communication and interactions with family, friends and to be up‐to‐date. The use of tools for 
information  technology  led  to  virtual  and  social  inclusion  to  older  people,  for  example,  by  online  social 
networks. The changes in our digital society conducted the older people to look for a space in the virtual world.  
 
Social  networks  are  studied  in  the  literature  since  1930.  There  is  a  wide  range  of  theorists  working  on  the 
subject. A social network is formed in different cultures and societies and generally consists of communities 
such  as  family,  school,  jobs  etc.  (Sawver,  2011).  From  the  rise  of  internet  in  the  90s  the  scope  of  social 
networks  has  increased  due  to  the  use  of  communication  technologies.  With  the  improvement  of  internet 

313
 
Leticia Rocha Machado et al. 

(web  2.0)  significant  changes  in  the  ways  of  communication  and  interaction  occurred.  By  these 
transformations it was possible to provide tools to create virtual communities like Orkut, Facebook etc. (Varela 
and  Ogawa,  2014).  This  paper  aims  to  discuss  the  relationship  between  the  use  of  social  networks  and  the 
quality of life in a group of seniors in Brazil. The study was conducted at the Federal University of Rio Grande 
do Sul (UFRGS) where, since 2009, our university offered workshops of digital inclusion for older people. This 
paper is organized as the following: section 2 presents the concept Quality of Life and the importance of social 
networks to seniors; in Section 3 we present the methodology adopted in this research, and a discussion about 
data collected is done in section 4. Finally, section 5 presents some concluding remarks about our work and 
implications for education and gerontology. 

2. Quality of life of elderly and digital social networks 
The World Health Organization (WHO) defines quality of life as “the individuals’ perception of their position in 
life  in  the  context  of  the  culture  and  value  systems  in  which  they  live  and  in  relation  to  their  goals, 
expectations,  standards  and  concerns”  (WHOQOL,  1995)  in  accordance  with  three  key  principles:  functional 
ability, socioeconomic status and life satisfaction (Silva et al., 2012). Quality of life and satisfaction in old age 
have been related to dependency/autonomy, taking into account aging consequences. There are people who 
present a decline in their health status and cognition skills when aging. Others live in a healthy way until they 
reach  advanced  age  (Joia  et  al.,  2007).  According  to  Silva  et  al.  (2012),  quality  of  life  in  old  age  can  be 
understood  as  health  maintenance  in  all  aspects  of  human  life:  physical,  social,  psychological  and  spiritual. 
Understanding  what  the  elderly  think  about  quality  of  life  is  important  for  health  professionals,  educators, 
families, government, and society in order to assist them in adopting healthy practices and behaviors facing 
the aging process. 
 
Research  on  social  networking  and  its  significance  to  seniors’  lives  has  been  occurring  for  many  years. 
Companionship  groups  often  act  like  a  second  family,  where  seniors  look  for  occupying  their  free  time  and 
establishing  emotional  bonds.  These  groups  serve  as  listening  spaces  and  increase  elderly  participation  in 
dialogues,  leading  them  to  experience  feelings  of  being  valued,  avoiding  the  sense  of  isolation,  reducing 
depression and improving self‐image (Oliveira and Queiroz, 2012; Araújo et al., 2005). The nature of a social 
network to seniors has a strong impact on their quality of life, for those who have a large number of different 
types  of  relationships  live  longer,  and  mortality  rates  are  highest  among  those  with  few  social  connections. 
Strong  social  bonds  also  tend  to  relieve  depression,  increase  life  satisfaction  and  stimulate  interest  in  daily 
activities (Sundar et al., 2011). Technology contributes to interaction between people, especially in the case of 
seniors who often have limited mobility due to health problems or issues of safety in the cities. This interaction 
was  only  made  possible  via  Internet  technologies  enabling  synchronous  or  asynchronous  interactions  with 
family and friends. This way the seniors do not only receive news of their relatives, but also see and hear them, 
making them feel part of these people lives, despite being apart. Digital social networks (DSN) are described as 
online spaces where individuals introduce themselves and establish and maintain connection with others. Thus, 
DSN can be an alternative to provide to the elderly a greater social interaction. 
 
Nowadays DSN are the fourth most popular activity even more than e‐mail and have almost 10% of the time 
spent on the Internet (Lewis, 2011). With great representativeness, Facebook comes as one of the most used 
social  networks  around  the  world,  as  a  meeting  place  for  sharing,  interaction,  and  discussion  of  ideas  and 
issues  of  common  interest.  It  is  an  informal  environment  where  any  individual  including  senior  citizens  can 
communicate, share and interact with the purpose of enhancing their social activity. This digital tool can be a 
facilitator  for  the  active  aging  process.  For  seniors,  this  tool  has  the  potential  to  reduce  their  isolation  and 
increase interactivity with others (Páscoa, 2012). To have a better understanding about DSN and the quality of 
life  for  seniors,  we  present  in  next  section  the  study  we  conducted  using  the  WHOQOL‐bref  questionnaire 
about  quality  of  life  in  a  group  of  12  seniors  in  2013,  and  how  they  perceived  the  use  of  DSN  to  an 
improvement in their social interaction. 
3. Methodology 
Social  networks  have  always  been  part  of  human  interactions.  With  developments  in  technology  these 
interactions  have  been  established  in  other  ways  including  the  virtual  environment.  Seniors  are  considered 
today  one  of  the  active  users  of  the  Internet,  mainly  in  digital  social  networks.  For  this  research  we  used 
qualitative and quantitative methods focusing on the use of digital social networks by seniors and its influence 
in their quality of life. The twelve (12) seniors surveyed were 60 years or older and attended a course designed 

314
 
Leticia Rocha Machado et al. 

for digital inclusion at the Federal University of Rio Grande do Sul, Brazil, between 2009 and 2012. The course 
aimed  to  empower  seniors  to  use  different  digital  technologies.  The  continuation  of  the  course  of  digital 
inclusion for seniors, in 2013, had as its main subject the issue quality of life during the aging process, and the 
goal  was  to  work  with  health  education.  For  this  purpose,  we  used  digital  media  for  interaction  including 
Facebook. According to Kececi and Bulduk (2012, p.160): “the main objective of health education is to provide 
individuals  and  society  with  assistance  so  that  they  can  lead  a  healthy  life  through  their  own  efforts  and 
actions. Therefore, health education supports and develops all kinds of individual learning processes. Similarly, 
it makes changes in the beliefs and value systems of individuals, their attitudes and skill levels; in other words, 
it changes their lifestyles”. 
 
Throughout  the  course  we  provided  materials  such  as  videos  and  texts  that  focused  on  a  healthy  lifestyle 
according  to  the  policy  of  active  ageing  (WHO,  2002),  the  behavioral  determinants:  healthy  eating,  physical 
activity, preventive behavior and social interaction. The digital social network was one of the resources used 
by  the  participants  to  discuss  and  share  other  materials,  as  well  as  their  own  experiences.  In  this  network 
(Facebook),  we  created  a  closed  group  where  only  the  members  of  our  course  could  post  and  view 
publications.  This  closed  group  also  promoted  a  greater  interaction  among  participants  and  thus  helped  to 
strengthen emotional and social bonds. Data collection involved the use of two instruments: (1) WHOQOL‐bref 
(WHOQOL,  1995)  questionnaire  focusing  on  quality  of  life  in  different  domains  and  (2)  social  network 
evaluation focusing on the technology. The instruments were applied at the end of each course in 2012 and 
2013. In addition, observations of interactions among participants in DSN were collected in the process. 
 
The WHOQOL‐bref questionnaire included two general questions related to quality of life and 24 questions of 
the  original  instrument.  Data  from  the  WHOQOL‐bref  were  pilot‐tested  with  20  centers  in  18  different 
countries.  WHOQOL‐bref  consisted  of  four  domains:  physical,  psychological,  social  relationships  and 
environment.  For  the  purpose  of  this  paper,  specific  topics  of  the  domain  were  used  as  "Environment"  and 
"Social Relations" in order to relate to the use of digital social networks. In addition to the WHOQOL‐bref, our 
study also included a questionnaire using multiple choice and essay questions focusing specifically on the use 
of DSN. Both instruments are complementary in analyzing the data and helped us enrich the understanding of 
the use of networks and their influence on the quality of life for seniors. The quantitative data were analyzed 
based  on  frequency  distribution  represented  in  percentages,  average  and  standard  deviation,  and  were 
presented in form of graphs. Qualitative data were based according to Bardin (2009) with respect to content 
analysis. In the next section we present the data collected for this study and their analysis. 
4. Discussion and data analysis 
Twelve  seniors  have  participated  of  the  research  with  an  average  of  68  years,  majority  with  an  educational 
level  of  university  degree  (44%),  followed  by  secondary  education  (33%)  and  elementary  education  (23%).  
First we present data related to the use of digital social networks, followed by specific data on the quality of 
life  ending  with  a  joint  discussion  of  collected  information.  Seniors  when  questioned  about  the  use  of  DSN 
confirmed  that  they  use  it  frequently  (64%  use  social  networking  one  or  more  times  per  week).  Facebook 
(www.facebook.com) is the predominant DSN with 75% of use, followed by Orkut (www.orkut.com) with 11%, 
Tumblr (www.tumblr.com) with 11% and only 3% by Twitter (twitter.com). Facebook remains one of the most 
popular digital social networks considered by older audience. Data published in 2014 show that there was an 
increase  of  elderly  users  on Facebook.  People  aged 65 and  over  represent  45%  of  users  in  this  digital  social 
network  (PEW  RESEARCH,  2014).  This  preference  is  due  to  some  factors  like  the  resources  are  in  the  users’ 
language; the simplicity to post content (photos, messages) and to share it; the facility to communicate easily 
with  friends  and  family.  As  quotes  one  of  seniors  in  our  research  that  "Facebook,  because  I  find  it  less 
complicated  to  use  it”.  Seniors  utilize  DSN for  communication purposes  (85%),  followed  by  leisure  and  work 
(Figure 1), and they state that the exchange of information and the possibility to meet people from the past is 
the great advantage of the use of digital social networks (Figure 2). 
 
In contrast, seniors are afraid of being victims of the Internet attacks like disclosure of their personal data and 
privacy invasion. It is because they ignore some safety tips regarding the use of Internet. According to seniors, 
social networks influence people opinions (74%). Regarding to the relationships via DSN (friendship, sex), most 
seniors  indicated  that  they  believe  that  concrete  relationships  can  occur,  despite  they  have  never  gone 
through such experience (72%). The concrete relationships refer to those that started in the DSN and became 
real.  In  the  same  scenario,  14%  said  they  do  not  believe  that  such  relationship  can  occur  and,  on  the  other 

315
 
Leticia Rocha Machado et al. 

hand, 14% indicated affirmatively that they have gone through that experience (Figure 3). Data obtained about 
the  use  of  DSN  showed  an  active  and  participatory  audience  in  networks,  and  most  of  seniors  use  it  to 
communicate  and  exchange  information.  Relationships  established  on  DSN  reflect  seniors’  characteristics, 
because they have long‐term interactions that are re‐established with the support of technology. At the same 
time, data showed to us a public concerned about the impact of DSN in everyday life, especially about security 
issues like invasion of privacy and data disclosure.  
 
Regarding to quality of life, data collected in the WHOQOL‐bref (WHOQOL, 1995) showed us a high prevalence 
in quality of life of seniors in different domains. To support the discussion about social networks, some aspects 
were highlighted in the domains "Environment" and "Social", as we will address below. 

 
Figure 1: Use of digital social networks by seniors 
In  figure  1  we  can  see  that  communication  is  the  functionality  that  appeals  more  to  the  elderly. 
Communication plays an important role for seniors because it allows their socialization and participation with 
family, even with relatives of different ages. The information and communication technologies (ICT) enabled 
faster communication with social circles. The act of communicating can minimize the emotional and affective 
needs  of  this  group  (Oliveira  and  Queiroz,  2012).  Completing  with  the  comment  about  how  digital  social 
networks have change the life of a senior: "Certainly, so I can see pictures of my children who live far away, I 
can talk to them and send messages. Anyway, I can stay in touch with my kids, relatives and friends ".  

 
Figure 2: Advantages of the use of digital social networks 
How is it possible to perceive, in Figure 2, the exchange of information (pictures, messages, videos) is one of 
the factors that most appeals to older audiences on Facebook. Despite being the preference of older people 
exchanging information still concerns the elderly public. Inserting pictures and videos in digital social networks 
is still complicated by the fear of excessive exposure. As an elderly commented "The fear that the use of social 

316
 
Leticia Rocha Machado et al. 

network  leads  to  an  unwanted  personal  exposure  may  be  an  additional  factor  to  my  low  utilization".  With 
these  data  we  must  examine  the  importance,  or  not,  of  digital  social  networks  for  maintaining  and  /  or 
creating relationships in the quality of life of this audience. 

 
Figure 3: Concrete forming relationships from interactions of digital social networks 
In  the  domain  Environment,  we  considered  three  aspects:  "Opportunities  to  acquire  new  information  and 
skills"  seniors  showed  that  they  are  not  completely  satisfied,  but  very  satisfied  (67%);  with  regard  to 
"Participation  and  opportunities  for  recreation/leisure",  we  found  50%  of  satisfied  seniors,  followed  by  33% 
completely satisfied seniors; considering the aspect of "Health and social care: availability and quality" results 
indicate seniors’ very satisfied (75%) (Figure 5). The WHOQOL‐bref data collected showed to us an audience 
socially included, where social relationships are well established, reflecting an improved quality of life. As one 
of the seniors said: "Retake the social life or enhance it". 

    
Figure 4: Domain social relation 
Regarding to the WHOQOL‐bref aspect "Opportunities to acquire new information and skills", seniors showed 
a concern about being informed and acquiring new skills for life (Figure 5). 
 
Although a small frequency of the use of the DSN (one or more times a week), when we compare seniors with 
teenagers,  it  is  still  a  significant  amount  for  an  audience  that  did  not  know  how  to  handle  a  computer  four 
years ago. Digital tools allow to seniors a sense of belonging to a wider and virtual community, which allows 
them to come into contact with other people, with the society (DOLL, MACHADO, 2011). The risks described by 
seniors  show  a  concern  about  safe  web  experience.  Such  perspectives  are  encouraged  by  the  lack  of 
information  and  clarification  on  the  use  of  technology  and  their  self‐assessment  as  a  human  being  that  has 

317
 
Leticia Rocha Machado et al. 

limitations  that  comes  with  the  aging  process,  according  to  them.  These  data  were  reinforced  with  the 
WHOQOL‐bref  results  and  the  speech  of  one  senior  "Like  children,  seniors  are  easily  manipulated".  Seniors’ 
speeches  often  lead  to  this:  "Communicating  with  friends  and  family,  make  new  friends;  facilitated 
communication, quick information; communications, reunions, entertainment and new friends". 

 
Figure 5: Domain environment 
Communication is tied to the construction of social relationships with family, friends or even strangers. Seniors 
have confirmed that they believe in the possibility of building concrete relationships from Internet (Figure 3). 
Social  relationships  are  critical  to  a  satisfactory  quality  of  life  and  the  WHOQOL‐bref  outcomes  (Figure  4) 
showed that there are satisfactory personal relationships in this group. These relationships are ways to get out 
of isolation and loneliness, and are shown in the statements of participants: "Exit isolation ... looking for new 
friends... looking for hobbies and innovations; A great benefit because we are always updated and we can talk 
same language with grandchildren, children and relatives; Rediscovering old friends (existing friends too), keep 
up to date on various subjects and it is a great hobby; Distraction, friendship, be able to express our opinions, 
talk;  Keeping  contact  with  friends  and  gather  with  friends;  I  participated  in  a  meeting  with  friends  from  my 
hometown,  scheduled  by  social  network".  McAuley  (2000)  and  Neto  (2000)  reported  that  there  is  a  social 
loneliness,  in  which  people  feel  unsatisfied  in  personal/social  relationships  (family,  friends,  etc.).  This 
dissatisfaction harms a healthy quality of life. Therefore social loneliness can be addressed in the use of digital 
social networks. 
 
The data considered here show a positive influence that the digital social networks perform in the quality of 
life for seniors. Our findings are described by the seniors opinion when they were asked if the DSN could help 
them in quality of life, and they said yes, according to comments made: "In so far the people are dedicated to 
answer  to  all  demonstrations  of  its  own  network,  this  includes  them  in  a  social  life  and  produces  a  sense  of 
belonging into their relationships; As I said before all of  this improves health and keeps me update; I do not 
feel lonely because anytime I am sending or receiving wonderful messages; Yes, in so far people decrease the 
loneliness and keep in touch with other friends and stay  updated". 
5. Concluding remarks 
Society in general goes through many changes, both as social and cultural paradigms. In this context there is a 
portion  of  population  that,  unfortunately,  is  rarely  studied:  the  seniors.  At  the  same  time  this  population  is 

318
 
Leticia Rocha Machado et al. 

joining the society through courses, workshops, lectures or even in an active way at NGOs, unions and others. 
Nowadays there are many courses being offered for digital inclusion and even more seniors require learning 
current and popular issues. The motivation to learn for elderly people depends strongly on the purpose of the 
learning outcomes, and also in how much they consider themselves able to achieve these results (self‐efficacy). 
The commitment to meaningful activities for the elderly contributes to good health and satisfaction with life 
and longevity (Ala‐Mutka et al., 2008; Kececi and Bulduk, 2012) as is in the case of digital social networks. 
 
This research analyzed the profile of a group of seniors who use DSN, their concerns and purposes. It was also 
possible to realize that DSN can greatly benefit quality of life of seniors mainly in social relationships, nearing 
seniors  to  society  (family,  friends,  etc.),  through  communication  and  information  with  the  world  that 
surrounds them. As one of the seniors mentioned "You stay connected to the world". Every year brings new 
digital  social  networks  and  new  features.  At  the  same  time,  the  elderly  are  increasingly  present  in  this 
environment  and  their  anxieties  and  motivation  accompany  them.  Therefore  it  is  important  that  studies  in 
addition to improving the tools in digital social networks, also seek to address issues related to quality of life. It 
is  up  to  educators,  gerontologists  and  those  working  with  digital  inclusion  to  provide  to  this  audience  a 
conscious  use  of  digital  social  networks,  and  clear  doubts  that  seniors  have,  as  availability  of  information, 
communication and update forms. There are many possibilities to use the DSN as a benefit to quality of life for 
seniors and it is a matter for professionals who work with these people to show them the possibilities and the 
potential of the DSN use. 

References 
Ala‐Mutka, K.; Malanowski, N.; Punie, Y.; Cabrera, M. (2008) Active Ageing and the Potential of ICT for Learning,[online], 
ISBN 978‐92‐79‐09452‐1, © European Communities. Avaliable from: 
http://ipts.jrc.ec.europa.eu/publications/pub.cfm?id=1659. 
Araújo, L.F.; Coutinho, M.P.L.; Carvalho, V.A.M.L. (2005) Social representations of aging among older adults who participate 
in social groups. Psychology: Science and profession Magazine. 25 (1). 
Bardin, L.(2009) Content analysis. 4. ed. Lisboa: Edições 70. 
Brandão, M.F.; Silveira, R.M.H.(2010) Orkut and old age: and speech communitiess. In: Conto, E.S.; Rocha, T.B. (org.). Life in 
Orkut: narratives and learning in social networks. Salvador: EDUFBA. 
Chen, K.; Chan, A.H.S. (2014). Predictors of gerontechnology acceptance by older Hong Kong Chinese. Technovation. 34. 
p.26‐135. 
Doll, J.; Machado, L. (2011). Elderly and New Technologies. In: Py, L.; Freitas, E.V.. (Org.). Treaty of Geriatrics and 
Gerontology. São Paulo: Guanabara Koogan. 
Freitas, G.A. (2011) Older adults in cyberspace: relationships and interaction in the virtual world. Completion of course work 
at the Faculty of Communication and Library Science, [online], Social Communication Course: Specialization in Public 
Relations, Federal University of Rio Grande do Sul (UFRGS). Porto Alegre. Avaliable from: 
http://hdl.handle.net/10183/37567. 
Joia, L.C.; Ruiz, T.; Donalisio, M.R. (2007) Conditions attached to the degree of life satisfaction among the elderly population. 
Public Health Magazine. 41(1). p.131‐8. 
Kececi, A.; Bulduk, S. (2012). Health Education for the Elderly, Geriatrics, Prof. Craig Atwood (Ed.), [online], ISBN: 978‐953‐
51‐0080‐5, InTech. Avaliable from: http://www.intechopen.com/books/geriatrics/healtheducation‐for‐elderly‐
people.  
Lewis, S. (2011). Seniors and Online Social Network Use. Journal of Information Systems Applied Research (JISAR). 4(2). p.1‐
15. Avaliable: http://proc.conisar.org/2010/pdf/1522.pdf.  
McAuley, E.; Blissmer, B.; Marquez, D.X.; Jerome, G.J.;Kramer, A.F.; Katula, J. (2000). Social Relations, Physical Activity, and 
Well‐Being in Older Adults. Elsevier. 31. p.608‐617. 
Neto, F. (2000) Social psychology. Lisboa: Open University. 
Oliveira, M.Q.; Queiroz, M.B. (2012). The "look" about elder participation in coexistence groups: contributing to the 
improvement of quality of life? Journal Portal Disclosure [online], 19. Avaliable from: 
http://www.portaldoenvelhecimento.org.br/revista/index.php. 
Páscoa, G.M.G. (2012) The contribution of the social web ‐ Facebook social network ‐ to promote active aging: study case in 
USALBI, [online], Dissertation of the Institute of Social and Political Sciences, Technical University of Lisbon. Avaliable 
from: http://hdl.handle.net/10400.5/4427. 
Pew Research Internet Project. (2014). Social Media Update 2013. [online] january 8. Avaliable from:  
http://www.pewinternet.org/2013/12/30/social‐media‐update‐2013/facebook‐users/  
Sawyer, R. (2011). The Impact of New Social Media on Intercultural Adaptation. [online], Senior Honors Projects. Paper 242. 
Avaliable from: http://digitalcommons.uri.edu/srhonorsprog/242  
Silva, L.M.; Silva, A.O.; Tura, L.F.R.; Moreira, M.A.S.P.; Rodrigues, R.A.P.; Marques, M.C. (2012). Social representations of the 
quality of life for seniors, [online], Journal Gaúcha of Nursing. 33(1). p.109‐15. Avaliable from: 
http://seer.ufrgs.br/RevistaGauchadeEnfermagem/article/view/24321. 

319
 
Leticia Rocha Machado et al. 

Sundar,S.S.; Oeldorf‐Hirsch,A.; Nussbaum, J; Behr, R. (2011). Retirees on Facebook: can online social networking enhance 
their health and wellness? In: Proceedings of the 2011 annual conference extended abstracts on Human factors in 
computing systems (CHI EA '11). ACM, New York, NY, USA, 2287‐2292. Avaliable from: 
http://doi.acm.org/10.1145/1979742.1979931. 
Varela, M.A.; Ogawa, K. (2014). Social Networking Service for Helping Each Other in the Neighborhoods. ICDS 2014 : The 
Eighth International Conference on Digital Society.IARIA, 2014. Barcelona. p.164‐168. 
WHO. World Health Organization. (2002) Active ageing: a policy framework. Geneve: World Health Organization. 
WHO. World Health Organization. (2014) World Health Statistics 2014. [online], Geneve. Avaliable from:  
http://www.who.int/mediacentre/news/releases/2014/world‐health‐statistics‐2014/en/.  
WHOQOL Group (1995) The World Health Organization Quality of Life Assessment (WHOQOL): position paper from the 
World Health Organization. Soc Sci Med. 41(10). p. 1403‐9. 

320
Students as Learning Designers in Innovation Education 
Rikke Magnussen1 and Birgitte Holm Sørensen2 
1
ResearchLab: ICT and Design for Learning, Department of Communication, Aalborg 
University, Copenhagen, Denmark 
2
ResearchLab: ICT and Design for Learning, Department of Department of Learning and 
Philosophy, Aalborg University, Copenhagen, Denmark 
rikkem@aau.hum.dk  
birgitte@learning.aau.dk  
 
Abstract:  This  paper,  which  concerns  criteria  for  developing  technology‐enhanced  innovation  education,  discusses  how 
teacher  and  student  relationships  change  in  these  learning  spaces.  The  case  study  in  this  paper  involves  a  school  in 
Denmark  where  teachers  and  students,  aged    6‐14,  were  involved  in  developing  and  testing  new  forms  of  technology‐
enhanced innovation education as part of the establishment of an EduTechLab at the school. Established in new facilities at 
the  school,  the  lab  contained  learning  technologies  such  as  Nao  robots,  sensor  kits,  and  3D  visualisation  and  printing 
facilities. The goal of the EduTechLab project was to establish a creative learning environment for students and teachers 
that would support innovative practice with new forms of learning technology. Part of this goal was to involve students in 
innovative design processes in order for them to experiment with their own design solutions to case problems. The project 
was organised as a series of workshops and teacher intervention in classes, where teachers were introduced to learning 
technologies and innovation process tools, and afterwards tested technologies and learning designs were tested in classes. 
Two researchers and two students followed the first six‐month phase of the project, which involved 25 teachers (foreign 
languages, mathematics, physics, chemistry and Danish) and 40 children. Video observations were conducted of workshops 
and  interventions  in  class,  while  qualitative  interviews  were  conducted  with  teachers  and  students.  Our  results  suggest 
that integrating learning technology into innovation education changes teacher roles and enhances the students’ role as 
co‐designers  of  the  learning  environment  and  activities.  We  observed  how  the  planned  process  and  activities,  initially 
defined and controlled by teachers, gradually changed during the process due to the collaboration that took place between 
the  students  and  teachers.  The  student  design  process  thus  steadily  changed  from  being  teacher  directed  to  open 
experimentation,  where  students  co‐defined  processes,  technologies  and  design  goals.  The  impetus  for  these  processes 
was partly the fact that the teachers changed their approach after experiencing how well the students handled complex 
design  processes  involving  new  technology.  This  paper  discusses  how  these  changed  roles  are  an  integrated  part  of 
working with knowledge production processes in schools in an ever‐changing landscape of new technologies and how co‐
designer roles can be integrated in innovation education.  
 
Keywords: science education, innovation, design for learning, students as learning designers 

1. Introduction 
Educating  students  for  innovation  in  the  knowledge  economies  has  become  the  mantra  in  most  Western 
countries (Drucker, 1993). One of the primary tasks of educators has thus been defined as designing pedagogy 
to adequately prepare learners to participate creatively in these economies (OECD, 2000). A debate, however, 
has ensued on how innovative processes can be integrated into school education (Sawyer, 2006) and how the 
design of pedagogy using digital tools, such as games and robot technology, can support the construction of 
student designs and the building of innovative competences in science education (Magnussen, 2011).  
 
Widely  used  in  innovation  education,  integrating  digital  student  production  has  been  shown  to  motivate 
students  and  to  have  an  effect  on  learning  results  Further,  it  has  been  argued  that  the  potential  of  student 
production  involving  digital  tools  such  as  podcast  and  video  technologies  lies  in  the  knowledge‐creation 
process  and  its  use  as  a  vehicle  for  dissemination  of  learner‐generated  content  (Lee  et  al.  2008).  Studies  of 
teacher  and  student  roles  in  learning  designs  with  a  focus  on  ICT‐integrated  student  production,  ownership 
and iteration also show that ICT‐integrated student productions can facilitate student learning processes and 
improve student learning outcomes (Levinsen & Sørensen, 2013). 
 
The  case  study  in  our  paper  is  a  cross‐disciplinary  project  at  Antvorskov  School,  Denmark  that  involved  25 
teachers over a six‐month period. The goal of the project was to introduce teachers to new types of learning 
technology, such as humming bird sensor kits, Nao robots and 3D visualisation programmes, and for teachers 
to create and test teaching content, including innovative processes, digital student productions and subject‐
specific content. The focus of the paper is to discuss how digital student productions, including innovation into 
science education, influences student and teacher roles as learning designers.  

321
 
Rikke Magnussen and Birgitte Holm Sørensen 

2. Background 
The  debate  on  how  to  educate  for  innovation  is  based  on  discussions  on  how  Western  economies  have 
changed from industrial economies to knowledge economies. It is argued that these new economies are based 
on  the  creation  of  knowledge,  information  and  innovation  rather  than  the  production  and  distribution  of 
physical objects (Drucker, 1997; Bereiter, 2002). Critics state that educational research has paid little attention 
to  the  shift  to  an  innovation  economy  and  school  education  does  not  prepare  learners  for  creative 
participation in an innovation economy (Sawyer, 2006). Definitions of innovative competences and what forms 
of pedagogy, processes and structures support – or obstruct – building innovative competences in school are, 
however,  hotly  debated.  One  aspect  of  this  search  to  define  future  innovative  competences  is  the 
collaborative  approach  to  creating  new  knowledge  in  a  knowledge  economy.  In  the  past,  science  and 
technology studies on actors in scientific research has led to a discussion of what “authentic science” means in 
school education from a collaborative perspective (McGinn & Roth, 1999). In contrast to the traditional picture 
of the scientist as the isolated genius endowed with superior mental abilities, scientific knowledge in the field 
of science and technology studies is seen as emerging from disciplined ways of organising and making sense of 
the  natural  world  in  a  network  of  actors,  and  as  being  a  construction  of  visual  presentations  (Latour  & 
Woolgar, 1986; Latour, 1999).  
 
Another string in the debate is based on studies of how new innovative businesses organise innovative work 
and learning spaces. Sawyer (2006) argues, based on studies of knowledge creation in innovative companies 
and  improvisation  in  artistic  processes,  that  collaboration  and  creativity  are  central  in  understanding 
innovation and education in a knowledge society. He argues that innovative American companies, such as the 
design companies IDEO and W.L. Gore Inc., centre the organisation on team collaboration and improvisational 
approaches, such as rapid prototyping, blending innovation and execution throughout the project cycle, and 
create multiple teams to work on the same projects independently so that emergent insights can cross‐fertilize 
and blend together. Sawyer combines studies on innovative companies with studies on artistic improvisation 
within groups of jazz musicians and theatre ensembles and finds that they are trained to follow basic rules in 
their improvisational process, such as rules for building on each other’s ideas instead of rejecting them.  
 
In  order  to  understand  how  to  integrate  innovation  processes  into  school  teaching,  he  argues  that  what  he 
terms  disciplined  improvisation  is  central  in  innovation  education,  basing  his  assumption  on  results  from 
studies  involving  teacher  use  of  improvisational  methods.  Disciplined  improvisation  is  defined  partly  as 
“collaborative  discussions  in  which  students  build  knowledge  together”  (Sawyer,  2006,  p.  45).  This 
improvisation  is  disciplined  because  it  occurs  within  a  broad  structure  that  ideally  “balances  structure  and 
script  with  flexibility  and  improvisation,  as  teachers  improvisationally  invoke  and  apply  routines  and  activity 
structures”  (Sawyer,  2006,  p.  45).  Moreover,  “Curricula  should  be  designed  to  provide  scaffolds  for  creative 
group activities, and they should have substantial flexibility build in, allowing students and teachers to jointly 
improvise their own collective path as they build their own knowledge” (Sawyer, 2006, p. 45).  
 
Improvisation is thus a collective process between students and teachers, but Sawyer notes that this needs a 
different type of teacher preparation and that it can be stressful for teachers to give up control over teaching 
activities. Studies on innovation teaching in science classes also show that open‐ended innovation processes 
are new for teachers and students alike, both groups explaining that they are used to working with “recipes” in 
science (Magnussen, 2011). Understanding how teachers prepare to support open processes in which students 
partially guide the direction of the class is key to further focus   
 
In  recent  years,  studies  show,  however,  that  students  play  a  central  role  as  learning  designers  in  education 
involving IT and technology (Levinsen & Holm Sørensen 2013). Traditionally, design for learning is solely the 
teachers’ domain. But when the students – within a framework designed by the teacher – produce learning 
objects  for  other  students, this  frame  paves  the  way for  the  students to  become  learning designers  of  their 
own  learning  processes  and  of  learning  objects  with  other  students  as  target  group.  Both  students  and 
teachers act as learning designers (Sørensen and Levinsen 2014a & 2014b). It is important to distinguish digital 
production  and  learning  design  of  students  as  separate  but  complementary  processes.  As  digital  producers, 
the  students  acquire  knowledge  about  a  subject,  whereas  as  learning  designers,  define  (sub)goals,  select 
content and organise their learning process in relation to producing learning objects for other students. The 
processes  run  parallel  in  an  ongoing  complementary  interaction,  where  the  students  continuously  position 
themselves as either producers or learning designers (Ibid.) 

322
 
Rikke Magnussen and Birgitte Holm Sørensen 

The  following  section  presents  a  study  conducted  at  Antvorskov  School,  Denmark,  which  developed  an 
EduTechLab with a focus on teacher development and testing of learning designs based on inclusion of new 
learning technologies and innovation processes. This was carried out with a focus on discussing innovation in 
relation to curriculum design and pedagogy with teacher and student participation as learning designers.  

3. Case study EduTechLab 
The Antvorskov School, Denmark case study involved six months of observing the first phase of development 
of  the  school’s  EduTechLab.  The  main  focus  of  developing  the  lab  was  to  establish  a  creative  learning 
environment for students that would support their ability to work with new forms of learning with technology. 
This was done, in part, to give students the opportunity to experiment and develop their own solutions to case 
problems using the inclusion of the latest learning technologies. Rather than a narrow focus on technologies as 
objects,  the  goal  defined  by  school  leaders  at  Antvorskov  School  was  to  develop  a  broad  understanding  of 
technology that focuses on the pedagogical use of technology and on relationships and contexts.  

3.1 Methodology and methods 
The  current  study  is  a  case  study  following  a  single  case  for  a  longer  period.  The  methodology  used  in 
developing and conducting the EduTech project however follow a design‐based research process and involve 
various  design  cycles,  interventions,  analyses  and  redesign  (Brown,  1992).  In  this  paper  we  describe  and 
analyse the first phases of problem definition, design, intervention and reflections on redesign. The described 
phase is part of a larger development project which continued after the end of the research project.  

3.1.1 Recruitment and sampling  
Twenty‐five teachers participated in the first phase of the EduTechLab from September 2013 to February 2014. 
This  first  phase  included  workshops  that  introduced  the  teachers  to  the  various  technologies,  such  as  Nao 
robots,  hummingbird  sensor  kits  and  innovation  processes,  and  workshops  that  allowed  teachers  to  design 
their  own  EduTechLab  classes  that  included  innovative  processes  and  new  technology.  The  workshops  were 
cross‐disciplinary  and  included  teachers  from  different  subject  areas  and  grades.  After  completion  of  the 
workshops, a 24‐hour innovation camp was held where teachers could build designs or test learning designs 
with students participating in innovation processes to design digital case solutions. Assisted by two students, 
we followed the learning design workshops and the innovation camp. The workshops were designed by two 
consultants  in  educational  learning  technology  employed  by  the  school  for  developing  the  EduTechLab.  The 
plans for workshops develop the interventional process and practice to integrate research in teaching practice. 
An  example  of  this  was  the  innovation  camp  that  was  suggested  by  researchers  as  an  intervention  spaces 
where teachers had the possibility to further develop or  test their learning designs and researchers had the 
possibility to observe these processes. 

3.1.2 Data collection and data analysis 
Data  collection  and  analysis  was  conducted  involving  different  types  of  data  collection  methods.  Teacher’s 
workshop activities and students design activities were documented though video observations conducted by 
one research and two students. Video observations were supplemented with video recorded semi‐structured 
qualitative  interviews  with  teachers,  students  and  consultants  using  interview  guides  with  loosely  defined 
themes guiding the conversation with teachers (Adamson, 2006). Interviews conducted during workshop and 
innovation camp activities were aimed at documenting teacher and student reflections in practice. Interviews 
conducted  after  the  workshop  and  design  activities  were  aimed  at  investigating  the  teacher’s  deeper 
reflections after having completed activities.  
 
The  video  recorded  interviews  were  transcribed  and  video  observations  were  synthesised  using  note  to 
document  physical  interaction  between  teachers,  students  and  consultants  Transcribed  data  was  analysed 
though use of situational analysis were the messy map method was used to map analytical themes in the data 
(for  an  extensive  description  of  the  methodological  approach  and  analysis  process  see:  Hebsgaard  & 
Zachariassen, 2014).  

4. Findings 
The following sections presents part of our results in themed areas of innovation education and students as 
learning designers. The findings are presented in two sections. The first section describes findings done from 

323
 
Rikke Magnussen and Birgitte Holm Sørensen 

observations and interviews conducted during the workshops teachers participated in before the innovation 
camp. The second section describes findings generated from data collected as part of the innovation camp.  

4.1 Workshops: Between innovation technology 
The  teacher  workshops  focused  on  introducing  them  to  the  technologies  acquired  for  the  first  phase  of 
building the EduTechLab and to innovation processes, in addition to guiding teachers in developing their own 
learning designs that include elements of innovation and learning technology. The content of the workshops 
followed  a  description,  innovation  and  product  (DIP)  model  developed  by  the  consultants  running  the 
workshops (see figure 1).  

 
Figure 1: The description, innovation and product (DIP) model is based on steps involving 1) a description and 
puzzlement,  where  students  describe  what  the  existing  technologies  are  within  the  area;  2) 
innovation  and  research,  where  students  are  given  the  task  to  rethink  technologies  or  technology 
use; and 3) product and dissemination where the task is to define and present the a product 
During  the  workshops,  the  consultants  referred  to  the  DIP  model  to  discuss  what  possible  elements  their 
learning designs could contain. The main goals were for teachers to become familiar with the various learning 
technologies and for the teacher to develop learning designs and courses that involved student development 
of  digital  designs  or  products.  The  teachers,  however,  were  free  to  interpret  how  and  who  developed  the 
digital  designs  and  what  process  subjects  were  included  in  the  courses  they  designed.  The  main  task  of  the 
learning  design  workshop  was  for  teachers  to  answer  questions  in  the  DIP  model  in  relation  to  designing 
classes  for  their  students.  This  was  done  by  filling  in  answers  to  the  question  in  an  electronic  scheme 
developed by the consultants.  
 
As  a  result  of  observations  conducted  on  the  learning  design  workshops  and  on  interviews  with  teachers,  it 
became clear that there was widespread confusion in the teacher groups concerning the primary focus of the 
learning designs that involved questions such as: Does this involve teaching students to work with technology? 
Using  technology  as  a  tool  for  supporting  teaching  a  subject?  Or,  creating  an  innovative  new  product? 
(Hebsgaard & Zachariassen, 2014). Teachers expressed this confusion in the learning design workshop, where 
the  task  was  to  fill  in  their  course  content  under  the  DIP  model.  A  discussion  between  the  science  teacher 
Frank and one of the consultants illustrates this confusion: 

“(...) So in my mind, I had thought: “I'll take hummingbird and then focus my course on helping 
students become familiar with the technology. And then I sit here and get a little unsure about 
whether  that’s  good  enough  in  connection  to  the  innovation  perspective”.  (Frank,  science 
teacher, conversation with consultant at the learning design workshop). 

324
 
Rikke Magnussen and Birgitte Holm Sørensen 

Results  reported  on  elsewhere  show  that  there  is  confusion  in  parts  of  the  teacher  group  on  what  was  the 
object  and  and  what  was  the  goals  of  the  workshops  (Hebsgaard  &  Zachariassen,  2014).  The  teachers' 
framework  of  understanding  did  not  seem  congruent  with  the  consultants.  It  showed  to  be  difficult  for 
teachers to use new digital technology, innovation and planning tool as a single and comprehensive package 
for the preparation of a course. Another observation concerned the definition of the concept of innovation. In 
an  interview  at  a  later  workshop  the  teacher  Mads  expressed  a  more  general  concern  in  relation  to  the 
innovation aspect. The discussion was concerned about whether the primary goal should be innovation (calling 
the camp an “Innovation Day”): 

Mads: "Well, I’ll say that I thought a lot about innovation as a starting point and I actually see it 
as a bit limiting (…). Because if innovation is the starting point, then I risk saying well, then we 
cannot reach the goal. (...) I would prefer if we could call it a science day and then the innovative 
aspect could be part of it (...) 
Lise:  It  was  the  technology  that  was  paramount  right?  (...)  Well,  it’s  more  that  they  (students) 
should not sit back with the feeling of “I haven’t been innovative. I haven’t solved a problem. I did 
not create anything new” (...). If you could lead them through the technology and the experience 
they  got  through  working  with  the  technology,  they  could  be  led  into  making  something 
innovative  right?  In  this  way,  the  innovative  aspect  wouldn’t  be  the  primary  goal  but  could 
flourish based on solving the task.”(Mads and Lise, math teachers, interview after the innovation 
camp, Hebsgaard & Zachariassen, 2014)). 

The  dual  goals  of  teaching  innovation  and  digital  design  can  thus  be  seen  as  obstructing  each  other  if  the 
design  developed  by  students  does  not  meet  the  goals  of  being  innovative  in  the  definition  of  “something 
new”.  
 
One  element  in  the  process  of  integrating  innovation  into  technology  education  can  however  be  to  further 
develop the concept of innovation in a school context to include local understandings of “something new” and 
innovation as a process such as disciplined improvisation (Sawyer, 2006). 

4.2 The innovation camp: Students and teachers changing roles 
The  goal  of  the  workshops,  as  described  to  the  teachers,  was  to  develop  learning  designs  to  test  them  on 
“Innovation  Day”,  a  24‐hour  innovation  camp  organised  at  the  school  midway  through  the  first  EduTechLab 
phase.  Teachers  were  free  to  choose  what  goals  and  activities  they  would  focus  on  during  the  camp.  One 
overall  explicit  goal  from  the  management,  however,  was  that  the  camp  should  result  in  the  production  of 
digital  designs  that  could  be  presented  the  following  week  at  a  school  event  to  be  attended  by  the  Danish 
minister  of  education.  Teachers  chose  different  strategies  at  the  innovation  camp.  Some  invited  groups  of 
students  to  participate  in  the  innovation camp  and  others  used  the  innovation  camp  to  develop designs  for 
future teaching, without involving students in the development.  
 
We also observed different strategies for developing and implementing learning designs in different groups of 
participating  teachers.  Overall,  these  approaches  were  characterised,  on  the  one  hand,  by  the  teachers 
developing digital designs for teaching students about certain technologies while, on the other, they involved 
developing learning designs to support students’ development of digital designs. One example of the teacher‐
defined digital designs was a puppet theatre that included hydraulic technology for moving the puppets. This 
was designed for six‐year‐old students to act out fairy tales. Another example was a Nao robot that a group of 
teachers  coded  to  teach  English  to  third  grades.  Examples  of  learning  designs  created  to  support  digital 
student  design  was  a  case  to  assist  fourth  graders  in  building  models  of  family  homes  in  the  future  using 
physical building materials such as cardboard and sensor kits such as humming bird kits. Another example of 
this approach was learning design involving sixth graders in the 3D modelling of a historical building in the local 
area.  
 
By interviewing and observing teachers at the development workshop and at the innovation camp, it became 
clear that one aspect of the different strategies of developing learning designs was that the teachers had very 
different  perceptions  of  how  much  their  students  could  “handle”.  Some  teachers  stated  that  their  students 
could  only  handle  highly  structured  courses  with  defined  content,  activities  and  results.  Other  teachers 
developed  courses  with  defined  end‐goals  for  student  production  but  with  less  defined  processes  and 
structured activities. These differing perspectives on the ability of students to solve open‐ended tasks did not 

325
 
Rikke Magnussen and Birgitte Holm Sørensen 

seem to be solely connected to age and grade. Different teachers in the same class also had different views on 
how open‐ended tasks could be in the same class.  
 
In  the  implementation  of  the  learning  designs  at  the  innovation  camp  we  observed,  however,  how  goals, 
strategies and approaches changed in the student‐teacher interaction at the innovation camp.  
 
One  example  of  this  was  the  course  designed  by  the  science  teacher  Mads  and  the  mathematics  teacher 
Dorte. They had designed a course where students had to design future family housing using various sensor 
kits. To introduce students to the open‐ended task, teacher 1 had chosen to initiate the course with a defined 
task involving construction of an electric circuit. Our observations indicate that the class initially was motivated 
and  highly  interested  in  participating  in  the  course  but  gradually  became  unfocused,  also  when  it  came  to 
doing  the  electric  circuits.  As  a  result  of  student’s  unfocused  participation  and  the  drop  of  motivation,  the 
teachers  changed  the  focus  and  the  students  were  allowed  to  work  on  self‐defined  solutions  for  building 
intelligent houses or other self‐defined designs. This changed the course and students worked intensively with 
their  designs  until  late  evening,  continuing  on  them  the  following  day.  The  teacher  Mads  later  reflected  on 
what  the  strategy  was  like  to  introduce  the  camp  to  a  familiar  subject  that  would  gently  lead  students  into 
working with new technologies: 

Mads: “I thought a lot about the framework and how open or closed the process should be. I had, 
maybe  I  had  a  hard  time  just  saying  “let’s  throw  ourselves  into  it  now.  (…)  that’s  why  I  was 
thinking that now they can just get started with constructing the electric circuit, something safe 
and recognisable. 

Interviewer: For you or for them? 

Mads: For me, but then I thought it must be the same for them. That was my thought. But that 
was  not  how  I  experienced  it.  And  in  retrospect,  I  would  say,  gee,  we  should  have  thrown 
ourselves  into  the  hummingbird  course  from  the  start.  Start  with  a  short  description  of  the 
technology, define the framework and then let them get started. That’s what I think we should do 
another time” (Interview with Mads, science teacher, after the innovation camp). 

Mads  had  planned  the  course  for  students  to  feel  confident  by  initiating  the  innovation  camp  with  content 
they  had  previously  been  introduced  to.  Results  from  observations  of  the  execution  of  the  course  however 
seemed to show that the students were motivated by being allowed to work with their own solutions and by 
using  sensor  kits  and  other  learning  technologies  despite  the  fact  that  they  were  challenged  by  technically 
difficulties  as  they  had  not  previously  been  introduced  to  various  tools.  The  changed  teacher  approach 
resulted  in  several  student  developed  designs  of  various  types  of  family  houses  where  sensors  controlled 
carports, lifts light and other functions. One group were allowed to define their own case and which resulted in 
using sensor kits for development of their own music instruments. 
 
Another  example  of  the  changed  teacher  roles  were  the  course  developed  by  the  geography  teacher  Gitte, 
who designed a lesson where students had to focus on learning 3D modelling in order to construct a 3D model 
of  a  local  historic  building.  A  group  of  six  students,  aged  14,  were  thus  invited  to  the  innovation  camp  to 
participate in constructing the model. When it turned out to be impossible to model the building, the focus 
shifted  to  working  with  3D  modelling.  Operating  the  software,  generating  3D  models  and  processing 
photographs  of  objects,  however,  turned  out  to  be  highly  challenging,  as  the  teacher  later  described  in  an 
interview  when  asked  about  what  she  does  when  she  cannot  get  the  technology  to  work:  "It’s  getting  it  to 
work that has been a challenge. I tell them (the students) that I don’t know how it works, but let’s work it out 
together". The teacher changed the learning design to focus on student experimenting with 3D visualisation, 
and modelling. This resulted in experiments involving 3D modelling and prints of participants and students and 
finally development of models of the minister of education at her visit.  
 
The  science,  mathematics  and  geography  teachers  thus  changed  their  approach  during  the  course  due  to 
experiences  with  how  open  design  processes  and  experimenting  with  the  various  learning  technologies 
motivated  the  students  and  due  to  challenges  involved  in  integrating  the  technical  platforms  into  their 
teaching. This allowed for a less well‐defined learning process in which students were allowed to define their 
own  digital  designs  but  also  invited  to  work  collaboratively  with  teachers  to  define  how  and  for  what 
technology could be used in the specific educational context (Figure 2).  

326
 
Rikke Magnussen and Birgitte Holm Sørensen 

2a. Geography
3. Danish theater
4. English 
1a. Science

 
Figure  2:  Illustration  of  how  the  teacher’s  approaches  and  learning  designs  changed  during  the  24‐hour 
innovation camp. The different groups of teachers are plotted as coordinates of designing courses 
with  focus  on  technology  or  school  subjects  (x  axis)  against  highly  structured    learning  designs  vs 
open ended experimenting designs (y axis) 
The three teachers (1a and b and 2a and b in figure 2) thus changed from being more defined to being more 
open and experimental, the students focusing less on subject‐specific content and more on what the specific 
technology could contribute in a learning context. This was in contrast to the previously described designs for 
Danish  education  (3  in  figure  2)  where  a  group  of  Danish  teachers  developed  a  hydraulic  puppet  theatre 
(where students could control puppets while the teachers read a fairy‐tale, and the learning design developed 
by English teachers where a robot was coded to teach students English as a foreign language. These learning 
designs were not developed for students to take part in the development of designs and thus did not result in 
development of student designs.   

5. Discussion  
This  paper  discusses  how  the  students  and  teachers  changed  roles  are  an  integral  part  of  working  with 
knowledge production processes in schools in an ever‐changing landscape of new technologies, as well as how 
co‐designer  positions  can  be  integrated  into  innovation  education.  The  results  of  the  analysis  indicate  that 
integrating learning technology into innovation education can change teacher positions and enhances student 
positions as designers of the learning environment and activities. We have presented results that show that 
learning designs that led to students defining design processes were based on teacher creative improvisation. 
As  Sawyer  (2006)  argued  improvisation  is  a  central  element  in  innovative  processes.  We  suggest  a  model 
integrating teachers and students as learning designers in digital innovation education. The model is based on 
the  results  in  the  current  paper  as  well  as  from  previous  studies  (Sørensen  &  Levinsen  2014a;  Levinsen  & 
Sørensen  2013).  The  suggested  learning  model  includes  two  levels:  a  teacher  level  and  a  student  level.  The 
teacher  produces  a  design  for  learning  framework  for  the  students’  production,  in  this  project,  the  student 
production of digital designs. The framework design entailed a project objective, an academic subject and the 
organization of teaching processes and evaluation. Within this framework design, the students’ own design of 
their  learning  process  is  incorporated,  allowing  them  to  make  choices  on  how  they  wish  to  organise  their 
learning  processes  and  how  they  wish  to  employ  the  technology  in  relation  to  the  academic  subject.  The 
students therefore design their own learning processes within the design framework provided by the teacher.       
 
Students and teachers are learning designers but at two different levels. The design of the learning process can 
be  divided  into  three  phases  –  each  with  a  different  focus.  Regarding  the  teacher,  the  three  phases  are:  1) 
‘Before’:  preparation  before  practice  in  the  classroom;  2.  Practice  in  the  class  room;  and  3)  ‘After’:  the 
teacher’s evaluation with feed‐forward considerations regarding what needs to be implemented in subsequent 
lesson plans.   
 

327
 
Rikke Magnussen and Birgitte Holm Sørensen 

The  student  work  also  entails  three  equivalent  phases,  which  are  embedded  in  the  teacher’s  ‘practice  in 
classroom’; 1. ‘Before’: Introduction to the framework design for the learning process. It is also in this phases 
that the students prepare and organize their productions. 2. ‘Practice/production’: the students carry out their 
production process. 3 ‘After’: the students finish their products and these are presented for the other students 
along with a final evaluation (See figure 3).   

Before Practice in classroom After

Feed forward

Before Practice After

/production
Time

 
Figure 3: The illustration depicts the temporal relationship between student and teacher positions as learning 
designers. The teachers’ phases are portrayed in orange and the students’ in blue 
In the ‘before’ phase, the teacher plans the framework design for the students’ collective work/tasks as well as 
for  his/her  own  position  and  activity  in  the  practice  phase.  In  the  students  ‘before’  phase,  the  teacher 
introduces the student to the learning objective. 
 
The  teacher  provides  academic  and  organizational  presentations  and  schedules  the  project  deadline. 
Thereafter, the teacher’s position changes into being the leader who facilitates, supports and challenges the 
students. The students’ ‘after’ phase entails student and teacher evaluations. The teacher thus provides the 
framework for his/her own position and practice in the classroom for the overall learning process the students 
must complete. The figure shows how the students’ learning process is embedded in the phase, which for the 
teacher  constitutes  ‘practice  in  the  classroom’,  and  where  the  teacher  acts  as  a  process  leader  and  overall 
project  coordinator  and  facilitator  for  the  learning  process  of  the  students.  The  framework  design  can  be 
modified  or  re‐designed  through  the  learning  process  when  the  teacher  estimates  that  this  is  necessary  to 
support the students’ learning.  
 
Our  analysis  shows  how  the  planned  process  and  activities  initially  defined  by  the  framework  design  and 
controlled  by  teachers  gradually  changed  during  the  process  due  to  collaboration  between  students  and 
teachers. The students’ learning process thus steadily changed from being predominantly teacher directed to 
being  open  and  experimental,  where  the  teacher  and  the  students  collaboratively  re‐defined  the  processes, 
technologies and design goals. In some groups, the students and the teacher worked together on equal terms 
and as partners. These processes occurred, in part, because the teachers’ perception about what the students 
could handle in complex design processes involving new technology changed. Less technically savvy teachers 
changed  from  being  an  instructor  and  facilitator  role  to  being  a  co‐developer  due  to  the  collaboration  with 
students on solving technical difficulties with the learning technology. The teacher and student collaboration, 
co‐production and student‐driven processes thus change the design for learning models as regarding teachers’ 
practices in classroom and the students’ practice/production phase (See figure 4). 

Before Practice After

/production Feed forward
Before After

Time

 
Figure 4: The illustration depicts the temporal relationship between student and teacher positions as learning 
designers. The teachers’ phases are portrayed in orange and the students’ in blue 

328
 
Rikke Magnussen and Birgitte Holm Sørensen 

6. Conclusion 
The conclusions presented in this paper are not representative for the entire population of schools as they are 
based on a smaller number of case studies. As a result, they require further verification in a larger number of 
studies. We believe, however, that we have identified important focus points for further study and design of 
innovative digital learning environments. The studies indicate that it is central, in development of innovation 
education, to include processes that strengthen student’s roles as learning designers to facilitate processes of 
controlled  improvisation.  It  can  potentially  strengthen  teachers  role  in  educational  innovative  processes  to 
plan for and include possibilities for student co‐design of learning spaces and can help teachers consider own 
position and role in processes involving student innovative digital design.  

References 
Adamson, J. (2006) The semi‐structured interview in educational research:issues and considerations in native‐ to non‐
native speaker discourse. Bulletin of Shinshu Honan Junior College (23), 1 – 22. 
Bereiter, C. (2002). Education and mind in the knowledge age. Mahwah, NJ: Lawrence Erlbaum Associates. 
Brown, A. (1992). Design experiments: Theoretical and methodological challenges in creating complex interventions in 
classroom settings. The Journal of Learning Sciences, 2(2), 141‐178. 
Drucker, P. F. (1993). Post‐capitalist society. New York, NY: HarperBusiness. 
Hebsgaard & Zachariassen (2014). Teknologi I Undervisningen (Technology in Education). Aalborg University: Aalborg, 
Denmark. 
Latour, B. (1999). Pandora’s hope: Essays on the reality of science studies. Cambridge, MA: Harvard University Press. 
Latour, B., & Woolgar, S. (1986). Laboratory life: The construction of scientific facts (2nd ed.). Princeton, NJ: Princeton 
University Press. 
Lee, M. J. W, McLoughlin, C., & Chan, A. (2008). Talk the talk: Learner‐generated podcasts as catalysts for knowledge 
creation. British Journal of Educational Technology, 39(3), 501–521 
Levinsen, K. and Sørensen, B. H.(2013):  Students as Learning Designers. Proceedings of Society for Information Technology 
& Teacher Education International Conference 2013. ed. / Ron McBride; Michael Searson . Chesapeake, VA : 
Association for the Advancement of Computing in Education, 2013. p. 5142‐5149. 
McGinn, M. K., & Roth, W. M. (1999). Preparing students for competent scientific practice: Implica¬tions of recent research 
in science and technology studies. Educational Researcher, 28(3), 14–24. 
Magnussen, R. (2011). Game‐like Technology Innovation Education. Paper invited for a special issue on Games and 
Learning, International Journal of Virtual and Personal Learning Environments, 2(2), pp.30‐39. 
OECD. (2000). Knowledge management in the learning society. Paris, France: OECD Publications. 
Sawyer, R. K. (2006). Educating for innovation. Thinking Skills and Creativity, 1(1), 41–48. doi:10.1016/j.tsc.2005.08.001 
Sørensen, B.H. & Levinsen, B.H. (2014a) Didaktisk design – digitale læreprocesser. Akademisk Forlag, København. 
Sørensen, B.H. & Levinsen, B.H. (2014b): Digital Production and Students as Learning Designers. Design for Learning. 
Number 1, 2014. 

329
Integrating Twitter Into an Undergraduate Medical Curriculum: 
Lessons for the Future 
Annalisa Manca, Natalie Lafferty, Evridiki Fioratou, Alisdair Smithies and Eleanor 
Hothersall 
University of Dundee School of Medicine, Dundee, UK 
a.manca@dundee.ac.uk 
n.t.lafferty@dundee.ac.uk 
e.fioratou@dundee.ac.uk 
a.smithies@dundee.ac.uk 
e.hothersall@dundee.ac.uk 
 
Abstract:  There  is  increasing  interest  in  employing  social  media  tools  for  educational  purposes,  but  few  mature 
frameworks exist within Higher Education contexts. We present a case study discussing the pedagogic implications of using 
the social media tool Twitter to facilitate a learning activity as part of a public health theme of the undergraduate medical 
programme at The University of Dundee  ‐ #fluscenario. Whilst adopting Twitter to support novel learning activities led to a 
rich  communication  process  and  co‐creation  of  knowledge,  students  themselves  did  not  recognise  this.   Furthermore 
students  viewed  these  learning  activities  as  gimmicky  and  did  not  appreciate  the  wider  affordances  of  Twitter  in 
supporting networked learning.   We argue that designing good educational activities is not always a “constructive” activity 
but sometimes we need to “deconstruct” what already exists in order to make sense of it. We will use Albert Bandura’s 
social  learning  theory  concepts  and  self‐efficacy  notion  to  analyse  this  case‐study  and  discuss  how  a  sound  educational 
design  can  enhance  self‐efficacy.  We  will  also  consider  "cognitive  load",  which  is  increased  exponentially  in  an  online 
activity  as  students  not  only  have  to  deal  with  the  learning  content,  but  also  with  “satellite”  elements  such  as  online 
professionalism,  digital  literacy,  learning  a  new  tool  and  new  communication  system.  Through  our  reflections  educators 
can determine common educational uses and affordances, assess the educational value of the use of technology and social 
media  in  teaching,  and  identify  the  social  and  cognitive  components  they  involve.  Additional  objectives  are  to  identify 
learning design and scaffolding strategies that engage students and consider strategies to elucidate processes of learning in 
online social networks, which have a critical role in online approaches to learning. 
 
Keywords: higher education, Twitter, medical education, social learning theory, self‐efficacy, learning design 

1. Introduction and background  

1.1 Social media in higher education and medical education 
There  is  wide  adoption  of  technology  across  society  as  it  underpins  21st  century  communication, 
entertainment,  business  and  public  services  including  healthcare.   In  higher  education,  technology  is 
ubiquitous and virtual learning environments (VLEs) have been the cornerstone of e‐learning delivery (Jones et 
al. 2012).  Technology is driving change and the emergence of Web 2.0 technologies, particularly social media, 
have  seen  phenomenal  growth  in  their  use  and  transformed  how  individuals  consume,  share  and  create 
information.  In the space of 10 years Facebook has grown from one million monthly users to, by the end of 
March 2014, over 1.28 billion active monthly users (Facebook 2014 and Sedghi 2014).  Meanwhile since 2007, 
Twitter, the microblogging service, has attracted 255 million active monthly users tweeting 500 million tweets 
per  day  (Twitter  2014).  Universities  deploy  both  Facebook  and  Twitter  as  channels  to  promote  their 
institutions, disseminate information and support student recruitment.  Academics use them to support digital 
scholarship, networking and professional development.  Interest is also growing across the sector in the role 
that social media can play in learning and teaching and especially in collaborative learning as mobile devices 
facilitate connectedness outside the classroom. 
 
There  is  a  belief  that  social  media  can  significantly  change  the  way  we  learn  (Jones  et  al.  2012)  as  they 
facilitate engagement and the sharing and exchange of knowledge, implying that their integration into learning 
and teaching approaches could improve learning outcomes (Prestridge 2014).  This is of particular relevance in 
medical education where alternative methods to increase interaction and facilitate communication both with 
and between students are being explored (Ruiz, Mintzer and Leipzig 2006; Bridges, Botelho and Tsang 2010; 
White,  Scales  and  Jayaprakash  2011).  However  with  social  media  still  relatively  new  territory,  uncertainties 
surround  their  application  in  education,  particularly  due  to  concerns  around  safety  (New  Media  Consortium 
2014),  privacy,  and  patient  confidentiality  (Cheston,  Flickenger  and  Chisolm  2013).  Guidelines  developed  to 

330
 
Annalisa Manca et al. 

support the responsible use of social media (for example General Medical Council 2013) address some of these 
concerns  but  the  lack  of  high  quality  evidence  from  research  in  this  field  (Cheston,  Flickenger  and  Chisolm 
2013) means there is no clear consensus on how this technology might best be used.  Additionally, there is a 
lack  of  guidance  for  the  design  of  effective  Web  2.0‐based  learning  in  a  higher  education  setting  although 
there  have  been  calls  for  these  in  the  literature  (Sandars  &  Schroter  2007;  JISC  2009).  A  report  of  an 
independent Committee of Inquiry into the impact on higher education of students’ widespread use of Web 
2.0 technologies (JISC 2009: 7), underlined that whilst ‘advice and guidance is available to institutions, there is 
no blueprint for implementation of Web 2.0 technologies, and each is currently deciding its own path’.  
 
There  is  evidence  of  the  utility  of  social  media  to  support  learning  and  the  formation  of  learning  networks, 
emerging from massive open online courses adopting a connectivist learning approach (Milligan, Littlejohn and 
Margaryan 2013, Siemens 2005). However learning skills and digital literacies are key to this and the belief that 
undergraduates are equipped with these to support their learning may be misplaced. The JISC report (2009) 
highlights that while students regularly use social networking sites such as Facebook and social media sites like 
YouTube to engage with communities and peers in their personal lives; their value when used in support of 
learning is not fully understood by students. Increasingly though students are being encouraged to self‐direct 
learning, collaborate, create connections, share and build their knowledge together in an interactive dynamic 
way. Co‐creation and reciprocal effort are the principal processes. It is very clear that teachers need to create 
learning  opportunities  to  help  students  develop  these  skills  and  adopt  a  supportive  role  (Harden  &  Crosby 
2000)  intervening  when  needed  to  facilitate  learning  and  reflection  and  adopt  appropriate  learning 
frameworks to support this. 

1.2 Social learning theory 
The study of the connection between the environment and the learner comes from Bandura, who emphasised 
the  role  of  social  interaction  and  self‐efficacy  in  learning.  In  social  learning  theory,  human  behaviour  is 
continuously  influenced  by  environmental  events,  behavioural  patterns  and  affective  and  cognitive  factors 
(Bandura  1986,  1999).  As  such,  learning  happens  through  interaction  and  collaboration  with  other  learners, 
and observation of others’ behaviour. Human action and learning are rooted in social systems and embedded 
in  a  fine  network  of  sociostructural  influences  acting  in  a  reciprocal  fashion  (Bandura  1999).  Central  to 
Bandura’s work is the concept of self‐efficacy: an individual’s belief in their ability to succeed in producing a 
particular outcome (Bandura 1977). An important element to consider in any educational setting is that self‐
motivation  is  influenced  by  a  person’s  efficacy  expectations.  When  self‐efficacy  perceptions  are  strong, 
individuals  will  tend  to get more  involved  in  activities  and put  a  greater  effort  in completing  tasks  (Bandura 
1977). However personal expectations of ability are not enough to positively affect a performance, if the real 
capabilities  are  lacking.  The  role  of  the  teacher  becomes  essential  here  to  provide  direction  for  learning, 
support and incentives to students, so that they can gradually build self‐efficacy. 
 
Every  educational  experience  can  be  seen  as  a  scaffolding  structure  where  every  component  contributes  to 
the  structure  and  its  design.  Each  of  these  components  can  be  positioned  in  different  directions,  touching 
others and connecting with them. Each has a weight and a role in the structure; some being more load‐bearing 
than others. These systems can only handle a certain amount of weight, so, when we overload them with extra 
material they will eventually collapse. We define these components as learning material, activities and tools 
which, connecting with each other, will eventually form the elements of learning, in turn providing support for 
further learning. All the satellite elements that can contribute to the whole educational experience also carry a 
cognitive weight that can eventually cause overload and subsequently a perceived failure from the learner, so 
affecting self‐efficacy. 
 
Any  activity  requiring  a  large  amount  of  information  to  be  processed  by  working  memory  may  increase 
cognitive load (Sweller 1988). As such, cognitive overload can be triggered during a demanding learning task, 
where  the  processing  capacity  of  the  cognitive  system  is  exceeded  (Mayer  and  Moreno  2003).  Vasile  et  al 
(2011)  demonstrated  a  direct  correlation  between  academic  self‐efficacy  and  cognitive  load  within  the 
academic environment. Thus, in order to maximise the educational value of a learning activity, educators must 
ensure that the learning activity is designed to reduce the risk for cognitive load and maximise self‐efficacy. 
Designing  good  educational  activities  is  not  always  a  “constructive”  activity  but  sometimes  we  need  to 
“deconstruct” what already exists in order to make sense of it. We will consider the case at Dundee Medical 

331
 
Annalisa Manca et al. 

School  to  reflect  on  the  design  of  a  social  media‐based  educational  activity,  using  the  concepts  considered 
above to reach an insight of the educational values and affordances of technology in teaching. 

2. Case study 
This  case  study  addresses  the  design  and  pilot  of  a  Twitter‐based  educational  intervention  we  undertook 
within  the  Public  Health  teaching  during  two  consecutive  academic  years  (2012/2013  and  2013/2014).  The 
design  of  this  educational  activity,  due  to  the  technology  use,  involved  educational  and  technological 
evaluations  and  went  through  an  iterative  process  where  strategies  and  approaches  were  adapted  to  the 
particular context and educational needs. We additionally used learning theory to underpin the design process. 

2.1 Why we chose Twitter  
Twitter was chosen to support this learning activity, based on the affordance that microblogging has to build 
communities  (Kear  2011).  Individuals’  interests  can  be  identified  by  the  inclusion  of  hashtags  (#)  in  tweets, 
allowing  conversations  to  be  followed  and  connections  to  be  made  around  specific  topics.  Self‐organised 
learning  communities  and  collectives  have  emerged  around  these.  Over  4,000  healthcare  related  Twitter 
hashtags are registered on Symplur’s hashtag project which supports participation in social media for health 
care professionals (Symplur, no date). One example is #FOAMed (Free Open Access Meducation)  (Life in the 
Fast Lane 2014), a learning community that has emerged from the emergency medicine community which has 
spawned many other learning collectives across different specialties. Three of the authors (AM, EH, NL) were 
also familiar with using Twitter to support their own lifelong learning, actively participating in Twitter networks 
and chats. Furthermore it offered an opportunity to observe whether students might gain an insight into the 
medical education and FOAMed communities on Twitter and the wider benefits these might offer to support 
their learning. 

2.2 Learning activity design 
We  designed  a  series  of  short  scenarios  to  be  discussed  online  using  Twitter  to  teach  first  year  medical 
students about emergency planning and pandemic influenza. The scenarios, based on those originally written 
by  Alex  Talbott  and  Chloe  Selwood  on  nhssm.org.uk  (original  version  no  longer  online),  were  posted  on  a 
dedicated Flu Scenario blog in the Medical School’s VLE, supplemented with resources from media websites 
(mostly the BBC) offering students archived footage of real events. A series of questions were used to guide 
the  discussion  in  timetabled  sessions  dedicated  to  this  learning  activity.  Participation  in  the  flu  scenario 
teaching  was  mandatory  for  all  first  year  students  in  University  of  Dundee  medical  school.  We  also  used  a 
publicly accessible website (http://dundeepublichealth.wordpress.com/fluscenario/) so that staff and students 
from outside the medical school, and members of the public could read the background and follow or join in 
the conversation.  
 
According to Bandura’s theory, learners build personal efficacy expectations through four principal sources of 
information:  (1)  performance  accomplishments,  (2)  vicarious  experience,  (3)  verbal  persuasion,  and  (4) 
physiological  states  (Bandura  1977).  We  integrated  these  four  elements  into  the  design  of  the  #fluscenario 
educational activity, incorporating elements in a way that the risk for cognitive overload was addressed, while 
facilitating  students’  self‐efficacy  and  engagement  with  the  task  (Table  1).  After  evaluating  the  first 
#fluscenario  experience,  some  variations  were  introduced  in  the  2013  activity  to  address  some  concerns 
related to students participation and enjoyment of the learning experience (Table 1). 
Table 1: How Bandura’s self‐efficacy concept underpinned the educational design of #fluscenario 
Sources of self‐efficacy and  Meaning in the educational design  How it was  How it was 
definition  context  addressed in 2012  addressed in 2013 
1. Performance accomplishment  Aim to give students the best  Questions to guide  As 2012 plus: 
Based on personal mastery. When  learning experience, modelled  the discussion   
a learner successfully  around students’ learning needs,    Storify (gives a 
accomplishes a task, personal  taking account of their pre‐ Choice was offered  sense of 
expectations raise, while repeated  existing knowledge and the  between media for  accomplishment to 
failures lower them.  context in which the new  participation  the task)(see, for 
This is the most influential source  knowledge will be acquired and    example 
of information of self‐efficacy  then assimilated in learning.  Positive feedback  https://storify.com
because it is based on authentic  Learning activities should be  from tutors  /DundeePublicH/fl
experience. Once the level of self‐ created to boost students’  uscenario‐week‐1) 

332
 
Annalisa Manca et al. 

Sources of self‐efficacy and  Meaning in the educational design  How it was  How it was 

definition  context  addressed in 2012  addressed in 2013 
efficacy is established, it can also  knowledge and sense of   
positively influence self‐ achievement, giving possibilities  “Summary of 
motivation, when the learner finds  for self‐direction of learning,  learning” tweet 
through experience that difficult  coupled with constructive and 
tasks can be mastered through  discursive feedback. 
sustained effort (Bandura 1977).  Help students take ownership of 
their own learning by identifying 
their learning needs before the 
activity, and outcomes after. 
2. Vicarious experience  Encourage group performance and  Tutors and  No change 
Based on ‘inferences from social  communication  facilitators are 
comparison’ (Bandura 1977: 197).    prolific Twitter and 
Students can learn by observing  Set level of activity so students will  Blog users. 
and interacting with others,  succeed  Students were 
creating new knowledge from  referred to their 
experience. This happens with  online spaces and 
self‐efficacy expectations as well.  facilitators shared 
their experiences 
with Twitter. 
3. Verbal persuasion  Accountability of the teacher ‐  Students were  No change 
Based on verbal encouragement  good moderation skills in a twitter  contacted via email 
from tutors, mentors and  chat and private emailing to  if they were not 
peers.  This can be the most  encourage participation  participating 
readily available source of self‐    
efficacy, however, because it is  Tutor should show positive  Tutors moderating 
not directly based on experience,  leadership and engagement with  all formats ‐ 
it can easily be discredited.  the discussion in all formats  replying to all 
Beware of raising expectations    contacts 
beyond capabilities (Bandura  Consider peer support from 
1977)  enthusiastic students 
4. Physiological states  Ensure anxiety about new  Introduction to  No introduction to 
Emotional states can influence the  situations (e.g. a new learning  Twitter prior the  Twitter due to 
level of perceived personal  environment) are addressed in  activity  timetabling 
competence. In particular,  advance    constraints 
stressful situations, by causing  Help students overcome fear and  Tutors online and   
emotional arousal, can negatively  anxieties due to the assessment or  face‐to‐face  Otherwise as 2012 
affect self‐efficacy because they  the use of social media for  presence 
tend to debilitate performance.  learning. Common areas of anxiety 
A key element of this dimension is  are expressing opinions publicly 
that  ‘diminishing emotional  and online professionalism issues. 
arousal can reduce avoidance  Require prior discussion or 
behavior’ (Bandura, 1977: 199)  training to reduce their impact. 

3. Methodology 
This case study aims to evaluate the intervention and inform professional practice and future evidence‐based 
decisions (Baxter & Jack 2008). The qualitative case study method has developed within the social sciences and 
is aimed at capturing the complexities of a single case within its context (Baxter & Jack 2008). We use a variety 
of data sources to explore a phenomenon through different lenses, which allows observing and understanding 
it from different perspectives (Baxter & Jack 2008).  

3.1 Data collection and analysis 
We  collected  and  analysed  data  combining  different  strategies  and  methods,  permitting  triangulation.  The 
data  mainly consists  of  a  large  corpus  of  text  deriving from  the  Twitter discussion  involving  students,  tutors 
and external participants. Email and blog comments were not included in this analysis. A post‐hoc evaluation 
questionnaire  was  completed  by  99  (54%)  students  in  2012,  and  by  44  (35%)  in  2013.   The  quantitative 
responses  are  briefly  summarised  below,  with  qualitative  components  included  in  subsequent  analysis. 
Students who participated through Twitter used the #fluscenario hashtag. Any public tweet made using this 
hashtag was collected using a Twitter Archiving Google Spreadsheet (TAGS) (Hawksey 2013). Any student who 

333
 
Annalisa Manca et al. 

sent tweets using a “private” account did not have their data retained and so was automatically excluded from 
the  study.  Analysis  of  this  educational  activity  was  approved  by  the  University  of  Dundee  Research  Ethics 
Committee. 
 
Student  participation  was  analysed  through  social  network  analysis  (SNA),  a  method  using  visual 
representation  of  data  to  obtain  information  about  the  relationships  within  a  social  network.  When  a  social 
network is visualised, the social agents (or “nodes”) are usually represented by points and their connections 
(or  “ties”)  by  lines  linking  one  or  more  nodes.  Student  learning  is  influenced  by  the  quantity  and  quality  of 
connections in a network and by the students’ position in the network, which is determined by the reciprocal 
transfer of information to and from other students (Hommes, Rienties, de Grave et al. 2012). The TAGS tool 
used for the Tweets collection and storage is connected to a conversation explorer, TAGSExplorer (Hawksey 
2011). This tool automatically creates an interactive visualisation of the collected tweets, which proved to be 
particularly  useful  to  perform  SNA.  Initial  content  analysis  was  performed  through  using  text  analytics 
software  (https://www.leximancer.com).  We  sought  evidence  of  learning  and  reflection  by  identifying  key 
words  within  the  corpus  of  the  tweets  that  indicated  the  main  concepts  of  discussion.  Additionally, 
observation of the pattern of ties in the TAGSExplorer graph, in combination with information obtained from 
Leximancer, allowed inferences of how and how much students referred and replied to contributions from the 
other participants. 

4. Findings 
Student participation in 2012 and 2013 is summarised in Table 2. Participation via Twitter, measured by either 
percentage taking part, or number of tweets, increased from 2012 to 2013. SNA identified 227 individuals and 
5215 connections in 2012 (19th Nov to 8 Dec), and 258 individuals and 1939 connections in 2013 (5thNov to 
8th Dec) (Figure 1). This data highlights a decreased interaction in 2013.  
Table 2: Participation data for both cohorts 
  2012  2013 
Total number of students in year  184  127 
Students participating via Twitter (%)  160 (87)  119 (94) 
Students participating via email (and/or VLE in 2012) (%)  19 (10)  5 (4) 
Students who refused to participate at all (%)  5 (3)  3 (2) 
Total number of tweets  2,987  3,965 
Mean number of tweets per student (range)  13.8 (1‐88)  21.2 (1‐105) 
 

 
Figure 1: representation of the #fluscenario 2013 conversation and social network created by TAGSExplorer 

334
 
Annalisa Manca et al. 

The  image  shows  258  nodes  and  1939  edges  (the  “lines”,  representing  a  connection  between 
nodes).   TAGSExplorer  creates  a  dynamic  representation  of  the  conversation,  which  can  be  re‐played  to 
reproduce  what  was  actually  happening  in  a  particular  moment.  Follow  the  QR  codes  or  URLs  to  replay  the 
conversations. 
 
A visual representation of the main themes emerging from #fluscenario 2012 can be seen in Figure 2, showing 
how  words  representing  the  key  concepts  have  been  used  repeatedly,  and  how  these  words  are  linked  to 
other conceptually‐related words (evidenced by the lines between the circles). Students were clearly engaging 
in  on‐task  discourse  by  replying  or  referring  to  contributions  from  peers.  Thus  they  were  constructing  new 
knowledge.  This  inference  is  reinforced  by  individual  comments,  and  parallels  the  connections  between 
students seen in the SNA. Similar patterns can be seen in the 2013 data (not shown).   

 
Figure 2: Overview of the main concepts emerging from the whole corpus of tweets during scenarios (2012), 
obtained through an analysis made with Leximancer Software. Words with >100 uses are shown as 
large  coloured  circles  (themes),  smaller  circles  indicate  commonly  associated  words,  while  lines 
indicate where words are used close to each other 
In  contrast  with  the  findings  above,  responses  to  the  evaluation  questionnaire  were  generally  negative. 
Around half of students (54% in 2012, 48% in 2013) disagreed with the statement “the structure of this activity 
was helpful to my learning”. 47% in 2012 and 32% in 2013 disagreed that “using Twitter helped me consolidate 
my  learning.”  In  2013,  an  additional  question  asked  students  to  compare  the  Twitter  scenario  with  other 
teaching. 36% report no difference, and 27% considered it worse than other methods. 
 
Fewer students responded to a question specifically asking what students disliked about the activity (Figure 3), 
but the overall impression was that students found the character limit very difficult to deal with. Strikingly, a 
number of students did not use the material as intended, with 22% in 2012 and 14% in 2013 admitting that 
they had not used the VLE or blog to access any materials. 

335
 
Annalisa Manca et al. 

 
Figure  3:  Summary  of  student  feedback  for  2012  vs  2013:  reasons  why  students  did  not  enjoy  the  activity 
(n=58 for 2012, n=8 for 2013) 

5. Discussions and conclusions 
Our  results  mirror  recent  literature  (Badge,  Saunders  and  Cann  2012;  Junco,  Elavsky  and  Heiberger  2013) 
highlighting the pedagogic potential of online social networking tools. Our experience shows that Twitter can 
be successfully used as a discussion tool in educational interventions where students participate in a network 
of  learning.  However,  triangulating  the  evidence  showed  that  despite  high  levels  of  participation  and  the 
discussion  appearing  to  address  the  key  questions  posed,  the  level  of  interaction  was  not  that  high.  In  the 
2013 cohort this was particularly so, with lower numbers of conversational threads and many of the students 
tweeting as if speaking into a crowded room. Furthermore the students’ perceptions of the learning activity 
were not overly positive with either cohort. 
 
A  critical  issue  here  is  to  uncover  the  reasons  of  an  intervention’s  impact  (Pascarella  2006).   An  air  of 
reluctance was evident amongst some students surrounding the adoption of Twitter, due to their perception 
that  it  was  a  social  media  tool  and  not  something  that  should  be  used  in  learning  and  teaching.  Lowe  and 
Laffey  (2011)  have  previously  highlighted  there  can  be  reluctance  around  the  use  of  technology  which  can 
result in decreased interactivity. 
 
The cognitive load in the task was underestimated. Low engagement with the task in part of the cohort may be 
due to a number of factors. The impact of the 140 character limit of Twitter clearly generated stress for some 
students.  The  intensive  nature  of  a  Twitter  chat  can  be  overwhelming  to  newcomers,  requiring  significant 
cognitive  effort  to  follow  and  participate  the  treads  of  conversation.   Some  of  the  authors  (AM,  EH,  NL) 
reflecting  on  their  own  experience  of  Twitter  chats  were reminded  of  their  own  initial  lack  of  confidence  in 
active participation.  Self‐efficacy built‐up gradually by "lurking” ‐ reading but not actively contributing ‐ and 
then joining in conversations and receiving positive and reinforcing outcomes from the chat experiences. The 
absence of an introductory session to Twitter in 2013 may account for the larger number of this cohort lacking 
confidence  in  using  Twitter  and  have  led  to  increased  overload  due  to  processing  the  intensity  of  new 
information  in  the  chat  activity  whilst  also  learning  a  new  tool.  Furthermore,  some  students  find  the 
requirements of digital professionalism (General Medical Council 2013) difficult to understand, and resent the 
incursion of staff into “their” online space, fearing censure (rightly or wrongly).  
 
#fluscenario  was  designed  to  influence  what  Kirkwood  and  Price  (2013)  have  described  as  a  “qualitative 
change in learning”: promoting reflection thus producing deeper learning. To achieve this, we need to account 
for  the  indirect  ways  in  which  social  technology  impacts  students’  involvement  and  learning  acting  on  their 
interpersonal experiences (Pascarella 2006). For example considering ways to allow students to be “lurkers” 
through  promoting  reflection  (Megele  2014).   Badge,  Saunders  and  Cann  (2012)  highlight  the  need  to 
understand the social network within which communication is taking place, and to cultivate connections with 
the networks of lower‐performers, which may help address the other challenges of helping students to see the 
benefits.  Megele  (2014)  suggests  an  introductory  workshop  and  hands‐on  session  in  the  IT  suite,  given  the 

336
 
Annalisa Manca et al. 

intensity of the activity to follow. We intend to develop this next academic year and also involve student led 
approaches to introduce their peers to Twitter. 
 
The  existing  broad  literature  on  understanding  student  development  reflects  the  importance  of  recognising 
the  processes  underpinning  learning  in  order  to  design  engaging  educational  activities.  When  using  social 
media this is even more true as educators need to carefully evaluate the way in which such technology might 
affect  the  intervention  itself  and  ultimately  students  involvement  and  outcomes.  Introducing  technology  in 
educational  interventions  should  be  “derived  from  an  identified  educational  need  or  aspiration”   (Kirkwood 
and  Price  2013  p20)  rather  than  “technology‐led”,  this  is  why  using  social  media  in  education  requires  a 
framework where precise attention is given to the design process and the means of its use are applied with 
consistency.  We  believe  that  thorough  evaluation  of  educational  strategies  using  social  media,  will  allow 
further developments to be "evidence based", thus gaining the confidence of both teaching staff and students. 

References 
Badge, J.L., Saunders, N.F.W., Cann, A.J. (2012). Beyond marks: new tools to visualise student engagement via social 
networks. Research in Learning Technology, Vol 20, pp 1‐14. 
Bandura, A. (1977). Self‐efficacy: Toward a unifying theory of behavioral change. Psychological Review, Vol 84, No. 2, pp 
191‐215. 
Bandura, A. (1986). Social foundations of thought and action: A social cognitive theory. Englewood Cliffs, NJ: Prentice‐Hall. 
Bandura, A. (1999). Social cognitive theory: An agentic perspective. Asian Journal of Social Psychology, Vol 2, pp 21‐41. 
Baxter, P. and Jack, S. (2008). Qualitative Case Study Methodology: Study Design and Implementation for Novice 
Researchers. The Qualitative Report, Vol 13, No. 4, pp 554‐559. 
Bridges, S.M., Botelho, M.G., & Tsang, P.C.S. (2010). PBL.2.0: Blended learning for an interactive, problem‐based pedagogy. 
Medical Education, Vol 44, No. 11, pp 131‐131.  
Cheston, C.C., Flickinger, T.E., & Chisolm, M.S. (2013). Social media use in medical education: a systematic review. 
Academic Medicine, Vol 88, No. 6, pp 893‐901. 
Facebook (2014) Our Mission. [Online] Available from: http://newsroom.fb.com/company‐info/ [Accessed: 19th June 2014]. 
General Medical Council (2013). Doctors' use of social media [Online] Available from: http://www.gmc‐
uk.org/Doctors__use_of_social_media.pdf_51448306.pdf [Accessed: 19th June 2014]. 
Harden, R.M., & Crosby, J.R. (2000). The good teacher is more than a lecturer: the twelve roles of the teacher AMEE 
Medical Education Guide No 20. Medical Teacher, Vol 22, No. 4, pp 334‐347. 
Hawksey, M. (2011). Twitter: How to archive event hashtags and create an interactive visualization of the conversation. 
[Online] 7th November 2011. Available from: MASHe http://mashe.hawksey.info/2011/11/twitter‐how‐to‐archive‐
event‐hashtags‐and‐visualize‐conversation/ [Accessed: 16th June 2014]. 
Hawksey, M. (2013). Twitter Archiving Google Spreadsheet TAGS v5. [Online] 15 February 2013. Available from: MASHe 
http://mashe.hawksey.info/2013/02/twitter‐archive‐tagsv5/ [Accessed: 16th June 2014]. 
Hommes, J., Rienties, B.,de Grave, W., Bos, G., Schuwirth, L., Scherpbier, A. (2012). Visualising the invisible: a network 
approach to reveal the informal social side of student learning. Advances in health sciences education : theory and 
practice, Vol 17, No. 5, pp 743‐57. 
JISC (2009). Higher education in a Web 2.0 world [Online] Available from: 
http://www.jisc.ac.uk/media/documents/publications/heweb20rptv1.pdf [Accessed: 16th June 2014]. 
Jones, K., Pole, R., Hole, S., Williams, J. (2012). Social Networks for Learning: Breaking Through the Walled Garden of the 
VLE. In Abraham, A., Hassanien, A‐E., ed. Computational Social Networks: Tools, Perspectives and Applications. 
London: Springer, pp 417‐444. 
Junco, R., Elavsky, C.M.& Heiberger, G. (2013). Putting Twitter to the Test: Assessing Outcomes for Student Collaboration, 
Engagement, and Success. British Journal of Education and Technology, 44(2), 273–287. 
Kear, K. (2011). Online and social networking communities: A best practice guide for educators. New York, London: 
Routledge. 
Kirkwood, A., Price, L. (2013). Technology‐enhanced learning and teaching in higher education: what is ‘enhanced’ and how 
do we know? A critical literature review. Learning, Media & Technology, Vol 39, No. 1, pp 6‐36. 
Life in the Fast Lane (2014). FOAM [Online] Available from:  http://lifeinthefastlane.com/foam/ [Accessed: 18th June 2014]. 
Lowe, B., Laffey, D. (2011). Is Twitter for the birds? Using Twitter to enhance student learning in a marketing course. 
Journal of Marketing Education, Vol 33, No. 2, pp 183‐192. 
Mayer, R.E., Moreno, R. (2003). Nine Ways to Reduce Cognitive Load in Multimedia Learning. Educational Psychologist, Vol 
38, No. 1, pp43‐52. 
Megele, C. (2014). eABLE: embedding social media in academic curriculum as a learning and assessment strategy to 
enhance students learning and e‐professionalism. Innovations in Education and Teaching International, Vol 51 ahead 
of print [Online] Available from: http://dx.doi.org/10.1080/14703297.2014.890951 [Accessed: 18 June 2014].   
Milligan, C., Littlejohn, A., Margaryan, A. (2013). Patterns of Engagement in Connectivist MOOCs. MERLOT Journal of Online 
Learning and Teaching, Vol 9, No.2, pp149‐159. 
New Media Consortium (2014). NMC Horizon Report: 2014 Higher Education Edition; New Media Consortium, Austin, USA. 

337
 
Annalisa Manca et al. 

Pascarella, E.T. (2006). How College Affects Students: Ten Directions for Future Research. Journal of College Student 
Development, Vol 47, No. 5, pp 508‐520. 
Prestridge, S. (2014). A focus on students’ use of Twitter ‐ their interactions with each other, content and interface. Active 
Learning in Higher Education, Vol 15, No 2, pp 101‐115. 
Ruiz, J.G, Mintzer, M.J, Leipzig, R.M. (2006). The impact of e‐learning in medical education. Academic Medicine Vol 81, No. 
3, pp 207–212. 
Sandars, J., Schroter, S. (2007). Web 2.0 technologies for undergraduate and postgraduate medical education: an online 
survey. Postgraduate Medical Journal, Vol 83, No. 986, pp 759‐762.  
Sedghi, A. (2014). Facebook: 10 years of social networking, in numbers. The Guardian. [Online] 4th February Available from: 
http://www.theguardian.com/news/datablog/2014/feb/04/facebook‐in‐numbers‐statistics [Accessed: 19th June 
2014]. 
Siemens, G. (2005). Connectivism: A learning theory for the digital age. International Journal of Instructional Technology 
and Distance Learning, Vol 2, No. 1,pp 3‐10. 
Sweller, J. (1988). Cognitive Load During Problem Solving: Effects on Learning. Cognitive Science, Vol 12, No. 2, pp 257‐285. 
Symplur (no date). The Healthcare Hashtag Project [Online] Available from:  http://www.symplur.com/healthcare‐
hashtags/ [Accessed: 19th June 2014]. 
Twitter (2014). About Twitter. [Online] Available from: https://about.twitter.com/company [Accessed: 19th June 2014]. 
Vasile, C., Marhan, A., Singer, F. M., & Stoicescu, D. (2011). Academic self‐efficacy and cognitive load in students. Procedia ‐ 
Social and Behavioral Sciences, Vol 12. No. 1, pp 478‐482. 
White, M., Scales, J., & Jayaprakash, K. (2011). What can a student‐led e‐learning site add to medical students ’ education 
and professional development. Enhancing Learning in the Social Sciences, Vol 3, No. 3, pp 1‐16. 

338
Developing a MOOC: The Romanian Experience  
Vlad Mihăescu, Radu Vasiu and Diana Andone  
Politehnica University of Timișoara, Timișoara, Romania 
vlad.mihaescu@cm.upt.ro 
radu.vasiu@cm.upt.ro 
diana.andone@cm.upt.ro 
 
Abstract:  Started  in  2008  and  gathering  momentum  over  the  past  two  years,  now  an  online  phenomenon,  MOOCs 
(Massive Open Online Courses) reunite different perspectives over a globalized online learning. The ‘pure’ and initial ones 
integrate  the  connectivity  of  social  networking,  the  facilitation  of  an  acknowledged  expert  in  a  field  of  study,  and  a 
collection of freely accessible online resources. The others are based on online LMS’s where  “open” students, can join in 
some  or  all  of  the  course  activities,  which  might  include  watching  videos,  posting  on  discussion  boards  and  blogs,  and 
commenting via social media platforms or on chat rooms. Widely it is accepted that MOOCs are disruptive – by their very 
nature they tell a different narrative to that of the traditional university. But all major players in the higher education field 
have  initiated,  created  or  joined  a  MOOC  in  the  last  years.  The  most  successful  ones  are  in  widely  used  languages  as 
English, Spanish or German. Four universities from Romania started a Romanian MOOC environment, which provides free 
access  to  valuable  education  in  Romanian  language,  presented  by  well‐known  professors.  This  papers  presents  the 
planning, structuring but also the technological and pedagogical models used in creating the Romanian MOOC. Which one 
from  the  MOOC  models  and  LMS  the  Romanian  courses  can  adopt  and  integrate?  How  Romanian  students  can  be 
encouraged and motivated in attending these courses and how the use of OER and social networking can be encouraged? 
These are just some of the questions which the paper answers, based on the Romanian MOOC development, the enquiries 
and surveys generated in the universities.. 
 
Keywords: MOOC, OER, higher education, LMS 

1. Brief history of MOOC 
Education  is  in  a  period  of  change.  The  high  tuition  prices  that  increase  each  year,  especially  for  the 
Universities  from  the  United  States  of  America,  together  with  the  open  education  vision  of  Salman  Khan 
(founder  of  Khan  Academy),  on  one  side,  and  the  “connectivist  bunch”  (George  Siemens,  Stephen  Downes, 
Dave  Cormier,  Inge  DeWaard, Alec  Couros,  David Wiley),  on the  other,  has  led  some  of  the professors  from 
Stanford’s  Computer  Sciences  Department  to  start  their  own  companies  that  have  been  the  catalyst  that 
MOOCs needed to become a world hysteria. 
 
Online education, open education, distance studies have taken different forms over time. Much of the MOOC 
philosophy is based on Open University’s open approach towards education. An influence for many other ideas 
in  the  future,  the  Open  University  (founded  in  1969)  revitalized  distance  education  because  it  combined 
correspondence instruction, supplementary broadcasting and publishing, residential short courses and support 
services at local and regional levels (Marques 2013). 
 
Two early initiatives that were rather unknown, were AllLearn (Oxford, Yale and Stanford collaboration) and 
Fathom  (University  of  Columbia).The  two  were  offering  online  courses  for  free  but  didn’t  make  it  through 
financial  problems  (University  Business  2006).  Another  forerunner  of  MOOCs  is  Khan  Academy,  a  non‐profit 
educational  website  created  in  2006  by  educator  Salman  Khan  to  provide  “a  free,  world‐class  education  for 
anyone, anywhere” (https://www.khanacademy.org/about). According to Khan, there are differences between 
MOOCs and his platform, as he classifies a MOOC as a “transplantation” of a traditional course, and he stresses 
the on‐demand capabilities above mentioned as elements not found with a standard MOOC (Akanegbu 2013). 
To  complete  what  we’ve  mentioned  before,  the  first  generally  recognized  MOOC  was  developed  by  George 
Siemens and Stephen Downes at the University of Manitoba, Canada. In 2008, Siemens and Downes delivered 
an online course called Connectivism and Connective Knowledge (Siemens 2008) as the first MOOC – Massive 
Open Online Course, based on a connectivist pedagogy. The course aimed to foster the affordances of social 
and  participatory  media.  It  relied  on  the  benefits  of  scale  though  significant  interaction  with  a  distributed 
network  of  peers.  Participants  were  encouraged  to  use  a  variety  of  technologies,  and  to  reflect  on  their 
learning  and  interact  with  others.  There  was  no  ‘right  way’  through  the  course.  The  emphasis  was  on 
personalized learning through a personal learning environment. The course attracted a number of over 2,300 
people. 
 

339
 
Vlad Mihăescu, Radu Vasiu and Diana Andone 

In 2011, Sebastian Thrun and Peter Norvig, two Stanford professors, set in motion another MOOC experiment, 
offering their “Introduction to Artificial Intelligence” course, for free, online. More than 160,000 students from 
190  countries  signed  up  and,  for  the  first  time,  an  open  online  course  was  truly  “massive”.  It  is  worth 
mentioning the fact that 23,000 students completed the course. After this, the two professors built the start‐
up business Udacity, in 2012. 
 
Two  other  professors  from  Stanford,  Andrew  Ng  and  Daphne  Koller,  have  also  decided  to  start  their  own 
company, called Coursera, through which they would offer MOOCs. The for‐profit company, started with a $22 
million total investment from venture capitalists. The four initial partners that offered courses were Stanford, 
Princeton  and  the  Universities  of  Michigan  and  Pennsylvania.  Today,  as  mentioned  on  their  website 
(https://www.coursera.org), they have more than 100 partners and over 600 different courses. 
 
Following  the  1999  OpenCourseWare  (OCW)  movement  start  with  the  publishing  of  video  lectures  by  the 
University of Tubingen in Germany, MIT OCW truly launched this movement in 2002, soon followed by Yale, 
Berkeley  and  the  University  of  Michigan.  The  principles  of  an  OCW  project  are,  according  to  the  OCW 
Consortium (http://www.oeconsortium.org/): 
ƒ free and open digital publication of high quality educational materials, organized as courses. 
ƒ available for use and adaptation under an open license, such as certain Creative Commons licenses. 
ƒ does not typically provide certification or access to faculty  
Ten years later, in 2012, MIT came with a new initiative, MITx which was supposed to extend the concepts of 
OCW by offering more structured formal courses to online students, including in some cases the possibility of 
earning academic credit or certificates based on supervised examination. MITx joined HarvardX to form edX, a 
non‐profit company, initially founded by a $30 million investment from each of the two universities. 
 
Martin Bean, the Vice Chancellor of the Open University UK, observed (Bean 2013) that by the end of 2012, 18 
of the top 20 universities in North America were offering MOOCs. This is one of the incentives needed to push 
the creation of UK’s MOOC, FutureLearn, established in late 2012, as the first “nationally” defined initiative, as 
it is financially sustained by the British Government, and also the first one launched outside of North America. 
 
Of course, in the last couple of years several other platforms emerged, but as this is not the main topic of this 
article we are going to resume only to the above mentioned. 
2. OER and MOOCs in Romania 
In 23 April 2013, partners in 11 countries have joined forces to launch the first pan‐European MOOC initiative, 
with  the  support  of  the  European  Commission.  Androulla  Vassiliou,  European  Commissioner  for  Education, 
Culture, Multilingualism and Youth welcomed the new initiative: “This is an exciting development and I hope it 
will open up education to tens of thousands of students and trigger our schools and universities to adopt more 
innovative and flexible teaching methods. […] It reflects European values such as equity, quality and diversity 
and the partners involved are a guarantee for high‐quality learning.” (EADTU 2013) 
 
At this point, OER exist in Romania, but they are at an incipient level. The implementation of OER in Romania is 
based on teacher initiatives and sometimes supported by projects (Holotescu, 2014) and it leads to a lack of 
national convergence or information. 
 
In  Romania  learning  with  ICT  or  online  support  have  seen  a  strong  development  in  recent  years  most 
universities having their courses on e‐learning platforms mainly of Moodle or other open source environments  
(Ermalai,  2014),  but  only  after  login  in  with  an  affiliate  student  or  teacher  account.  In  the  same  time  the 
Internet penetration in Romania is now up to 55%, the mobile internet use doubled in the last year and it’s 
broadband speed situated Romania on top 1‐3 in the last 2 years (InternetWorldStats, 2014). In this context 
access  to  open  and  flexible education  in  Romania  as  well  as  a  common  spread  of  use  of  OER  is  becoming a 
priority for Romanian education. 
 
In  April  2014,  the  Politehnica  University  Timişoara  had  the  initiative  to  create  and  offer  the  first  Romanian 
MOOC.  And  for  this,  we’ve  joined  forces  with  the  “Politehnica”  University  of  Bucharest,  The  Technical 
University of Cluj‐Napoca and the Technical University “Gheorghe Asachi” of Iaşi. These four Universities will 

340
 
Vlad Mihăescu, Radu Vasiu and Diana Andone 
 
start piloting MOOCs until the end of 2014. The initiative received the name of UniCampus. Based on previous 
experience  the  UNICAMPUS  MOOC  platform  is  developed  internally,  based  on  a  structure  and  methodology 
presented here.  
 
As for the implementation of this platform, we chose to use a LCMS, and opted for Moodle and we’ve argued 
our choice mentioning Moodle’s integration of learning analytics and social media, as well as its familiarity in 
the  Romanian  Higher  Education.  Using  an  existing  platform  which  already  meets  the  access  control  and 
analytics requirements is one way to obtain an effective delivery system for MOOCs.  As we have seen, social 
media  is  a  powerful  tool  when  working  with  MOOCs,  and  Moodle  integrates  most  of  these  recommended 
tools. With the appropriate configurations and tweaks, and with a minimal integration with some of the most 
popular  social  networking  platforms  in  use  today,  Moodle  can  successfully  play  this  role.  (Ternauciuc  & 
Mihăescu 2014) 

3. Proposed structure and methodology 
The  structure  depends  on  the  type  of  MOOC  we  want  to  develop.  It  can  be  a  cMOOC  (connectivist)  or  an 
xMOOC  (content  based).  The  cMOOCs  are  based  on  the  connectivism  theory  of  learning  with  networks 
developed  informally.  They  provide  a  platform  to  explore  new  pedagogies  beyond  the  traditional  classroom 
setting.  cMOOCs  provide  great  opportunities  for  non‐traditional  forms  of  teaching  approaches  and  learner‐
centred  pedagogy  where  students  learn  from  one  another  (Yuan  &  Powell  2013).  In  a  connectivist  course, 
everything is optional. What is important about a connectivist course, after all, is not the course content. This 
serves merely as a catalyst, a mechanism for getting our projects, discussions and interactions off the ground 
(Downes  2011).  Connectivist  teaching  and  learning  consists  of  four  major  sorts  of  activities:  aggregation, 
remixing, repurposing and feeding forward. 
 
The xMOOCs (appeared in 2011) follow a more behaviourist approach. It is the instructional model, essentially 
an extension of the pedagogical models practiced within the institutions themselves. xMOOCs can be divided 
into for‐profit and non‐profit. They are based mainly on interactive media, such as lectures, videos and text. 
xMOOCs have been criticized for lacking any innovation in what pedagogy is concerned. However, it has a huge 
success  amongst  students,  possibly  because  of  the  effervescent  nature  of  their  discussion  forums  and  their 
available learning tools and virtual laboratories (Meinel,Totschnig and Willems 2013). 
 
Siemens  (2012)  compared  the  two  types  of  structure  saying  that  “our  cMOOC  model  emphasises  creation, 
creativity,  autonomy  and  social  networking  learning”,  whereas  the  xMOOC  model  emphasises  “a  more 
traditional  learning  approach  through  video  presentations  and  short  quizzes  and  testing.  Put  another  way, 
cMOOCs focus on knowledge creation and generation whereas xMOOCs focus on knowledge duplication.”. In a 
2012 Twitter post, Mark Smithers said: “in an xMOOC you watch videos, in a cMOOC you make videos”. 
 
We would like to propose a combined structure, agreeing with the duality proposal of Crosslin (2014) 

 
Figure 1: Dual layer cMOOC/xMOOC (Crosslin 2014) 

341
 
Vlad Mihăescu, Radu Vasiu and Diana Andone 

The following structure is proposed after reviewing existing courses on both cMOOCs and xMOOCs. 
 
The students should have the possibility to choose which of the learning pedagogies they want to follow. Of 
course, any of the both paths they may choose should respect the curriculum of the course. 
 
When  accessing  a  course,  there  should  be  two  kinds  of  structure  elements:  static  elements  and  dynamic 
elements. What do we understand as static elements? Those elements that remain on screen, no matter what 
the in‐course activity of the user, are defined by us as static. In the upper part of the screen, we think that the 
following should be present: course title, course tutor/tutors, hosting institution and, if provided by the course 
creator,  a  logo  of  the  course.  Another  part  that  should  be  static  is  the  course  menu,  whatever  the  course 
creator  might  think  as  appropriate  to  include  in  this  menu  (course  chapters/weeks,  discussion  forum, 
assessments, bibliography, links, etc.). Because of usability reasons, we propose that this menu should be in 
the left part of the screen, as research shows that the majority of people first eye‐scroll that side of a website 
first (Nielsen 2006 & 2010). 
 
The  deadlines  should  be  clearly  marked,  using  a  calendar  tool,  in  order  for  the  student  to  be  able  to  easily 
acknowledge  how  much  time  he  has  until  his  homework  or  quiz  is  due.  The  ‘about  page’  should  have 
information regarding the course, such as the syllabus and the grading system. 
 
The  course  is  structured  in  x  weekly  units.  For  each  week,  there  should  be  produced  and  offered  video 
lectures, reading materials, web links with information and quizzes for students to review their progress. The 
videos should contain annotations for quick self‐testing (multi‐answer questions with or without explanation) 
and annotations with bibliography and/or useful links for extra‐reading. For programming courses, the in‐video 
quizzes  should  refer  to  short  code  sequence  writing.  The  student  should  be  prompted  to  answer  the  short 
questions in order to advance with the video. The videos should be available with subtitles and captions. There 
should be the option to modify the screen resolution, the sound and the speed of playing the video. At the end 
of  a  video  lecture,  the user  should have  the  possibility  to  restart  the  current  lecture  or  to  jump  to  the  next 
video  lecture.  A  direct  link  to  a  help  section  regarding  technical  issues  should  be  easily  accessible.  Another 
useful link would be to a forum thread where students spot out content mistakes. 
 
There should be a section of course announcements, included inside the discussion forum. Discussion forums 
should  be  managed  and  set  up  for  each week,  taking  into  consideration  the  topic presented  in  that  specific 
week.  The  teacher  team  should  actively  moderate  this  forum,  which  is  separate  from  the  one  regarding 
technical  issues.  Chiang  and  co  (MIT  Tech  review  2013)  found  out  that  posts  usually  fall  into  three  main 
categories. The first is small talk, for example student introductions. The second is about course logistics such 
as  homework  deadlines.  And  the  final  category  is  course‐specific  questions  which  are  of  most  use  to  the 
students. The problem is that these posts are not seen because of the small talk. Chiang et al developed an 
automatic system that identifies small talk and filters it out. This should help students focus on the useful posts 
and enhance the learning experience. Another solution would be with forum grading. Forums should have the 
possibility of filtering by date, submitter and/or subject. If there are some forum topics that generate a lot of 
reaction from the students, then it would be a great idea to create some more videos that respond to those 
topics. Forums are pervasive in MOOCs and have been characterized as “an essential ingredient of an effective 
online course” (Mak, Williams & Mackness 2010), but early investigations of MOOC forums show struggles to 
retain  forum  users  over  time  (Coetzee  et  al  2014).  Cheng  et  al  (2011)  have  shown  that  students  who 
voluntarily participate in forums perform better and receive higher exam grades. Reputation systems provide 
concrete, yet limited benefits for MOOC forums (Coetzee et al 2014). 
 
A wiki tool would be useful for students and/or teaching staff that want to create or contribute with course 
content. 
 
A meet‐up site can be arranged for students who live in the same geographical area to organize themselves 
some live study groups. Also, conferencing tools could be useful for virtual meet‐ups. One tool that is open and 
accessible is Google Hangouts, an instant messaging and video chat platform. As analysed by McGuire (2013), 
experiments in MOOC with Hangouts, despite being a disaster from the technological point of view, was quite 
interesting. McGuire took Coursera’s Introductory Human Physiology course by Duke University. Students that 
were interested were asked to announce in advance their participation. Only 6 students were invited to join 

342
 
Vlad Mihăescu, Radu Vasiu and Diana Andone 
 
the Hangout at a time. This is a great opportunity for the shyer students to be able to interact with the teacher 
in a more comfortable environment. 
 
Depending  on  the  nature  of  the  course,  we  might  also  need  a  tool  for  document  sharing  possibly 
supplemented with rubric‐scoring tools to facilitate peer‐grading. 
 
For assessment of progress, besides the short weekly quizzes there should be multiple choice tests, which the 
students  can  take  several  times.  We  consider  that  they  shouldn’t  have  the  possibility  to  take  them  an 
indefinite  number  of  times,  because  in  our  opinion,  motivation  will  decrease.  For  each  question  we  should 
have explanations available after the final submission deadline has passed. Different deadlines with different 
penalties should be imputed. One should be able to save his answers before submitting for a future check of 
his quiz attempt. 
 
If we are discussing about a computer programming course, then an assignment that requires programming 
code would also be appropriate. 
 
How does Coursera’s verification system work? Early in the course, the students will have to hold up a picture 
ID in front of a Webcam and then make a photo of themselves. The two pictures will be compared by a human 
being, to see if they match. Then, each student will be required to type a short phrase, sort of like a personal 
signature,  so  that  Coursera  can  register  his  keyboarding  pattern.  Each  time  the  students  will  submit  an 
assignment or quiz they will be asked to type the same short phrase for matching check. However, this system 
is not as secure as the fingerprint scan or other biometric methods. (ICEF Monitor 2013) 
 
Homework could also help, with two possibilities, teacher assessment or peer assessment. At the beginning, 
we believe that, for our case, teacher assessment is more appropriate, students in Romania being unfamiliar 
with the concepts of peer assessment. If the course offers some sort of certification or badge, these homework 
tasks should have a number of points granted for the correct solving, partial or total. Assessment tools have to 
be user‐friendly and interactive so that they engage and motivate learners. 
 
In a MOOC, assessment does not drive learning; learners’ own goals drive learning. The aim of participating in 
a MOOC may or may not be to obtain a credit, or a qualification – the aim is primarily to learn (Masters 2011). 
 
We  think  that the  students  should be  able to  easily  access  or  review  their  course  progress.  A  to‐do  list  tool 
could  be  useful,  with  auto  or  manual  complete  fields  like  course  video,  weekly  quiz,  homework  or  meet  up 
sessions.  The  platform  should  offer  three  types  of  content  creation  for  a  user.  The  first  type,  at  a  personal 
level, should be content that only the student sees, like notes for example. The second type is the one shared 
with the teaching staff, something like mail or instant messaging. Finally, the third type of content is the one 
shared with all the other learning community, for example blogs, wikis and discussion forums. 
 
The  platform  should  allow  the  students  to  create  their  own  blog  where  to  post  ideas.  When  survey 
respondents were asked why they participated in blogs, the most important reasons, in rank order, were: 1) 
space  to  develop  my  own  ideas,  2)  ownership,  3)  self‐expression,  4)  familiarity  with  using  blogs,  5)  an 
attractive layout to express ideas, 6) personal learning, 7) quiet slow reflection, 8) personal relationships, 9) 
own pace, 10) establishing a presence, 11) thoughtful long‐term relationships, and 12) personal voice (Mak et 
al 2010). 
 
Students should have the possibility to connect to their other services and devices, and also to be able to work 
offline.  So,  all  the  learning  content  should  be  available  for  instant  download,  including  the  videos.  There 
should be widgets for social media so that the student can share his work or progress, via Facebook, Twitter, 
LinkedIn, Google +, YouTube or other popular technologies that students use. We think that students need to 
have the possibility to export their work via Google Drive, Google Calendar, Planning platforms, or other tools 
they might find useful. 
 
In order to have quality content, the teachers and course material creators should have access to a number of 
powerful and intuitive tools for content editing and structuring. 
 

343
 
Vlad Mihăescu, Radu Vasiu and Diana Andone 

When creating a course, one has to address two types of learners, the novice learner, who needs a meaningful 
and explicit path to follow in order to access and understand the learning content, and the advanced learner, 
who might want to freely jump between sections and topics, in order to reach the ones meaningful to him. 
“Learning content needs to be presented in its hypertextual structure, in order to allow learners 
to  grasp  more  than  a  linear  sequence  of  content,  i.e.  the  rich  connections  that  exist  between 
knowledge inside and across learning domains” (Meinel et al 2013). 
One example of how things go wrong if the structure isn’t designed well enough was pointed out by Morrison 
(2013).  A  factor  that  could  cause  considerable  distress  to  students  is  the  lack  of  instructions  for  the 
assignments or the group activities. When we decide to create a group activity we have to give very clear and 
detailed instructions. The students should easily find a description of the purpose of the assignment, why we 
chose  a  group  activity  over  an  individual  one  and  how  will  they  benefit  from  this  type  of  activity.  Access  to 
technical  tools  should  be  provided  so  that  students  can  easily  communicate  and  share  in  their  own  group. 
When  Google  Spreadsheet  is  used  for  collaborative  work,  one  might  expect  the  Google  server  to  not  being 
able to handle the traffic and crash. 
 
So, we conclude that building a platform structure for a MOOC is not an easy job, and only after we launch the 
first pilot courses we will be able to quantify if our model is both sustainable and usable. We hope that the 
developers’, students’ and teachers’ experience with the platform will offer us the best practices to adopt for 
UniCampus. 
4. Hardware and technology aspects 
The  platform  must  allow  us  to  embed  video  content,  and  to  enrich  it  with  textual  explanations  and 
annotations.  The  platform  should  be  easily  extensible  in  order  to  implement  teaching  methods  like  game‐
based learning, peer teaching and evaluation, and to connect to virtual laboratories. 
 
Delivering  a  MOOC  to  thousands  of  possibly  concurrent users  needs  a robust  technical  infrastructure,  and  a 
scalable  architecture.  We  need  a  tool  that  both  technically  and  legally  is  allowed  and  facilitated 
experimentation with and modification of the system (Meinel et al 2013). 
 
Each potential system has its own unique advantages to offer: 
ƒ Content management systems with respect to the flexibility of the management and delivery of learning 
content; 
ƒ Collaborative platforms with respect to the communication features; 
ƒ Learning  management  systems  with  respect  to  the  support  for  quizzes  and  course  design  (Meinel  et  al 
2013). 
We  need  to  estimate  the  resources  that  we  will  need,  depending  on  the  type  of  educational  resources  and 
structure desired by each teacher staff and on the expected number of participants. 
 
The private cloud infrastructure allows flexible scalability and the provision of more computing resources by 
simply  adding  additional  physical  hosts  to  the  cloud  respectively  shutting  down  servers  for  reduced  power 
consumption when the server load is low (Meinel et al 2013). 
 
Another mention of the use of a Cloud for demonstrating how artificial intelligence instructors will be able to 
grade thousands of students is of Dr. Peter Norvig: “We have a system running on the Amazon cloud, so we 
think it will hold up,” (Markoff 2011). 
 
An xMOOC platform requires fewer sub‐systems but must, of course, be designed to handle very high volumes 
and  inputs  from  all  over  the  world.  However,  whereas  universities  own  and  operate  multiple  Moodle 
installations,  the  administrative  components  of  MOOCs  (especially  if  they  begin  to  make  extensive  use  of 
Learning Analytics (Siemens 2010)) are too complex for a teaching unit in a university to operate without huge 
resources. For this reason most universities might eventually opt for cloud‐hosted MOOC services with control 
over data releases through contracts with for‐profit service providers (Daniel 2012). 
 
e‐Learning technologies that are widely used in MOOCs include: 

344
 
Vlad Mihăescu, Radu Vasiu and Diana Andone 
 
ƒ High‐quality indexed video; 
ƒ Data capture and analytics; 
ƒ Delivery  platforms  that  combine  the  qualities  of  social  networking  sites  like  Facebook  with  the  content 
delivery, discussion, and grading functions of the traditional learning management system (Voss 2012). 
Technologists are already actively working to augment MOOC platforms with a plethora of products such as 
tools  to  support  contextual  in‐text  and  in‐video  discussions,  formation  of  study  groups  and  project  teams, 
discussion boards with voting and other features, and ways MOOC learners can connect not only in real time, 
but also in the real world (Grover et al 2013). 
 
In our opinion the most important aspects when it comes to the hardware and technology components of a 
MOOC platform is to maintain its scalability and integration with collaborative technologies. 

5. Conclusions 
The  universities’  reasons  to  get  involved  in  the  MOOC  development  are  very  different  and  they  range  form 
marketing to innovation and community support or, in some access, CSR Corporate Social Responsibility. But it 
is also true that they try to position themselves as global leaders of innovation, and as educational institutions 
capable of delivering high‐quality education on a global scale. 
 
We  consider  that  in  today’s  world,  it  can  be  beneficial  for  every  University  to  at  least  try  the  MOOC 
experience,  from  a  user  experience,  and  for  any  higher  education  academic  it  can  be  an  experience  of  a 
different.  Offering  the  best  courses  of  each  university  er,  when  it  comes  to  courses  for  people  who  are  not 
regularly  attending  it,  is  a  great  opportunity  both  to  nourish  minds  but  also  to  promote  itself  through 
educational  delivery  method.    For  Romanian  universities,  which  are  public  funded,    the  involvement  on  the 
development of a Romanian MOOC Is mainly backed by their belief that valuable knowledge and information 
need to be made available, freely to the public and into own national language.  

Acknowledgements 
This work was partially supported by the strategic grant POSDRU/159/1.5/S/137070 (2014) of the Ministry of 
National  Education,  Romania,  co‐financed  by  the  European  Social  Fund  –  Investing  in  People,  within  the 
Sectoral Operational Programme Human Resources Development 2007‐2013. 

References  
Akanegbu, A. (2013), Does the Khan Academy Pass the MOOC “Duck Test”?, 
http://www.edtechmagazine.com/higher/article/2013/04/does‐khan‐academy‐pass‐mooc‐duck‐test (accessed 23 
May 2014) 
Bean, M. (2013), Interview for FutureLearn, http://about.futurelearn.com/feature/interview‐with‐martin‐bean‐vice‐
chancellor‐open‐university/ (accessed 15 May 2014) 
Cheng, C. K., Par, D. E., Collimore, L.‐M., and Joordens, S (2011), Assessing the effectiveness of a voluntary online discussion 
forum on improving students’ course performance, in Computers & Education, Elsevier, January 2011 
Coetzee, D., Fox, A., Hearst, M., Hartmann, B. (2014), Should Your MOOC Forum Use a Reputation System?, Proceedings of 
the 17th ACM conference on Computer supported cooperative work & social computing, Pages 1176‐1187 
Crosslin, M. (2014), Designing a Dual Layer cMOOC/xMOOC, http://www.edugeekjournal.com/2014/05/04/designing‐a‐
dual‐layer‐cmoocxmooc/ (accessed 12 May 2014)  
Daniel, J., Sir (2012), Making Sense of MOOCs: Musings in a Maze of Myth, Paradox and Possibility, Journal of Interactive 
Media in Education 2012  
Downes, S. (2011), 'Connectivism' and Connective Knowledge, http://www.huffingtonpost.com/stephen‐
downes/connectivism‐and‐connecti_b_804653.html (accessed 2 May 2014) 
EADTU (2013), Vassiliou welcomes launch of first pan‐European university MOOCs (massive open online courses), Press 
Release, http://europa.eu/rapid/press‐release_IP‐13‐349_en.htm (accessed 10 May 2014) 
Ermalai,I. Vasiu, R., Andone, D. (2014) The Impact of eLearning on the Quality of Romanian Higher Education", Revista de 
Cercetare si Interventie Sociala [Review of Research and Social Intervention],  ISSN (print): 1583‐3410, ISSN 
(electronic): 1584‐5397,  4/ 2014 (under printing) 
Holotescu, C. 2014, OER in Romania, POERUP Project: Policies for OER Uptake Report,  Available from: 
<http://poerup.referata.com/wiki/Romania>.  [8 July 2014] 
Grover, S., Franz, P., Schneider, E., & Pea, R. (2013), The MOOC as distributed intelligence: dimensions of a framework & 
evaluation of MOOCs, http://lytics.stanford.edu/wordpress/wp‐content/uploads/2013/04/Framework‐for‐Design‐
Evaluation‐of‐MOOCs‐Grover‐Franz‐Schneider‐Pea_final.pdf (accessed 27 April 2014) 

345
 
Vlad Mihăescu, Radu Vasiu and Diana Andone 

ICEF Monitor (2013), Coursera offers biometric‐based 'Verified Certificates' for a fee, extends credential options for 
students, http://monitor.icef.com/2013/01/coursera‐offers‐biometric‐based‐verified‐certificates‐for‐a‐fee‐extends‐
credential‐options‐for‐students/ (accessed 3 May 2014) 
Internet World Stats, (2014), http://www.internetworldstats.com/eu/ro.htm  (accessed 3 May 2014) 
Mak, S.F.J., Williams, R., Mackness, J. (2010), Blogs and Forums as Communication and Learning Tools in a MOOC, 
Proceedings of the 7th International Conference on Networked Learning 2010, ISBN 978‐1‐86220‐225‐2 
Markoff, J. (2011), Virtual and artificial, but 58,000 want course, 
http://www.nytimes.com/2011/08/16/science/16stanford.html (accessed 12 May 2014) 
Marques, J. (2013), A Short History of MOOCs and Distance Learning, http://moocnewsandreviews.com/a‐short‐history‐of‐
moocs‐and‐distance‐learning/ (accessed 17 May 2014) 
Masters, K. (2011), A brief guide to understanding MOOCs, The Internet Journal of Medical Education. 2009 Volume 1 
Number 2. 
McGuire, R. (2013), MOOC experiment with Google Hangouts, http://moocnewsandreviews.com/mooc‐experiment‐
google‐hangouts/ (accessed 28 April 2014) 
Meinel, C., Totschnig, M., Willems, C. (2013), openHPI: Evolution of a MOOC platform from LMS to SOA, 
https://www.hpi.uni‐potsdam.de/fileadmin/hpi/FG_ITS/papers/Web‐University/2013_Meinel_CSEDU.pdf (accessed 
27 April 2014)   
MIT Technology Review (2013), Data Mining Exposes Embarrassing Problems for Massive Open Online Courses, 
http://www.technologyreview.com/view/522816/data‐mining‐exposes‐embarrassing‐problems‐for‐massive‐open‐
online‐courses/ (accessed 13 May 2014) 
Morrisson, D. (2013), How NOT to Design a MOOC: The Disaster at Coursera and How to Fix it, 
http://onlinelearninginsights.wordpress.com/2013/02/01/how‐not‐to‐design‐a‐mooc‐the‐disaster‐at‐coursera‐and‐
how‐to‐fix‐it/ (accessed 02 May 2014) 
Nielsen, J. (2006), F‐Shaped Pattern For Reading Web Content, http://www.nngroup.com/articles/f‐shaped‐pattern‐
reading‐web‐content/ (accessed 10 May 2014) 
Nielsen, J., Pernice, K. (2010), Eyetracking Web Usability, New Riders 
Siemens, G. (2008), MOOC or Mega‐Connectivism Course, http://archive.today/fbZ4Q (accessed 2 May 2014) 
Siemens, G. (2010), Teaching in Social and Technological Networks, http://www.connectivism.ca/?p=220 (accessed 7 May 
2014) 
Siemens, G. (2012), MOOCs are really a platform, http://www.elearnspace.org/blog/2012/07/25/moocs‐are‐really‐a‐
platform/ (accessed 7 May 2014) 
Ternauciuc, A., Mihăescu, V. (2014), Use of Social Media in MOOC ‐ integration with the Moodle LCMS, Proceedings of the 
6th International Scientific Conference eLearning and Software for Education 2014 
University Business (2006), What Went Wrong with AllLearn?, University Business, June Issue 
http://www.universitybusiness.com/article/what‐went‐wrong‐alllearn (accessed  10 May 2014) 
Usher, A. (2012), Barking Up the Wrong Tree, http://higheredstrategy.com/barking‐up‐the‐wrong‐tree/ (accessed 6 May 
2014) 
Voss, B. (2012), What Campus Leaders Need to Know About MOOCs, An Educause Executive Briefing, 
http://net.educause.edu/ir/library/pdf/PUB4005.pdf (accessed 10 May 2014) 
Yuan, L., Powell, S. (2013), MOOCs and Open (Disruptive?) Education: Implications for Higher Education, A white paper 

346
Exergames in Secondary School Physical Education: Attitudes 
Amongst Swedish Students  
Peter Mozelius, Otto Elggren, Joakim Clysén and Mats Wiklund 
Stockholm University, Department of Computer and Systems Sciences, Stockholm, 
Sweden 
mozelius@dsv.su.se 
otel5362@dsv.su.se 
jocl6284@dsv.su.se 
matsw@dsv.su.se 
 
Abstract: Digital games have been introduced as educational tools in upper secondary education (Wiklund and Ekenberg 
2009) and studies show signs of improved language skills for students playing digital games (Mitchell and Savill‐Smith 2004; 
Brandberg 2010), but there are few cases where digital games are used for physical education, or exergaming. To explore 
former secondary school students’ attitudes towards the use of digital games in physical education, a study was conducted. 
Survey findings were complemented through interviews aligned to the survey questionnaire. Results show that 59% of the 
respondents were positive to the concept of using computer games to aid physical education,  while 40% claimed that it 
would not affect their attitude towards physical activities. The remaining 1% stated that it would reduce their motivation 
for  physical  education  classes  if  exergames  were  introduced.  Results  showed  no  clear  connection  between  individual 
interests and attitude towards exergames, except for those with a high interest in gaming showing a more positive attitude 
in general. Some variations in the attitudes towards different game genres were shown with stationary exergames being 
the most popular. 
 
Keywords: digital games, physical education, exergaming, sports and health, educational tools 

1. Introduction 
In  modern  society  computers  and  mobile  devices  such  as  smartphones  and  tablets  are  ubiquitous. 
Contemporary  research  has  pointed  out  that  the  use  of  computers  and  digital  games  are  increasing, 
particularly in the youngest age groups. In 2010 the Swedish Media Council carried out a study on the use of 
digital media amongst children between 6 and 9 years of age. The study shows that a majority of the children 
has access to digital games, and that most of the children regularly spend considerable time playing various 
kinds of digital games (Swedish Media Council 2010a). In a follow up study the Media Council presents results 
indicating a similar situation for secondary school students as well (Swedish Media Council 2010b).  
 
These findings have been confirmed by a survey showing that 86% of Swedish secondary school students play 
digital  games  on  a  regularly  basis  and  that  80%  of  them  pursue  this  activity  20  hours  or  more  per  week 
(Brandberg 2010). A special category in the wide variety of available digital products is educational games. In a 
broad  definition  educational  games  can  be  seen  as  games  that  are  designed  to  support  learning  through  a 
combination  of  gaming  and  educational  content  (Moreno‐Ger  et  al.  2008).  Another  term  is  serious  games, 
clearly  implying  that  the  game  should  not  be  designed  for  entertainment  purposes  but  rather  for  distinct 
learning outcomes (Kapp 2012). 
 
Serious games can be described as: “… a mental contest, played with a computer in accordance with specific 
rules, that uses entertainment to further government or corporate training, education, health, public policy, 
and strategic communication objectives.” (Zyda 2005, p. 26). Exergames can, depending on design, be seen as 
a variant of serious or educational games focusing on physical training activities. Another definition is digital 
games that combine exercise with game play. Such games have been reported to potentially improve health 
status through increased caloric expenditure and heart rate (Staiano and Calvert 2011). 
 
Digital games have been introduced as educational tools in various subjects in Swedish schools during the last 
decade, especially in the teaching and learning of history and foreign languages. Other studies have explored 
Swedish  teachers’  and  students’  attitudes  towards  game‐based  learning  in  general  (Wiklund  and  Ekenberg 
2009;  Brandberg  2010;  Wiklund  and  Glimbert  2005;  Lindell  and  Olsson  2010).  A  further  study  has  explored 
teachers’ opinions on using games in physical education (Klang and Osvald 2012), while less is known when it 
comes to secondary school students’ attitudes to exergames in physical education classes.  
 

347
 
Peter Mozelius et al. 

Furthermore,  computers  and  gaming  (as  well  as  television)  have  often  been  associated  with  a  sedentary 
lifestyle (Tremblay and Willms 2003; Telama et al. 2005). On the other hand, some studies explore computer 
games specifically designed to encourage physical activities (Lin et al. 2006; Staiano and Calvert 2011).  

1.1 Problem 
Trials using digital games to increase physical activity have shown that a positive effect on body/mass index 
can  be  seen  (Maddison  et  al.  2011).  While  studies  show  that  the  curiosity  for  digital  games  in  educational 
context  increases  in  Sweden  (Brandberg  2010),  the  interest  and  participation  in  traditional  sports  have 
declined (Sköld 2010). Findings from other studies show that students’ motivation for general fitness activities 
are lower today than in earlier generations, close to 50% of female students and 25% of the males appear to 
have  a  lack  of  motivation  for  physical  education  (Kristoffersson  and  Stiglund  2012).  Without  knowledge  of 
students’  attitudes  towards  the  usage  of  computer  games  in  the  physical  education  context,  a  key  factor  is 
missing  when  discussing  the  possible  use  of  exergames  in  school  to  address  health  and  fitness  issues  in  the 
light of today’s digital culture. 

1.2 Research question 
Would, in the opinion of students with varying interests in training and gaming, the use of exergames in school 
increase or decrease their motivation for physical activities and participation in physical education classes?   

2. Related research 
As  discussed  by  Biddiss  and  Irwin  (2010),  physical  inactivity  in  children  is  a  significant  health  issue  that  will 
likely need to be addressed through a combination of approaches including both enticing voluntary activities 
and  structured  interventions.  Digital  games  increasing  physical  activity  provide  an  appealing  opportunity  for 
self‐directed use (ibid). To also include structured intervention, usage in school is an interesting possibility. 
 
Swedish  schools  have  a  long  tradition  of  using  alternative  media  in  teaching  and  learning  sessions  with  the 
most frequent complement to books being film, and the use of film in teaching sessions is a practise that is 
accepted  as  an  effective  teaching  tool  (Andersson  and  Hellqvist  2008).  There  is  also  a  Swedish  institute  in 
operation that suggests appropriate films and aligned discussion topics to schools and teachers (Nilsson 2009). 
 
Music  is  another  medium  that  Swedish  students  get  in  contact  with  in  several  con‐texts  in  primary  and 
secondary  school  (Ståhlgren  2004).  Also,  during  the  last  decade  the  use  of  computers  and  the  internet  in 
general has increased in teaching contexts (Swedish Media Council 2010b). In the light of this development, 
internet can be viewed as an accepted and widely used teaching tool in Swedish schools in a way similar to film 
and music, while there may be more scepticism regarding the newer medium of digital games. 
 
Arguments  for  using  games  as  learning  tools  based  on  the  nature  of  today’s  learners  have  also  been 
presented. Using the term digital natives, Prensky claims that “Today’s students are no longer the people our 
educational system was designed to teach.” and remarks that “Today’s average college grads have spent less 
than 5,000 hours of their lives reading, but over 10,000 hours playing video games…". (Prensky 2001, para. 1)  
 
Another aspect of computer games that has been noted to support learning is the practice principle, defined 
by  Gee  (2003,  p.71)  as  an  important  principle  involved  in  successful  learning  situations  utilising  games: 
“Learners get lots and lots of practice in a context where the practice is not boring (i.e. in a virtual world that is 
compelling to learners on their own terms and where the learners experience ongoing success)”. Another such 
principle highlighted by Gee is the achievement principle: “For learners of all levels of skill there are intrinsic 
rewards from the beginning, customized to each learner’s level, effort, and growing mastery and signalling the 
learners ongoing achievements”. (Ibid., p. 67) 
 
Regarding game‐based learning in Swedish schools, some studies have been exploring the potential of learning 
English  (as  a  second  language)  by  gaming.  The  English  language  is  frequently  used  in  digital  games,  and 
Swedish gamers today have English skills at a level such that many games are released without translation to 
Swedish.  One  study  reports  that  the  students  undertaking  an  IT‐programme  at  the  John  Bauer  secondary 
school have improved their English skills by playing games [19]. Also a study using games as the main teaching 

348
 
Peter Mozelius et al. 

tool in upper secondary education has reported positive results regarding skills in English as a second language 
(Wiklund and Ekenberg 2009). 
 
From  another  perspective,  it  is  particularly  interesting  that  the  critique  formulated  by  Linderoth  regarding 
certain  types  of  games  being  problematic  when  used  in  educational  contexts  (Linderoth  2012),  have  no 
bearing  for  exergaming.  Linderoth  describes  cases  where  the  underlying  design  of  some  games  reward  the 
amount  of  time  spent  playing,  rather  than  tasks  hard  to  complete,  resulting  in  a  sense  of  achievement  and 
progress even if only repetitive and non‐challenging task are performed by the player. In an exergame context, 
such player behaviour can be the very key to a successful result. Thus what could be seen as negative when 
using games for theoretical learning, could in fact be a positive aspect for physical training sessions. 
 
In the area of interaction with computer games it has been noted  by Jenson and de Castell that new and more 
sophisticated  types  of  input  devices  is  enabling  a  particular  type  of  learning  activity  that,  even  though  it  is 
related to the learning area, should be distinguished from general usage of simulations: imitation. A simulation 
might  use  the  pressing  of  various  buttons  as  inputs,  even  though  the  buttons  as  such  are  conceptually 
unrelated  to  the  initiated  actions  triggered  by  them.  There  is  in  most  cases  no  morphological  connection 
between the action the player performs when pressing a button and the in‐game action that results: “There is 
of  course  an  entirely  arbitrary  relation  between  the  player’s  actions  (‘press  A’,  for  example  and  Mario’s 
jumping).  A  button  press  is  the  technologically  mediated  means  to  the  avatar’s  jumping,  but  it  is  of  course 
nothing like the jumping. A button press bears no resemblance to a jumping event.”. (Jenson and de Castell 
2009, p. 3) 
 
However,  the  concept  of  imitation  implies  performing  an  action  in  a  morphologically  similar  way,  requiring 
more  precise  position/movement  sensors  embedded  in  input  devices:  “In  order  to  play,  the  player  must 
imitate a golf swing, or a tennis swing, a baseball swing or even rolling a bowling ball with the controller. In 
effect, the player imitates the ‘real world’ action that is correlated with the action within the game.” (ibid., p. 
4).  Jenson  and  de  Castell  remarks  that  the  current  trend  with  more  advanced  input  devices  constitutes  an 
epistemological  shift  away  from  simulating  various  actions,  enabling  imitation  of  those  actions  in  computer 
games.  
 
This  results  in  a  situation  closer  to  traditional  learning  where  children  can  morphologically  imitate  the 
behaviour of more experienced mentors through digital games (ibid.). In the light of this situation, the concept 
of computer games contributing to increased health and fitness can be discussed. As concluded by Best, while 
it is yet not possible to conclusively establish that exergames is a viable tool to promote physical education in 
youth, research does suggest that exergames have the potential to benefit physical health (Best 2013). 
3. Method 
This  study  was  conducted  with  a  mixed  method  research  strategy  involving  common  characteristics  in  such 
cases  such  as  combining  quantitative  and  qualitative  data,  using  the  mix  of  methods  to  support  data 
triangulation, and applying a problem‐driven pragmatic approach to gather data (Denscombe 2003). An online 
survey was combined with semi‐structured interviews where the data from the survey is the main source of 
information,  backed  up  by  the  interviews  as  a  subsidiary  data  source  to  improve  the  understanding  of 
students’ attitudes towards exergames. Similar to case studies the entity or phenomenon studied is explored 
in depth by using a combination of data collection sources (Creswell 2009), in a setup where the different data 
sources together should generate a deeper understanding (Remenyi 2012). 
 
The  respondents  were  divided  into  nine  different  groups  based  on  their  interest  in  physical  exercises  and 
gaming.  The  various  groups  could  then  be  analysed  separately  and  compared  to  each  other.  Since  physical 
exercises is the central factor in this study the groups are primarily defined by the students’ level of interest in 
physical  exercises,  while  the  students’  level  of  interest  in  gaming  is  used  to  further  subdivide  the  groups  as 
shown in the results section below. 
 
Also  the  respondents  attitudes  regarding  four  specific  game  genres  to  be  used  in  training  exercises  were 
examined,  enabling  comparison  of  their  perceived  usability  in  the  context  of  physical  education.  For  the 
purpose  of  calculating  mean  values,  the  responses  were  weighted  as:  completely  uninterested  =  ‐2, 
uninterested = ‐1, uncertain = 0, interested = 1 and very interested =2. In an attempt to dig deeper into the 

349
 
Peter Mozelius et al. 

students’  attitudes  to  the  use  of  digital  games  in  physical  education  classes,  a  schema  for  semi‐structured 
interviews was constructed based on the survey questions and the study’s area of focus. Interviews were con‐
ducted online in a web chat with two male and to female students to complement the survey data with in‐
depth discussion. 

4. Results 
The  number  of  respondents  was  100,  consisting  of  both  current  and  former  Swedish  secondary  school 
students. The respondents were distributed among the defined groups as follows: 
 
Respondents with a low interest in physical exercises (34) 
ƒ 1a) Low interest in gaming: 6 respondents 
ƒ 1b) Medium interest in gaming: 6 respondents 
ƒ 1c) High interest in gaming: 22 respondents 
Respondents with a medium interest in physical exercises (50) 
ƒ 2a) Low interest in gaming: 11 respondents 
ƒ 2b) Medium interest in gaming: 7 respondents 
ƒ 2c) High interest in gaming: 32 respondents 
Respondents with a high interest in physical exercises (16) 
ƒ 3a) Low interest in gaming: 5 respondents 
ƒ 3b) Medium interest in gaming: 4 respondents 
ƒ 3c) High interest in gaming: 7 respondents 
The gender distribution was 80 % male and 20 % female respondents. Table 1 shows the indicated attitudes 
towards using exergames to increase motivation in physical education broken down by gender.  
Table 1: Indicated change in interest to participate in physical education classes if exergames were introduced, 
as percentages and broken down by gender 
Attitude  Male  Female 
Strongly increased interest  11  15 
Increased interest  48  45 
Neither decreased nor increased  40  40 
Decreased interest  1  0 
Strongly decreased interest  0  0 

The findings regarding attitudes towards using exergames to increase motivation in physical education broken 
down by respondent groups are shown in table 2. 
Table 2: Indicated change in interest to participate in physical education classes if exergames were introduced, 
as  percentages  and  broken  down  by  combinations  of  interest  in  physical  exercises  (1‐3  with  3 
indicating the highest interest) and interest in gaming (a‐c with c indicating the highest interest) 
Attitude  1a  1b  1c  2a  2b  2c  3a  3b  3c 
Strongly increased interest  17  0  9  0  0  22  20  0  14 
Increased interest  33  67  59  36  29  53  0  75  29 
Neither decreased nor increased  50  33  32  55  71  25  80  25  57 
Decreased interest  0  0  0  9  0  0  0  0  0 
Strongly decreased interest  0  0  0  0  0  0  0  0  0 
Regarding variations in attitude toward the usage of specific game categories as tools in physical education, 
the results were as shown in table 3. 
Table 3: Indicated attitudes towards using specific game categories in physical education 
Attitude  Stationary  Portable  Edutainment /  Game 
exergames  exergames  edugames  simulations 
Very interested  23  22  11  29 

350
 
Peter Mozelius et al. 

Attitude  Stationary  Portable  Edutainment /  Game 

exergames  exergames  edugames  simulations 
Interested  53  39  35  36 
Uncertain  11  19  20  21 
Uninterested  10  19  23  8 
Completely uninterested  3  1  11  6 
Average  interest  values  per  game  genre  in  table  3  based  on  responses  being  weighted  as  detailed  in  the 
methods  section  were:  stationary  exergames  0.83,  portable  exergames  0.62  edutainment/edugames  0.12 
game  simulations  0.74.  Average  interest  values  per  examined  game  genre  broken  down  by  interest  groups, 
based on responses being weighted as detailed in the methods section are shown in table 4. 
Table 4: Average interest values for combinations of examined game genres and interest groups. 
Group  Stationary  Portable  Edutainment /  Game 
exergames  exergames  edugames  simulations 
1a (n=6)  0.33  0.00  ‐0.50  0.83 
1b (n=6)  1.00  0.83  0.00  0.83 
1c (n=22)  0.95  0.41  ‐0.27  0.95 
2a (n=11)  0.90  0.36  0.91  0.18 
2b (n=7)  0.40  0.14  ‐0.43  0.00 
2c (n=32)  1.06  0.66  0.19  1.16 
3a (n=5)  0.40  0.80  0.60  0.60 
3b (n=4)  0.25  1.00  0.50  0.50 
3c (n=7)  0.57  1.43  0.43  0.29 

5. Discussion 
The different attitudes shown in the numerical data detailed in the results section were further detailed by the 
conducted  interviews  where  some  respondents  argued  against  the  concept  that  various  kinds  of  exergames 
could be a strong motivator for increasing physical activities. One respondent stated that: “I have a hard time 
seeing how games might change my general attitude”. Another respondent did not really see exergames as a 
serious tool: “To stand here and wave a Wii bat is in my opinion not a real sports activity” (translations by the 
authors). 
 
Other  students  wanted  to  involve  games  like  Paintball  (a  version  of  what  is  otherwise  often  referred  to  as 
Lasertag). Both games are are physically challenging competitions between two teams where hits are marked 
by colour splashes from paint‐filled plastic projectiles or infrared sensors detecting laser beams, respectively. 
Moreover there were suggestions on using virtual golf games, in conjunction with remarks that actual golf is an 
expensive  activity.  One  finding  regarding  the  current  situation  was  that  only  2%  of  the  respondents  had 
experience of using any of the four studied game categories in their physical education in secondary school. 
 
However,  in  a  time  when  secondary  school  students  belong  to  the  so  called  digital  natives  (Prensky  2001) 
generation  the  use  of  exergames  seems  like  a  promising  approach.  Students’  passion  for  digital  games  will 
likely increase further and it is not inconceivable that they will view games as a natural ingredient in a future 
physical  education  setting.  Also,  mobile  phone  apps  acting  as  training  companions  are  a  recent  trend.  With 
functions such as step counting and running route mapping there is potential for increased motivation. With 
students  using  their  personal  mobile  phones  in  physical  education  classes,  exergames  in  their  various  forms 
could be seen as cross‐platform applications supporting health improvement.   
 
Quotes from the semi‐structured interviews contained two interesting standpoints that both could be topics 
for  further  research:  “DDR  dance  mats  and  other  exergames  would  be  great  fun  but  the  school  needs  to 
purchase and maintain them. To repair the dance mats might be costly” and “Exergames could be a valuable 
aid for students with disabilities that have gaming experience” (translations by the authors). The first quote is 
in  line  with  findings  in  (Talbot  2011)  reporting  malfunctions  with  dance  mat  technology,  while  the  second 
quote  expresses  a  similar  attitude  to  those  described  in  (Evett  et  al.  2011)  where  the  Nintendo  Wii  tennis 
game was evaluated and given positive feedback by persons with disabilities.  
 

351
 
Peter Mozelius et al. 

6. Conclusions 
A  majority  of the  students were  positive  to  the  idea  of  using  exergames  in  physical  education  and  only  one 
percent  has  a  negative  opinion.  The  most  positive  attitudes  towards  using  stationary  games  and  game 
simulations can be found among students with a moderate interest in physical activities and a great interest in 
gaming. Students with a high level of interest in physical activities are mainly interested in portable exergames 
that can be used as add‐ons to their current sport activities. The lowest interest in using games is found in the 
group  with  a  low  interest  in  physical  as  well  as  gaming  activities,  a  category  mainly  interested  in  game 
simulations. 
 
Recommendations  are  to  explore  and  evaluate  the  concept  of  exergames  further,  since  very  few  negative 
attitudes  were  identified.  Digital  games  can  never  replace  teachers  in  the  physical  education  setup  but  can 
function as add‐on tools, stimulating students to increase their physical activities. An often neglected group in 
physical education are the disabled, where exergames may serve as technology to enhance physical excercises. 
Such existing exergame equipment that is produced for home use has limited durability, while for daily use in 
schools there is likely a need for higher quality and more robust design. 
 
Exergames  is  an  emerging  field  that  is  perceived  positively  by  most  in  the  digital  natives  generation  in  this 
study. An especially interesting potential can be seen regarding stationary games and simulations. Since those 
participants  advocating  these  games  the  most  only  have  a  moderate  interest  in  physical  activities,  there  is 
much room to change their sedentary lifestyle. 

Future work 
To get a clearer picture of attitudes towards using exergames in physical education including possible changes 
after  experiencing  various  implementations,  a  longitudal  study  is  needed.  The  issue  of  possible  uses  of 
exergames to aid persons with physical disabilities in their training merits a separate study. 

References  
Andersson, S., Hellqvist, S. (2008) “Film as text?” [online], Jönköping University, http://www.diva‐
portal.org/smash/get/diva2:3544/FULLTEXT01.pdf 
Best, J. R. (2013) “Exergaming in youth: Effects on physical and cognitive health”, Zeitschrift für Psychologie/Journal of 
Psychology, 221(2), pp 72‐78. 
Biddiss, E., & Irwin, J. (2010) “Active video games to promote physical activity in children and youth: a systematic review”, 
Archives of pediatrics & adolescent medicine, 164(7), pp 664‐672. 
Brandberg, T. (2010) “Hey! Look! Listen!”, [online], Uppsala University, http://www.diva‐
portal.org/smash/get/diva2:396503/FULLTEXT01.pdf 
Creswell, J. W. (2009) Research Design, Qualitative, Quantitative and Mixed Methods Approaches, Sage Publications, 
Thousand Oaks. 
Denscombe, M. (2003) The Good Research Guide for Small‐Scale Social Projects, Open University Press, Birkshire. 
Evett, L., Ridley, A., Keating, L., Merritt, P., Shopland, N., Brown, D. (2011) “Designing Serious Games for People with 
Disabilities: Game, Set and Match to the Wii”, International Journal of Game‐Based Learning (IJGBL), vol 1, no 4, pp. 
11‐19. 
Gee, J. P. (2003) What video games have to teach us about learning and literacy, Palgrave Mac‐millan, New York. 
Jenson, J., de Castell, S. (2009) “From Simulation to Imitation: New Controllers, New Forms of Play”, Proceedings of DiGRA 
2009, Breaking New Ground: Innovation in Games, Play, Practice and Theory, 4th International Digital Games 
Research Association Conference, Brunel University, London. 
Kapp, K. (2012) The Gamification of Learning and Instruction: Game‐Based Methods and Strategies for Training and 
Education, Pfeiffer, San Francisco. 
Klang, D., Osvald, C. J. (2012) “Interactive Games in Physical Education” [online], Swedish School of Sport and Health 
Sciences, http://www.diva‐portal.org/smash/get/diva2:480666/FULLTEXT01.pdf 
Kristoffersson, A., Stiglund A. (2012) “The Motivation of Girls and Boys in Physical Education [online], Luleå University of 
Technology, http://pure.ltu.se/portal/files/36417264/LTU‐EX‐2012‐34635503.pdf 
Lin, J. J., Mamykina, L., Lindtner, S., Delajoux, G., Strub, H. B. (2006) “Fish’n’Steps: Encouraging physical activity with an 
interactive computer game”, UbiComp 2006: Ubiquitous Computing, LNCS, vol 4206, pp. 261‐278. 
Lindell, H., Olsson, C. (2010) “You have Games at School? – a Study on teachers’ and pupils’ Attitudes to Video and 
Computer Games in Education” [online], Malmö University, 
http://muep.mah.se/bitstream/handle/2043/9895/Har%20du%20spel%20p%c3%a5%20skolan.pdf?sequence=1&isAl
lowed=y 
Linderoth, J. (2012) “Why gamers don’t learn more: An ecological approach to games as learning environments”, Journal of 
Gaming and Virtual Worlds, vol 4, no. 1, pp. 45‐62. 

352
 
Peter Mozelius et al. 

Maddison, R., Foley, L., Mhurchu, C. N., Jiang, Y., Jull, A., Prapavessis, H., ... & Rodgers, A. (2011) “Effects of active video 
games on body composition: a randomized controlled trial”, The American journal of clinical nutrition, 94(1), pp 156‐
163. 
Mitchell, A., Savill‐Smith, C. (2004) “The Use of Computer and Video Games for Learning: A Review of the Literature”, 
[online], Learning and Skills Development Agency, http://dera.ioe.ac.uk/5270/1/041529.pdf 
Moreno‐Ger, P., Burgos, D., Martínez‐Ortiz, I., Sierra, J. L., Fernández‐Manjón, B. (2008)  “Educational game design for 
online education”, Computers in Human Behavior, vol 24, no 6, pp. 2530–2540. 
Nilsson, M. (2009) “The World’s Largest Classroom” [online], University of Kalmar, http://www.diva‐
portal.org/smash/get/diva2:273980/FULLTEXT01.pdf 
Prensky, M. (2001) “Digital natives, digital immigrants”, On the horizon, vol 9, no 5, pp 1‐6. 
Remenyi, D. (2011) Case Study Research, Academic Publishing International Limited, Reading. 
Sköld, J. (2010) “Motivation for Athletics and Health” [online], Karlstad University, http://www.diva‐
portal.org/smash/get/diva2:329911/FULLTEXT01.pdf 
Staiano, A. E., Calvert, S. L. (2011) “Exergames for physical education courses: Physical, social, and cognitive benefits”, Child 
Development Perspectives, vol 5, no 2, pp. 93‐98. 
Ståhlgren, F. (2004) “Music: an instrument for learning? A study of how teachers use music in their teaching” (online), 
Linköping University, http://www.diva‐portal.org/smash/get/diva2:20065/FULLTEXT01.pdf 
Swedish Media Council. (2010a) “Younger Kids and Media 2010”, [online], Swedish Media Council, 
http://www.statensmedierad.se/upload/Rapporter_pdf/Smaungar_&_medier2010.pdf 
Swedish Media Council. (2010b) “Kids and Media 2010” [online], Swedish Media Council, 
http://www.statensmedierad.se/upload/Rapporter_pdf/Ungar_&_medier_2010.pdf 
Talbot, T. (2011) “Virtual Reality and Interactive Gaming Technology for Obese and Diabetic Children: Is Military Medical 
Technology Applicable?”, Journal of Diabetes Science and Technology, vol 5, no 2, pp. 234‐238. 
Telama, R., Nupponen, H., Piéron, M. (2005) “Physical activity among young people in the context of lifestyle”, European 
Physical Education Review, vol 11, no 2, pp. 115‐137. 
Tremblay, M. S., Willms, J. D. (2003) “Is the Canadian childhood obesity epidemic related to physical inactivity?”,  
International journal of obesity, vol 27, No 9, pp. 1100‐1105. 
Wiklund, M., Ekenberg, L. (2009) “Going to School in World of Warcraft: Observations from a Trial Programme Using Off‐
the‐Shelf Computer Games in Secondary Education”, Designs for Learning, vol 2, no 1, pp 36‐55. 
Wiklund, M., Glimbert, L. (2005) “Students Perception of a Learning Environment and the Teachers Role While Using 
Unmodified Computer Games as Learning Tools in Upper Secondary Education”,  Proceedings of CGAIMS 2005, 6:th 
International Conference on Computer Games, AI and Mobile Systems, University of Wolverhampton, UK. 
Zyda, M. (2005) “From Visual Simulation to Virtual Reality to Games”, IEEE Computer, vol 38, no 9, pp. 25‐32. 
 

353
Education for all by ICT4D Hubs: A Sri Lankan Case Study 
Peter Mozelius 
Department of Computer and Systems Sciences, Stockholm University, Sweden 
mozelius@dsv.su.se 
 
Abstract: ICT4D, here defined as the use of Information and Communication Technologies (ICT) in developing regions, has 
been  classified  as  one  of  the  most  powerful  and  cost  efficient  ways  to  improve  the  standard  of  living  in  the  developing 
world. Many regions in Asia have shown a rapid but heterogeneous development where information technology has made 
a  drastic  change  to  urban  regions  and  globalisation  but  often  left  rural  areas  without  much  investment  with  further 
urbanisation as result. The aim of this study is to describe and discuss how a number of ICT4D initiatives and the creation 
of eLearning hubs in Sri Lanka have been supporting education for all and local development. ICT4D hubs can have various 
physical as well as virtual shapes and organisational models but should always facilitate education and development by the 
use  of  ICT.  Some  examples  of  studied  eLearning  hubs  are  telecentres,  primary  schools,  online  distance  programmes, 
eLibraries  and  learning  object  repositories.  A  number  of  case  studies  have  been  conducted  between  2006  ‐  2012  using 
interviews, observations and participatory action research for the data collection. Findings show that many of the analysed 
hubs have contributed in positive ways to the general progress of the country and most urban areas in the Western region 
have  had  a  rapid  development  where  ICT  has  been  an  important  catalyst.  Sri  Lanka  has  had  an  outcome  that  must  be 
classified as better than average with increased opportunities to education and ICT hubs as multipurpose meeting points. 
Contributing  main  factors  to  the  successful  development  is  the  high  literacy  rate,  the  chain  of  ICT4D  projects  and  a 
committed implementation of eServices. Several initiates have contributed to development but the internal gap has rather 
grown and knowledge sharing and inter‐project cooperation has failed. What could be seen as a strength in the Sri Lankan 
ICT4D model is the way top‐down management sometimes is combined with bottom‐up activities. At the same time as the 
gap between Sri Lankan cities and the developed world has diminished the internal digital divide has increased and there 
exists  a  need  for  further  support  of  the  islands  eastern  and  northern  regions.  The  recommendation  is  to  enhance  the 
islands  existing rural  ICT4D  Hubs  and  upgrade  them  to  more  autonomous  and  service‐oriented  ICT4D  routers  that  could 
handle the islands future eGovernance and eHealth services. Found keywords for successful outcomes are commitment, 
collaboration, communication and coordination. 
 
Keywords: ICT4D, ICT4D hubs, eLearning, blended learning, Sri Lanka 

1. Introduction 
Information  and  Communication  Technology  for  Development  (ICT4D)  is  an  approach  to  improve  the  socio‐
economic situation in developing regions. The term ICT4D mainly refers to the potential of ICT as a catalyst for 
development. Most research in this field has been focused on the evaluation of existing technologies and often 
with tools and techniques of Western or Far East Asian origin (Sutinen and Tedre, 2010). Important ingredients 
in  ICT4D  are  eLearning,  eDemocracy,  eGovernment,  eHealth,  free  and  open  software,  capacity  building  and 
infrastructure  development.  Huge  amounts  of  money  have  been  invested  in  ICT4D  initiatives  with  funding 
from  international  aid  organisations,  state  funded  aid  agencies  and  multinational  companies.  Identified 
problems to address are lack of infrastructure, lack of coordination and poor adaptations to the socio‐cultural 
context. It is a complex multidisciplinary and multi stakeholder domain with crucial factors like authentic local 
needs, competence and sustainability. (Mozelius et al, 2009) 
 
st
Many Asian regions have had a rapid but heterogeneous development in the 21  century where information 
technology has made a strong impact on urban areas but often left rural areas without much change and with 
further urbanisation as result. Sri Lanka is a country in the developing world with a high level of literacy and a 
well‐established policy of free education. Primary and Secondary school are free and accessible for all but far 
from everyone leaves Secondary school with all grades in order and career opportunities. For higher education 
there  is  a  bottleneck  and  the  actual  intake  to  tertiary  education  for  the  year  of  2009  was  19,650  and  the 
number of students left out of the university system was over 100,000 in the yearly intake.  (Warnapala, 2009)  
 
During the two last decades the country’s use of ICT has increased rapidly in urban areas and the new digital 
divide  is  a  rural‐urban  duality.  (Gaiani  et  al,  2009b)    On  the  Sri  Lankan  island  computerisation  and  internet 
facilities are more frequent in the capital Colombo and bigger cities like as Kandy and Galle. In more sparsely 
populated  non‐urban  areas,  where  over  75%  of  the  population  lives,  there  are  less  computers  and  a  less 
developed infrastructure (Hansson et al, 2010). After the fast growth of the Internet in the 1990s when IT was 
extended to ICT a lot of ICT based aid projects were rapidly initiated in developing regions, and often to rapidly 
without  appropriate  planning,  design  or  evaluation.  Two  identified  and  discussed  problems  from  what  has 

354
 
Peter Mozelius 

been  called  ICT4D  1.0  are  the  lack  of  scalability  and  the  lack  of  sustainability.  (Heeks,  2008)  Projects  have 
rapidly started but also with a sudden death.  
 
In  the  shift  to  ICT4D  2.0  there  is  a  need  for  new  approaches,  new  technologies  and  new  intellectual 
integration. A big challenge is how to deliver the Internet to the remaining billions people who still lack access 
(Heeks,  2008),  another  is  how  to  use  ICT  and  eLearning  to  realise  the  idea  of  Education  for  all.  This  study 
explores how region‐wide dissemination of blended learning might be implemented by the use of ICT4D hubs. 
ICT4D  hubs  have  various  physical  as  well  as  virtual  shapes  and  organisational  models  but  with  the  common 
denominator that they should facilitate education and development by the use of ICT.  

1.1 Education for all 
The Education for All (EFA) movement is a global initiative to support basic education with good quality for all 
children, youth and adults coordinated by UNESCO. There is an international agreement on six education for 
all goals that should be met by 2015 (UNESCO, 2014). This study has a focus on goal 3 and goal 6.   
ƒ Goal 3: Ensuring that the learning needs of all young people and adults are met through equitable access 
to appropriate learning and life‐skills programmes.  
ƒ Goal 6: Improving all aspects of the quality of education and ensuring excellence of all so that recognized 
and measurable learning outcomes are achieved by all, especially in literacy, numeracy and essential life 
skills  

1.2 Aim of the study 
The  aim  of  this  study  is  to  describe  and  discuss  to  how  a  number  of  ICT4D  initiatives  and  the  creation  of 
eLearning hubs in Sri Lanka have been supporting education for all  and local development.  

2. Computer network hubs, eLearning hubs and ICT4D Hubs 
Traditionally the word hub has two different general meanings: 
ƒ A focal point  
ƒ The central point of a wheel or a propeller where the axle passes through   
(Collins Dictionary and Thesaurus, 1987) 

2.1 Computer network hubs, switches and routers 
In the interconnection of computer networks the simplest and most straightforward way is to use a hub. In this 
context  a  hub  is  a  simple  electronic  device  that  accepts  frames  with  data  as  input  and  retransmits  the 
information to the hub’s outgoing ports (Kurose & Ross, 2001). The hub itself is ignorant of the transmitted 
information. Simple hub devices have been an easy and widely used technique to interconnect computers in 
small networks. A star‐shaped computer network resembles of a wheel with spokes where the centre of the 
star network is called a hub (Comer, 2001).      

 
Figure 1: The star network topology where computers attach to a hub 

355
 
Peter Mozelius 

A network switch does the same work a hub, but more efficiently by analysing the data traffic that passes by 
and  learns  from  the  analysis.  Initially,  a  switch  knows  nothing  more  than  a  hub  and  simply  retransmits  the 
incoming information to all its ports (Notenboom, 2012). But by using the destination frame of arriving data 
packages the switch can learn and register where the information should be passed on (Comer, 2001).  Routers 
are more complex and smarter than hubs and switches, (Notenboom, 2012) and can be seen as programmed 
computers or intelligent intermediate systems used for connecting networks that may or may not be similar 
(Stallings, 2000).  

2.2 eLearning hubs, ICT hubs and Sri Lankan ICT4D hubs 
Hubs in the context of eLearning and ICT4D should be seen both in the classical definition as focal points and 
with  the  computer  network  hub  ability  of  receiving  and  retransmitting  information.  They  could  also 
metaphorically  represent  the  central  point  for  the  axle  that  provides  region‐wide  knowledge  dissemination. 
ICT4D,  eServices  and  education  must  involve  more  than  just  the  mere  access  to  digital  content  where  hubs 
also ought to be meeting points for students, teachers, subject matter experts, instructional designers, content 
developers, technicians, support staff, content development, facilitation … 

2.3 eLearning hubs 
The term has mostly been used in Asian distance education contexts where major Chinese cities like Guangzho 
and  Bejing  have  been  the  base  for  an  organised  nation‐wide  distribution  of  mass‐education  (Chen  &  Zhang, 
2003) (Quan‐rong, 2007). It has been discussed if the Chinese large scale distance education hubs should be 
aimed  at  making  profit  or  not  (Kaisheng,  2003)  and  how  to  reach  China’s  rural  regions  (Changwen,  2008). 
eLearning  Hub  has  also  been  the  name  of  an  educational  initiative  launched  by  the  Chinese  Ministry  of 
Education aimed at establishing a ICT supported lifelong education system (Weimin, 2007). 
 
Another Asian hub idea is to establish Singapore as a local eLearning hub (Yue & Lim, 2003) or as a global one 
for  world‐wide  dissemination  of  distance  education  (Anderson,  2003).  In  both  perspectives  the  Singapore 
based eLearning hub should use modern high‐end technology and recruit specialists from all over the world 
(Cordeiro  &  Al‐Hawamdeh,  2001).  Globally the  term  eLearning  hub has  also  been  used  in  the  description  of 
virtual learning platforms in general and for WebCT platform in particular (Canessa, Fonda, & Radicella, (2002) 
(Damoense, 2003).    

2.4 ICT hubs 
With  the  emphasis  more  on  infra‐structure  and  basic  e‐Services  there  has  been  a  discussion  on  ICT  hubs 
mainly in South Africa (Jacobs & Herselman, 2005) (Pade,  Mallinson & Sewry, 2009) but later also in countries 
like Malaysia (Basaruddin et al., 2011) ICT hubs are compared to eLearning hubs more like Community service 
centres with a more multi‐purpose setup aimed to support rural development (Jacobs & Herselman, 2005) and 
resembling of what in Asian countries are called  Rural Knowledge Centres,  Information Kiosks or Telecentres 
(Mukerji, 2008) (Gaiani et al., 2009a).  
 
In  contrast  to  eLearning  hubs  the  ICT  Hubs  are  located  in  rural  areas  to  support  the  local  communities  and 
rural  development.  To  be  sustainable  they  are  often  designed  as  multi‐purpose  service  centres  providing  a 
wide variety of services and not eLearning and distance education only. ICT Hubs can have internet connection 
and commercial services but they can also be non‐commercial hubs for blended learning like Sri Lankan OLPC 
schools (Mozelius et al., 2012) and in the shape of Sri Lankan off‐line telecentres (Mozelius & Megammaana, 
2011). 

2.5 The Sri Lankan ICT4D hubs 
The concept of ICT4D hubs could briefly be described as a combination if eLearning hubs and ICT Hubs as they 
are described above. Like eLearning hubs ICT4D hubs can have various physical as well as virtual shapes and 
organisational models but should always facilitate education and development in various ways. Like ICT Hubs 
ICT4D  hubs  must  also  be  designed  to  support  rural  areas  and  local  development.    Sri  Lankan  ICT4D  Hubs 
explored in this study are:  
ƒ The National eLearning Centre (NeLC) in Colombo 
ƒ The eBIT programme at the University of Colombo, School of Computing (UCSC) 

356
 
Peter Mozelius 

ƒ Telecentres in the Nenasala network 
ƒ Primary schools in the Sri Lankan One Laptop Per Child initiative 
ƒ Digital online Learning Object Repositories developed used at UCSC 
3. Methodology  
Data has been collected in a longitudinal case study of selected ICT4D hubs in Sri Lanka during 2006 – 2012. 
Main methods for data collection have been interviews and observations but in the Colombo based NeLC and 
eBIT  projects  the  author  have  also  been  participating  in  the  daily  work  in  two  Swedish  –  Sri  Lankan  aid 
projects,  the  AsiaLink/eBIT  project  and  the  NeLC  project.  The  author’s  work  in  these  projects  could  be 
described as participatory action research in the sense that digital content and software systems have been 
designed, constructed and evaluated. 
 
The  AsiaLink/eBIT  project  was  a  four  year  Swedish‐Dutch‐Sri  Lankan  collaboration  funded  by  the  European 
Union. Overall objective in the project was to improve the dissemination of Higher Education in Sri Lanka by 
curriculum  development  and  implementation  of effective  eLearning  methods  to  bridge  the  countries 
knowledge divide. Except from being an observer of the project, the author has also participated in content 
development, course evaluation and staff meetings (Mozelius et al., 2009). In the NeLC project the author was 
the  team  leader  for  the  development  of  the  eNOSHA  learning  object  repository.  NeLC  was  a  Sida  funded 
project  with  the  objective  to  create  a  national  centre  of  excellence  in  the  field  of  eLearning  and  distance 
education (NeLC, 2014). 

4. Sri Lankan ICT4D hubs 
BIT and eBIT – Bachelors in Information Technology 
 
At the end of the 20th century there was an increasing demand for IT graduates in the Sri Lankan industry and 
while traditional university system could not increase the intake for IT‐programmes. To address this issue,  a 
new  tailor  made  Bachelor  of  Information  Technology  (BIT)  was  designed  and  started  at  the  University  of 
Colombo  in  2000  (Wikramanayake  et  al.,  2007).  Already  from  the  beginning  of  BIT,  technology  enhanced 
learning  was  given  special  consideration  to allow  students  to  practice  the  use  of  ICT.  Information  about  the 
programme such as registration, curriculum and examination was published online. Initially this was a simple 
website but later it was transformed to a student portal with extended functionality. The BIT programme, that 
included  foreign  students  as  well,  has  now  a  new  updated  eBIT  version  that  has  become  one  of  the  most 
popular IT programmes on the Sri Lankan island (Mozelius et al., 2011a). 
 
eBIT – The Online Version of BIT 
 
The  BIT  curriculum  was  revised  in  the  AsiaLink/eBIT  project  to  support  the  development  of  online  courses 
based on student centred collaborative learning. A new Virtual Learning Environment (VLE) based on Moodle 
LMS  was  established  and  customized.  This  new  and  localised  eLearning  framework  was  introduced  as  the 
"Vidupiyasa"  (Interface  for  Learning  and  Knowledge).  Interactive  digital  content  was  developed  following 
international  eLearning  standards  for  28  courses  in  the  six  semesters  that  builds  the  eBIT  programme.  This 
new  eBIT  programme  was  aimed  to  increase  the  low  pass  rate  in  the  BIT  programme  by  providing  activity 
based content and online adapted assessment. After one year, the pass rates for the first two semesters were 
thrice  as  high  as  before.  Students  also  obtained  better  grades  in  their  courses  due  to  the  new  and  more 
interactive eLearning content and e‐assessments.  (Mozelius et al., 2011a) 
 
The National eLearning Centre  
 
Technology enhanced learning and distance education has rapidly grown in many developing regions and open 
universities  can  now  reach  a  far  larger  population  than  in  the  20th  century.  But  the  development  of  high 
quality  eLearning  content  is  now  more  time  consuming  and  costly  (Boyle  2003)  (Pagram  &  Pagram,  2006). 
Universities and other educational organisations in developing countries need to deal with these issues if they 
should be able to deliver high quality education. 
 

357
 
Peter Mozelius 

To address these challenges an UCSC based eLearning centre was started, at the same time as the department 
was  founded  in  2002,  to  support  the  transformation  of  BIT  material  into  interactive  eLearning  content  to 
support the curriculum development and to make eBIT an improved alternative for external studies. (Mozelius 
& Hatakka, 2009). At the same time as there was an ongoing collaboration with Swedish experts, the eLearning 
Centre also got Japanese support, and had a dialogue with Australian universities. Important tasks for the early 
eLearning  Centre  were  to  implement  the  curriculum  changes  and  to  develop  aligned  activities  and  learning 
objects. After the migration to the Moodle virtual learning environment all learning objects, on more complex 
aggregation levels should be stored in SCORM format.  At the eLearning Centre a model for rapid and efficient 
content  development  was  established  serving  courses  with  more  than  5000  students  only  in  the  eBIT 
programme.  A  priority  at  the  eLearning  Centre  has  been  to  always  deliver  and  keep  the  deadlines  and 
sometimes quality has not been the prime objective. (Mozelius & Hatakka, 2009)  
 
The eLearning Centre rapid development model could be seen as a conveyor belt where the involved actors 
have strict and defined roles in the content development process. Syllabi based on chosen course books are 
designed by Subject Matter Experts (SMEs) and later passed on to Instructional Designers (IDs) as the blueprint 
for the aligned course content. Each syllabus is later broken down in to smaller chunks of activities by the ID. 
Interactive  learning  activities  are  then  designed  as  story  boards  by  the  IDs  and  passed  on  to  the  Content 
Developers (CDs) for the actual implementation. To be efficient and be able to deliver quickly CDs often use 
templates in Flash, HTML and JavaScript or redesign material retrieved from the Internet. 
 
The Nenasala Telecentre Network 
 
One  initiative  under  the  eSri  Lanka  umbrella  (eSri  Lanka,  2011)  is  the  creation  of  the  Nenasala  telecentre 
network. A project that should strive to meet the infrastructure requirements in rural areas and address the 
information  and  communication  needs  island‐wide  through  the  establishment  of  telecentres  to  provide  ICT 
based eServices (Nenasala, 2014). Technology enhanced learning and e‐services are rare phenomena in rural 
areas (Gamage & Halpin, 2007). The Nenasala network was launched to provide access to ICTs for people in 
rural regions in Sri Lanka and with the main objectives of: 
ƒ poverty reduction 
ƒ peace building 
ƒ social and economic development  (Nenasala, 2014) 
Nenasala is a Sinhala word that translated to English means a centre for knowledge and Nenasala is the given 
brand  name  for  the  600  community  driven  Telecentres  in  rural  Sri  Lanka.  The  overall  aim  is  to  reduce  the 
internal  digital  divide,  develop  culture  and  promote  commerce  and  community  integration.  Nenasala 
telecentres are equipped in several ways but normally with 2‐4 computers and a printer. Many telecentres, but 
not all, have satellite broadband Internet access. (Meegammana et al, 2010) There were different telecentre 
implementations on the island before the launch of the Nenasala network and in the inception phase a lot of 
different  organisation  models  were  tried.  Telecentres  were  often,  and  still  are,  started  and  housed  in 
collaboration with existing local organisations. Three currently common models for telecentre organisation in 
Sri Lanka are: The Temple model, The Family model and The Entrepreneur model (Gaiani et al, 2009b).   
 
In  the  Temple  model  the  computer  hall  is  located  close  to  Buddhist  temples  and  even  if  the  monks  are  not 
conducting the ICT training they are involved in the daily organization of the telecentre. Sometimes, like in the 
Thalakumbura Telecentre located in a Buddhist temple in the Badulla district, the younger priests also attend 
the IT training (Meegammana et al, 2010). Nenasalas with a Family model for organization are run at home of 
one  or  usually  several  family  members.  Longer  or  shorter  courses  and  teaching  sessions  are  given  in  the 
families’  houses  or  apartments  and  in  evenings  and  at  weekends.  The  Entrepreneur  model  can  have  many 
shapes, one interesting and working solution can be found in the Etampitiya telecentre in the  Sri Lankan Hill 
Country where 2 young innovative software developers as the organisation team. One of managers is of Tamil 
origin and the other is Singhalese. At the same time as they provide IT training for visitors of Tamil as well as of 
Singhalese origin they are running a company providing low cost computers in the region. (Gaiani et al, 2009b) 
 
There are currently (July 2014) 765 telecentres located all over the island mainly in rural and semi‐rural area 
but  with  three  recently  inaugurated  nenasalas  in  Colombo.  The  reason  for  establishing  telecenres  in  urban 
regions  as  well  is  to  increase  ICT  for  youth  and  schoolchildren  of  low  income  families.  One  of  the  main 

358
 
Peter Mozelius 

objectives  in  the  Nenasala  initiative  is  to  establish  1000  telecentres  with  a  geographical  spread  all  over  the 
island.  (Nenasala, 2014)   
 
The Sri Lankan OLPC Initiative 
 
Like  in  many  other  countries  there  have  been  several  different  concepts  of  one‐to‐one  computing 
implemented on the Sri Lankan island. One example is the so called eVillage project where Intel’s Classmate 
computers are used in an initiative where students share computers with internet access. Another example is 
the One Laptop Per Child (OLPC) initiative which is the project that this thesis will focus on. In Sri Lanka all of 
the involved primary schools initially provided one laptop per student but later computers have broken down 
and not been repaired or replaced. What makes the Sri Lankan OLPC model special is that there has been a 
chosen focus on digital content development in local languages instead of Internet connectivity. (Mozelius et 
al., 2012) 
 
Initially there were nine schools in nine different provinces selected for a pilot project with funding from the 
World Bank. Students in the schools are from different ethnic groups in schools that are located in poor rural 
areas  where  computers  are  absent  in  schools  and  in  people’s  homes.  In  the  deployment  of  the  first  1000 
computers the OLPC Sri Lanka Foundation has collaborated with the Ministry of Education. Later private sector 
funding  has  enabled  an  increased  the  number  of  laptops  and  an  additional  350  units  was  purchased  and 
distributed to another four schools with a total of 1350 students with their own personal computers that are 
brought home after school. The implementation and the computer based teaching and learning sessions in the 
13 schools have been monitored by the Sri Lankan Ministry of Education and the World Bank officials. (OLPC 
Sri Lanka, 2011)   
 
Digital  content  based  on  the  primary  school  curriculum  was  developed  in  English  for  learning  objects  on 
Mathematics and English and local languages. Later the developed content was translated into the two main 
national languages Tamil and Sinhala with different versions for different schools. The computers’ operating 
system  has  been  translated  to  both  national  languages  and  all  students  can  now  work  with  laptops  and 
learning material in their mother tongue. Teachers have got basic training in how to use the computers and 
how to lead teaching sessions based on the distributed digital learning objects (Rahuman & Wikramanayake, 
2009). The Sri Lankan Ministry of Education has, unlike in many other OLPC implementations, chosen a model 
where emphasis is put on content development in local languages Sinhala instead of a focus on Internet access 
and an online search for learning material (Mozelius et al., 2012).  
 
In this study 6 of the 13 OLPC schools have been visited with a geographical and ethnic spread from west coast 
Singhalese schools to an east coast Muslim school and a Tamil school in the northern Jaffna region. Selected 
and visited primary schools are: 
 
Geographical locations: Schools in Urban, Rural and Semi‐rural areas 
ƒ Urban: Jaffna 
ƒ Semi‐rural: Kalagahawela, Gampaha and Palmunai 
ƒ Rural: Blackwood and Kukulkatuwa 
Ethnic groups: Schools in Singalese, Tamil and Muslim dominated areas 
ƒ Muslim: Palmunai 
ƒ Tamil: Blackwood and Jaffna 
ƒ Singalese: Kalagahawela, Kukulkatuwa and Gampaha 
eNOSHA a Learning Object Repository 
 
eNOSHA  is  an  open  source  Learning  Object  Repository  (LOR)  designed  and  developed  in  a  collaboration 
between UCSC in Sri Lanka, and two Swedish universities during 2009 and 2010. This software system is built 
with the idea that, subject matter experts, content developers and instructional designers with different levels 
of  permission  should  be  able  to  store  store  and  reuse  learning  objects  on  four  different  aggregation  levels 

359
 
Peter Mozelius 

(Hettiarachchi et al., 2011). The eNOSHA system was designed based on a needs analysis at UCSC in late 2008 
and was taken into use and testing at the eLearning Centre at UCSC in early 2010. 
 
In the evaluations done by content developers and instructional designers at the eLearning Centre users were 
not satisfied with the systems usability and user‐friendliness. There were also complaint on multiple logins and 
suggestions to integrate eNOSHA with the frequently used Moodle virtual learning environment. As a result of 
the  evaluation  the  system  was  integrated  in  the  Moodle  system  with  features  for  fast  and  user‐friendly 
searching (Mozelius et al., 2011b). The LOR was later in 2011 installed at a Finnish university for further testing 
and  updating.  Today  the  eNOSHA  system  is  used  at  some  European  and  African  universities  but  the  idea  of 
establishing the LOR as a virtual ICT4D hub in Sri Lanka was a failure.   

5. Conclusions 
Use of ICT and the creation of ICT4D hubs can be an efficient way of making impact on developing regions if 
aid  projects  are  conducted  and  combined  in  an  appropriate  order  where  infrastructure  is  built  before  the 
introduction of services. It is also of great importance that the hubs and ICT4D initiatives are based on the local 
needs  and  coordinated. Sri  Lanka  has  in  the  21th  century  started  a  myriad  of  projects  but  coordination  and 
evaluation  are  seldom  there.  Important  issues  for  the  discussed  ICT4D hubs are  commitment, collaboration, 
communication and coordination. 
 
To  bridge  the  gap  between  urban  and  rural  are  the  main  challenges  to  address  in  the  next  decade.  Like  in 
many  other  countries  the  idea  of  sharing  digital  content  in  online  repositories  has  been  discussed  but  not 
really  implemented.  Most  of  the  analysed  ICT4D  hubs  act  like  network  hubs  receiving  and  disseminating 
information  without  control  mechanisms  for  efficiency  and  collaboration.  For  a  better  and  more  well‐
organised  dissemination  of  eLearning  the  next  step  should  be  to  develop  the  ICT4D  hubs  further  and  make 
them ICT4D switches, or even better, intelligent ICT4D routers.  

References 
Anderson, L. (2003) "Fresh ways of learning at the touch of a finger", Financial Times online (retrieved 26/04/2014) 
http://users.anet.com/~smcnulty/docs/finger.pdf 
Boyle, T. (2003) "Design Principles for Authoring Dynamic, Reusable Learning Objects", Australian Journal of Educational 
Technology, 19, 46‐58. 
Canessa, E., Fonda, C., & Radicella, S. M. (2002) "Virtual laboratory strategies for data sharing, communications and 
development", Data Science Journal, 1, 248‐256. 
Changwen, S. (2008) "ELearning Countryside: A Case Study of a Village in Beijing", In Distance Education in China, 9, 007. 
Chen, Q., & Zhang, J. W. (2003) ”A model of integrated learning in the information era”, Peking University Education 
Review, 1(3), 90‐96. 
Collins Dictionary and Thesaurus (1987) William Collins Sons & Co Ltd, ISBN: 0004331869  
Comer, D. E. (2001) Computer Networks and Internets, Prentice Hall Inc Upper Saddle River, New Jersey, ISBN: 0‐13‐091‐
449‐5 
Cordeiro, C. M., & Al‐Hawamdeh, S. (2001) "National Information Infrastructure and the realization of Singapore IT2000 
initiative", Information research, 6(2) 
Damoense, M. Y. (2003) "Online learning: Implications for effective learning for higher education in South Africa", 
Australian Journal of Educational Technology, 19(1), 25‐45. 
eSri Lanka (2011) "Smart People, Smart Island", (retrieved 20/05/2014) http://www.icta.lk/en/e‐sri‐lanka.html 
Gaiani, S., Hansson, H., Meegammana, N., Mozelius, P. (2009 a) “Critical issues for eLearning telecentres in Sri Lanka and 
India”, In proceedings of 23rd ICDE World Conference on Open Learning and Distance Education including the 2009 
EADTU Annual Conference, 7 Maastricht, the Netherlands.  
Gaiani, S., Meegammana, N., Mozelius, P., Hansson, H. (2009b) “Knowledge through Cables: is it for Everyone? ‐ a South 
Asian Case Study”, In proceedings of eIndia 2009 Conference, Hyderabad India 
Gamage, P., & Halpin, E. F. (2007) "E‐Sri Lanka: bridging the digital divide", Electronic Library, The, 25(6), 693‐710. 
Hansson, H., Mozelius, P., Gaiani, S., Meegammana, N. (2010) “Women Empowerment in Rural Areas through the Usage of 
th
Telecentres ‐ A Sri Lankan Case Study”, In proceedings of the 11  International Conference on Advances in ICT for 
Emerging Regions, ICTer 2010, Colombo Sri Lanka. 
Hettiarachchi, E., Mozelius, P., Hewagamage, K. P., Hatakka, M., Balasooriya, I., & Karunarathne, D. (2011) eNOSHA‐the 
design and development of a learning object repository. International Journal on Advances in ICT for Emerging 
Regions (ICTer), 3(1), 3‐10. 
Heeks, R. (2008) "ICT4D 2.0: The Next Phase of Applying ICT for International Development",  IEEE Computer Society (Vol. 
41, No. 6) pp. 26‐33, June 2008  http://ngis.computer.org/csdl/mags/co/2008/06/mco2008060026.html 
Jacobs, S., & Herselman, M. (2005) "An ICT‐hub model for rural communities", International Journal of Education and 
Development using ICT, 1(3). 

360
 
Peter Mozelius 

Kaisheng, L. (2003) “Challenges to the Public‐Welfare Nature of Education”, Educational Research, 2 
Kurose, J. F. & Ross K. W. (2001) Computer Networking, A Top‐down Approach Featuring the Internet, Addison Wesley 
Longman Inc, ISBN: 0‐201‐47711‐4 
Meegammana, N., Dhammasara, K., Samarawikrama, C., Kumara, S.S. (2010) ”Local language  eLearning at rural 
Telecentres”, ”, In proceedings of International Conference on Future Imperatives of Communication and Information 
for Development and Social Change, Bangkok. 
Mozelius, P., Hansson, H., Kahigi E., Ekenberg L. (2009) ”Important aspects in ICT4D projects – towards a model for quality 
assessment”, In UNAD Revista de investigaciones, Bogóta, Colombia 
Mozelius, P., Hatakka, M. (2009) "Conveyor Belt Production of Course Material – a Case Study in Sri Lanka", In Proceedings 
of The 8th European Conference on eLearning, ECEL 2009, Bari, Italy 
Mozelius, P., Hewagamage, K. P., & Hansson, H. (2011a) ”Towards eLearning for all in Sri Lanka‐progress and problems 
insome selected Sri Lankan 21st century initiatives”, In proceedings of The Fourteenth Cambridge International 
Conference on Open, Distance and eLearning, Cambridge, UK  
Mozelius, P., Balasooriya, I., & Hettiarachchi, E. (2011b) eNOSHA and Moodle: The integration of two eLearning systems. In 
Proceedings of the 10th European Conference on eLearning‐ECEL 2011 (pp. 509‐516). Academic Publishing Limited. 
Mozelius P., Megammaana N. (2011) "Cross‐ethnic Collaboration at a Sri Lankan Telecentre ‐ Barriers for Effective 
ELearning in Rural Regions", eWORLD‐FORUM 2011 conference, New Delhi 
Mozelius P., Wikramanayake G. & Rahuman K. (2012) "A Sri Lankan one‐to‐one computing initiative and its impact on 
formal learning in primary school", Education and General Studies, Herald International Research Journals, AUGUST 
ISS.: VOL. I (I) 
Mukerji, M. (2008) "Telecentres in rural India: emergence and a typology", The Electronic Journal of Information Systems in 
Developing Countries, 35 
NELC (2014) “A National eLearning Centre in Sri Lanka” (retrieved 19/05/2014) http://dsv.su.se/en/research/research‐
areas/ict4d/projects/nelc‐national‐eLearning‐centre‐in‐sri‐lanka‐1.122492 
Nenasala (2014) Official Web Site (retrieved 19/05/2014) http://www.nanasala.lk/ 
Notenboom, L. A. (2003) “What's the difference between a hub, a switch, and a router?” (retrieved 28/04/2014) 
http://ask‐leo.com/whats_the_difference_between_a_hub_a_switch_and_a_router.html 
Pade, C., Mallinson, B., & Sewry, D. (2009) "An Exploration of the Critical Success Factors for the Sustainability of Rural ICT 
Projects – The Dwesa Case Study", Information Systems Development (pp. 339‐352), Springer US. 
Pagram, P., Pagram, J. (2006) "Issues In ELearning: A Thai Case Study", The Electronic Journal of Information Systems in 
Developing Countries, 26, 1‐8. 
Quan‐rong, L. (2007) “Practice and Innovation in Establishing a Digitalized Learning Community”, Journal of Guangzhou 
Radio & TV University 4, 002 
Rahuman, K., Wikramanayake G., (2009) "Pedagogy Changes for ICT Enabled Primary Education in Sri Lanka" Digital 
Learning, December 2009 
Stallings, W. (2000) Data & Computer Communications, Prentice Hall, ISBN‐10: 0130843709 
Sutinen, E., Tedre, M. (2010) "ICT4D: A Computer Science Perspective", In Algorithms and Applications, Lecture Notes in 
Computer Science, 2010, Volume 6060/2010, pp 221‐231 
UNESCO (2014) “Education for All Goals” (retrieved 19/05/2014) 
http://www.unesco.org/new/en/education/themes/leading‐the‐international‐agenda/education‐for‐all/efa‐goals/ 
Warnapala, W. (2009) Higher Education Policy in Sri Lanka: New Perspectives and Change, Vijitha Yapa Publications. 
Wikramanayake, G. N., Hewagamage, K. P., Gamage, G. I. & Weerasinghe, A. R. (2007) “Asia ebit @ucsc: Implementing the 
paradigm shift from teaching to learning through eLearning framework.”, In proceedings of 25th National In‐
formation Technology Conference. Colombo, Sri Lanka. 
Weimin, R. E. N. (2007) “ELearning Hub and Nationwide Public Support Services System in Distance Education for Building 
A Learning Society”, Open Education Research, 1, 003 
Yue, C. S., & Lim, J. J. (2003) "Singapore: a regional hub in ICT", Towards a Knowledge‐based Economy: East Asia's Changing 
Industrial Geography, 259. 

361
The Role of ITG in Supporting use of e‐Learning Strategies: A‐
Comparative Study 
Tembisa Ngqondi1 and Marlien Herselman2 
1
Department of Applied Informatics, Faculty of Science, Engineering & Technology, Walter 
Sisulu University, East London, South Africa 
2
Department of Information Systems, Faculty of Commerce & Management, University of 
Fort Hare, East London, South Africa 
tngqondi@wsu.ac.za  
MHerselman@csir.co.za 
 
Abstract: This paper reports on the role of Information Technology Governance (ITG) in supporting teaching and learning 
techniques through e‐Learning strategies in the institutions of higher learning. The emerging of information technology (IT) 
has  contributed  in  reshaping  and  improving  the  teaching  and  learning  process  in  the  institutions  of  higher  learning.  E‐
Learning  in  particular,  became  an  important  tool  in  supporting  new  techniques  of  teaching  and  learning  in  the  age  of 
technology. E‐Learning is a tool that uses multimedia technologies and the Internet to improve the quality of learning by 
facilitating access to resources and services; however its effectiveness depends on acceptable IT infrastructures. The use of 
e‐Learning  in  supporting  meaningful  and  effective  diverse  teaching  and  learning  techniques  requires  well  established 
hardware and software IT infrastructure. Since IT has become an enabler and a hub for the organization’s operational and 
strategic decisions; it is therefore identified as a strategic topic for public and private organizations. The IT strategic plan 
can  be  achieved  through  embracing  ITG.  Literature  defines  ITG  as  leadership  responsibility  that  addresses  different 
organizational  structures,  processes  and  rational  mechanisms  in  ensuring  sustainable  organization’s  strategies  and 
objectives.  ITG  creates  an  environment  whereby  IT,  e‐Learning  and  teaching  and  learning  strategies  are  discussed  and 
supported in different levels of the organizations. Literature indicates that a lot of studies have been done in identifying 
the  role  of  IT  in  improving  e‐learning  strategies  but  little  has  been  done  in  investigating  ITG  components.  ITG  is  an 
overarching approach in addressing organizational holistic approach in aligning core business objectives with IT objectives. 
To investigate the role of ITG in supporting e‐Learning strategies a purposive case study was conducted in three institutions 
of  higher  learning  namely;  university  A,  university  B  and  C.  The  investigation  of  this  premise  was  conducted  through 
various  qualitative  measures  such  as  briefing  sessions  (mini  workshops),  observation,  document  analysis  and  individual 
interviews.  Findings  indicate  that  embracing  ITG  in  the  institution  of  higher  learning  contributes  effectively  in  using  e‐
Learning as a teaching and learning tool. The findings further indicate that ITG practices are still challenged in the university 
setup  since  the  execution  of  IT  responsibilities  are  centrally  managed  and  championed  by  IT  unit.  The  mixture  of 
decentralization and centralization of IT decisions are still resisted by other units. The identified implications/ challenges 
are identified as further research topic. The contribution of ITG strategic alignment approach in the institutions of higher 
learning was investigated for diverse activities; however this paper reports on only one aspect which is the role of ITG in 
supporting e‐Learning strategies for effective teaching and learning techniques.  
 
Keywords: e‐learning, information technology governance, information technology, teaching and learning 

1. Introduction 
The  administrative  and  academic  activities  of  the  institutions  of  higher  learning  have  been  drastically 
transformed by the emerging of information technology. The emerging of IT has also challenged the traditional 
teaching and learning approach since it has introduced diverse complex technological learning aids (Collins & 
Halverson, 2009). As IT becomes easier to access and understand, it increasingly permeates academic activities 
in  the  institutions  of higher  learning  whereby  it  enabled  lectures to  integrate  technology  into  their  teaching 
and learning strategies (Arabasz, et al., 2003). The technology driven teaching and learning techniques raised a 
demand  on  employing  high  quality  IT  infrastucture  that  can  accommodate  diverse  e‐Learning  strategies 
(Bichsel, 2013). Teaching and learning is the core business of every academic institution of higher learning; it is 
therefore  a  strategic  topic  discussed  in  executive  structure(s)  of  the  university.  Since  IT  has  transformed 
traditional  strategies  of  teaching  and  learning  into  e‐Learning  approach,  e‐Learning  became  high  in  the 
strategic decisions of different academic institutions of higher learning. A question rises “what is the role of 
ITG in supporting the execution of e‐Learning strategies in the institutions of higher learning?”. ITG is defined 
by Weil & Ross (2004) as the decision rights and accountability framework for encouraging desirable behaviour 
in  the  use  of  IT.  This  definition  explains  the  role  of  ITG  for  the  effective  execution  of  e‐Learning  strategies. 
Since  ITG  is  concerned  with  the  entire  IT  function  of  the  university;  it  therefore  addresses  the  holistic 
alignment of IT and university’s objectives that help in achieving its strategic goals. Yanosky & McCrede (2008) 

362
 
Tembisa Ngqondi and Marlien Herselman 

indicate  that  ITG  is  an  organisation  approach  that  acknowledges  everynone’s  stake  and  empowers  all  the 
stakeholders in determing the directions IT is to take.  
 
E‐Learning is not well effective without proper IT infrastucture which is not aligned with univesity objectives, 
this justifies why ITG is important in supporting e‐Learning strategies. This paper has investigated the role of 
ITG  in  supporting  effective  e‐Learning  strategies  in  three universities.  The  approach these  institutions  use  in 
embracing ITG was studied to identify common and different trends on how ITG contributes towards effective 
e‐Learning  strategies.  The  results  of  this  paper  present  the  strenghts  and  limitations  of  ITG  in  supporting  e‐
Learning  strategies  in  comparison  with  theoritical  perspectives  offered  by  literature.  The  impetus  for  this 
paper is derived from the following research question, aims and objectives: 
 
Main Research Question: 
 
What  is  the  role  of  Information  Technology  Governance  Practices  in  supporting  e‐Learning  strategies  in  the 
academic Institution of Higher Learning? 
 
Sub‐Questions 
ƒ What are the theoretical advantages of embracing ITG in supporting e‐Learning strategies as promoted by 
literature?  
ƒ This is aiming at investigating and analyzing the existing relavent literature that relates to e‐leaning and 
ITG approaches which can be used as a base in supporting the importance of ITG strategies in executing e‐
learning strategies  
ƒ What are the ITG strategies employed by cases studied in supporting e‐Learning strategies? 
ƒ Identify the case of universities’ best IT Governance practices that will contribute in supporting e‐Learning 
strategies. 
ƒ Identify  the  strengths  and  weaknesses  (challenges)  of  the  adopted  IT  Governance  approach  at  case 
universities’ that will serve as a base for best ITG approach in supporting e‐Learning. 
ƒ Create a guide for the baseline IT Governance approach that will contribute towards the establishment of 
effective ways in supporting e‐Learning strategies for the institution of Higher Learning. 
The content of the paper is described in the following sections. 
2. Literature review 

2.1 Defining e‐learning 
E‐Learning  is  a  new  concept  which  emerged  in  1990s  after  the  prevalent  and  easy  access  to  the  internet. 
Literature  has  identified  e‐Learning  as  a  new  tool  with  potential  to  improve  the  traditional  teaching  and 
learning techniques and has discovered new educational phenomenon (Dziuban, et al., 2004). Since e‐Learning 
is a new concept it is still a topic of interest for different researchers such that it has different names such as: 
web‐based learning, online learning, distance learning and the list is infinite. However this study is referring to 
it as “e‐Learning”. Itmazi (2013) identifies three types of e‐Learning approaches as follows:  
ƒ Enhanced  approach:  the  eLearning  solutions  used  to  support,  facilitate  and  enhance  the  face‐to‐face 
learning by using web‐based technology like course management systems. This approach cannot reduce 
face‐to‐face academic seat time more than 24%. 
ƒ Blended approach: this kind mixes traditional face‐to‐face and online learning, consequently, a substantial 
portion  of  content  is  delivered  online;  typically  this  approach  can  reduce  25  to  74%  of  face‐to‐face 
meetings. 
ƒ Online  Approach:  it  uses  virtual  learning  (VL)  which  can  be  realized  without  any  need  to  face‐to‐face 
meeting, however, this approach could have some face‐to‐face meeting such as examinations but more 
than 75% of the course content is delivered online. 
The common factor in all these e‐Learning approaches is that they all use IT in executing teaching and learning 
mandate. Since different researchers agree that e‐Learning is a tool that promotes quality learning anywhere 
and anytime through different multimedia technologies and internet; e‐Learning is therefore suggested to be a 

363
 
Tembisa Ngqondi and Marlien Herselman 
 
strategic topic of the institutions of higher learning (Pirani & Yanosky, 2008). By definition, it is evident that the 
effective implementation of e‐Learning strategies is imposible without the existance of the acceptable basic IT 
infrastructure.  According  to  De  Haes  &  Van  Grembergen  (2005,  2008)  the  pervarsive  use  of  technology  has 
created a critical dependency on IT which calls for a specific focus on ITG. E‐Learning on the other hand is a 
technological  driven  tool  which  relies  solenly  on  good  IT  infrastructure.  A  call  for  a  specific  focus  on  ITG  by 
information  technology  qualifies  the  reason  why  effective  execution  of  e‐Learning  strategies  can  be 
established  well  if  ITG  is  considered  in  the  process.  The  following  section  defines  ITG  and  the  theoretical 
background of ITG in supporting e‐Learning strategies. 

2.2 Overview of ITG 
ITG is a concept that has become an important issue in the field of Information Technology (De Haes & Van 
Grembergen, 2008). The pervasive use of technology has created a critical dependency on IT that calls for a 
specific  focus  on  ITG  (Van  Grembergen,  et  al.,  2007).  ITG  is  defined  as  the  leadership  and  organisational 
structure  and  process  ensuring  that  an  organisation’s  IT  sustains  and  extends  its  strategy  and  objectives  (IT 
Governance  Institute,  2003).  Nugroho  (2014)  argues  that  ITG  in  an  organisation  does  not  happen  by 
coincidence, in a decentralized environment such as a university, a regular review to renew the ITG structure 
to take account of changing institutional and technological environment is needed. This is further supported by 
Weil  &  Ross  (2004)  when  indicating  that  ITG  is  the  decision  rights  and  accountability  framework  for 
encouraging desirable behavior in the use of IT. These decision rights consist of five IT‐related decision areas in 
every organization and these decisions areas are connected. Table 1 describes how ITG decision areas support 
the execution of e‐Learning strategies. 
Table 1: Description of how key IT governance decision support e‐learning strategies  
Key ITG Decisions  Relevance to e‐Learning 
IT Principles Decision:  ITG enabled university executive committee to discuss how 
High‐level statements about how IT is used in the  e‐Learning strategies can create value in achieing teaching 
business  and learning mandate. It also enabled the executive 
(How can IT create a business value?)  university structures to identify and plan for relevant IT 
systems that can collaboratively support e‐Learning 
strategies of the entire university. 
IT Architecture Decision:  ITG enable e‐Learning strategies to be discussed in forums 
Organization logic for data, application, and  whereby university policies are developed and discussed. 
infrastructure captured in a set of policies,  This contributes in integrating e‐Learning strategies in the 
relationships, and technical choices to achieve  overall university policies. Meaning it is not discussed in 
desired business and technical standardization  isolation to other university policies. 
and integration. 
(What technical guidelines and standards can be 
used?) 
IT Infrastructure Decision:  ITG enable e‐Learning strategies to be adopted as an 
Centrally coordinates shared IT services that  institution mandate not a specific unit responsibility. It 
provide the foundation for the enterprise’s IT  further enabled e‐Learning IT support systems and human 
capacity.  resources to be integrated into the university budget which 
(How can the organization build the shared  enable possible sharing of services by different 
services?)  units/faculties. All faculties receive equal share of resources 
based on their needs. 
Business Applications Needs:  ITG enabled the university to use a unified e‐Learning 
Specifying the business need for purchased or  systems except for the specialised systems. This enables e‐
internally developed IT application.  Learning strategies to promote collaborative teaching and 
(What applications can be used?)  learning strategies. This assists the university in identifying 
relevant and up‐to‐date software. 
 
IT Investment and Prioritization Decision:  ITG enabled the importance of e‐Learning hardware and 
Decision about how much and where to invest in  software needs to be discussed and approved in the 
IT, including project approvals and justification  institutional forums which enable the smooth execution of 
technique.  e‐Learning practices. 
(How much and where can the organization 
invest?) 
As much as this paper is focusing on ITG and e‐Learning, the ITG overiew in this paper as captured by different 
authors  indicates  that  ITG  is  a  helicopter  approach  that  focuses  on  the  overall  alignment  of  IT  and  business 

364
 
Tembisa Ngqondi and Marlien Herselman 

objectives in achieving the organization vision and mission. Ridley (2006) argues that ITG finds the balance and 
direction  that  satisfies  organizational  needs  and  obligations  to  ensure  innovation  and  effectiveness  of  an 
organization’s  departments.  Balancing  direction  in  ensuring  innovation  and  effectiveness  of  organisation’s 
units confirms that ITG brings transparency in the functional and top level structures of the organisation. The 
effective ITG principles are guided by best ITG practices which include but are not limeted to King III Report, 
VAL IT, and COBIT.  
 
King III Report 
 
The  King  III  Report  is  an  extension  of  King  I  &  II  which  focused  mainly  on  compliance  governance  practices 
guided  by  the  “comply  or  explain”  principle  over  and  above  the  other  legislated  governance  issues.  The 
“comply  or  explain”  principle  was  later  identified  as  a  limitation  in  conveying  King  Committee  objectives  of 
identifying how the principles and recommendations could be applied instead of using them as a compliance 
tool.  The  King  III  Report  adopted  another  principle  known  as  “apply  or  explain”  which  conveys  the  King 
Committee’s  intent  to  guide  directors  in  deciding  on  the  best  practices  to  achieve  the  objectives  of  the 
corporate  governance  principles  and  to  further  explain  how  the  principles  and  recommendations  should  be 
applied.  A  chapter  in  the  King  III  report  captures  issues  such  as  business  rescue,  application  of  the  code, 
language gender and terminology, effective date, appreciation and information technology governance 
 
VAL IT 
 
Val IT is a governance framework that provides a set of management principles, processes and practices that 
enable the enterprise to maximize the delivery of business value from investment involving IT (IT Governance 
Institute, 2008a). These principles are developed to support leadership in the institution at different levels by 
providing  clear  and  consistently  applicable  guidelines  and  supporting  practices.  They  further  guide  the 
organisation’s Board and executive management in carrying out their IT‐enabler business investment roles in 
ensuring  that  IT  provides  the  optimal  value  at  a  reasonable  cost  with  known  and  acceptable  risk  (IT 
Governance  Institute,  2006).  Val  IT  and  COBIT  frameworks  complement  each  other;  the  IT  Governance 
institute  indicates  that  Val  IT  extends  and  complements  COBIT.  Val  IT  focuses  on  delivering  business  value 
while  COBIT  delivers  the  technology  capacity  that  is  required.  The  Val  IT  focuses  on  decision‐making  and 
realisation  of  benefits  by  answering  the  questions,  “are  we  doing  the  right  things  and  are  we  getting  the 
benefits?”, whereas COBIT focuses on the execution by answering the questions, “are we doing them the right 
way and are we getting them done well?  
 
Control Objectives for Information and Related Technology (COBIT) 
 
COBIT is a good guide for implementing effective IT Governance in the organization. They consist of the best 
standards  recognized  world‐wide  (Hardy,  2006);  COBIT  standards  are  easily  integrated  with  other  best 
practices and are known as the best practice for IT Governance, security and controls (IT Governance Institute, 
2008a). The demand for effective IT Governance in the private and public sector has also increased the level of 
COBIT standards adoption and acceptance. Since IT has become a key resource for all enterprise, a need for IT 
to be governed and managed in a holistic manner taking in the full end‐to‐end business and IT functional areas 
of responsibility has resulted in the development of new COBIT 5 version. The establishment of COBIT 5 did 
not make COBIT 4.1 less important but has added a number of new drivers that improve and address the IT 
pervasive needs of the stakeholders (Service Talk, 2012). 
 
The above mentioned best ITG practices confirmed that ITG is not functioning as a tower, it is built on a solid 
base  of  recognized  principles.  This  has  been  confirmed  by  the  findings  of  this  paper  which  were  obtained 
through the following research methodology.  
3. Research methodology 
In order to identify the role of ITG in supporting e‐Learning strategies, key components of e‐Learning and ITG 
as  presented  in  literature  were  identified.  Literature  presents  mainly  generic  ITG  approach  in  the  academic 
institution  of  higher  learning  without  dwelling  on  a  specific  focus  of  the  e‐Learning  strategies.  The  best 
theoretical argument as captured in Table 1 presented a solid base of literature in analyzing the role of ITG in 
supporting e‐Learning strategies.  

365
 
Tembisa Ngqondi and Marlien Herselman 
 
This study adopted a qualitative research philosophy. It has embraced a case study approach which carried out 
in  three  phases.  Triangulation  data  collection  approach  was  also  embraced  since  data  was  collected  using 
different data collection methods such as document analysis, briefing sessions and interviews. The selection of 
participants was based on the findings captured from the briefing session and document analysis. Participants 
were selected from different operational levels of each university. The participants were a mixture of different 
portfolios in the university which confirmed their availability and accepted the request to participate.  
 
The research sample for this paper consists of different groups of participants, and these groups also vary from 
different  cases  under  this  study.  The  IT  Governance  setup  for  each  of  the  three  institutions  studied  was 
completely different. The participants were purposively selected according to their role in the institution’s IT 
Governance.  The  participants  included  the  Deans  of  faculties,  Directors  and  Heads  of  administration, 
information and communication technology, facilities and library, different portfolios of IT Governance forum 
representatives and staff members from the ICT support desk. The participants were approached and agreed 
to  participate  in  the  research.  The  consent  form  was  attached  to  the  letter  requesting  access  to  the 
universities.  Sample  group  is  presented  in  a  Table  2.  The  study  was  carried  out  in  two  years  since  however 
interviews was carried out for a month for universities, document analysis was carried out for two years since 
it  formed  part  of  the  researcher’s  PhD  project.  The  three  universities  captured  in  Table  2  were  used  as  an 
experimental  group  to  learn  different  approaches  used  by  each  university  in  integrating  integrated  ITG 
principle into e‐Learning strategies to improve teaching and learning practices as summarized in Table 3 and 
concluded in a proposed mode in Figure 1.  
Table 2: Sample group 
Universities  Participants Number 
International University  Dean of Faculty 1 
(university A)  Director – ICT Technical 1 
Director – ICT Academic 1 
Director – Administration 1 
Head of ICT Library  1 
Head of ICT Facilities 1 
ICT – Coordinator 1 
ICT Support Staff 1 
Demand Managers 2 
Software Advisory Board 2 
Member of ICTC 2 
Member IT Strategic Committee 2 
National Benchmark  Director: Center for Teaching and Learning 1 
(University B)  Senior Director – ICT 1 
Director – ICT Development 1 
Registrar 1 
Director Library 1 
Managers of Facilities 2 
Director ICT – Technical 1 
ICT Support Staff Managers 2 
IT Faculty Managers 2 
Main Case  ICT Director 1 
(University C)  ICT – Administrator Representative 1 
ICT Acting Director and COO 1 
ICT Senior Staff 1 
Total 30 
Data was collected in the form of audio recordings and written field notes while practicing different qualitative 
measures  in  different  case  studies.  Data  analysis  was  carried  out  using  within‐case  analysis  to  analyze  and 
interpret  data to  explain  and  present  the  role  of  ITG  for e‐Learning  strategies.  Within‐case  analysis  employs 
the  thematic  analysis  approach  where  common  themes  and  meanings  are  obtained  and  coded  into  small 
chunks. The coding of themes was achieved through a systematic process of data analysis. The transcriptions 
of interviews were done and documented by a professional person. The researcher studied the transcriptions 
and grouped them into different categories that cover common textual data. The grouping of common themes 
in the data analysis approach was obtained after the systematic process of data analysis. The analyzed data 
presents that summary of findings in the next section. 

366
 
Tembisa Ngqondi and Marlien Herselman 

4. Findings 
This section presents the summary of findindings from cases studied. The findings are presented in different 
themes  demonstrating  the  role  of  ITG  in  supporting  e‐Learning  strategies.  The  identified  challenges  in 
executing  the  e‐Learning  strategies  are  also  identified.  For  the  purpose  of  confidentiality  names  of  the 
institutions will be coded as institution A, B and C. The summary of findings are presented in Table 3.  
Table 3: Summary of findings from cases studied 
Themes  Institutions Participation  e‐Learning Support  ITG Challenges 

Executive role  Institution A and B senior  E‐Learning strategies are integrated  Resistance from some 

in supporting  management champions ITG  to the institutional strategies and e‐ units and certain 
ITG  strategies  Learning is an institutional activity.  individual staff 
members from other 
units. 
Handling of IT  Institution A and B  IT infrastructure to support  The oversight on 
strategies  strategically positioned IT  institution activities including e‐ adhering to the IT 
activities in different units  Learning are managed by the expects  standards and 
based on their key  within key units  guideline creates a gap 
responsibilities  in executing ITG 
principles 
Alignment of  Institution A and B align their  E‐Learning strategies are discussed at  Poor communication 
IT goals to the  IT goals into the university  the high level strategic plan of the  channels affected 
university  goal  university.  integrated decisions 
goals  from different units. 
IT Funding  Institution A and B have an  IT infrastructure is updated within   
and  established funding and  reasonable time which enables e‐
Investment  investment committee  Learning systems to be updated in 
Sub‐ good time. 
Committee 
Establishment  Institution A and B have  e‐Learning is highly supported  Challenge less skilled 
of ITG forums  established various ITG  because forums discuss possible  of some forum 
forums in different levels of  changes and challenges of IT well in  members. 
the university.  advance and collaboratively agree on 
developments 
The established ITG structures in these universities as captured in Table 3 clearly indicate that ITG contributes 
positively towards e‐Learning strategies. However in the environment where ITG principles are not embraced, 
e‐Learning strategies suffer because they are operated in silos and cost the university money and resulted in 
poor  delivey  of  teaching  and  learning  mandate.  Although  these  universities  have  embraced  ITG  practice  to 
support  e‐Learning  strategies,  they  are  experiencing  challenges  such  as  resistance  to  challenges,  poor 
communication and resistance to comply to the national ITG standards. 
 
The  themes  defined  in  Table  3  can  be  used  by  any  other  universities  to  establish  their  ITG  practices  in 
supporting their institutional e‐Learning strategies and other IT related activities of the university to achieve 
their mission and vision. The proposed ITG model that can effectivelly support e‐Learning strategies and other 
institutional strategies is presented in section 5. 

5. Proposed integrated ITG model 
The  proposed  ITG  model  shows  the  areas  that  are  addressed  within  the  ICT  structure.  Various  functionality 
which are included in this guide identify the key areas the IT Governance can address in the institution. The 
model  shows  that  all  the  functional  units  interact  with  the  institution  information  technology  Forum. 
Communication  between  functional  units  and  the  institutional  information  technology  governance  forum  is 
bilateral.  This  model  is  not  fixed  institutions  can  start  off  with  few  committees  and  grow  them  as  the 
institution  identify  a  need  for  more  committees.  Institutions  can  decide  on  the  names  of  committees  as  it 
suites  them.  Although  this  paper  is  focusing  on  ITG  and  e‐Learning  various  operational  activities  of  the 
institution can benefit from this model.  
 

367
 
Tembisa Ngqondi and Marlien Herselman 
 
   

 
Institution Management Committee (IMC)
 
ICT Support Community
  Services Engagement
ICT Institutional Committee
  Strategic Plan
Committee
Deans, (IISPC)
Faculties &
Students
Research,
Teaching
Institutional and
ICT Financial Information Learning
Committee Technology
Governance
Forum (IITGF)

Administratio
ICT Steering n Support
Committee Committee
Facilities
&Infrastructure
Assurance Committee

Figure 1: Proposed ITG model to support institution mission and vision 
Institutional  information  technology  governance  forum  is  a  university  forum  which  comprises  of  all  key 
stakeholders of the university that decide and agree on budget allocation for special institutional IT needs that 
support  all  the  institution  operational  and  strategic  activities  including  e‐Learning.  The  representation  of 
various stakeholders is not prescriptive but identified at a unit level. The MIC owns and leads the processes of 
establishing and developing the institutional IT strategies through the IISPC committee. The IITGF is a forum 
whereby all key stakeholders of the institution meet to discuss IT projects, agree on IT plan, cost the projects 
and produce an adopted institution wide plan of the implementation of IT projects. As it is stated above the 
constitution of ITG forums is not limited to the identified institutional units but can be less or more depending 
on specific institutional needs. 

6. Conclusion 
This  paper  describes  how  ITG  practices  support  e‐Learning  strategies  in  the  institution  of  higher  learning.  It 
also  reveals  that  ITG  is  high  on  the  agenda  of  the  university  whereby  the  mix  of  structures,  processes  and 
relational mechanisms enabled the effective implementation of IT‐institutional strategic alignment at different 
executive  and  operational  level  in  the  institution  of  higher  learning.  The  commitment,  support  and 
participation of the different university’s ITG committees and senior leadership is identified as key contributing 
factor  in  the  success  of  executing  e‐Learning  strategies  in  the  institution.  The  identified  strengths  and 
limitations  of  ITG  for  effective  and  gaps  of  executing  the  institution  strategies.  However  the  lack  of 
participation  of  stakeholders  at  an  operational  level  has  created  a  communication  breakdown.  ITG  best 
practice such as the King III Report COBIT and, VAL IT are defined as best ITG practices guiding the effective ITG 
strategies.  The  findings  on  this  paper  have  successfully  presented  the  role  of  ITG  in  supporting  e‐Learning 
strategies. The ultimate goal of pursuing this research has been achieved. 

Acknowledgements 
I  would  like  to  say  a  special  thanks  to  NUFFIC  /  WSU  project  for  funding  my  study,  and  or  arranging  and 
organizing my research visit to the University of Groningen. Dr van der Duim, Dr Renzo, Ms Lakerveld, thank 

368
 
Tembisa Ngqondi and Marlien Herselman 

you for your hospitality and welcoming spirit and guidance during my stay in the Netherlands. I further extend 
my  appreciation  to  Ms  Huizinga,  a  secretary  who  tirelessly  assisted  me  in  scheduling  my  interview 
appointments  and  everyone  who  participated  in  my  data  collection.  Ms  Uys  and  everyone  who  assisted  in 
coordinating  all  my  interviews  at  the  Stellenbosch  University,  as  well  as  people  who  participated  in  the 
interviews, thank you so much. Special thanks to Ms Williams (Zenande) for your time in reading my work. I 
express my greatest respect and honor to my supervisor for her guidance for all her support. 

References 
Arabasz, P., Pirani, J. A. & Fawcett, D., 2003. Supporting E‐Learning in Higher Education, Boulder: EDUCAUSE Center for 
Applied Research. 
Bichsel, J., 2013. The State of E‐Learning in Higher Education: An Eye towards Growth and Increased Access, s.l.: EDUCAUSE 
Center for Analysis and Research. 
Collins, A. & Halverson, R., 2009. Rethinking Education in the Age of Technology: The Digital Revolution and the Schools. 
Teachers College Press, pp. 1‐10. 
De Haes, S. & Van Grembergen, W., 2008. Analysing the Relationship Between IT Governance and Business/IT Alignment. 
Hawaii, IEEE, pp. 1‐10. 
Dziuban, C., Hartman, J. & Moskal, P., 2004. Blended Learning, Colorado: EDUCAUSE Center for Applied Research. 
Hardy, G., 2006. Guidance on Aligning Cobit, ITIL and ISO17799. Information Systems Control Journal. 
IT Governance Institute, 2003. Board Briefing on IT Governance: 2nd Edition, Rolling Meadows: s.n. 
IT Governance Institute, 2006. Enterprise Value: Governance of IT Investment, Rolling Meadows: ISACA,  
IT Governance Institute, 2008a. Governanance of IT Investment: Getting Started with Value Mnagement, Rolling Meadows: 
s.n. 
Itmazi, J. A., 2013. e‐Learning, s.l.: s.n. 
Nugroho, H., 2014. Conceptual Model of IT Governance for Higher Education Based on COBIT 5 Framework. Journal of 
Theoretical Applied Information Technology, 20 February, Volume Vol 60 No 2, pp. 216‐22. 
Pirani, J. & Yanosky, R., 2008. Processand Politics: IT Governance in Higher Education, s.l.: s.n. 
Ridley, M., 2006. Information Technology (IT) Governance: A Position Paper. September. 
Service Talk, 2012. The CSI Register; Keeping Track of Improvement. The Journal of the IT Management Forum, pp. 41‐43. 
Van Grembergen, W., De Haes, S. & Van Brempt, H., 2007. Prioritising and Linking Business and IT Goals in the Financial 
Sector. Hawaii, IEEE Computer Society. 
Weil, P. & Ross, J., 2004. IT Governance ‐ How top performers Manage IT Decision for Superior Results, Boston: Havard 
Business School Press. 
Yanosky, R. & McCrede, J., 2008. 2008, Cororado: EDECAUSE Center for Applied Research. 

369
Multimedia Teaching Materials for Development of Pupils’ Culture 
of Problem Solving 
Jarmila Novotná 
Charles University in Prague, Faculty of Education, Prague, Czech Republic  
jarmila.novotna@pedf.cuni.cz  
 
Abstract: The main goal of the presented paper is to show how electronic teaching materials can be designed in such a way 
that they support pupils’ creativity and culture of problem solving. It focuses on e‐textbooks, e‐manuals and materials for 
the teachers who use ICT in their classrooms. The paper also focuses on the extent to which the potential of multimedia 
teaching materials is made use of in practice and on the possible modifications whose result will be turning these materials 
into materials that develop pupils’ creativity and independence. The paper builds on two areas: on the concept of “pupils´ 
culture  of  problem  solving”  as  it  used  in  the  research  project  GAČR  Development  of  culture  of  problem  solving  in 
mathematics in Czech schools and on those properties of multimedia teaching materials that make them a suitable tool for 
development of pupils´ creativity and culture of solving problems. Teaching materials have impact not only on the selection 
of concepts and types of tasks but also on the selection of solving strategies a teacher introduces, or possibly encourages 
or recommends to their pupils. Multimedia teaching materials have an immense potential in support of development of 
pupils’ creativity. The author demonstrates on three examples how electronic teaching materials can, if their potential is 
used  well,  enhance  pupils’  creativity.  In  Example  1,  an  analysis of  few  pages  selected  from  a  Czech  multimedia  teaching 
material that fails to support pupils’ culture of problem solving is followed by a demonstration of possible modifications of 
the material that change it from a mere conversion of a printed text into electronic form into a material which makes use 
of the potential of multimedia teaching resources fully. Examples 2 and 3 illustrate the possible use of electronic materials 
as scaffolding in situations when routine calculations are too long (Example 2) or when fast access to a missing piece of 
information  is  needed.  The  results  presented  in  the  paper  have  significant  consequences  for  pre‐  and  in‐service  teacher 
training. 
 
Keywords: multimedia teaching materials, pupils’ culture of solving problems, problem solving, heuristic solving strategies 

1. Introduction 
Textbooks  and  other  teaching  materials  are  undoubtedly  one  of  the  important  factors  in  education,  both  in 
teachers’ and pupils’ point of view. They have impact not only on the selection of concepts and types of tasks 
but also on the selection of solving strategies a teacher introduces in the lesson and possibly encourages or 
recommends to be used by their pupils. The extent of the use of multimedia teaching and learning texts and 
materials has been quickly and constantly increasing both within lessons and as tools for self‐study, see e.g. 
(Hoyles,  Lagrange,  2010),  (Drijvers,  2012).  In  most  cases  teachers  may  rely  on  the  fact  that  their  pupils  will 
have no problem to use these multimedia teaching materials, either because of their skills from ICT lessons or 
thanks to their everyday life experience.   
 
It is generally believed that in consequence of the nature of multimedia teaching materials their use in lessons 
will have positive impact not only on pupils’ motivation (as they make lessons more interesting) but also on 
pupils’  attitudes  and  approaches  to  problem  solving  as  well  as  their  understanding  of  the  concepts.  At  the 
same  time  teachers  will  be  expected  to  adapt  their  teaching  strategies  to  the  changes  in  the  learning 
environment which are required by work with multimedia teaching materials. But does this really happen in 
everyday teaching practice?  
 
Implementation of multimedia teaching materials into classrooms is highly topical not only in teaching practice 
but  also  in  research.  Research  focusing  on  implementation  of  multimedia  teaching  materials  into  (not  only) 
mathematics  suggests  that  neither  teachers  nor  pupils  make  use  of  the  potential  that  multimedia  teaching 
materials  offer.  E.g.  Jančařík  and  Novotná  (2011)  give  examples  of  situations  in  which  multimedia  teaching 
materials are not used efficiently, where their use is merely formal. In these situations the only difference from 
traditional work with printed texts is the form in which information and assignments are presented to pupils, 
not the way pupils work with it.   
 
Implementation and use of any technological means into lessons should always be based on the principle of 
efficiency. In comparison to the situation when no ICT is used, it should always be meaningful and beneficial. In 
this  paper,  we  focus  predominantly  on  how  multimedia  teaching  materials  can  help  to  develop  pupils’ 
creativity  and  independence  when  solving  problems  using  heuristic  strategies.  The  author  explores  whether 

370
 
Jarmila Novotná 
 
multimedia teaching materials used nowadays really support not only the use of heuristic strategies and thus 
also  pupils’  creativity,  but  also  their  understanding  of  mathematics.  The  desired  impact  of  the  use  of 
multimedia materials should be a boost in pupils’ motivation to solve problems. The paper asks and looks for 
answers  to  the  following  questions  concerning  the  use  of  multimedia  teaching  materials  in  lessons  with  the 
aim of clarifying relevant issues:  
ƒ How can multimedia teaching materials help to develop pupils’ creativity in solving problems targeted at 
development of the use of heuristic strategies?  

ƒ Is  this  potential  of  multimedia  teaching  materials  made  use  of  in  practice  to  a  sufficient  extent?  This  is 
closely  linked  to  the  issue  of  how  to  modify  the  existing  materials  that  use  technological  devices  and 
multimedia,  yet  do  not  sufficiently  develop  pupils’  creativity  and  independence,  in  a  way  that  their  use 
would trigger this development.   
The paper presents examples of existing multimedia teaching materials. These examples are used to show how 
the  materials  can  be  used  in  such  a  way  that  pupils’  creativity  in  and  understanding  of  mathematics  are 
developed. Besides this, attention is also paid to how electronic materials can be used as a means of support in 
problem solving. The paper comes out of an extensive research of pupils’ culture of problem solving conducted 
within the frame of the research project  GAČR Development of culture of problem solving in mathematics in 
Czech  schools;  for  details  see  e.g.  in  (Eisenmann,  Novotná,  Přibyl,  2014),  (Břehovský  et  al.,  2013),  (Novotná, 
Eisenmann, Přibyl, 2014). 

2. Theoretical background 
The paper integrates two areas of mathematics education research: development of pupils’ culture of problem 
solving and creation and use of multimedia teaching materials.  

2.1 Pupils’ culture of problem solving  
In school, problems are traditionally used as an instrument to check if and what pupils have learned, and more 
rarely  as  an  opportunity  to  learn  mathematics.  Consequently,  pupils  understand  problems  as  a  tool  of 
assessment (grading), not as a tool helping them to learn something applicable in different contexts. However, 
tasks and problems can also be approached from a different standpoint: we should try to divert pupils’ and 
teachers’  attention  to  problems  as  such.  In  this  perspective,  pupils  get  a  chance  to  perceive  problems  as 
something  that  gives  them  an  opportunity to  be  creative  and  to  build something  new  on  the  basis  of  these 
problems  (Novotná,  2009).  This  approach  to  problem  solving,  among  other,  helps  pupils  in  situations  when 
they do not find a suitable solving algorithm in their repertoire of knowledge. It motivates them to look for 
suitable heuristic strategies for the solution.    
 
The use of heuristic strategies in problem solving is referred to in this text in accordance to Polya (1945, 1973) 
and Schoenfeld (1985), i.e. when other than an algorithmic solution typical for school mathematics is used. The 
use  of  heuristic  strategies  has  been  discussed  by  many  researchers,  e.g.  Fan  and  Zhu  (2007),  Eisner  (1982), 
Sandford  (1985),  Kaufman  (1985)  or  Stacey  (1991).  However,  these  works  do  not  focus  on  the  use  of 
multimedia  devices  for  development  of  heuristic  strategies.  In  this  paper  we  focus  especially  on  how  new 
technological devices, especially (but not only) multimedia devices, can contribute to development of pupils’ 
creativity in problem solving, also in cases when pupils cannot find the algorithm appropriate for solution of 
the problem in their knowledge base. 
 
Examples  of  heuristic  strategies  in  problem  solving  can be  found  e.g.  in  (Eisenmann,  Novotná,  Přibyl,  2014), 
(Břehovský et al., 2013), (Novotná, Eisenmann, Přibyl, 2014), (Novotná et al., 2014), who present partial results 
of work on the research project Development of culture of problem solving in mathematics in Czech schools. In 
(Eisenmann,  Novotná,  Přibyl,  submitted)  it  is  shown  that  the  use  of  technological  tools  can  facilitate  pupils’ 
selection  of  some  particular  solving  strategy  and  provide means  for  creative,  non‐algorithmic  solving.  In  the 
paper, the author focuses on whether and how this potential is made use of.    

2.2 Multimedia teaching materials 
Rapid development in the field of communication technology naturally has impact on the area of education. It 
not only calls for changes in teaching strategies but also calls for creation of new teaching materials specific for 
such  environments.  According  to  Dostál  (2009,  p.  20)  multimedia  teaching  materials  are  a  “digital  tool 

371
 
Jarmila Novotná 

integrating  various  forms  of  documents  or  data  (e.g.  text,  table,  chart,  animation,  images,  sounds  etc.), 
mediating or imitating reality, supporting higher degree of illustrativeness or facilitating teaching”. They offer 
information expressed in many different forms with the intention of magnifying the effects on the learner and 
their senses. The concept of the effort to affect the learner in a multisensory way is not new; it can be come 
across  already  in  Comenius’ Didactica  magna  from  1657.  The  current  technological  means  allow  us  to 
implement this idea in a much richer way. 
 
Most textbooks used in the Czech Republic do not work with heuristic strategies (Novotná, Eisenmann, 2014). 
The  textbooks  are  based  on  problems  and  tasks  whose  aim  is  to  practice  and  drill  selected  parts  of 
mathematics  through  school  algorithm  strategies.  Very  little  attention  is  paid  to  development  of  pupils’ 
creativity. There are many reasons for this unsatisfactory situation, e.g.  
ƒ textbooks are usually designed for teachers’ practice, therefore they are guided by the prevailing teachers’ 
demands; heuristic solving strategies are not commonly used by Czech teachers of mathematics; 

ƒ non‐algorithmic  character  of  heuristic  strategies  often  requires  a  lot  of  additional  explanations,  which 
exceeds the required scope of a textbook; 

ƒ the  potential  danger  of  misuse  of  heuristic  strategies  so  that  they  become  just  another  algorithmic 
procedure. 
Most of these reasons are connected to the use of printed textbooks and can be weakened or eliminated by a 
well‐designed e‐textbook or other multimedia teaching materials.  
 
Multimedia  teaching  materials  differ  from  written  or  audiovisual  aids  especially  by  their  interactivity 
(Pavlovkin, 2007). They allow double‐sided communication of the learner and the material. Their potential for 
development  of  pupils’  culture  of  problem  solving  is  thus  far  from  negligible.  They  offer  more  space  for 
presentation, inclusion of various types of presentations, multi‐level organization of materials etc.  
 
The use of e‐materials in teaching has been paid much attention to on ECEL conferences, e.g. (Tomos et al., 
2013). The main goal of the presented paper is to show how electronic teaching materials can be designed in 
such a way that they support pupils’ creativity in problem solving, especially with focus on the use of heuristic 
strategies.  It  also  shows  how  any  teaching material  can  be  enriched  by  integration  and  use  of  technological 
devices.  The  paper  thus  does  not  only  focus  on  e‐materials  for  teachers  who  use  ICT,  especially  interactive 
boards, in their lessons but also on possible ways of making electronic materials more useful and efficient. 
3. Examples of multimedia teaching materials; possible modifications that aid to support 
development of heuristic solving strategies and creative approach to mathematics 
In  the  next  part  of  the  paper,  three  examples  will  be  discussed  to  demonstrate  how  electronic  teaching 
materials can, if their potential is used well, enhance culture of pupils’ problem solving and creativity. This is 
done  through  an  example  of  a  Czech  multimedia  teaching  material  which  fails  to  develop  pupils’  culture  of 
problem solving but has the potential of being modified in such a way that is stops being a mere conversion of 
a  printed  text  in  an  electronic  form  and  becomes  a  material  which  fully  makes  use  of  the  potential  of 
multimedia teaching sources as well as through examples of how selected technological devices used at the 
right moment can support creativity.   
 
In other words there are two different types of multimedia teaching materials. Example 1 not only shows how 
interactive board might be used inefficiently without supporting pupils’ creativity in problem solving, but also 
offers possible modifications and improvements to make the material really useful in the classroom, to meet 
the demands of constructivist approaches to mathematics education. Examples 2 and 3 show how electronic 
materials can be used in problem solving either for getting rid of lengthy routine calculations (Example 2) or 
for fast access to a missing piece of information (Example 3). 
 
Example 1: Direct proportion, material for interactive board 
 
This  material  contains  many  shortcomings  that  are  quite  common  in  the  Czech  environment  and  that 
considerably devaluate advantages of the use of multimedia teaching materials. The material was designed for 
13 to 14 year old pupils. The material was created as a conversion of a printed textbook into electronic form. 

372
 
Jarmila Novotná 
 
It consists of nine pages on the topic of direct proportion. Its interactivity is realized only by the fact that when 
answering the posed questions, pupils can get the desired answer by clicking in the appropriate place. 2 pages 
feature questions in whose case a pupils’ click on the selected area shows the answer. On 1 page, there is an 
answer  that  is  too  long  and  does  not  fit  in  the  given  area.  In  the  remaining  pages  there  are  tasks  to  be 
completed and the pupils check their solution with a sample solution that appears if they click in a given place. 
Any  other  potential  that  multimedia  teaching  materials  offer  is  not  made  use  of.  Let  us  now  describe  two 
pages  of  the  teaching  material  and  let  us  show  how  it  could  be  modified  to  give  its  users  more  space  for 
independent creative activity. 
 
Page  1  is  meant  to  serve  as  an  introduction  to  revision  of  the  topic.  At  the  top  of  the  page,  there  is  the 
question What do we already know about direct proportion?. The question is followed by 5 lines numbered 1 
to  5.  When  clicking  on  a  number,  a  statement  about  direct  proportion  appears  on  the  screen.  These 
statements  are  those  that  the  teacher  (who  created  the  teaching  material)  expects  the  pupils  to  know  and 
recollect.  The  following  are  the  statements  in  the  order  in  which  they  are  presented  on  the  page:  It  is  a 
dependency between two quantities x and y; y increases as many times as x increases; y decreases as many 
times as x decreases; it is given by the formula y = k . x; its graph is a straight line or its part).  
 
Analysis  of  how  the  page  supports  pupils’  creativity:  The  whole  page  focuses  on  a  mere  recollection  of 
knowledge  the  teacher  expects  the  pupils  to  have.  It  is  not  clear  how  the  teacher  will  handle  the  following 
situations under these circumstances: 
ƒ Some of the pupils come with another statement on direct proportion which has not been programmed 
on the page.  

ƒ A pupil proposes a statement which is partially or completely wrong. 

ƒ Pupils will not propose the statements in the given order. How can they know which number to click on to 
verify correctness of their answer? 
Note: If this material had been designed for revision of a topic the pupils had already mastered, it would have 
been  more  meaningful  to  start  this  revision  by  giving  an  example  of  a  real‐life  situation  based  on  direct 
proportion and by giving an example of an everyday life situation without direct proportion. An example of this 
approach might be inclusion of a simple situation from a skiing trip in which pupils calculate how much a week 
pass will cost if a) only individual passes are sold and there is no discount for groups; b) individual passes as 
well as passes for groups of 2 and 5 skiers are sold and larger groups of skiers get discounts. In case b) pupils 
can also try to find out what combination of passes will be the most budget‐wise. All this either in the situation 
that the whole class will go on the trip or in the situation that one pupil gets sick shortly before departure and 
must stay at home.  
 
Proposal  how  to  make  better  use  of  the  potential  of  interactive  multimedia  environment:  The  page  will  be 
designed in such a way that pupils might use its one part to record their own ideas and proposals. They will 
write in the section all the statements they formulate on direct proportion. If any of these correspond with the 
statements  hidden  under  the  numbers,  the  respective  number  will  light  and  the  teacher  will  move  the 
statement to the corresponding number as another formulation of the same property. This will be controlled 
by the teacher as he/she knows which statement is hidden under which number.  
 
The statements that are not formulations of any of the hidden statements are then discussed by the pupils. In 
case the statements are true, they are moved below the numbered statements or they are highlighted by a 
different colour and stay on the smart board. If they are wrong, the teacher’s intervention is required. When 
planning  the  lesson,  the  teacher  will  have  to  consider  the  possible  mistakes  and  prepare  counterexamples 
which  he/she  then  opens  to  show;  he/she  can  first  encourage  pupils  to  come  up  with  their  own 
counterexamples. If the pupils come with an unexpected answer, the teacher can switch to an empty page and 
create  an  counterexample  together  with  the  pupils  (for  which  he/she  can  use  appropriate  software  such  as 
GeoGebra,  Excel  etc.)  The  problem  at  this  stage  is,  obviously,  that  the  teacher  can  never  foresee  all  the 
possible statements his/her pupils will come up with. That is why the teacher should consider the use of both – 
interactive board and blackboard. If the class manages to disprove some of the statements, it should disappear 
from the smart board with one click. 
 

373
 
Jarmila Novotná 

If some of the statements the teacher anticipated are not proposed and the number is not lit, the process of 
proposing new and new statements can continue until the pupils have no other idea or until the numbers are 
all lit. 
 
Page 2 provides yet more revision of the already taught subject matter. The top of the page reads:  How does 
the graph of direct proportion change in relation to k? The bottom of the page asks: Formulate a conclusion 
and verify your statement. If we click on an arrow, Figute1 opens. 

Figure  1:  Translation:  The  graph  of  direct  proportion  is  a  straight  line  through  the  origin.  The  coefficient 
determines the slope of the straight line 
Analysis  of  how  the  page  supports  pupils’  creativity:  The  page  asks  a  question  the  answer  to  which  is  not 
given  straight  away.  This  means  pupils  have  a  chance  for  their  independent  discovery.  However,  to  many 
pupils  the  instruction  with  the  arrow  acts  as  a  signal  to  simply  “look  how  this  should  be”  (similar  happens 
when pupils solve tasks in printed textbooks with explicit examples of solving procedures and results – instead 
of looking for a solving strategy and the solution, pupils very fast move to the part offering the solution and 
the  result  and  then guess  the  solving  process  not  from  the  situation  but  from  the  result).  In this  case  many 
pupils will not discover but accept the provided statements.  
 
Proposal  how  to  make  better  use  of  the  potential  of  interactive  multimedia  environment:  If  individual 
discovery, albeit individual, in pairs, in groups or as the whole class is to be supported, the possibility to get to 
the  correct  answer  at  once  without  any  effort  must  be  removed.  Experimenting  must  be  reinforced  e.g.  by 
linking the material to a discovery game. An example of such a game may be e.g. assembling dominoes with 
graphs of direct proportion and the formulas; groups of pupils can compete who will finish the domino game 
faster; this domino can of course be created on an interactive board. The domino tiles can be moved on the 
interactive board and correctness of the matching checked. 
 
These two pages are followed by practice tasks that require very traditional solving procedures with the only 
difference from the traditional textbook: if the teacher or pupil clicks in the indicated place, the correct answer 
appears.  In  some  places  the  solver  may  be  moving  one  of  the  possible  answers  into  the  given  area.  If  the 
selected answer is the right answer, the colour changes.  

374
 
Jarmila Novotná 
 
Clearly,  it  can  be  concluded  that  the  material  fails  to  make  use  of  the  potential  of  multimedia  teaching 
materials. 
 
Example 2: Word problem on division of the whole into unequal parts 
 
Problems  on  division  of  the  whole  into  unequal  parts  can  be  solved  using  many  different  solving  strategies, 
from careful consideration and use of graphical representation of the relations to an algebraic solution using 
equations. If pupils are able to solve linear equations, the teacher is likely to guide them to their use. However, 
is this needed? What if a pupil is not able to set equations or finds it difficult? Let us illustrate on one problem 
how  the  use  of  multimedia  environment  can  help  a  pupil  not  only  to  find  a  suitable  non‐algebraic  solving 
strategy  and  solution  but  also  to  understand  the  structure  of  the  problem  and  then  create  the  equation  if 
required. 
 
Pupils are to solve the following problem: The total salary Mr. Novák’s daughters, Pavla and Marie, got was 
181 CZK. Marie had 37 CZK more than Pavla. How many crowns did each daughter get? (Novotná, 2010). 
 
To  solve  this  problem,  several  arithmetic  as  well  as  algebraic  solving  strategies  can be  used.  One  of them  is 
systematic experimentation. The solver chooses value one for Pavla’s salary on the first trial and calculates the 
corresponding Marie’s salary and then the sum of both salaries. The sum is very small. That is why the solver 
increases Pavla’s salary by 1 CZK and continues in the same way. He/she carries on doing this until the sum of 
both salaries is 181 CZK.  
 
As  long  as  the  values  are  set  correctly,  this  strategy  will  lead  to  the  right  result  but  it  is  very  long  and 
painstaking and pupils will very likely give up looking for the solution as they will not be patient enough to do 
the  calculations  long  enough.  This  may  be  avoided  even  without  the  use  of  computer  or  other  suitable 
technological device: e.g. by not increasing the value of Pavla’s salary by 1 CZK but in larger sums. Then the 
solver can approach the right solution in “jumps”, i.e. he/she uses the strategy of solution by approximation.   
 
Of  course,  the  use  of  computer  or  some  other  technological  device  will  help  overcome  tediousness  of  the 
solving procedure. A well prepared teaching material will offer various types of software that can be opened 
and  used  for  the  solution  of  the  problem  with  respect  to  the  selected  strategy  and  with  respect  to  the 
suitability of different types of software for the selected strategy.  A pupil suggests a suitable solving strategy, 
in this case e.g. systematic experimenting. He/she decides to use the spreadsheet Excel. The reasons for this 
decision  may  be  manifold,  i.e.  he/she  has  already  had  some  experience  with  this  software,  he/she  is  not 
familiar with any other offered software or cannot image how other software could be useful for the solution 
etc.  As  soon  as  he/she  opens  Excel  and  fills  the  first  tested  value  in  the  first  row  of  the  table,  by  simple 
expansion  of  the  table  he/she  gets  as  many  values  within    a  few  seconds,  that  he/she  needs  for  correct 
solution (in bold in Table 1). 
Table 1: Extract from systematic experimentation in Excel 
Pavla  Marie  Together 
1  38  39 
2  39  41 
3  40  43 
…     
71  108  179 
72  109  181 
73  110  183 
…     

Similarly, other software can be used in other problems, e.g. GeoGebra etc. 
 
 

375
 
Jarmila Novotná 

Example 3: Search for information about some (also non‐mathematical) object that is in the assignment of a 
mathematical problem and is unfamiliar to the pupils 
 
The  presence  of  one  or  more  terms  or  concepts,  unknown  to  the  pupils,  might  be  an  obstacle  in  problem 
solving. Teachers’ experience confirms that this may become a real obstacle to pupils’ success in the solving 
process.  Pupils  may  e.g.  fail  to  solve  a  problem  they  would  be  able  to  solve  in  a  more  familiar  context.  In a 
traditional lesson where no technological devices are used, it is up to the teacher to explain what the unknown 
word means, what the properties of the object are, how these properties may be made use of etc. However, 
this kind of explanation does not necessarily encourage the pupils to (at least) try and solve the problem.  
 
This  is  another  type  of  situation  asking  for  the  use  of  multimedia  teaching  material  with  the  intention  of 
supporting pupils’ natural curiosity and creativity. The material can give the pupils access to databases and e‐
books where they can look for the unknown word or term and find the needed information about it. It is then 
up to every pupil whether they will make use of these sources or not. The teacher stops being the transmitter 
of ready‐made information but becomes a facilitator of inquiry‐based pupils’ activity.  
 
An approach like this was used e.g. when solving the following problem for upper secondary school students 
(Kocourková, 2014): 
 
A confectioner is commissioned to bake a cake in the shape of a hip roofed house. The cake will be made of 
two  equal  prism  corpuses.  Let  the  vertices  of  the  prism  (corpus)  be  ABCDEFGH,  then  the  following  holds: 
|AB| = 50 cm; |BC| = 30 cm; |AE| = 15 cm. One corpus will need no working and will be used as the building. 
The  other  prism  with  necessary  cross‐sections  will  be  used  as  a  roof.  If  the  confectioner  wants  to  work  the 
prism ABCDEFGH into a hip roof, she will have to make cross‐sections through planes: α = ↔ ABS EG, where S is 

the  center  of  line  segment  EG; β (B, C ‫א‬ β);  γ (C, D ‫א‬ γ);  δ (A, D ‫א‬ δ).  All  planes  of  the  section  have  the  same 

deflection  from  the  base  plane  of  the  prism  (ABCD).  One  corpus  weighs  5.4 kg  and  350 g  of  the  cake  cost 
149 CZK. How many grams will the cake weigh before it is decorated? How much will it cost (round it to Czech 
crowns)? 
 
The  assignment  includes  the  term  hip  roof,  which  is  not  familiar  to  students.  Unless  they  have  access  to 
information they will probably give up any attempt to solve the problem as they do not know what the cake 
looks like. However, if they use electronic resources and materials, this will not happen. The teaching material 
may offer access to several websites where students can try to find the needed information (it can be found on 
many websites including e.g. Wikipedia). The students in the reported study not only did not feel discouraged 
to  solve  the  problem,  they actually  found  it  very  interesting and  when  looking  up  the unknown  information 
they learned a lot about properties of roofs. They also saw pictures from many different parts of the world. 
The use of multimedia approach in this case also supported creativity and independence.  

4. Concluding remarks 
The  use  of  information  technology  has  quickly become  integral part  of  our  lives  and in  consequence  also  of 
education.  One  can  hardly  imagine  life  without  the  use  of  modern  communication  technologies.  Work  with 
multimedia teaching materials is highly motivating for pupils. It represents a shift from a mere transmission of 
ready‐made  facts  to  pupils’  own  activity  and  involvement.  This  applies  to  all  subjects,  not  just  mathematics 
(more about chemistry e.g. in Zákostelná, Šulcová, 2010). 
 
The  few  selected  examples  above  illustrate  that  an  appropriate  use  of  well‐developed  multimedia  teaching 
materials results in pupils’ better understanding of the subject matter, in their independence and creativity, 
i.e. in development of pupils’ culture of problem solving. It must be stressed here again that this is not merely 
a matter of the use of suitable materials but also their appropriate and meaningful use in lessons.  
 
The results presented in this article are important not only for teachers and their pupils, for development of 
their  culture  of  problem  solving,  but  also  for  pre‐  and  in‐service  teacher  training.  If  teachers  do  not  come 
across these issues during their pre‐ or in‐service training, they are very likely to be unaware of the potential 

376
 
Jarmila Novotná 
 
multimedia  teaching  materials  have.  They  will  also  fail  to  realize  that  they  can  actively  participate  in  the 
process of production of these types of materials. And this has the advantage of making the material tailor‐
made for the needs of their specific group of pupils.  

Acknowledgements 
The research was supported by the project GAČR P407/12/1939. 

References 
Břehovský, J., Eisenmann, P., Ondrušová, J., Přibyl, J. and Novotná, J. (2013) “Heuristic strategies in problem solving of 11‐
12‐year‐old pupils”, in J. Novotná, H. Moraová (Eds.), Proceedings of Symposium on Elementary Maths Teaching 
SEMT ´13, Charles University in Prague. Prague, pp. 75‐82). 
Dostál, J. (2009) “Multimedia, hypertext and hypermedia teaching aids – a current trend in education”, Časopis pro 
technickou a informační výchovu, 3, Vol. 1, Issue 2, pp. 18‐23. 
Drijvers, P. (2012) “Digital technology in mathematics education: Why it works (or doesn´t)”, in 12th International Congress 
on Mathematical Education. [Retrieved 16.5.2014 from http://www.icme12.org/upload/submission/2017_F.pdf]. 
Eisenmann, P., Novotná, J. and Přibyl, J. (2014) “Culture of Solving Problems – one approach to assessing pupils’ culture of 
mathematics problem solving”, in M. Kováčová (Ed.), 13th Conference on Applied Mathematics Aplimat 2014, STU.  
Bratislava, pp. 115‐122. 
Eisenmann, P., Novotná, J. and Přibyl, J. (submitted) “Discovering in Mathematics Using Technological Devices”, in M. 
Meletiou‐Mavrotheris, K. Mavrou, E. Paparistodemou, E. (Eds.), Integrating Touch‐Enabled and Mobile Devices into 
Contemporary Mathematics Education. Advances in Mobile and Distance Learning (AMDL) Book Series. 
th 
Hoyles, C. andLagrange, J.‐B. (Eds.) (2010) Mathematics Education and Technology – Rethinking the Terrain. The 17 ICMI 
Study. Springer, (vol. 13). Springer. 
Jančařík, A. and Novotná, J. (2011) “„For show“ or efficient use of ICT in mathematics teaching?”, in M. Joubert, A. Clark‐
Wilson, M. McCabe, M. (Eds.), Proceedings of the 10th International Conference on Technology in Mathematics 
Teaching, University of Portsmouth. Portsmouth, pp. 166‐171. 
Kocourková, Z. (2014. Finanční matematika ve vybraných úlohách z gymnaziálního učiva geometrie. [Bachelor’s Thesis.] 
Charles University in Prague.  
Novotná, J. (2009) “Contribution à l’étude de la culture scolaire. Cas de la résolution de problèmes dans l’enseignement 
des mathématiques“, in F. Spagnolo (Ed.), Proceedings CIEAEM 61, pp. 19‐31. "QUADERNI DI RICERCA IN DIDATTICA 
(Scienze Matematiche)" of G.R.I.M., Supplemento n. 2 al N.19. Available online from 
http://math.unipa.it/~grim/cieaem/Proceedings_cieaem_QRDM_Montreal_09_plenieres.pdf. 
Novotná, J. (2010) Study of solving word problems in teaching of mathematics. From atomic analysis to the analysis of 
situations. LAP LAMBERT Academic Publishing, Saarbrücken. 
Novotná, J. and Eisenmann, P. (2014, in print) “Impact of changes in teaching strategies on how teachers work with a 
textbook“, in International Conference on Mathematics Textbook Research and Development 2014, Southampton. 
Novotná, J., Eisenmann, P., Přibyl, J., Ondrušová, J. and Břehovský, J. (2014) “Problem solving in school mathematics based 
on heuristic strategies“, Journal on Efficiency and Responsibility in Education and Science, Vol. 7, No. 1, pp. 1‐6. 
Novotná, J., Eisenmann, P. and Přibyl, J. (2014) “Impact of Heuristic strategies on pupils’ attitudes to problem solving“, in 
ERIE 2014, in print. 
Novotná, J. and Eisenmann, P. (2014) “Impact of changes in teaching strategies on how teachers work with a textbook“, in 
Proceedings of ICTM 2014 (in print), University of Southampton. 
Pavlovkin, J. (2007) Multimédiá – významná podpora didaktických procesov pedagoga a edukantov, in Technika – 
informatyka – edukacja, Uniwersytet Rzeszowski. Rzeszow, pp. 146‐151. 
nd
Polya, G. (1945) How to Solve itPrinceton University Press, Princeton. (2  Edition, 1973.) 
Schoenfeld, A. (1985) Mathematical Problem Solving. Academic Press, London. 
Tomos, F. et al. (2013) “An International Approach to Creative Pedagogy and Students’ Preferences of Interactive Media”, 
th
in M. Ciussi, M. Augier (Eds.), Proceedings of the 12   European Conference on e‐Learning Academic Conferences and 
Publishing International Limited, pp. 470‐478. 
Zákostelná, B. and Šulcová, R. (2010) “Realizace školního vzdělávacího projektu s multimediální podporou”, in Alternativní 
metody výuky 2010, Charles University in Prague. 

377
Virtual Project Management: Evaluation of an e‐Learning 
Environment 
Rosane Pagano and Garry Blair 
Manchester Metropolitan University Business School, Manchester, UK 
r.pagano@mmu.ac.uk  
g.blair@mmu.ac.uk  
 
Abstract: Project Management is a multi‐disciplinary subject area that covers a large knowledge base. More important, a 
deeper  understanding  of  this  area  is,  to  a  great  extent,  dependent  on  practice‐based  methods  of  learning,  beyond  the 
necessary  assimilation  of  theory.  This  can  pose  some  challenges  to  the  delivery  of  higher  education  programmes  in  this 
area. Simulation could be the way forward as a means of replicating a ‘live’ project environment without the associated 
risks and resource issues. This paper reports on the value of learning by experimentation in project management education 
through the use of computer simulation in order to virtually re‐create the dynamics of a project environment. The learners 
in  this  study  were  post‐graduate  students  at  a  UK  university.  The  simulation  software  used  to  create  the  virtual 
environment reproduces ‘real’ project complexity in a user‐friendly mode, and it is normally used for the development of 
professional managers. The objectives of the study were to assess, for the subject student group, the following: (1) if the 
learner’s perceived ability to apply project management knowledge was greater after the simulation experience; (2) if the 
increase in the learner’s perceived ability to apply project management knowledge was greater for participants with little 
prior  project  work  experience,  after  the  simulation  experience;  (3)  if  the  learner’s  team  performance  (team’s  simulation 
score)  was  smaller  for  learners  experiencing  difficulties  with  team  interaction,  than  for  those  in  a  productive  team 
interaction in a virtual environment. The study was carried out in two all‐day simulation sessions. One addressed objectives 
1 and 2 of the study. Here learners were put in teams of four or five to play the role of project manager and decision maker 
during  the  simulation,  and    they  worked  together  face  to  face.  The  other  session  addressed  objective  3,  however  here 
participants  were  geographically  dispersed.  An  inter‐institutional  education  program  cooperation  took  place  in  order  to 
form global teams. Learners from three universities located in three different countries composed each global team (two 
or three from each location formed a global team of six or seven participants). The focus of objective 3 was on investigating 
the  potential  challenges  to  performance  of  virtual  team  interaction,  where  cloud‐based  resources  and  digital 
communications were used. A more sophisticated version of the simulation software was employed in order to generate 
this distributed e‐learning environment. The findings suggest that: overall the learners’ perceived ability to apply project 
management knowledge was greater after the simulation experience; after the simulation experience, the increase in the 
learners’  perceived  ability  to  apply  project  management  knowledge  was  greater  for  participants  with  little  prior  project 
work experience; the learners’ team performance was not significantly less for learners experiencing difficulties with team 
interaction in the virtual environment. 
 
Keywords: virtual learning community, distributed simulation, distributed e‐learning environment 

1. Introduction 
Project Management is a multi‐disciplinary subject area that covers a large knowledge base. More important, a 
deeper  understanding  of  this  area  is,  to  a  great  extent,  dependent  on  practice‐based  methods  of  learning, 
beyond the necessary assimilation of theory. This can pose some challenges to the delivery of higher education 
programmes in this area. Simulation has been perceived as the way forward as a means of replicating a ‘live’ 
project  environment  without  the associated  risks  and  resource  issues (Martin 1999). The  value  of modelling 
and simulation in education has long been recognised, historically and predominantly in ‘hard sciences’ with 
extensive use of quantitative models. Project management simulation however, in order to be effective, needs 
to  challenge  learners  not  only  in  the  application  of  analytical  techniques  but  also  the  application  of  ‘soft 
science’.  The  e‐learning  environment  evaluated  here  uses  quantitative  and  qualitative  models  of  sufficient 
complexity to realistically emulate project management practice. It provides a fertile learning ground, without 
over complicating and obscuring to the students the key skills to be applied.  At each decision making point 
during the simulation process students receive feedback on how ‘good’ their decision was.  
 
The project management simulation software in use here also goes beyond the typical traditional educational 
simulation systems in as much as it supports geographically dispersed participants. It emphasises the value of 
team  work  to  learning,  and,  more  important,  it  gives  the  opportunity  to  expose  students  to  the  current 
challenges  of  managing  international  teams  which  are  globally  dispersed  (Koster  2010).  The  distributed 
simulation requires participants to rely intensively on real‐time digital communications. As synchronous media 
technology  is  becoming  more  and  more  ubiquitous  in  project  management  professional  practice,  the 

378
 
Rosane Pagano and Garry Blair 

distributed  simulation  is  an  opportunity  for  students  to  experience  virtual  work  interaction.  It  also  brings 
multi‐cultural issues to the fore. 
 
Modelling and simulation are fundamental built‐in intellectual mechanisms in all human beings, as proposed 
by  Jacques  Monod,  medicine  Nobel  Prize  winner  (Monod  1970),  in  his  investigation  of  human  intelligence. 
Even if they are most of the time subconscious, they are nonetheless the basis of understanding. It is generally 
agreed  that  education  cannot  rely  entirely  on  the  process  of  accumulation  of  factual  knowledge.  Enacting 
models  of  the  ‘action’  is  an  important  part  of  the  learning  process.  Computer  simulation  can  harness  those 
cognitive abilities in a relatively short period of time, and without the associated risks and resource issues. This 
paper reports on the value of learning by experimentation in project management education through the use 
of a distributed computer simulation in order to virtually re‐create the dynamics of a project environment. In 
addition, in the light of a growing cohort of part‐time students, some indication was sought of the added value 
of the simulation exercise for this group of students with prior project work experience. 

2. Research setting 
The  participants  in  this  study  are  post‐graduate  students  at  a  Manchester  Metropolitan  University  Business 
School (MMUBS) taking a semester module on project management. The simulation software used to create 
the virtual environment reproduces ‘real’ project complexity in a user‐friendly mode, and it is normally used in 
commercial settings for the development of professional managers. The software is web based. At MMUBS, 
the  simulation  process  takes  place  over  one  day  (9  am  until  5  pm),  consisting  of  five  main  stages.  The  first 
stage  is  dedicated  to  planning  activities,  such  as  allocating  tasks  to  people  and  scheduling  quality  review 
meetings.  This  is  done  by  inputting  information  into  the  simulation  software.  The  second  stage  is  the 
uninterrupted  run  of  the  project  over  four  weeks  of  simulated  time,  during  which  the  system  will  generate 
‘project  events’  that  need  to  be  acted  upon.  The  third  stage  is  the  discussion  of  lessons  learned  up  to  that 
point,  and,  based  on  this  reflection,  doing  minor  adjustments  to  the  project  plan.  The  fourth  stage  is  the 
uninterrupted run of the project over the remaining seven weeks of simulated time (completing eleven weeks 
in  total  for  the  whole  project).  The  final  stage  is  to  reflect  on  the  whole  process,  assisted  by  the  decision 
making audit trail report generated by the system. Students work in teams, making collective decisions, in the 
role  of  project  manager.  Each  team,  running  its  own  simulation,  can  monitor  its  performance  scores  with 
regards to optimising costs, time, quality and motivation throughout the process. 
 
The objectives of the study were to assess the following: (1) if the learner’s perceived ability to apply project 
management  knowledge  was  greater  after  the  simulation  experience;  (2)  if  the  increase  in  the  learner’s 
perceived ability to apply project management knowledge was greater for participants with little prior project 
work  experience,  after  the  simulation  experience;  (3)  if  the  learner’s  team  performance  (team’s  simulation 
score) was reduced for learners in a global virtual team, in relation to those in a co‐located team environment. 
Two all‐day simulation sessions were carried out as part of the project management programme. In the first 
session objectives 1 and 2 of the study were investigated. In the second session objective 3 was the focus of 
the  investigation.  Students  would  have  had  the  equivalent  of  six  weeks  input  on  the  various  areas  of 
knowledge required by the simulation exercise, prior to the first simulation day. 
 
In the first simulation day, participants were put in teams of four or five to play the role of project manager 
and decision maker, and they worked together face to face. To address objectives 1 and 2, the instrument for 
data collection was a pre‐test and post‐test of the participants’ level of confidence in their ability to apply their 
knowledge in fifteen areas of project management (Table 1). The areas of knowledge were informed by those 
identified by the Association for Project Management (APM 2013). Performance indicators are naturally often 
based  on  the publicised   ‘Body  of  Knowledge’  of  professional  associations,  as  seen  in (Artto  et  al 2001)  and 
(McCreery 2003). There were 45 participants in this simulation, of which 38 completed the feedback sheet – 
17 were full time students and 21 were part time students with project management experience. 
 
In  the  second  simulation  day,  participants  were  geographically  dispersed.  An  inter‐institutional  education 
cooperation took place in order to form global teams, and run a distributed simulation. Learners from three 
universities located in three different countries composed each global team. The universities taking part were 
MMUBS, England, Bern University of Applied Sciences, Switzerland, and Scholokhov Moscow State University, 
Russia. Two or three learners from each location formed a global team of six or seven participants in total. A 
more  sophisticated  version  of  the  web‐based  simulation  software  was  employed  in  order  to  support  this 

379
 
Rosane Pagano and Garry Blair 

distributed e‐learning environment. Each member of a particular global team sees, in their own location, the 
same simulation events. However, to arrive at a collective decision and progress the project, team members 
have  to  interact  with  others  in  real‐time  using  technology  mediated  communication  lines  (cloud‐based 
resources  and  a  variety  of  devices).  Typically,  students  had  Skype  running  on  a  tablet  plus  headphones, 
alongside another device running the simulation.  
Table 1: PRE‐test and POST‐test of the participants’ level of confidence in their ability to apply their knowledge 
in fifteen areas of project management (full‐time and part‐time students) 
PRE‐  POST‐ 
Please circle:   Full‐Time or Part‐Time  Please circle:   Full‐Time or Part‐Time 
“Assess how confident you are in your ability to  “Assess how confident you are in your ability to 
effectively apply your knowledge in each of the  effectively apply your knowledge in each of the following 
following areas”  areas” 
1 – very low level of confidence  1 – very low level of confidence 
7 – very high level of confidence  7 – very high level of confidence 
RATING  RATING 
1  Project planning in general    1  Project planning in general   
2  Managing project risks    2  Managing project risks   
3  Estimating project scope    3  Estimating project scope   
4  Sequencing of project activities    4  Sequencing of project activities   
5  Estimating project activity times    5  Estimating project activity times   
6  Managing stakeholders    6  Managing stakeholders   
7  Allocating project resources    7  Allocating project resources   
8  Managing project change    8  Managing project change   
9  Designing project performance measures    9  Designing project performance measures   
10  Performing as an effective project leader    10  Performing as an effective project leader   
11  Building team consensus    11  Building team consensus   
12  Negotiating for resources    12  Negotiating for resources   
13  Using project reports    13  Using project reports   
14  Evaluating the performance of project    14  Evaluating the performance of project   
personnel  personnel 
15  Managing the motivation of project    15  Managing the motivation of project   
personnel  personnel 
     
Also, throughout the day event and for the duration of the simulation, a video conference link between the 
three universities remained open. The activities taking place in all three locations were projected on a large 
screen at each location.  There were three key points in the day when students from Manchester, Bern and 
Moscow were brought together through video conferencing: the opening of the event; discussion of lessons 
learned at the end of four weeks simulated time;  discussion of lessons learned at the end of the simulated 
project; close of the event with the distribution of prizes to the members of the best performing team. This 
project management distributed e‐learning environment is a pioneering initiative by the three universities. 
 
To  address  objective  3,  the  instrument  for  data  collection  was  to  ask  participants  to  rate  their  team  work 
experience  on  a  Likert  scale,  as  indicated  in  Table  2.  Open  comments  were  also  invited  in  order  to  identify 
perceived  problems  and  perceived  benefits  in  the  virtual  team  work  process.  There  were  17  learners  at 
MMUBS  location  taking  part  in  this  second  simulation  day  –  the  distributed  simulation  –  out  of  which  13 
completed  the  feedback  sheet,  as  shown  in  Table  2.  Each  group  at  MMUBS  represented  the  Manchester 
‘branch’ of the project, part of a global team distributed over Bern, Moscow and Manchester.  
 
Given  the  small  sample,  the  analysis  was  limited  to  descriptive  statistics.  However,  the  findings  have  been 
encouraging to continue with the use of computer simulation in the project management curriculum delivery. 
This evaluation can also be the beginning of a longitudinal study. 
 
 
 
 
 
 

380
 
Rosane Pagano and Garry Blair 

Table 2: Rating of team work experience in a virtual environment 
“Assess your team experience throughout the global project team simulation.” 
RATING: FROM 1 – strongly disagree, TO 7 – strongly agree 
RATING 
1  The workload was fairly balanced across all team members.   
2  Team members cooperated well throughout the exercise.   
3  Our team worked through the exercise in an efficient manner to build team consensus.   
4  Team members all participated equally in the team decision making process.   
5  Our team maintained a pleasant working atmosphere.   
6  Our team worked out disagreements in an equitable manner.   
7  Team members were highly motivated to perform well in the exercise.   
8  Team members shared problems as and when they have arisen.   
9  Overall I am satisfied with my team experience.   
10  I would be willing to work with my team on an actual project in the future.   
 
What were the main problems and main benefits of working in a virtual team on this exercise? 
 
Please write below any other comments you might have with regards to your team interaction in a global virtual 
environment. 
 

3. Findings 
Firstly, with regards to objective 1, there is some evidence that, overall, the learners’ perceived ability to apply 
project  management  knowledge  was  greater  after  the  simulation  experience.  Table  3  shows  descriptive 
statistics  for  each  statement  representing  an  area  of  knowledge,  before  the  simulation  and  after  the 
simulation.  Thus  column  1  in  Table  3  (1‐B),  for  example,  shows  aggregated  measures  of  all  the  ratings  for 
statement 1 before the simulation. The measures are Average rating, Standard Deviation, Minimum rating and 
Maximum  rating.    Table  3  shows  that  the  average  rating  increased  after  the  simulation,  for  all  areas.  The 
minimum rating is higher after the simulation, for all areas. The maximum rating reached the top of the Likert 
scale (7) after the simulation, for all areas.  
Table  3:  Average  rating,  standard  deviation,  minimum  rating  and  maximum  rating,  before  and  after  the 
simulation exercise, for each area of knowledge 
  1‐B  1‐A  2‐B  2‐A  3‐B  3‐A  4‐B  4‐A  5‐B  5‐A  6‐B  6‐A  7‐B  7‐A 
Avg.  4.32  5.11  3.92  4.74  3.74  4.71  3.97  4.89  3.74  4.79  4.03  4.92  4.21  5.16 
Stdv.  2.83  1.41  2.83  0  2.12  0.71  1.41  0.71  2.12  2.12  1.41  1.41  2.12  0 
Min.  1  2  1  2  1  3  1  3  1  3  1  2  1  2 
Max.  7  7  7  7  7  7  7  7  6  7  7  7  7  7 
 
8‐B  8‐A  9‐B  9‐A  10‐ 10‐ 11‐ 11‐ 12‐ 12‐ 13‐ 13‐ 14‐ 14‐ 15‐ 15‐
B  A  B  A  B  A  B  A  B  A  B  A 
4.08  5.03  3.45  4.53  4.18  5.11  4.53  5.32  4.11  5.24  4  4.89  4.08  4.63  4.29  5.63 
2.83  0.71  1.41  2.12  2.12  0.71  2.83  0.71  1.41  0  2.12  1.41  0  0.71  0.71  2.12 
1  2  1  1  1  2  1  3  1  2  1  2  1  2  1  2 
7  7  7  7  6  7  6  7  6  7  6  7  7  7  6  7 

It  is  worth  noting  that  the  average  percentage  increase  for  the  average  ratings  of  all  areas  was  23%.  The 
knowledge area for which the students overall displayed the highest increase in confidence was ‘15‐Managing 
the motivation of project personnel’, with 31% increase. The knowledge area for which the students overall 
displayed the least increase in confidence was ‘14‐Evaluating the performance of project personnel’, with 14% 
increase. Also, the dispersion of scores (standard deviation) decreased after the simulation, suggesting a more 
convergent student perception of where they are at (level of confidence) after the exercise. The exception to 
this  is  the  areas  14  and  15,  for  which  the  least  and  the  highest  increase  in  average  rating  were  achieved, 
respectively. The patterns shown in Table 3 and discussed here provide some indication of the effectiveness of 
the exercise, broken down per area of knowledge, which informs course planning and delivery. 
 

381
 
Rosane Pagano and Garry Blair 

On close inspection, 21 out of 38 respondents dropped their rating for at least one area of knowledge, after 
the simulation exercise. An informal conversation with some of the students revealed that they felt they had 
overestimated  their  initial  rating.  The  simulation  experience  increased  students’  awareness  of  the  range  of 
issues involved in applying that particular knowledge, and as a consequence, the students seemed to have ‘re‐
positioned’ their level of confidence after the exercise. Despite this, all areas still showed an average increase 
in rating. It does mean though that the student perception of the significance of the post‐rating needs further 
clarification in future data gatherings. Table 4 shows number of students against number of areas where the 
rating dropped.  
Table 4: Number of students against number of knowledge areas where their rating dropped 
No of drops  0  1  2  3  4  5  6  7  8  9  10  11  12  13  14  15 
No of students  17  6  4  5  3  1  1  1  0  0  0  0  0  0  0  0 
Table 5: Number of students who dropped their rating in each area of knowledge 
Area  1  2  3  4  5  6  7  8  9  10  11  12  13  14  15 
No of students  9  6  4  3  5  2  2  3  2  3  4  2  2  8  4 
A complementary view of this data set is shown on Table 5, that is, the number of students who dropped their 
score in a particular area of knowledge. As indicated on Table 5, areas 1 and 14 display the highest number of 
student  ‘re‐positioning’  of  level  of  ability  to  apply  that  knowledge,  with  implications  to  course  planning  and 
delivery of areas of the curriculum. 
 
To address objective 2, two separate similar analysis were conducted for full‐time students (FT) and for part‐
time (PT) students, and then compared. Table 6 shows the percentage increase of the average rating for each 
area of knowledge, broken down into two groups (FT and PT).  
Table 6: Percentage increase of the average rating for each area of knowledge after the simulation 
Area  1  2  3  4  5  6  7  8  9  10  11  12  13  14  15  Avg 
FT(%)  29  22  30  27  23  32  19  27  42  24  12  26  34  23  37  27 
PT(%)  11  20  23  20  32  16  25  20  24  21  21  29  14  8  27  21 
It  also  shows  that  the  average  percentage  increase  for  the  FT  group  (27%)  is  higher  than  the  average 
percentage increase  for the PT group (21%), suggesting that, after the simulation experience, the increase in 
the learners’ perceived ability to apply project management knowledge was greater for participants with little 
prior  project  work  experience  (FT  group).    The  area  of  knowledge  with  the  lowest  increase  in  the  average 
rating was ‘14‐Evaluating the performance of project personnel’ (8%) for PT students, and ‘11‐Building team 
consensus’ (12%) for FT students. The area of knowledge with the highest increase in the average rating was 
‘5‐Estimating project scope‘ (32%) for PT students, and ‘9‐Designing project performance measures‘ (42%) for 
FT students.  
 
Objective 3 was addressed on the second simulation day, which was the distributed simulation across three 
international locations. A small number of 13 students took part in this exercise, as it was not a compulsory 
part of the programme. However the number of teams running the simulation were still the same as in the 
first simulation day (ten), and global teams were typically six in size.  
 
Table  7  suggests  that  all  students  have  had  a  predominantly  positive  team  work  experience  (the  higher  the 
value on the Likert scale, the more positive the experience). The simulation scores were very close together, 
showing no major discrepancies in performance between teams. Also, scores were typical of those normally 
achieved  during  past  non‐distributed  simulations,  suggesting  that  team  performance  was  not  significantly 
reduced  for  learners  experiencing  virtual  team  interaction,  in  relation  to  those  in  a  co‐located  team 
environment. 
Table 7: Frequency distribution of levels of agreement for each aspect of team work (1 to 10) 

Level of Agreement  1  2  3  4  5  6  7  8  9  10 
1  0  0  0  0  0  1  0  0  0  0 
2  0  0  0  0  0  0  0  0  0  0 
3  1  0  0  0  0  0  0  0  0  0 

382
 
Rosane Pagano and Garry Blair 

Level of Agreement  1  2  3  4  5  6  7  8  9  10 
4  0  0  0  2  0  1  0  0  1  0 
5  3  2  1  1  2  2  0  4  0  3 
6  5  4  8  7  3  3  8  4  3  3 
7  4  7  4  3  8  6  5  5  9  7 
total  13  13  13  13  13  13  13  13  13  13 
The  comments  (free  text)  made  by  participants  with  regards  to  the  virtual  project  management  work 
experience were clustered into themes. For the comments on perceived issues, the following categories were 
identified: no issues (23%); communication (46%); decision making (23%); proximal development (8%). In the 
no‐issues  category,  participants  explicitly  indicated  that  there  were  no  problems  at  all.  The  communication 
category  refers  mostly  to  the  connection  to  the  remote  server  running  the  simulation  (38%),  but  a  small 
proportion (8%) referred to issues related to cloud‐based resources and digital medium used to communicate 
with  other  members  of  the  team  located  at  another  country.  The  decision‐making  category  includes  all 
expressions of feeling challenged by the pace at which decisions were required to be made during the running 
of the project. This is an expected outcome. The simulation software runs at an ‘average’ speed, that is, slow 
enough to allow thinking and learning from each situation, but fast enough to create a realistic pressure time‐
wise  commonly  found  in  project  management.  It  highlights  the  importance  of  building  a  timely  team 
consensus. Finally, the category named proximal development evokes Vygotsky concept of ‘zone of proximal 
development’  (Vygotsky  1978)  –  learning  as  a  transformative  act  and  crucial  to  Vygotsky’s  theory  is  the 
sociality  of  the  transformation.  This  category  comprises  a  participant  view  that  the  virtual  environment  is 
nearly  as  good  as  face‐to‐face  interaction,  but  not  yet  quite  as  good  in  providing  that  sociality.  Historically, 
though, technology is evolving towards a more and more satisfying virtual reality. 
 
As to the comments on perceived benefits, they gravitated around the following themes: overall experience 
(‘great’,  ‘good’,  ‘learned  a  lot’);  new  ways  of  working  (internationalisation,  virtualisation);  praise  for  the 
technology  (‘very  good’);  knowledge  sharing;  and  harnessing  decision  making.  Some  23%  of  participants  did 
not  explicitly  indicate  any  particular  benefit  (no  response).  Those  are  participants  who  experienced  some 
problems  with  the  server  connection.  However,  despite  the  references  in  the  comments  to  problems  with 
connection  to  the  server,  all  teams  actually  finished  within  the  planned  time  frame,  performed  reasonably 
well, and perceived benefits gained from the experience. This suggests that the connection problems were not 
drastic enough to outweigh the benefits and compromise the overall experience. It is worth noting that the 
majority of students (62%) did not indicate any problems with the server connection. The verbal feedback on 
the day was very positive. The three partner universities held three trial sessions (one to two hours) prior to 
the  event,  testing  the  technology  –  video  conferencing  system,  cameras,  computer  systems  running  the 
simulation, internet connections on location. Checking the technology is vital although communication traffic 
on the day is hard to predict. Also important was to brief the students thoroughly on what to expect, due to 
the novelty of the set up for them. The difference in time zones required careful planning with regards to the 
time window to hold the event, and to the availability of support staff. The server connection issues have been 
reported to the simulation software supplier so to improve the learning experience for future cohorts.  
4. In conclusion 
In  the  light  of  the  increasing  internationalisation  and  the  increasing  virtualisation  of  project  management 
practice, the simulation setting discussed here proved to be an excellent resource in preparing students for the 
current  work  environment  and  potentially  enhancing  their  employability.  This  distributed  e‐learning 
environment  facilitated  and  enhanced  collaborative  learning,  by  extending  the  participants’  network  of 
professional relationships beyond the ones developed in their home University.  
 
Relationships in collaborative learning can be represented by strong and weak ties (Rogers, 1995) (Granovetter 
1973). Established strong ties, forged by frequent interactions, means that individuals share common meaning 
and  therefore  benefit  from  an  effective  conduit  for  communication  and  knowledge  sharing.  There  is  a  risk 
though that strong ties may inhibit the infusion of different perspectives. The concept of weak ties – socially 
remote connections – counteracts this potential downside. Granovetter argues that weak ties are the routes 
through  which  new  knowledge  that  are  initially  socially  remote  (in  this  case  in  the  professional  practice 
context)  may  reach  an  individual.  The  strength  of  strong‐ties  networks  is  to  convey  interpersonal  influence, 

383
 
Rosane Pagano and Garry Blair 

and  the  strength  of  weak‐ties  networks  is  to  convey  new  perspectives.  In  the  context  of  students  as 
prospective  project  managers  doing  this  simulation  exercise,  strong  ties  are  catalysts  for  sharing  resources 
within MMUBS, while weak ties with prospective project managers and tutors outside MMUBS are catalysts 
for  sharing  resources  from  external  sources.  A  combination  of  both  types  of  networks  is  desirable  in  the 
learning environment. 
 
An example of an electronic embodiment of a professional network with ties of various degrees of strength is 
LinkedIn.  This  however  is  relatively  passive.  Distributed  technology,  such  as  the  distributed  project 
management simulation, where participants are brought together by a common goal to be achieved within a 
time  frame,  can  heighten  the  benefits  of  collaborative  learning.  Current  technology  has  a  far  reach,  with 
potential  for  underpinning  wider  educational  networks.  There  is  opportunity  for  embedding  more 
international and globalised learning experiences and activities in the curriculum. A fertile ground for this to 
happen could be, for example, to tap into existing networks of academic institutions in partnerships such as 
Erasmus Exchange, World Wide Exchange, Study Abroad schemes. Distributed e‐learning environments as in 
this case, where a core range of teaching and learning activities are real time and synchronous, are also a great 
stimulus  for  academics  to  share  good  practice  in  a  larger  scenario,  and  to  reflect  on  the  challenges  of 
internationalising  the  curriculum.  It  sharpens  the  focus  for  knowledge  sharing,  providing  a  good  ground  for 
offering international perspectives on common problems, developing new educational delivery mechanisms, 
and managing  resources to the effect of the most efficient outputs achievable on an international context. 

References 
Association for Project Management (2012) APM Body of Knowledge, 6th edition, APM. 
Artto, K., Lehtonen, J. and Saranen, J. (2001) Managing projects front‐end: incorporating a strategic early view to project 
management with simulation, International Journal of Project Management, vol 19, pp 255–264. 
Granovetter, M. (1973) The strength of weak ties, American Journal of Sociology, Vol. 78(6), pp. 1360‐1380. 
Koster, K. (2010) International Project Management, Sage, London. 
Martin, A. (2000) A simulation engine for custom project management education, International Journal of Project 
Management, vol 18, pp 201–213. 
McCreery, J. (2003) Assessing the value of a project management simulation training exercise, International Journal of 
Project Management, vol 21, pp 233–242. 
Monod, J. (1970) Le hasard et la necessite, Seuil, Paris. 
Rogers, E. (1995) Diffusion of Innovations, The Free Press, New York 
Vygotsky, L. (1978) Mind in Society, Harvard University Press. 

384
Web Based Pronunciation Training in Denmark and the Contribution 
of Learning Theories to Online and Web‐Based Adult Second 
Language Teaching and Learning 
Karen Petersen 
Aarhus University, Denmark 
kp@dpu.dk 
 
Abstract:  For  decades  foreign  and  second  language  teachers  have  taken  advantage  of  the  technology  development  and 
ensuing  possibilities  to  use  e‐learning  facilities  for  language  training.  Since  the  1980s,  the  use  of  Computer  Assisted 
Language  Learning  (CALL),  Internet,  web  2.0  and  various  kinds  of  e‐learning  technology  has  been  developed  and 
researched  comprehensively  in  extension  of  predominantly  communicative  language  teaching  approaches  focusing  on 
training language skills. While international, in the 00’s the use of web 2.0 technologies in particular have been introduced 
for developing reading and writing skills in Denmark, special attention has been towards the development of web‐based 
materials for Danish pronunciation. This paper sets out to introduce differences between the international and Danish use 
of web‐based language learning and teaching, and to address dilemmas and challenges for the use of CALL, IT and web 2.0 
in L2 teaching and learning. 
 
Keywords: e‐learning, education theory, language acquisition theory, behaviouristic, cognitive and constructive 
approaches in e‐learning, online education theory,  second language learning 

1. Introduction 
Since the introduction of computers in the early 1960s, a particular focus in language teaching and language 
teacher education has been on the fact that computers can assist language acquisition and learning. Over the 
years  many  computer‐supported  training  programs  for  foreign  and  second  language  teaching  have  been 
developed.  After the introduction of the Internet in the early 1980s and 1990s IT‐based language teaching, in 
addition e‐learning platforms, online language learning and, web 2.0 technologies developed quickly.  
 
The fast development within information technology and the possibilities to inherently use online teaching and 
learning facilities including social media represent new challenges and demands facing researchers of language 
learning, teacher education and teachers (Chapelle 2001, 2003, 2007, 2009; Thomas 2009; Wang and Vásquez 
2012; Warschauer 1996).  
 
Language  education  of  Danish  for  adult  Speakers  of  Other  Languages  (DSOL)  and,  teacher  education  is  no 
exception. As outlined by a Danish researcher Meyer, ‘second and foreign language teaching and learning’ is 
an area ‘strongly influenced by the processes of change within information technology’ (Meyer 2005:155). 
 
the mid 1990s the first computer assisted training programmes and multi‐media CD‐ROMs were used in DSOL 
language teaching and, in the 2000s, the Internet has played an increasingly important role in second language 
teaching  in  Denmark.  Most  DSOL  language  providers  in  2013  offer  online  based  second  language  learning 
programmes  to  foreigners  living  in  and  outside  Denmark  (Ministry  of  Refugee,  Immigration  and  Integration 
2004, 2004a; Petersen 2006, 2007, 2014; Rambøll 2009). 
 
Studies of some of the first online second language classrooms in Denmark from 2006 and 2007 indicate that 
on the one hand DSOL teachers in the transition phases from traditional classroom to online second language 
teaching  were  very  much  concerned  about  establishing  ‘virtual’  social  communities  in  online  language 
teaching.  At  the  same  time  learners,  on  the  other  hand  perceived  online  language  teaching  as  merely 
individual (Petersen 2006, 2007).  
 
Studies  of  computer  or  Internet  assisted  learning  furthermore  show  that  students  gain  significant  learning 
benefits, but that the reason for this is not the medium, but the instructional strategies built into the learning 
materials. This is outlined by Ally: 
’meta‐analysis  studies  on  media  research  have  shown  that  students  gain  significant  learning 
benefits  when  learning  from  audio‐visual  or  computer  media,  as  opposed  to  conventional 
instruction;  however  the  same  studies  suggest  that  the  reason  for  those  benefits  is  not  the 

385
 
Karen Petersen 

medium  of  instruction,  but  the  instructional  strategies  built  into  the  learning  materials’  (Ally 
2004:3).    
Teacher  educators  and  language  teachers  introducing  online  second  language  teaching  are  thus  facing 
challenges with respect to design, tasks and content.  
 
This paper sets out to introduce differences between the international and Danish use of web‐based language 
learning  and  teaching,  and  to  address  dilemmas  and  challenges  for  the  use  of  CALL,  IT  and  web  2.0  in  L2 
teaching and learning. 

2. Concepts and definitions 
In  continuation  of  the  terminology  in  international  second  language  acquisition  (SLA)  research,  I  use  the 
concept of first language (L1) to denote the language a person learns as his/her first language, usually referred 
to as mother tongue. In contrast, I use the term second language (L2) to describe the second, third and other 
languages a person acquires after having learned his/her first language. Language students are usually referred 
to as learners. The language use of L2 by learners who are about to learn and develop their second language is 
often referred to as an inter‐language. The inter‐language is – in continuation of SLA research ‐ characterised 
by being limited, but systematic and dynamic.  Despite the fact that teaching and acquiring a second language 
has certain features in common with foreign language, I differentiate between second and foreign language 
teaching.  Foreign  language  learning  will  usually  take  place  in  classroom  environments  where  learners  and 
teacher have  the  same  first  language (L1); this  language  is  usually  also  spoken  in  the community/country  in 
which learners and teacher live. In contrast, second language learning takes place in classroom environments 
where  learners  and  teacher  often  speak  different  languages.  While  learners  often  speak  many  different 
languages  as  their  mother  tongue  (L1)  and,  furthermore  are  about  to  learn  the  language  spoken  in  the 
community/country, in which they live – defined as their second language (L2 )‐, the teacher’s first language 
(L1) often is the target language to be learned in the second language classroom, that is the learners’ second 
language (L2), and the language spoken in the community/country (e.g. Ellis 1994; Mitchell & Myles 2002; Gass 
& Selinker 2008; Selinker 1972). In DSOL adult language teaching for example, most teachers speak Danish as 
their first language, while the adult learners in the class rooms speak various other languages. In 1996 it was 
noted  by  a  Danish  linguist  that  about  100  languages  were  spoken  in  Denmark  (Stensig  1996).  In  second 
language  classrooms  –  both  online  and  face‐to‐face  classrooms  –  learners  and  teachers  may  not  have  any 
common language. Not all foreigners in Denmark have learned English; accordingly, English cannot always be 
used as a so‐called lingua franca, e.g. a common foreign language in the second language classroom (Gass & 
Selinker 2008).  
 
As mentioned in the introduction computers and Internet have been used in both foreign and second teaching 
for several decades. Computer assisted instruction was first used in the 1960’s. Computer Assisted Language 
Learning – in abbreviated form known as CALL – has been disseminated to a wider audience in the 1990s (Levy 
1997; Warschauer 1996). In accordance with Levy, I define CALL as ‘the search for and study of applications of 
the  computer  in  language  teaching  and  learning’  (Levy  1997:1).  With  the  introduction  of  the  Internet,  the 
concept  of  blended  learning  rose.  In  reference  to  Elliot  (2009),  I  understand  blended  learning  as  ’a  form  of 
learning which balances face‐to‐face contact between trainer and trainee with Internet‐based input delivery 
and interaction’ (Elliot 2009:439). Many DSOL language schools in Denmark provide either blended or merely 
online language learning. In reference to Ally (2004) I understand online learning as ’the use of the Internet to 
access learning materials; to interact with the content, instructor, and other learners; and to obtain support 
during the learning process, in order to acquire knowledge, to construct personal meaning, and to grow from 
the  learning  experience’  (Ally  2004:  4).  In  many  online  second  language  platforms  a  range  of  web  2.0 
technologies are being used. In accordance with Thomas (2009), Wang & Vásquez (2012), Warschauer (2009) I 
use the concepts of Web 2.0 and Web 2.0 technologies as referring to ’a perceived second generation of web 
development  and  design  that  facilitates  communication,  secure  information  sharing,  interoperability  and 
collaboration  on  the  Internet’  (Wang  &  Vásquez  2012:413).  Well  known  web  2.0  technologies  are  weblogs, 
video‐  and  audioblogs,  wikis,  second‐life  facilities  as  well  as  social  media  like  Facebook,  Twitter  and, 
collaboration facilities like Google docs and others (see Birch‐Andreasen 2005:90).  
 
The  possibilities  to use  various  computer,  and  Internet based facilities  in  second  language  teaching  are  thus 
comprehensive and to some degree may even be confusing. The question  arising out of this, is how teachers 
meeting the new so‐called ‘digital natives’’ generations, who grew up with computers, Internet, mobiles and 

386
 
Karen Petersen 

other electronic devices, can choose and design good and useful online or blended second language learning 
facilities (Pegrum 2009).  

3. Behaviorist, cognitivist, constructivist and socio‐cultural education and second 
language acquisition theories in computer assisted and online teaching 
The  historical  development  of  education  theories  and  the  development  of  theories  about  second  language 
acquisition evidence similarities. Ally (2004) introduces three approaches in education and learning theories: 
behaviorist,  cognitivist  and  constructivist.  In  comparison,  Chapelle  (2009),  Gass  &  Selinker  (2008),  Wang  & 
Vásquez (2013), Warschauer (1996, 2009) and other SLA researchers outline, how behaviorist, cognitivist and 
sociocultural  (constructivist)  approaches  have  influenced  theories  and  research  with  respect  to  second 
language  acquisition  and  development.  Education  researchers,  second  language  researchers,  and  educators 
agree upon the fact that various theoretical points of view influence approach, design, tasks, and content of 
particular online education programmes (ibid). 
 
The  behaviorist  approach  or  ‘school’  in  education  and  second  language  acquisition  emphasizes  the 
importance  of  behavior,  while  understanding  the  ‘mind  as  a  ‘black  box’  in  the  ‘sense  that  a  response  to  a 
stimulus can be observed quantitatively’ (Ally 2004:8). Behaviorist approaches, according to Ally often ignore 
‘the effect of thought processes occurring in the mind’ (ibid).  Important in a behaviorist approach is what can 
be immediately ‘observed and measured as indicators of learning’ (ibid). In second language learning theories, 
the influence of behaviorist approaches, in particular Skinner’s work from 1957 on ‘Verbal behavior’ has been 
comprehensive (Gass & Selinker 2008). As pointed out by Warschauer (1996), the first computer programs to 
assist language learning  were developed in continuation of behaviorist language learning approaches as ‘drill 
and practice tasks’. Warschauer (1996) hence, named the first period of computer assisted language learning 
‘behaviorist  CALL’.  Essential  in  behaviorist  CALL  is  the  understanding  that  ‘repeated  exposure  to  the  same 
material is beneficial or even essential to learning’ and that the ‘computer is ideal for carrying out repeated 
drills,  since  the  machine  does  not  get  bored  with  presenting  the  same  material  and  since  it  can  provide 
immediate non‐judgmental feedback’ (Warschauer 1996:1). 
 
In  contrast,  cognitivist  approaches  in  both  education  theory  and  second  language  acquisition  theories 
emphasize the importance of thought processes in learning. Learning – including language learning – is seen as 
a  process  involving  memory,  thinking,  reflection,  abstraction  and  meta  cognition.  Important  in  cognitive 
language learning processes is that input is first transformed to intake and then may be transferred from the 
short‐term memory to long‐term memory. Learner’s possibilities to make own hypothesizes about language, 
and individual learner strategies are seen to be essential in cognitivist approaches (Ally 2004; Mitchell & Myles 
2002). In contrast to behaviorist approaches, computer or Internet based cognitive approaches do ‘not judge 
and  evaluate  everything  the  students  do  nor  reward  them  with  congratulatory  messages,  lights,  or  bells’ 
(Warschauer 1996). What is important is how learning content and tasks can be presented in various ways in 
the  online  environment  in  order  to  subsequently  be  stored  in  the  learner’s  long‐term  memory.  As  a 
consequence different online strategies and many various types of tasks enhancing input processing should be 
developed for online second language teaching based on cognitivist approaches. 
 
In  constructivist  approaches  and  sociocultural  approaches  in  second  language  learning  theories,  firstly  the 
possibility  for  learners  to  construct  their  own  knowledge  is  seen  as  essential.  Secondly,  social  contexts  of 
learning  is  regarded  important  and  as  a  precondition  for  all  kinds  of  learning.  As  outlined  by  Ally 
‘constructivists see learners as being active rather than passive. Knowledge is not received from the outside or 
from  someone  else;  rather,  it  is  the  individual  learner’s  interpretation  and  processing  of  what  is  received 
through the senses that creates knowledge (…). A major emphasis of constructivists is situated learning, which 
sees  learning  as  contextual’  (Ally  2004:  18).  Similarly  socio‐cultural  second  language  acquisition  theories 
emphasize both language knowledge construction and the importance of social contexts as preconditions for 
learning a language. As a consequence learners in online second language learning environments – as outlined 
by  researchers  –  should  be  ‘allowed  to  construct  knowledge  rather  than  being  given  knowledge  through 
instruction (ibid). Furthermore, learners should be given the possibilities to interact with both online teacher 
and other online learners (Ally 2004; Chapelle 2009; Thomas 2009). 
 

387
 
Karen Petersen 

4. Computer assisted and online teaching in international foreign and second language 
teaching and learning since the 1980s: Focus on developing the four language skills, in 
particular reading and writing 
Since  the  1960s,  international  computer‐assisted  language  learning  ‐  CALL  ‐  has  been  developed  under  the 
influence of approaches in second and foreign language teaching, firstly based on behaviorist, and since the 
1980s  on  communicative  language  teaching  approaches. In  the  1990s  for  example,  the  multimedia  phase  in 
international  CALL,  mainly  used  communicative  teaching  approaches,  based  on  primarily  cognitive  learning 
theories, and the intentions of developing the four language skills (Warschauer, 1996; Wang & Vásquez 2012). 
As mentioned in 2006 by the British researcher Newby, the communicative approaches in language teaching 
are reflected 
’in terms of the four skills of reading, writing, speaking and listening (…) Seeing language in these 
terms  (…)  has  been  largely  uncontroversial  throughout  the  thirty‐year  history  of  CLT 
(communicative  language  teaching)  and  it  is  this  category  that  feeds  into  what  is  generally 
described as communicative methodology.’ (Newby 2006: 19). 
In  the  beginning  of  the  2000s,  when  Web  2.0  technologies  were  increasingly  used  in  foreign  and  second 
language teaching, research reviews indicate that the new technologies primarily have been investigated and 
used for developing language skills such as reading, listening and writing skills (Lui et al 2003; Stockwell 2007; 
Wang & Vásquez 2012). As mentioned by Wang & Vásquez in 2012: 
’the  scope  of  inquiry  on  technology  and  language  learning  (…)  was  historically  focusing  on  the 
traditional  four  language  skills’  and,  in  the  period  after  2005  ‘L2  writing  represents  the  most 
investigated area’ (p. 417 and 418). 
Wang  &  Vásquez  outlines  that  the  ‘paradigm  shift  in  SLA  research’  since  the  1990s,  with  second  language 
learning  and  acquisition  research  moving  ‘from  a  cognitive  orientation  to  a  social  orientation  (…),  from  an 
acquisition metaphor to a participation metaphor (…) seem to be in alignment with many of the attributes of 
Web  2.0  technology  (such  as  ease  of  participation,  communication,  information  sharing,  and  collaboration)’ 
(Wang  &  Vásquez  2012:413).  Since  2005  most  of  the  SLA  research  ‘was  framed  along  sociocultural  and 
sociocognitive  dimensions  such  as  sociocultural  theory,  activity  theory,  socio‐constructivism,  community  of 
practice, social cognitive theory’ (p.420). With respect to the use of computer and online language teaching, 
this development implicates an increased focus on the social dimensions in communicative language teaching 
approaches, viewing  online education and  
‘the computer as a tool that mediates interactions between language learners and other humans. 
(…)  Interaction‐based  learning  is  a  cornerstone  of  many  socially  oriented  approaches  to  L2 
learning’ (Wang & Vásquez 2012:420). 
5. CALL and online teaching in Danish second language teaching and learning: focus on 
pronunciation 
In  comparison  with  the  international  trend,  the  Danish  development  in  relation  to  an  extensive  use  of 
computers,  Internet  and  Web  2.0  technologies  in  second  language  teaching  has  occurred  primarily  in  the 
education  of  adult  language  learners.  Similarly  to  the  international  development,  the  use  of  computers  and 
Internet in DSOL in both the 1990s and 2000s has followed predominantly communicative cognitive language 
teaching approaches, focusing on the four language skills (Petersen 2014). 
 
While  in  international  L2  teaching  and  research,  the  use  of  computers  and  Internet  technologies  for 
developing  reading  and  writing  skills  in  L2  has  been  dominant,  in  DSOL  education  a  particular  attention  on 
developing computer and Internet based programmes for Danish pronunciation has been evidenced (Petersen 
2014). 
 
In a review report from 2009 on selected computer and Internet based training materials for DSOL education, 
financially supported by the Danish Ministry of Education in the period from 2006 to 2009, one third of the 
programmes  were  particularly  developed  for  pronunciation  training  for  adult  learners  (Rambøll  2009:6‐7). 
Since the beginning of the 2000s, various training programmes for pronunciation have been developed both by 
private enterprises, language schools and teachers. (Petersen 2014) 

388
 
Karen Petersen 

Various  reasons  for  the  extensive  use  of  computer  and  Internet  technology  for  pronunciation  training 
programmes  could  be  mentioned.  Danish  researchers  and  linguists  highlight  that  pronunciation  and  an 
extensive vowel system may create difficulties for adult learners of Danish (Kirk & Jørgensen 2006; Jørgensen 
1999). Adult learning of pronunciation of a new language appears to occur differently than children's learning, 
and  pronunciation  differs  from  other  aspects  of  language  learning,  by  not  only  requiring  cognitive  but  also 
physiological skills (Jørgensen 1999:107). 
 
Another  reason  may  be  found  in  the  governmental  support.  In  2006,  on  behalf  of  the  Ministry  of  Refugee, 
Immigration  and  Integration  Affairs,  responsible  for  adult  DSOL  education  in  Denmark,  a  report  named 
‘Towards  an  effective  pronunciation  teaching’  was  published  (Kirk  &  Jørgensen  2006).  In  the  report  it  was 
among others evidenced that DSOL language teachers’ give lower priority to the teaching of pronunciation, a 
statement that was confirmed in a report from 2009 (Rambøll 2009).  Here it is outlined that ‘pronunciation in 
[DSOL]  language  teaching  is often  an Achilles  heel  for  language  teachers’,  and  many  teachers ‘are uncertain 
about  how  to  teach  pronunciation’  (Rambøll  2009:16).  In  2008  a  comprehensive  training  manual  in  Danish 
pronunciation  for  DSOL  teachers  was  published  by  the  ministry  responsible  for  DSOL  education  in  Denmark 
(Ministry of Refugee, Immigration and Integration Affairs 2008). As a result, since 2006 governmental financial 
support was given to the development of computer and Internet based pronunciation programmes for DSOL 
(Rambøll 2009). 
 
A further reason for focusing on the development of computer supported pronunciation programmes in the 
2000s  may  however  be  found  in  what  researchers  have  described  as  ‘a  relative  reluctance’  among  native 
speakers of Danish to tolerate different spoken Danish. In 1999, the Danish researcher Jørgensen emphasizes: 
'The most urgent task with respect to Danish pronunciation [ is ] not the teaching of adult DSOL 
learners,  but  the  education  of  native  speaking  Danes.  We  must  learn  to  understand  Danish 
pronounced with a much wider range of variation than the one we have so far been experiencing 
with  primarily  regional  varieties'  (Jørgensen  1999:  114/translation  into  English  by  Karen  Bjerg 
Petersen). 
Various  reasons  may  therefore  explain  the  particular  emphasis  and  development  of  computer  and  Internet 
based pronunciation training programmes for DSOL education in Denmark compared to the international focus 
on reading and writing.  
6. Dilemmas and challenges for the use of CALL, IT and web 2.0 in L2 teaching and 
learning 
In L2 teaching, in particular Richard & Rodgers’ (2001) reflections on language teaching as influenced by partly 
linguistic  theory  and  language  learning  theory  (approach),  by  partly  curriculum  design  and  syllabus  (design), 
and partly by language teaching itself (procedure), has inspired the understanding of both face‐to‐face second 
language  teaching,  and  has  also  created  impetus  for  reflections  about  computer  and  online‐based  language 
teaching internationally, and in Denmark (see eg Bo‐ Kristensen 2005; Hampel 2006; Holm 1999; Lund 1999). 
Hampel  suggests  to  rethink  task  design  for  the  digital  age  in  continuation  of  Richard  &  Rodgers’ discussions 
about  approach,  design  and  procedure  in  terms  of  ‘factors  that  depend  on  the  specific  materiality  of  the 
resources  and  on  the  affordances  of  the  modes  available  also  have  to  be  factored  in  when  designing  and 
implementing tasks for an online classroom’ (Hampel 2006:119). 
 
Hampel (2006) and a number of other studies point to the fact that a combination of media, including various 
kinds of Web 2.0 technologies may enhance the possibilities of working with language skills such as reading 
and writing (Chapelle 200; Wang & Vásquez 2012). Clearly evidenced effects of computer and Internet assisted 
language  teaching  on  learners’  language  development  compared  with  face‐to‐face  second  and  foreign 
language teaching still need further research (Thomas 2009; Wang & Vásquez 2012).  
 
In an American report from 2010 on the use of computers and internet in primary and secondary education, it 
is  emphasized  that  ’educators  making decisions  about  online  learning need  rigorous research  examining  the 
effectiveness  of  online  learning  for  different  types  of  students  and  subject  matter  as  well  as  studies  of  the 
relative  effectiveness  of  different  online  learning  practices  (U.S.  Department  of  Education  2010:54).  Other 
studies from the USA, furthermore indicate that blended learning seem to be an appropriate way for learners’ 
to develop their language and other skills (University of Colorado Boulder 2012). 

389
 
Karen Petersen 

7. Emphasis on learning theories and multimodality in computer and Internet supported 
L2 learning 
Several  second  language  researchers  highlight  the  potential  of  incorporating  a  plurality  of  modalities  and 
affordances that the Internet offers for second language teaching (Chapelle 2009; Gruba & Hinkelman 2012; 
Hampel  2006;  Pegrum  2009;  Thomas  2009;  Wang  &  Vásquez  2012).  Hampel  for  example  outlines  that  ‘we 
have  to  ensure  that  tasks  are  appropriate  to  the  medium  used  and  that  we  develop  tasks  that  take  into 
account  the  affordances  (i.e.  the  constraints  and  possibilities  for  making  meaning)  of  the  modes  available’ 
(Hampel 2006:111). Also Gruba & Hinkelman emphasize that ’the integration of technologies is best achieved 
if it is purposeful, appropriate, multimodal and sustainable’ (Gruba & Hinkelman 2012: xv). 

8. L2 teachers' vital role in the integration of IT in teaching 
Most researchers however emphasize the key role of teacher’s and teacher instructions for efficient computer 
and  Internet  supported  second  language  teaching  and  learning.  Pegrum  (2009)  for  example,  stresses  that 
teachers should be trained in the use of Web 2.0 technologies, and teachers and developers must on the other 
hand understand that online education and L2 based e‐learning is not automatically behaviorist, cognitivist or 
constructivist  or  even  pedagogically  progressive.  According  to  Pegrum,  requirements  for  efficiency,  speed, 
flexibility  and  saving  money as  reasons  for  introducing  computers  and  Internet  in  second  language  teaching 
and learning may easily lead to 'poor' content systems. The development of a good design for online education 
is  time‐consuming,  not  only  in  the  development  process  but  also  in  the  implementation  of  IT‐based  L2 
teaching: 
‘While  learning  about  the  advantages  of  Web  2.0,  teachers  must  equally  come  to  understand 
that e‐learning is not, in and of itself, automatically constructivist or pedagogically progressive, 
and  demands  for  speed,  flexibility  and  cost  saving  can  easily  lead  to  impoverished  content 
delivery systems. As suggested earlier, some creativity is needed to work within the constraints of 
rigid  syllabi  or  assessments.  As  rewarding  as  IT  may  be,  well  designed  online  learning  will 
normally  require  a  heavy  investment  of  time  and  energy  by  both  staff  and  students’  (Pegrum 
2009:32).   
Pegrum continues that ’there is also a danger that (…) technology users will lose the ability to focus clearly as 
well  as  the  will  to  occasionally  power  down  their  multifarious  communication  channels  and  make  time  for 
reflection – a crucial part of education’ may be downsized (ibid :32). 

9. In conclusion 
In online second language education it is thus important to be aware of both education and second language 
acquisition theories in order to enhance learning. As highlighted by Ally 
‘Behaviorist,  cognitivist  and  constructivist  theories  have  contributed  in  different  ways  to  the 
design  of  online  materials  (…).  Behaviorist  strategies  can  be  used  to  teach  the  facts  (what); 
cognitivist strategies to teach the principles and processes (how); and constructivist strategies to 
teach the real‐life and personal applications and contextual learning’ (Ally 2004:24). 
In  second  language  teaching  and  learning,  ways  of  meeting  the  challenges  of  ‘digital  natives’  is  not  only  to 
educate technically skilled teachers, but rather to help teachers – and learners – understand that teaching a 
second  language  in  online  or  computer  assisted  environments  demands  a  comprehensive  theoretical 
understanding  of  not  only  second  language  learning  theories  but  also  education  theories.  Teachers  play  a 
crucial  role  in  designing  good  online  learning.  Pegrum  (2009)  outlines  ’as  has  been  widely  argued  in  the 
literature  about  online  learning,  and  in  line  with  social  constructivist  pedagogical  models,  teachers  must  be 
prepared to play a central organizing, guiding and mentoring role’ (ibid: 24). Researchers, teacher educators 
and teachers themselves should be aware of this. 

References 
Ally, M. (2004): Foundations of Educational Theory for Online Learning, Chapter 1 in: Anderson, T. and F. Ellouimi (eds.) 
(2004). Theory and Practice of Online learning. Canada, Athabasca University: cde.athabascau.ca/online_book. 
Birch Andreasen, L. (2005): Brugeres stemmer i spil. Inddragelse og dialogformer i museers undervisningspraksis. In: 
Andreasen, L., B. Meyer og P. Ratleff (red.): Digitale medier og didaktisk design. Brug, erfaringer og forskning. 
København: Danmarks Pædagogiske Universitetsforlag.  
Bo‐Kristensen, M. (2005): Vurdering af it‐materialer – til dansk som andetsprog for voksne, In: Sprogforum, nr. 35. 

390
 
Karen Petersen 

Chapelle, C.A. (2001): Computer applications in Second Language Acquisition. Cambridge, UK: Cambridge University Press. 
Chapelle, C.A. (2003): English language learning and technology: Lectures on teaching and research in the age of 
information and communication. Amsterdam: Benjamins. 
Chapelle, C.A. (2007): Technology and Second Language Acquisition. In: Annual Review of Applied Linguistics, no. 27, 98‐
114. 
Chapelle, C.A. (2009): The Relationship between Second Language Acqusition Theory and Computer‐Assisted Language 
Learning. In: The Modern Language Journal, Vol. 93 741‐753. 
Elliot, D. (2009): Internet Technologies and Language Teacher Education. In: Thomas, M. (ed): Handbook of Research on 
Web 2.0 and Second Language Learning. Hershey, New York: Information Science Reference, 432‐450. 
Ellis, R., (1994): The Study of Second Language Acquisition. Oxford: Oxford University Press. 
Gass, S.M. and L. Selinker (2008): Second Language Acquisition. An introductory course. Third Edition. New York and 
London: Routledge. 
Gruba, P. & D. Hinkelman (eds) (2012): Blending technologies in Second Language Classroom. Palgrave: Macmillin. 
Hampel, R. (2006): Rethinking task design for the digital age: A framework for language teaching and learning in a 
synchronous online environment. In: Recall, vol. 18 issue 01, 105‐121. 
Holm, L. (1999): Kriterier for vurdering af undervisningsmaterialer til dansk som andetsprog for voksne. In: På sporet – en 
antologi om undervisning i dansk som andetsprog. København: Undervisningsministeriet. Uddannelsesstyrelsens 
temahæfteserie nr. 30. 
Jørgensen, J.N. (1999): Om tilegnelse af dansk udtale hos voksne indlærere. In: Holmen, A. og K. Lund (red.): Studier i dansk 
som andetsprog. København: Akademisk Forlag. 
Kirk, K. og L.M. Jørgensen (2006): På vej mod en effektiv udtaleundervisning. København: Ministeriet for Flygtninge, 
Indvandrere og Integration. 
Levy, M., (1997): Computer assisted language learning, context and conceptualisation, Clarendon Press, Oxford. 
Lui, M. et al. (2003): A look at the research on computer‐based technology use in second language learning: A review of the 
literature from 1990‐2000. In: Journal of Research on Technology in Education, 34 (3), 250‐273. 
Lund, K. (1999): Approach, design, procedure – en refleksionsmodel. In: På sporet – en antologi om undervisning i dansk 
som andetsprog. Uddannelsesstyrelsens temahæfteserie nr. 30. København: Undervisningsministeriet.  
Meyer, B. (2005): Sprog med it – it med sprog. In: Buhl, M., B. Holm Sørensen og B. Meyer (red.): Medier og it – 
læringspotentialer. København: Danmarks Pædagogiske Universitets Forlag. 
Ministry of Refugee, Immigration and Integration/ Ministeriet for Flygtninge, Indvandrere og Integration (2004): It i 
andetsprogsundervisningen – processer og perspektiver (red.: Nielsen, G.Ø., M.S. Pedersen & C.A. Linderoth). 
København: Ministeriet for Flygtninge, Indvandrere og Integration. 
Ministry of Refugee, Immigration and Integration/ Ministeriet for Flygtninge, Indvandrere og Integration (2004a): It‐
baserede undervisningsmaterialer til danskuddannelse for voksne udlændinge m.fl. København: Ministeriet for 
Flygtninge, Indvandrere og Integration. 
Ministry of Refugee, Immigration and Integration/ Ministeriet for Flygtninge, Indvandrere og Integration (2008): Dansk 
udtale – en undervisningsvejledning (red. G. Ø. Nielsen m.fl.). København: Ministeriet for Flygtninge, Indvandrere og 
Integration. 
Mitchell, R. and F. Myles (2002): Second Language Learning Theories.  London: Arnold.  
Newby, D. (2006): Communicative Language teaching – In: Fenner, A. and D. Newby: Coherence of principles. Cohesion of 
competence. Exploring theories and designing materials for teacher education. Strasbourg: Counsil of Europe. 
Pegrum, M. (2009): Communicative Networking and Linguistic Mashups on Web 2.0. In: Thomas, M. (ed): Handbook of 
Research on Web 2.0 and Second Language Learning. Hershey, New York: Information Science Reference, 20‐42. 
Petersen, K.B. (2006): ‘Collaborative and situated learning on the web – how can teacher education theoretically and 
practically respond to changing demands and roles of teachers /actors in multicultural, global and local contexts? A 
Research based on case studies of online second language learning in ‘communities of practice’, Proceedings, ISTE, 
26.th Annual Seminar, April 2006, Stellenbosch, South Africa. 
Petersen, K.B. (2007): ‘E‐learning in virtual communities of practice and beyond? Research findings based on interviews 
with students and teachers in second language e‐learning settings in Denmark’, Proceedings, ICEL 2007, The 
International Conference on e‐learning, New York. 
Petersen, K.B. (2013): ‘Virtual communities of practice in second language learning – fiction or reality?’ GSTF Journal of 
Education, Vol. 1, Nr. 2, 30.11.2013, s. 1‐6. 
Petersen, K.B. (2014): IT in Second Language Learning and Teaching in Denmark ‐ Theory and Practice/IT og digitale medier 
i andetsprogsundervisningen – teori og praksis. Aarhus: Aarhus Universitet. 
Rambøll (2009): Evaluering af materialerne fra puljen ’Udvikling af it‐baserede undervisningsmaterialer til 
danskuddannelserne for voksne udlændinge’. Aarhus: Rambøll. 
Richards, J. C. and T. S. Rodgers (2001): Approaches and Methods in Language Teaching. Cambridge: Cambridge University 
Press. 
Selinker, L. (1972): Interlanguage. In: IRAL (International Review of Applied Linguistics), no. 10. 
Stensig, J. (1996): Sprog i Danmark og i verden – forskelle og ligheder blandt verdens sprog. I: T. Kristiansen et al.: Dansk 
sproglære. København: Dansklærerforeningen. 
Stockwell, G. (2007): A review of technology choice for teaching language skills and areas in the CALL literature. In: ReCALL, 
19 (2), 105‐120. 

391
 
Karen Petersen 

Thomas, M. (2009) (ed): Handbook of Research on Web 2.0 and Second Language Learning. Hershey, New York: 
Information Science Reference. 
University of Colorado Boulder (2012): Evaluation of Evidence‐Based Practices in Online Learning: A Meta‐Analysis and 
Review of Online Learning Studies. University of Colorado Boulder, Office of Information Technology. URL (retrieved, 
May 25th 2013): http:// http://www.colorado.edu/oit/academic‐technology/research/evaluation‐evidence‐based‐
practices‐online‐learning‐meta‐analysis‐and‐review  
US Department of Education (2010): Evaluation of Evidence‐Based Practices in Online Learning: A Meta‐Analysis and 
Review of Online Learning Studies. Washington: US Department of Education, Office of Planning, Evaluation, and 
th
Policy Development. Policy and Program Studies Service. URL (retrieved, June 6  2013) 
http://www2.ed.gov/rschstat/eval/tech/evidence‐based‐practices/finalreport.pdf  
Wang, S. and C. Vásquez (2012): Web 2.0 and Second Language Learning: What Does the Research Tell Us ?, In: CALICO 
Journal, 29 (3), 412‐430. 
Warschauer M. (1996) "Computer Assisted Language Learning: an Introduction". 
In: Fotos S. (ed.) Multimedia language teaching, Tokyo: Logos International: 3‐20.  
Warschauer, M. (2009): Foreword. In: Thomas, M. (ed.): Handbook of Research on Web 2.0 and Second Language Learning. 
Hershey, New York: Information Science Reference. 
 

392
Rubrics for Quality Assessment of e‐Learning Course 
Toomas Plank1, Anne Villems1, Lehti Pilt1, Merle Varendi2, Eneli Sutt3, Egle Kampus3 and 
Kai Peiel3 
1
University of Tartu, Estonia 
2
IT College, Estonia 
3
Information Technology Foundation for Education 
toomas.plank@ut.ee 
anne.villems@ut.ee 
lehti.pilt@ut.ee 
merle.varendi@itcollege.ee 
eneli.sutt@hitsa.ee 
egle.kampus@hitsa.ee 
kai.peiel@hitsa.ee  
 
Abstract: From the year 2008, the Innovation Centre of the Information Technology Foundation for Education in Estonia 
runs the process of awarding “Estonian e‐Course Quality Label” to applicants from different national vocational and higher 
education institutions. The process of awarding quality labels is structured on three tiers: self‐assessment, organizational 
and  expert  level.  The  process  which  is  described  in  our  previous  article  (Villems,  2013),  needs  well  defined  criteria  as 
considerable bases for evaluation. For self‐assessment and expert level evaluations, the quality criteria are prepared in the 
form of two rubrics, both with more than 20 quality criteria. Both rubrics coincide in majority of questions, but the self‐
evaluation  rubric  has  additional  criteria,  which  only  authors  of  the  course  are  able  to  evaluate.  To  make  the  process  of 
evaluation smoother and easier to manage, interactive web‐based software was developed. As the real responsibility for 
the  content  of  the  course  is  in  the  hands  of  particular  educational  organization,  we  did  not  prepare  e‐learning  course 
evaluation  criteria  for  them.  Their  evaluation  has  to  reflect  students’  feedback  and  agreement  with  the  quality  of  the 
content. In this paper we will discuss the choice of criteria used in the above‐mentioned rubrics, and how we explain their 
four levels, from poor to excellent. We also describe the process of choosing and further development of these criteria and 
explain how these are connected with our “Quality Manual for e‐Courses (Pilt, 2010). Feedback on the described quality 
process is gathered during quality assessment evaluation process from different parties each year (applicants i.e. authors 
of the e‐courses, expert evaluators and quality team members). Based on this feedback continuous further development of 
quality criteria and rubrics is taking place. We enhance the list of criteria in rubrics, criteria explanations, interactive web 
tool and all other aspects of this e‐learning quality process. 
 
Keywords: e‐course quality assurance, quality criteria for e‐learning, rubrics, Estonian e‐learning quality label 

1. Introduction  
Since  2004  previous  Estonian  e‐Learning  Development  Centre  (current  Innovation  Centre  of  the  Estonian  IT 
Foundation for Education) which coordinates developments in the e‐learning field in Estonia, runs a contest for 
the title "E‐course of the year". In 2007 Estonian e‐Learning Development Centre formed a quality assurance 
task force consisting of experts from many different higher education organisations with the following aims: 
 
To  create  guiding  materials  for  the  instructional  design  process  of  e‐learning  and  blended  learning  courses, 
aimed at the teaching staff and educational technologists of higher and vocational education organisations. 
 
To publish quality criteria for e‐learning courses and design the process of awarding "Estonian e‐Course Quality 
Label". 
 
The  process  of  awarding  the  e‐course  quality  label  to  applicants  from  different  vocational  and  higher 
education institutions was initiated in 2008 and in the year of writing this article we plan to expand the process 
also to secondary schools. Quality label is meant to both, 100% e‐learning courses and blended learning ones. 
For the compilation of the „Quality Manual for e‐Courses“ (Pilt, 2010) we took “Quality Manual for E‐learning 
in Higher Education” (Ubachs, 2009) as a model. Manual is a step by step guide on how to create or improve e‐
learning or blended learning course. Essential quality criteria are indicated at the end of each chapter of the 
manual. These criteria serve as a basis for self‐ and expert evaluation within the quality label process. 
 

393
 
Toomas Plank et al. 

The  initial  phase  of  the  creation  of  instructional  guide  for  teachers  was  not  easy.  There  were  some 
fundamental  questions,  such  as  what  methodology  to  use  for  evaluation  of  e‐learning  courses  and  how  to 
define  quality.  After  one  year  the  cooperative  efforts  resulted  with  the  first  web‐based  version  of  quality 
manual  for  e‐courses.  In  parallel  we  developed  the  concept  and  rules  of  procedure  for  awarding  e‐learning 
course  quality  label  and  its  application  process  which  has  broadly  remained  the  same  until  now  (Villems, 
2013).  
 
In this paper we will discuss the choice of criteria, which lay in the bases of the evaluation rubrics, and how we 
explain  their  four  levels,  from  poor  to  excellent.  We  also  describe  the  process  of  choosing  and  further 
development of these criteria and explain how these are connected with our “Quality Manual for e‐Courses” 
(Pilt, 2010). 

2. Basic framework for quality assurance in e‐learning  
In (Ehlers, 2006) authors debate: “Quality [of the e‐learning] seems to be in the eye of the beholder”.  Many 
authors are most concerned about educational content of the e‐learning courses, others deal mainly with the 
quality  of  e‐learning  technologies.  Content  and  technology  based  approaches  seem  not  fruitful  from  our 
perspective.  As  we  are  working  on  national  level,  but  the  responsibility  of  the  content  lays  by  the  law  on 
educational organization itself. Technologies used by e‐learning are the most frequently changing components 
of the course. We wanted to concentrate on design and development of the course and process of running it, 
getting feedback from students.  
 
So  we  can  formulate  our  aim  to  develop  quality  assurance  criteria  to  help  course  designers  in  their 
instructional design process of building an e‐learning or blended learning course, also to help them to run it 
and get adequate feedback.  
 
Quality  criteria  have  to  support  all  stages  of  course  development.  The  most  well‐known  model  for  course 
development is ADDIE (Branch, 2009). As our “Quality Manual for e‐Courses” (Pilt, 2010) is also built on ADDIE 
model, we decided to design quality criteria based on the same model.  

3. Design process for e‐learning quality criteria and rubrics 
Rubrics  are  seen  as  the  most  adequate  evaluation  tool  which  can  guide  communication  between  different 
evaluators and between author and evaluator.  Interactive web based system is created for both: authors of 
the course for self‐evaluation process and for external evaluators for individual and group evaluation. 
 
Based  on  the  ADDIE  model,  we  formulated  29  quality  criteria  to  course  authors  for  their  self‐evaluation  in 
2008. Today we use 27 criteria for this purpose. The rubric for external evaluators contains mainly the same 
criteria  used  for  self‐evaluation,  excluded  are  7  criteria,  which  are  difficult  by  outsiders  to  evaluate  or  to 
testify. For example the criterion: “The course is tested before its use in the actual learning process” cannot be 
testified by external experts. 
 
First rubric, based on formulated criteria, was composed in 2009. Aim to build a rubric was to simplify the work 
of external evaluators and reduce their subjectivity. 
 
The  rubric  can  be  used  for  quantitative  evaluation  in  points  (every  criterion  is  evaluated  on  a  scale  from  0 
(poor)  to  3  (excellent).  The  quantitative  marks  can  be  used  by  evaluators  teams  to  make  final  consensus 
decision  (to  attribute  quality  label  to  the  course  or  not),  but  also  by  our  quality  team  ‐  to  discover 
discrepancies in the decisions or problems due to bad formulation of some criteria. 
 
We determined the six most important quality criteria using the interrelationship diagraph method (Brassard & 
Ritter, 1994). Three of the key criteria are connected with the of course objectives, one measures the course 
structure  and  usability;  one  evaluates  comprehensiveness  of  the  study  guide.  The  last  key  criterion  which 
monitors how copyright law is followed, was added recently (in 2012), when we improved the formulation of 
the criteria.  
4. Criteria analysis 
The criteria are distributed to five categories according to the ADDIE model:   

394
 
Toomas Plank et al. 

ƒ Analysis of the needs, target group and content; 
ƒ Designing the learning process; 
ƒ Course development;  
ƒ Implementing the course;   
ƒ Course evaluation. 
Each of these groups is important in different stage of e‐course development. 
 
Each criterion has two versions: short and long one. By default, the short criterion is displayed. But if this is not 
understandable for applicants or evaluators, they can click and open the long one, which explains the criterion 
in more detail. 
 
Each criterion in the rubrics has four levels, from poor to excellent. These levels are described in two versions. 
Short  one,  displayed  by  default,  is  just:  “strongly  disagree”  to  “strongly  agree”.  But  if  this  is  not 
understandable, long one can also be opened by clicking. 
 
The full rubric for self‐evaluation is presented in its short form in table 1 with key criteria marked with * and 
those, omitted in expert evaluators with ‐. Each group of criteria is shortly explained in this paragraph. 

4.1 Analysis phase 
Here  course  authors  should  think  to  whom  they  will  present  the  learning  material,  what  the  target  group 
needs  and  what  they  are  capable  of  doing.  Authors  should  define  the  objectives/aims  of  the  course  and 
learning outcomes for students. The course content should correspond to the learning outcomes. 

4.2 Design phase 
Here the authors should consider, whether the syllabus corresponds to the institutional requirements. Authors 
should  clearly  outline  the  prior  knowledge  and  skills  for  potential  students.   Authors  should  also  check, 
whether the learning outcomes and real learning activities in the course are in good correlation; and whether 
authors really evaluate the achievement of learning outcomes by assessment in the course.  
 
The learners should be aware about the assessment ways and deadlines, they also need the frequent feedback 
about  they  progress.  The  amount  of  material  and  activities  of  the  course  have  to  be  in  accordance  with 
amount  of  credits  the  students  earn.  All  technological  means  have  to  support  the  learning  process  and  not 
hinder it. 

4.3 Development phase 
Here  the  authors  should  consider  the  good  practices  of  creating  and  presenting  the  digital  material  and  all 
materials have to be in accordance with copyright law. 
 
For  learners  it  is  important,  that  they  could  find  everything  intuitively  and  a  written  study  guide  has  to  be 
available.  To  understand  the  requirements  in  the  course,  the  syllabus  should  be  presented  and  cover  the 
entire  course.  The  manner  in  which  the  course  materials  are  provided  has  to  correspond  to  the  technical 
capabilities of learners. Important is also the use of appropriate media for delivery of materials. 
 
It is a very good practice to test the course with some students before launching it officially. At the same time, 
the  authors  should  also  regularly  verify  that  each  and  every  link  in  their  course  works  and  all  necessary 
applications run.  

4.4 Implementation phase 
The  teachers  should  support  learners’  active  participation  in  the  study  process  (interaction,  creation  of 
learning communities etc.). The facilitator of the course has to fulfill different roles (technical, organisational, 
social and pedagogical) or to use assistance for those roles. Teacher himself has to follow the timetable. 

395
 
Toomas Plank et al. 

It  is  important  to  inform  the  learners  about  grades  and  credits  and  gave  systematic  feedback  about  their 
overall progress. 

4.5 Evaluation phase 
The feedback from learners is very important for continuous further improvement of the course. And teachers 
should encourage the learners to give the feedback to the course as easily as possible. In addition, the teachers 
themselves can and should take notes during the course in each year of running it. 

5. Feedback analysis  
In  the  Quality  Assessment  process  we  continuously  gather  feedback  both  from  course  authors  and  external 
evaluators with the aim to clarify the wording of the criteria and rubrics’ explanations. If the problems were 
found, the wording was adjusted during the next year’s quality process. One important question that arose in 
initial stage of quality assurance process development was for example: Are all quality criteria for e‐learning 
courses still necessary? Are any of the criteria more important than others?  

5.1 Applicants’ feedback 
On  the  average  over  past  seven  years,  40%  of  applicants  gave  us  feedback  about  the  quality  label  process. 
They  indicate  that  most  helpful  for  them  have  been  the  special  trainings  and  the  help  of  educational 
technologists of institutions. They mention also the guiding material. During past seven years, the number of 
uses of “Quality Manual for e‐Courses” has grown remarkably. 
 
As the most valuable result of the quality label process, the applicants consider the feedback to their courses, 
as this helps them to make their course better. The authors need an objective external look at their courses, 
both from technical and pedagogical point of view. In addition to pointed weaknesses, the recognition of good 
practice is also important to the applicants. 
 
We  asked  the  applicants  also  about  which  criterion  was  the  most  difficult  to  answer.  There  was  no  single 
criterion pointed out as a difficult one. Throughout the years the answers were different and only the criterion 
about testing the course before its actual use was mentioned during several years. Most probably the reason 
for this is not the difficulty but the fact that most often teachers have not tested they course before the actual 
learning process and they are timid to admit this. 
Table 1: Rubrics for quality assessment of e‐learning course (self‐evaluation). P=Phase; N=No. 

Quality 
P  N  requirement  Strongly disagree  Rather disagree  Mostly agree  Strongly agree 
1‐  The course  The course does  The course  The course  The course fully 
matches the  not match the  partially matches  matches the  matches the 
needs and  needs of the  the needs of the  needs of the  needs of the 
capability of the  participants nor  participants and  participants but  participants and 
participants.  their capability to  does not take  only partially  their capability to 
participate.  their capability to  takes their  participate. 
participate into  capability to 
account or only  participate into 
Analysis (1‐3) 

partially takes it  account. 
into account. 
2*  The course has  The aims and  The aims and/or  The aims and  The aims and 
formulated aims  learning  learning  learning  learning 
and learner‐ outcomes are  outcomes cover  outcomes of the  outcomes have 
centred learning  missing or one of  the course only  course exist.  been properly 
outcomes.  them is missing.  partially or the  There are  formulated. 
formulated  shortcomings in 
learning  formulation. 
outcomes are 
teacher‐centred. 

396
 
Toomas Plank et al. 

Quality 
P  N  requirement  Strongly disagree  Rather disagree  Mostly agree  Strongly agree 

3*  The content of  The content of  The content of  The content of  The content of 

the course  the course does  the course allows  the course allows  the course allows 
corresponds to  not allow the  some of the  most of the  all of the learning 
the learning  learning  learning  learning  outcomes to be 
outcomes.  outcomes to be  outcomes to be  outcomes to be  achieved. 
achieved.  achieved.  achieved. 

4‐  The syllabus is  The syllabus does  The syllabus is  The syllabus is  The syllabus is 

based on the  not meet the  partially based on  mostly based on  fully based on the 
requirements of  requirements of  the requirements  the requirements  requirements of 
the educational  the educational  of the educational  of the educational  the educational 
institution.  institution.  institution.  institution.  institution. 

5  The pre‐ The course does  The course does  The course states  The course states 

knowledge, skills  not state the pre‐ not state the pre‐ the pre‐ the pre‐
and prerequisite  knowledge, skills  knowledge and  knowledge, skills  knowledge, skills 
subjects  or prerequisite  skills necessary  and prerequisite  and prerequisite 
necessary for the  subjects  for participation  subjects  subjects 
learners to  necessary for  or the  necessary for  necessary for 
participate in the  participation.  prerequisite  participation, but  participation. If 
course have been  There is also no  subjects have  these have been  these are 
presented  indication that  been stated.  described very  unnecessary, the 
these are  concisely and may  course provides 
Planning  the study process (4‐11) 

unnecessary.  provide the  such information. 

learner with 
inadequate 
information. 

6*  The study  Study activities  Study activities  Both the study  Study activities 

activities and  and learning  and evaluation  activities and the  and evaluation 
evaluation  outcomes are  support the  evaluation  support the 
principles of the  incompatible.  achievement of  support the  achievement of 
course  Evaluation does  learning  achievement of  all learning 
correspond to the  not allow the  outcomes only  the majority of  outcomes. 
learning  achievement of  partially.  learning  Evaluation allows 
outcomes.  learning  outcomes.  the achievement 
outcomes to be  of all learning 
measured.  outcomes to be 
measured. 

7  Learners have  The course states  The principles for  The evaluation  The principles for 

been presented  neither the  evaluation of  and principles for  evaluating the 
with the  criteria for  learners and/or  providing  learners and the 
principles of  evaluating  providing  feedback have  principles for 
evaluation and  learners’ work  feedback have  been presented in  providing 
providing  nor the principles  been partially or  the course, but  feedback have 
feedback.  for giving  unclearly  there are some  been clearly and 
feedback.  presented in the  uncertainties.  thoroughly 
course.  described in the 
course. 

397
 
Toomas Plank et al. 

Quality 
P  N  requirement  Strongly disagree  Rather disagree  Mostly agree  Strongly agree 

8  The study  The study guide /  The study guide /  The study guide /  The study guide / 

materials and  program of the  program of the  program of the  program of the 
study activities  course does not  course includes  course includes  course includes 
correspond to the  include  information on  information on  information on 
volume of the  information on  the time required  the time required  the time required 
course.  the time required  to complete the  to complete the  to complete the 
to complete the  study materials  study materials  study materials 
study materials  and study  and study  and study 
and study  activities, but it  activities, but  activities, and the 
activities.  does not  there are minor  allocated time 
correspond to a  variations in the  corresponds fully 
greater degree to  compatibility of  to the volume of 
the volume of the  the allocated time  the course. 
course.  and volume of the 
course. 

9  Support for the  Study activities  Based on study  Many study  The study 

development of  pay no attention  activities and/or  activities and/or  activities and/or 
Planning  the study process (4‐11) 

learning skills  to the  instructions there  instructions also  instructions fully 

(learners are  development of  is reason to  describe the  support the 
guided towards  learning skills.  assume that  development of  development of 
reflection on the  learning skills are  learning skills.  learning skills. 
studied  randomly 
knowledge,  developed. 
developing time 
management 
skills etc.). 

10  Study process is  Technological  Technological  Most of the  Technological 

supported by  means do not  means provide  technological  means fully 
technological  support the study  only minor  instruments used  support the study 
means.  process or even  support for the  in the course are  process. 
hinder it.  study process.  suitable for 
supporting the 
study process. 

11  While planning  The e‐course has  A concept has  The e‐course has  The course has a 

the course, its  evolved gradually  evolved during  a carefully  carefully thought 
concept has been  without a prior  the creation of  thought out  out concept that 
carefully thought  concept and does  the e‐course but  concept that  manifests itself as 
out so that the  not form a whole.  it manifests itself  largely manifests  a whole in the 
learning process  partially in the  itself in the  learning 
manifests itself as  learning  learning  environment. 
a whole in the e‐ environment.  environment. 
learning 
environment. 

398
 
Toomas Plank et al. 

Quality 
P  N  requirement  Strongly disagree  Rather disagree  Mostly agree  Strongly agree 

12*  The course is  The structure of  The structure of  The structure of  A learner 

well‐structured  the course is  the course is clear  the course is clear  navigating the 
an easy to use.  unclear and the  and  and  course 
learners are not  straightforward,  straightforward,  understands 
provided with an  but not always  but not always  intuitively the 
explanation to  user‐friendly.  user‐friendly.  location of the 
that end.  Many important  Only a few  study materials, 
course elements  important course  tasks, instructions 
cannot be  elements cannot  etc. which are 
Developing 

intuitively found.  be intuitively  vital for the 

found.  smooth 
completion of the 
course. 

13  Suitable media is  The media used  The majority of  There are a few  The media used 

used for providing  for delivering the  the course’s study  study materials in  for delivering the 
the study  study materials  materials have an  the course, the  study materials 
materials (e.g.  are unsuitable.  unsuitable  delivery medium  are suitable. 
text, images,  delivery medium.  of which has not 
animations,  been well 
audio, video etc.).  selected. 

14  The study  The study  The majority of  The study  The study 

materials comply  materials do not  the study  materials have a  materials comply 
with the good  comply with the  materials do not  few errors or  with the good 
practices of  good practices of  comply with the  shortcomings that  practices of 
creating digital  creating digital  good practices of  are contrary to  creating digital 
study materials.  study materials  creating digital  the good  study materials 
study materials  practices of 
creating digital 
Developing the e‐course  (12‐20) 

study materials 

15  Copyrights have  Copyrights have  Copyrights have  Copyrights have  The person who 

been followed in  not been followed  been partially  been followed in  has prepared the 
preparing the  in preparing the  infringed in  preparing the  study materials 
study materials.  study materials.  preparing the  study materials.  has made correct 
Used works of  study materials.  External sources  references and 
other authors  All used sources  have been  adhered to the 
have not been  have not been  properly  license terms of 
referenced or  referenced  referenced and  the works of 
materials have  and/or there are  the license terms  other authors as 
been used where  infringements of  of the works of  well as set them 
the license terms  license terms  other authors  out correctly. 
do not allow for  concerning the  have been 
the use of  works of other  provided, but the 
materials in this  authors.  data is either 
context.  inadequate or 
incorrect. 

399
 
Toomas Plank et al. 

Quality 
P  N  requirement  Strongly disagree  Rather disagree  Mostly agree  Strongly agree 

16  The manner in  The manner of  The manner of  The manner of  The manner in 

which the course  provision of a  provision of a  provision of the  which the course 
materials are  significant portion  significant portion  majority of study  materials are 
provided  of the study  of the study  materials  provided 
corresponds to  materials does  materials does  corresponds to  corresponds to 
the technical  not correspond to  not correspond to  the technical  the technical 
capabilities of  the technical  the technical  capabilities of  capabilities of 
learners.  capabilities of  capabilities of  learners.  learners. All 
learners and the  learners to use  However, the  important 
relevant  them. The  descriptions of  technical 
explanations  descriptions of  the technical  requirements for 
regarding the  the technical  requirements for  the learners’ 
technical  requirements for  participating in  software and 
requirements for  participating in  the course are  hardware have 
participating in  the course are  inadequate.  been described. 
the course have  more or less OK. 
not been 
provided (or they 
are minimal). 

17*  The study guide is  The course does  The study guide is  The course has a  The study guide is 

thorough and  not have a study  superficial and  study guide, but  thorough and 
complete and, in  guide.  covers the course  there are a few  gives the learner 
case of partial e‐ only partially.  shortcomings.  an overview of 
course, includes  the various 
an overview of  aspects of the 
auditorial studies.  course (schedule, 
tasks, materials, 
instructions etc.) 
and their 
interconnectedne
ss. 

18  The syllabus is  The course does  The syllabus is  The course has a  The syllabus is 

thorough and  not have a  superficial and  syllabus but there  thorough, giving 
complete, in case  syllabus.  only partly covers  are minor  an overview of 
of a partial e‐ the course.  shortcomings.  the different 
course, it also  aspects 
includes an  (timetable, tasks, 
overview of  materials, 
auditorium‐based  guidelines etc) 
studies.  and their 
connections to 
the learner. 

19‐  The course is  The course has  Before its use in  Before its use in  Before its use in 

tested before its  not been tested in  the actual  the actual  the actual 
use in the actual  any way before its  learning process,  learning process,  learning process, 
learning process.  use in the actual  some parts of the  the majority of  the whole course 
learning process.  course have been  the course has  has been tested 
Developing 

tested with a pilot  been tested with  with a pilot group 

group of students  a pilot group of  of students. 
or a  students or a 
colleague/expert  colleague/expert 
has given  has given 
feedback in order  feedback in order 
to improve the  to improve the 
course.  course. 

400
 
Toomas Plank et al. 

Quality 
P  N  requirement  Strongly disagree  Rather disagree  Mostly agree  Strongly agree 

20  The course is in  The course is not  A significant part  The course has a  The course is in 

good technical  in good technical  of the course links  few technical  good technical 
condition (links  condition. Course  or tools does not  shortcomings  condition. If there 
open, necessary  tools and links do  work or the  (some of the links  are sources with 
tools function,  not work. The  course lacks the  do not work or a  limited access, 
the web‐based  course lacks the  necessary  few of the tools  there is an 
literature  necessary  explanation on  do not open). If  explanation on 
referenced in the  explanation or  accessing web‐ there are sources  how to access 
course is  instructions for  based sources  with limited  them. 
available).  accessing web‐ with limited  access, there is an 
based sources.  access.  explanation on 
how to access 
them. 

21*  The facilitator of  None of the  Only a few of the  Most of the  All the various 

the course plays  various roles have  various roles have  various roles have  roles have been 
different roles  been filled by the  been filled by the  been filled by the  filled by the 
(technical,  facilitator of the  facilitator of the  facilitator of the  facilitator of the 
organisational,  course or one’s  course or one’s  course or one’s  course or one’s 
social and  assistants.  assistants.  assistants.  assistants in an 
pedagogical) or  exemplary 
uses assistance.  manner. 
22‐  While conducting  There is no  The planned and  There are a few  The course takes 
the course, a  information about  actual timetable  inconsistencies  place fully in 
(planned)  a timetable or it is  differ to a large  between the  accordance with 
timetable is  out of date.  extent which  timetable and  the present 
followed.  hinders the  actual  timetable. 
conducting of the  implementation 
course.  but these do not 
significantly 
Implementing the e‐course (21‐25) 

hinder the 
conducting of the 
course. 
23  Learners’ active  Conditions for  Conditions for  Conditions for  Learners are 
participation in  activating  activating  activating  directed towards 
the study process  learners have not  learners have not  learners have not  active 
(interaction,  been established  been established  been established  participation in 
creation of  for the course (no  for the course (no  for the course (no  the study process 
learning  groups,  groups,  groups,  for the full 
communities etc.)  communication  communication  communication  duration of the 
is supported.  options etc.).  options etc.).  options etc.).  course and active 
participation is 
taken into 
account in the 
evaluation. 

24  Throughout the  The course lacks  The learners are  The learners are  The learners are 

course, learners  information on  informed on the  informed on the  informed on the 
are given  feedback  opportunities for  opportunities for  time and method 
systematic  communicated to  giving feedback,  giving feedback,  on feedback. 
feedback on their  the learners.  but there is no  but this is not  Giving feedback in 
overall progress  proof of that  systematic.  the course is 
as well as  taking place.  systematic 
strengths and  (proven by the 
weaknesses in  course or 
this course.  teacher’s self‐
analysis). 

401
 
Toomas Plank et al. 

Quality 
P  N  requirement  Strongly disagree  Rather disagree  Mostly agree  Strongly agree 

25  Learners have  Learners have not  Learners have  Learners have  Learners have 

been informed of  been informed of  been informed on  been informed on  been informed on 
study results  the study results.  the method and  the method and  how and when 
(grades, credits).  deadlines of  deadlines of  the study results 
communicating  communicating  are 
study results, but  study results, but  communicated 
there is no  the teacher has  and the teacher 
evidence showing  followed the plan  follows the plan 
that the teacher  only partially.  (proven by the 
has followed the  course or 
plan.  teacher’s self‐
assessment). 

26‐  Notes are taken  During the  During the  During the  During the 

during the course  course, no  course, some  course,  course, 
in order to  information  information  information has  information 
improve it.  which could  which could  been gathered in  which could 
improve it is  improve it has  order to improve  improve it has 
gathered.  been gathered  it but the  been gathered 
but the  improvements  and suggestions 
Evaluating the e‐course 

information is not  have not been  for improvement 

systematic  implemented  have been taken 
systematically.  into account. 

27  The course has a  The course and  It is possible to  It is possible to  The importance 

functioning  the organisational  give feedback, but  give feedback, but  of giving feedback 
feedback system  review lack  their importance  it does not cover  is emphasized to 
(overall  information on  is not emphasized  some aspects of  the learners, 
evaluation of the  whether and how  to the learners.  the course. The  learners give 
course or  the learner can  importance of  feedback (proven 
feedback from  give feedback on  giving feedback is  by the course, 
the learners,  the course.  emphasized.  organisational 
including from  review or self‐
the point of view  assessment). 
of e‐learning). 

5.2 Evaluators’ feedback 
We analyzed the feedback of the evaluators using the matrix diagram method. Matrix diagram is a graphical 
tool that shows the relationship between two or more criteria. In our case we analyzed  the importance and 
the complexity of the evaluation criteria.  
 
In Figure 1, the complexity of the assessment criteria is evaluated on x‐axis and the importance of the criteria 
on  y‐axis  (number  shows  the  amount  of  evaluators  who  marked  that  this  criteria  is  complex  or  important). 
From the figure we can see that in 2011, it was difficult to assess the criterion ‐ “The study materials and study 
activities correspond to the volume of the course”. Then we improved the wording of this criterion and trained 
the evaluators, thus in 2013 this criterion was already better understandable.  
 
In 2013, a new criterion arose: the following of the copyright law (see figure 1).  
 
In 2014, this criterion was still difficult to evaluate but, at the same time, the evaluators especially stated the 
importance of this criterion. 

402
 
Toomas Plank et al. 

 
Figure 1: The complexity of the assessment criteria versus the importance of the criteria in year 2011 (above) 
and 2013 (below) 
This  method  enables  to  continuously  monitor  the  changes  both  in  importance  and  in  understanding 
/interpretation of the criteria. 

6. In conclusion 
We  can  conclude  that  our  7  year  effort  to  compile  and  improve  the  list  of  evaluation  criteria  and  two 
evaluation rubrics is justified. The difference between points acquired from self‐evaluation and external expert 
evaluation is decreasing from year to year. The process continues and all its components are improving step by 
step. 

References 
Brassard, M., Ritter, D. (1994). The memory jogger II. Methuen, MA: GOAL/QPC. 
Branch, R.M.(2009), Instructional Design: The ADDIE Approach, Springler 
Ehlers U.‐D., Pawlowski J.M. (2006) Handbook on Quality and Standardisation in E‐Learning. Springer,  
Pilt L., Kusmin M., Plank, T., Villems, A., Varendi M., Kusnets K., Niitsoo M., Dremljuga‐Telk M., Koitla E. (2010). Juhend 
kvaliteetse e‐kursuse loomiseks (Quality manual for e‐courses). Tallinn: e‐Õppe Arenduskeskus, http://www.e‐
ope.ee/_download/repository/Kasiraamat2.0.pdf  
Ubachs, G. (2009) E‐xcellence. Quality Assessment for E‐learning a Benchmarking Approach. EADTU 
Villems A., Pilt L., Plank T., Varendi M., Sutt E., Dremljuga‐Telk M. (2013) Quality Assurance Processes in E‐Learning. 
Estonian case. The International Journal for Innovation and Quality in e‐Learning. No 1. 

403
Models of Communication and e‐Learning Pedagogies to Boost 
Educational Effectiveness 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 
Carol I National Defense University, Bucharest, Romania 
popescu.maria@myunap.net 
buluc.ruxandra@myunap.net 
craciun.luminita@myunap.net 
 
Abstract:  Success  in  the  21st  C  depends  on  individuals’  ability  to  conduct  research,  find,  organize,  summarize  data  and 
communicate  all  their  findings,  relate  and  interconnect,  as  21st  C  itself  is  about  breaking  the  boundaries  and  being 
ubiquitous,  technologically  literate,  cognitively  flexible  and  open,  robust  users  of  e‐information  and  e‐knowledge,  tech‐
savvy,  well‐equipped  individuals  who  share,  exchange  and  build  knowledge  constructs  within  tech‐rich  environments.  In 
this given context, educators have a make‐or‐break opportunity and an obligation at the same time, to charter a new path 
for education and secure economic competitiveness.  e‐learning is the medium for all this, since e‐learning offers ubiquity, 
personalization and trans‐disciplinary, multiculturalism and sociability, as McLuhan’s medium is the message. Medium, this 
time called e‐learning, is the bridge which enhances learning attitudes and behaviors beyond mere cognitive exposure and 
achieves all this by means of communication. Moreover, a significant part of our daily communication is, in fact, planned 
communication,  especially  when  it  is  deliberately  used  to  achieve  more  general  or  specific  objectives  which cover 
everything  from  purpose‐oriented  conversations  to  a  wide  range  of  educational  or  informational  processes.  Hence, 
planned educational communication ‐ as a topic of interest‐ exhibits its strongest, most discernible side in the volume of 
information  transmitted,  its  softer  side  in  relation  to  the  attitudes  it  fosters  and,  possibly,  its  least  visible  but  most 
pervasive  side  in  the  ways  it  influences  and  shapes  behavior.  This  paper  offers  a  view  on    the  communication  process 
unfolding  within  and  beyond  the  e‐learning  environment,  with  challenges  that,  if  left  unaddressed,  will  curtail  our 
competitiveness  and  diminish  our  standing  in  the  world.   While   there  have  been  inordinate  studies  of  e‐learning  tools, 
software products, types of learning and learners, more or less portable devices for individual or collective use, little ‐ if 
anything  ‐  has  been  said   regarding  the  types  of  communication  which  trigger  alterations  in  one’s  attitudes,  skills  or 
behaviors and regarding the way e‐learning can incorporate them. That is why the present paper touches upon types of 
communication that can be used inside the e‐learning event, using both synchronous and asynchronous means, upon the 
parties involved and how they induce changes. We pay particular attention to the effects such communication processes 
can stir inside personal learning sequences as well as inside socially constructed contexts of learners. Who is to thrive in an 
e‐learning type of training? Is it the instructor or the student?  Is the community sufficiently tightly knit in the e‐learning 
process as to change attitudes and behavior along with knowledge input all by means of effective communication?  If so, 
which  are  the  communication  patterns  to  be  followed  and  which  pedagogies  are  appropriate  for  this?  All  these  are 
questions to be answered in the present paper. 
 
Keywords: communication models, pedagogies, educational effectiveness, e‐learning, interactivity 

1. Introduction 
The students enrolled in higher education programs at present have been around computers and information 
technology all their lives and to say that they are tech savvy is an understatement as IT is part of their cognitive 
makeup.  They  cannot  imagine  their  lives  without  computer  technology,  so  their  educational  experiences 
should not attempt to deprive them of it, but rather to incorporate it in order to enhance learning.  
 
As Shank notices, “Not only is sharing content using technological tools easily, as many of these kinds of tools 
are  free,  removing  another  barrier  to  use.  People  are  increasingly  sharing  information,  getting  help,  finding 
people with similar interests, and learning from each other. This shift from one‐way to a two‐way medium is 
much  closer  to  Tim  Berners‐Lee’s  original  notions  of  how  the  Web  should  work”  (Shank  2008:  244). 
Consequently, people are becoming increasingly used to looking for information online, to making their own 
selections, to assembling information in ways that are most suitable to their needs, to interacting with experts, 
reading blogs, writing emails, to tailoring their learning experiences to meet their personal expectations and to 
reach  their  desired  outcomes.  This  way  they  communicate  24/7  but  also,  simultaneously,  while  formal  and 
informal as well as non‐formal learning take place without too much effort from either the giver or the taker of 
knowledge. 
 
In  this  light,  Strijbos,  Marens  &  Jochems  (2004)  propose  a  series  of  constraints  that  may  aid  in  the 
development  of  process‐oriented  methods  to  counter‐act  some  more  real‐life  interaction  patterns  in  the 

404
 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 

online environment. They are general enough to apply to any domain of study and relevant enough to guide 
the  design  of  any  online  educational  platform.  Firstly,  it  is  necessary  to  determine  the  type  of  learning 
objective to be achieved and the expected interaction. The task‐type will be selected in accordance with these, 
and then the necessary structure will be indentified as well as the extent to which this should be enforced or 
loosened. The best suited group size also needs to be established and lastly, the best type of computer support 
that could facilitate learning, encourage the expected interaction and lead to the achievement of the goals.  
 
If  all  these  aspects  are  taken  into  account,  the  benefits  that  a  computer‐supported  collaborative  learning, 
could promote are numerous, as Stahl (2004) and Gutierrez‐Colon Plana (2009) explain: 
ƒ To supply new media that ensures a pedagogical discourse which facilitates collaboration  
ƒ To support building negotiation skills by collaborative groups. 
ƒ To avoid the teacher dependence, where communication goes through the teacher or where he is the only 
dispenser of knowledge. 
ƒ To present students with learning experiences relevant for their future professions 
Gutierrez‐Colon  Plana  (2009)  states  that  e‐learning  facilitates  constant  access  to  information  and  content 
updating, as information and knowledge are decentralized. The students become more autonomous, more in 
control  of  their  educational  development.  Consequently,  they  should  receive  “just‐in‐time”,  “just‐for‐me” 
customized education that better prepares them for the rest of their lives, allows them to be free and to find 
meaning  for  themselves,  thus  fostering  the  development  of  life‐long  learning  abilities.  Besides,  e‐learning 
facilitates  a  different  kind  of  communication,  a  continuous  communication,  be  it  synchronously  or 
asynchronously. In which ways this communication is different or particularized to the endeavor it serves is an 
issue this paper is trying to answer. 

2. Models of communication employed in e‐learning 
As the practical and tangible side of all of the above, all the already mentioned principles have been applied in 
a  media  studies  course  to  produce  what  it  was  meant  to  be  our  online  student  magazine;  the  medium  of 
communication was an online environment that complemented the lecture time activities and where the tool 
used was an editing and collaboration tool called Lucidpress, a Google application. Lucidpress allows for article 
writing and insertion of images, of videos and visual aids as page makers, both for design and layouts; what is 
mostly beneficial with Lucidpress is having “ many different users working in the same environment—and not 
just the same environment, but the same page actually. That was a total revolution.”  What is true is that being 
built  on  HTML  5  and  web  standards,  Lucidpress  works  on    every  well‐known  browser  and  internet‐reaching 
device,  allowing  people  to  collaborate,  share  and  see  what  each  other  is  doing,  boosting  incremental  team‐
work  and  enhancing  a  spirit  of  cooperation,  communication  and  dialogue.  Comments  left  directly  on  the 
document and group chats that eliminate compiling notes, allow for  instant feedback, enhance thus real‐time 
communication  giving  it  all  a  sense  of  here  and  now  and  thus  fall  short  on  lags  in  responses  and  set  aside 
misinterpretations.  Being  able  to  invite  others  to  join  your    work  conversation  in  a  project‐based  learning 
process  by  having  the  flexibility  to  customize  permissions  levels  and  deciding  on  the  roles  for  editors, 
commentators and mere viewers, Lucidpress as a tool for collaborative and project‐based learning proves  to 
be  an  effective  application  in  the  computer  assisted  learning  processes;  what  is  mandatory  though  is  the 
internet  connection  ,  as  all  the  Lucidpress‐based  e‐learning  process  is  fully  dependable  on  the  online 
environment, where communication can go both synchronous and asynchronous. 
 
In this context, should we use this tool as a complement for the course work, in a blended learning system kind 
of teaching, we need to concentrate on behavior, communication and group performance which are governed 
by  the  material  sistem  in  which the group  is  working,  the  logical  system  of  tasks  the  users  perform  and the 
social  system  embedding  the  users.  Group  performance  will  be  achieved  when  these  systems  are  in 
compliance  (Abric,  2002:  187)  so,  while  the  never‐ending  technological  progress  and  constant  endeavour  to 
gain 21st C skills have set e‐learning on the rise, educators are doing their best to prepare individuals for an 
ever demanding society, teaching others and themselves simultaneously. 
 
The Internet as a service that enables remote communication, allowing both sending and receiving information 
has  clearly  become  the  basic  means  to  ensure  interaction  and  keep  us  connected  to  stay  alive,  so 
arrangements for access to information disseminated by the media are increasing, along with the possibilities 

405
 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 

for interactive communication (social media), since it is by communicating that we discover the world and gain 
access to news while allowing ourselves to stay tuned to others and thus to ourselves, since only by knowing 
others do we get to know ourselves better. 
 
Moreover,  when  it  comes  to  e‐learning,  communication  is  subjected  to  psycho‐pedagogical  parameters, 
defining  a  framework  for  action,  which  involves  the  use  of  certain  methods  to  facilitate  learning  and  to 
connect transmitters and receivers who are in a recognized and accepted contractual relationship. Bourdieu 
(1994: 65‐66) appreciated this relationship as legitimate in the sense that the two parties involved in the act of 
teaching(  student  and  teacher)  recognize  their  status  and  accept  their  messages,  the  intercommunication 
operating on the basis of mutually agreed rules. „Communication‐ he says‐ in a position of teaching authority 
involves  legitimate  senders,  legitimate  receivers  and  a  legitimate  language.  It  takes  a  legitimate  sender,  i.e. 
someone who recognizes the implicit laws of the system and, on this basis, he/ she is recognized and recruited 
into the chain of communication. It requires recipients to be recognized by the sender as worthy to receive his 
message,  which  means  that  the  transmitter  has  the  power  to  exclude  those  who  should  not  be  there”.( 
Bourdieu,1994:65‐66) 
 
From  Aristotle  to  Shannon,  Weaver  and  Laswell,  various  models  of  communication  employed  in  planned  or 
impromptu conversations have had the same target, irrespective of pattern‐ to have information that triggers 
action on either or both sides of the funnel. Whereas Aristotle considered that a speaker first comes up with 
his personal output, selects the best of what it is and then combines it to later render it as a texture to the 
public’s eye and ear, Laswell  carefully goes further on to stress importance to the medium, the audience and 
the effect rendered by the communicator and communication itself. In our case, the medium is the internet, 
online  application  activated,  the  audience  is  the  students’  community  attending  the  media  studies  course 
including  the  tutor  who  is  the  professor  himself,  while  the  effect  of  the  communication  they  have  is  the 
production of the magazine itself. 

 
Figure 1: Aristotle model of communication 

 
Figure 2: Laswell’s model of communication 

406
 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 

Should we look at both Aristotle’s and Laswell’s model simultaneously, then one can  easily notice from the 
two figures above that Aristotle’s model is embedded into the Laswell’s one,  not as individual steps but as a 
whole  complex  into  one  stage;  more  specifically,  all  steps  Aristotle  sees  in  delivering  communication  are 
wrapped  up  in  Laswell’s    stage  of    “says  what”,  since  the  sender,  the  channel,  the  receiver  and  the  effects 
resulted after were not among the ancient model of communication, were not seen as utterly important; the 
speaker  was  more  focused  on  himself  than  on  the  outer  world.  Nonetheless,  what  it  matters  to  us  as  e‐
learning supporters, conscientious and professional users is that since the e‐learning system ( a.k.a. as the used 
software or learning management system‐LMS)  does most of the part with Artistotel’s elements ( discovers, 
arranges, clothes and delivers) obviously guided by the tutor, then all the other steps/ elements of building up 
the  communication  in  Laswell  fall  into  the  user’s  responsibility  entirely.  Thus,  e‐learning  falls  under  both 
Arisotle’s and Laswell’s model of communication process. 
 
In this light, JL Bordewijk and B.van Kaam (fig.3) will be mentioned as telecommunications experts  who have 
developed a model structured on four subtypes that can be easily identified in the e‐learning specificities of 
this study.  
  Control of Information Source 
    Central  Individual 
Control of time and  Individual  Consultation  Conversation 
choice of subject  Central  Allocution  Registration 
Figure 3: A typology of information traffic ‐ McQuail (1994) from Bordewijk &van Kaam (1986) 
Thus,  allocution  as  a  model  illustrates  how  speech  information  is  simultaneously  distributed  from  a  center 
point to multiple devices. It is a situation where the teacher sends to the students all that are related to the 
production of that magazine‐ in our case‐ featured and bibliographic materials related to seminar topics along 
with other information on the course issues  for the envisaged students. They say that "Speech is the typical 
pattern of one‐way communication and that the message is transmitted from one (teacher) to many (students, 
trainees) while the possibilities of recording feedback are reduced.”( Berciu, 2010:172) However, even in case 
of lectures there is need for feedback, be it in the form of non‐verbal  signs, as this knowledge transfer activity 
always relies heavily on a permanent communication in order for the message to be effective. While working 
on  the  Lucidpress  magazine,  feedback  can  also  be  given  by  simple  replacements  of  templates,  without  any 
further notice. 
 
Another feature of this model is that the communication time and place are established by the sender or the 
"center". 
 
The conversation model highlights the fact that people in the communication network proposed by the teacher 
enter into direct interaction, bypassing the focus, choosing the partners and the time, place and the subject of 
the communication. This model is applied when chat rooms are embedded, forums or virtual classrooms with 
a  slot  for  synchronous  interaction.  In  this  type  of  model  the  partners  are  equal  during  the  information 
exchanges  that  can  take  place  between  several  people  at  once.  Students  communicate  with  each  other  to 
achieve  certain  group  projects,  share  information  about  the  bibliography  for  the  course  of  or  in  connection 
with the sites that one can access to solve specific assignments etc. This way of communication contributes to 
the  strengthening  of  the  group  structure.    This  model  is  heavily  relied  upon  in  our  project  based  learning 
embedding Lucidpress Google application for the online magazine production. 
 
The consultation model is focused on situations in which a person outlying the communicational chain tries / 
wants to obtain information from the center, where there is a database (handouts, bibliography, addresses, 
website links for homework course etc.). Students often call teachers for additional information related to the 
theme of the course, trying to clarify certain concepts or make connections to prior knowledge. This type of 
communication is conditioned by time or place, but is important that the answer gets in due time. This model 
is applicable to tutoring sessions when one to one input is performed, for instructional scaffolding. This model 
has also been employed in our magazine‐output project, seen as conversation initiated from students towards 
the coordinator ( the chief‐editor), for questions and suggestions on  the design, layout or simply the choice of 
existing templates. 
 
Registration, the fourth model proposed by the Dutch researchers, is the reverse situation of the consultation 
model,  i.e.  the  center  (teacher)  requests  and  receives  information  from  the  originally  built  group  of 

407
 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 

participants. Registration enables the teacher to check the number of accesses on the materials proposed for 
study or course evaluation questionnaires. 
 
Students’ active participation in their own training helps them structure the information received and builds a 
positive image to the teacher about the interest attached to the discipline. Registration can be done without 
the  person  at  the  center.  In  this  respect  Lucidpress  helps  even  more  as  its  software  records  any  change 
performed;  here  the  LMS  enters  center  stage  to  help  capitalize  in  the  learning  analytics.  This  way,  the 
professor can easily verify, even asynchronously, what the students have been doing with the edited materials. 
Similar options can be given as access to certain students within the project. 
 
The four subtypes of the model proposed by JL Bordewijk and B.van Kaam are complementary; they overlap in 
the  learning  activity  in  which  Internet  is  used  as  a  means  of  communication,  their  weight  being  different 
depending on the stage, more accurately according to timing and subject‐matters resulting from the curricula. 
 
In case of e‐learning, communication within the group for students who may not have encountered each other 
before is conditioned by a blended learning system, where the face‐to‐face stage allows for group bonding and 
common interests sharing, to later leave the e‐learning stage (in our case the Lucidpress magazine production) 
for collaborative and project based learning to advance through the situations proposed by the teacher. The 
structure of communication within the group constitutes the organization of interactions through which each 
member of the group’s interventions and his/her direction can be identified. Through a careful follow‐up we 
can get information related to the direction in which the group members interacted (hierarchical, centralized 
or random), in other words we can image how the group works. 
 
First of all, the teacher is required to conduct a communication network structure with the group or groups 
that  he  will  interact  with.  The  communication  network  is  made  up  of  all  the  means  existent  within  a  given 
group,  that  is,  all  the  communication  channels  available  to  a  group.  When  exchange  conditions  are  pre‐ 
existent  to  the  group,  the  network  can  be  more  or  less  centralized.  In  a  centralized  network,  all 
communication acts necessarily pass through the middle, while in the other type of network each member of 
the group has the opportunity to directly address all the participants. 
 
For the centralized network, Bavelas (1948) proposes a model in which the group is asked to solve a series of 
simple problems from which he notes that the group achieves maximum of efficiency when placed in such a 
network. The central character is recognized as a leader and organizer, a position the teacher holds in the e‐
learning process. When the network is centralized, the drawback is represented by the participants’ level of 
satisfaction, which is lower – the more centralized, the lower the morale. Should more students take part as 
leading  stage  characters  in  turns,  this  flaw  can  be  reduced  to  a  minimum  when  a  smooth  and  constant 
communication is entertained among students and supported by professor. Interesting but also misleading is 
that  although  group  members’  morale  is  relatively  low,  leadership  satisfaction  is  high.  This  is  especially  so 
when students are actively involved for short period of times in leading the editing or layout of parts of the 
project and thus have all the other colleagues report to them, listen to them and be providers for what the 
coordinator  asks.  Beside  leadership  skills,  cross‐communication  enhances  knowledge  exchange  and  builds 
trust, meta‐cognitive skills, changes attitudes and influences behaviors. 
 
In  the  non‐centralized  network,  the  organization  and  role  distribution  are  missing;  therefore  the 
communication  is  inefficient,  but  universally  appreciated,  as  the  old‐spoon‐fed  type  of  teaching.  The  non‐
st
centralized  network  is  inefficiently  used  for  e‐learning  in  a  context  where  21   skills  like  communication  and 
team‐work are among the basic ingredients. 

3. E‐learning pedagogies: Collaborative and project based learning 
When embedding one’s teaching activities in an e‐learning program, collaborative learning goes hand in hand 
with communicative pedagogies as they foster an environment in which students exchange information freely 
among  themselves  and  with  the  instructor  while  at  the  same  time  assimilate,  internalize  and  learn  how  to 
operate  with  the  concepts  in  real‐life  situations  and  in  real  time.  Stahl  (2004:  54)  suggests  the  term 
“collaborative knowing”  rather  than  learning  because,  in  his  view,  the  word  “learning”  focuses  more  on  the 
individual  and  the  individual  processes  of  constructing  knowledge  rather  than  on  the  group  interaction  that 
collaboration  implies  and  entails.  Moreover,  it  switches  the  focus  from  the  accumulation  of  knowledge  that 

408
 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 

has  traditionally  been  the  focus  of  any  pedagogical  process,  to  the  integration,  processing  and  utility  of  the 
information  presented.  In  other  words,  it  is  not  what  the  students  know,  but  how  they  integrate  their 
knowledge into the projects they work on, collaboratively. “Building collaborative knowledge (…) is a particular 
way in which a group may construct a new degree of understanding about the topic under investigation” (Stahl 
2004: 54). That is, the result will be more than the sum total of its parts. It will constitute a leap in knowledge 
and  understanding  that  could  not  be  achieved  by  any  one  individual  alone.  In  an  age  when  technology  has 
enhanced communication multi‐fold and in which no product can be the result of only one mind, it is essential 
that collaboration be built into any technology‐enhanced curriculum. 
 
Similarly, Bereiter (2002) explains that any successful meeting that attempts to solve a problem or design an 
item cannot be broken down into individual contributions. Its makeup does not consist of the bits and pieces 
that construct the discourse; on the contrary, it is an emergence that results from the collaboration process as 
a whole. This view supports Stahl’s stance that learning, just as any other meeting of the minds, is a “gradual 
construction  and  accumulation  of  increasingly  refined  and  complex  cognitive  and  linguistic  artifacts”  (Stahl 
2004: 64). As participants, the students in this case  collaborate in the learning process  making use of their 
diverse  previous  knowledge  and,  by  interacting  directly  with  the  new  concepts,  internalize  them  more 
efficiently and make them an integral part of their cognitive structures.  
 
Connection to Heidegger  can be made here, for the distinction between tacit or practical knowing and explicit 
or  theoretical  knowing.  In  his  view,  the  former  takes  priority  over  the  latter,  since  one  needs  to  have 
background  knowledge  of  the  world  and  social  interactions  therein  to  comprehend  any  given  statement. 
Consequently, meaning is built through social collaboration, social interactions as previously said. “Meaning in 
the context of collaborative learning is viewed as an integral part of communication, and therefore, necessarily 
as shared within a community” (Stahl 2004: 65). As Lave & Wenger (1991) explain, this participative meaning 
which  eventually  becomes  institutionalized  is,  in  turn,  “reactivated  by  newcomers”  as  part  of  their  own 
knowledge  building  processes.  We  would  add  that  it  is  not  simply  reactivated,  but  also  enhanced,  possibly 
refined,  tweaked,  adapted  to  the  newcomers’  needs,  especially  in  this  fast‐evolving  technological 
environment.  
 
Collaborative learning also depends on the thorough understanding and use of another concept. All cognitive 
development  processes  occur  within  situated  discourse.  As  Dillenbourg  (1999)  posits,  in  collaboration,  by 
definition,  it  is  not  separate  individual  contributions  that  are  significant,  but  rather  the  work  done  by  the 
whole  group  together  in  a given  situation/context.  This  gives  rise  to  situated discourse,  which  is  of extreme 
relevance  for  the  e‐learning  environment  especially  as,  in  this  case,  the  medium  itself  shapes  and  defines 
discourse.  As  Stahl  details,  “[b]uilding  knowledge  takes  place  dramatically  differently  in  a  technologically 
produced  environment”  (Stahl  2004:  76).  The  main  difference  is  that  communication  in  this  situation  is  not 
face‐to‐face, both oral and written but mediated. While some complain that computer‐mediated interaction 
decreases attention span and focus, we would argue that, due to the intransitory nature of the written word, 
but  also  of  the  virtual  environment  qualities,  more  information  could  actually  be  retained,  processed  and 
utilized, as written information can and is nicely backed‐up by verbal and non verbal communication, in virtual 
meetings, via chat rooms, virtual classrooms or second life environments, games and social media that are all 
conducive to e‐learning –based knowledge transfer.  
 
In today’s tech savvy world, in order for situated discourse and, implicitly, learning to be authentic, one needs 
to  take  computer‐mediated  tasks  into  consideration  and  actually  make  them  an  integral  part  of  the 
collaborative  learning  process.  As  Kirschner  et  al.  explain,  learning  needs  to  take  place  “in  a  setting  where 
there are shared realistic and relevant problems, where there are shared needs and goals, where there is room 
for multiple perspectives on the problems and their solutions, where there are shared responsibilities both for 
the process of achieving a final product and for the product itself, and where there is mutual trust between the 
participants  such  that  they  are  valued  for  their  contributions  and  their  initiative”  (Kirschner  et  al.  2004:4)  A 
student must, therefore, learn about a subject not simply theoretically, but by being emerged in the specific 
culture  it  presupposes.  Computer‐mediated  communication  is  part  of  any  such  culture  nowadays. 
Consequently,  the  role  of  e‐learning  increases  exponentially  as  many  of  the  communication  processes  that 
support the accomplishment of tasks in any field in contemporary society are done in the online environment.  
 
On the other hand, in keeping with the tenets of the first supporters of project‐based learning (PBL), Barron 
and  Blumenfeld,  contemporary,  technology‐based  and  enhanced  PBL  are  a  vital  component  of  collaborative 

409
 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 

learning. The two approaches inform and support each other in building an authentic learning environment. 
Moreover,  it  has  been  noticed  that  working  with  PBL  helps  to  develop  critical  thinking,  collaboration  and 
conflict resolution skills (Beckett & Miller, 2006), problem‐solving abilities (Finkelstein et al., 2010). As a result, 
not only do students internalize the concepts better but they also develop what we would call meta‐skills that 
transgress any one field of study, and could be applied to all domains and situations. 
 
Boss & Krauss (2007: 12) put forth a series of characteristics for PBL that we consider of vital importance and 
relevance. Firstly, it must be at the core of the curriculum, not a mere after‐thought or additional activity. This 
means that the curriculum deals simultaneously with theoretical and applied concepts. The students engage in 
authentic activities, existent in the real world, and, as a group, build and practice knowledge that matters to 
them  through  collaboration.  Technology  itself  is  an  integral  part  of  discovery,  communication  and 
collaboration, of the whole learning process, as is the case in the real lives of this plugged‐in generation, the 
Millennials. We would also add that, through technology, students have access to information and resources 
from all over the world, which enhances their comprehension of and functionability in this global village.  
 
Should  we  ponder  over  which  pedagogies  are  appropriate  for  e‐learning,  of  particular  interest  to  many  e‐
learning researchers have been those pedagogies associated with social interactions   and online discussions 
(Stephenson, 2002). Online discussions can be facilitated by an inordinate number of solutions or applications, 
like  Computer  Conferencing,  a  web‐based  communication  system  that  supports  asynchronous,  textual 
interaction  between  two  or  more  persons,  Lucidpress‐  the  Google  app  we  used  in  our  online  magazine 
production,  chat  rooms,  forums,  wikis,  etc.  Online  discussions  combine  input  from  tutors  and  students,  and 
provide  opportunities  to  examine  their  online  interactions,  which  have  been  facilitated  by  the  technology. 
Consequently,  a  great  emphasis  was  placed  not  only  on  the  written  communications  as  they  might  reveal 
evidence of students’ participation, contribution, communication and work that shows knowledge application, 
and criticality among other indicators of meaningful and effective learning, but also on verbal and non‐verbal 
communication‐  actors  on  this  stage  can  interact  via    direct  dialogue,  via  visuals  input,  graphics  or  sound 
messages.  Moreover,  tutors’  input  could  be  monitored  for  facilitation,  feedback  and  other  evidence  of 
effective teaching. Cooperative, collaborative and project‐based learning are the e‐pedagogies mostly inclined 
to using all models of communication here above mentioned, perfectly matching an e‐learning type of training, 
be it synchronously or asynchronously, blended or mere distance learning per se. 
4. Conclusions 
While  e‐learning  is  heavily  based  on  information  and  communication  technologies,  this  paper  approached 
models  of  communication,  both  planned  and  impromptu,  and  analyzed  their  functionality  in  an  e‐learning 
environment  seen  as  a  blended  learning  system,  to  cope  with  information  needed  for  the  production  of  a 
media  communications  course  project:  an  online  students’  magazine,  using  project  based  learning  and 
collaborative  learning  as  preferred  e‐pedagogies.  Subsequent  to  the  analysis  made  and  having  in  mind  the 
questions set at the beginning of the paper, we can conclude the following: 
ƒ computer  based  learning  is  an  inherent  tool  for  the  present  and  coming  generations,  for  whom  “net 
st
generation” is already a buzz word, both in developing hard and soft skills so much called upon by the 21  
century skill‐set. 
ƒ project based learning applied in e‐learning customizes permission levels and decisions from the centre of 
communication source (tutor) 
ƒ learning and communication can be performed via e‐learning provided the status of the parties involved is 
mutually agreed 
ƒ if we  focus on communication models, the e‐learning system discovers, arranges, clothes and delivers the 
information ( Aristotle’s model), while the users do the control analysis (who says it), audience analysis (to 
whom) and the effects analysis (with what effect) 
ƒ for  a  good,  smooth  and  constructive  communication  process  with  e‐learning,  blended  learning  is 
mandatory  to  the  detriment  of  full  distance  learning,  so  that  students  get  to  know  each  other  and 
enhance  the  flow  of  communication  from  the  face  to  face  stage,  as  collaborative  and  project  based 
learning can easily advance when group members interact hierarchically, centralized and randomly at the 
same time, in a network set up by the teacher. The network can be centralized; the more centralized, the 
lower  students’  morale  is,  as  their  satisfaction  is  low.However,  if  more  students  take  lead  and  become 

410
 
Maria Magdalena Popescu, Ruxandra Buluc and Luminița Crăciun 

centre stage, this flaw can be reduced to minimum. Leading communication role is a must for all students 
to  take,  in  turns.  Moreover,  beside  working  more  effectively  in  a  project,  morale  is  boosted,  leadership 
skills  are  improved  while  cross‐communication  enhances  knowledge  exchange  and  builds  trust, 
metacognitive skills, it changes attitudes and influences behavior. All this can be done via both planned 
and impromptu communication in e‐learning using applications conducive to this, web cams, chat rooms, 
video streaming, Google apps like Lucidpress ( the one we used in our study) 
ƒ among  pedagogies  associated  with  social  interactions,  collaborative  and  project  based  learning  are 
preferred since they both build authentic learning, while using communication in collaboration, problem 
solving and conflict resolution skills are triggered. 
ƒ knowing  what  medium  to  select  in  the  e‐learning  vast  array  of  applications,  being  aware  of  the 
arrangements  and  style  as  well  as  means  of  delivering  the  application  we  select,  what  is  left  for  us 
educators are the other elements in the models of communication: who says it‐ we, the students; whom 
we address to and with what effect; concentrating on the effect we carefully select the medium so that 
the message gets across having as little alterations as possible. Considering now that not only verbal but 
also non verbal communication can be rendered in e‐learning (videos, podcasts, web links),we can only be 
promoters  of  raising  awareness  in  communication,  irrespective  of  the  distance  and  technology  used,  as 
message  as the cornerstone for attitude  and behavior change can gradually be more and more accurate, 
building knowledge, skills and giving more information mobility for educational means. 
References 
Abric, J.  C. (2002) Psihologia comunicării. Teorii și metode, Ed. Polirom, Iași, Romania  
Barron, B. (1998) “Doing with understanding: Lessons from research on problem‐ and project‐based learning”. Journal of 
the Learning Sciences. 7 (3&4), 271‐311. 
Beckett, G. H., & Miller, P. C. (2006). Project‐based second and foreign language education: Past, present, and future. 
Greenwich, Conn: Information Age Pub.  
Berciu, C. (2010)– Sociologia comunicării și a spațiului public, Iași, Ed. Polirom,  
Bereiter, C. (2002) Education and mind in the knowledge age. Hillsdale, NJ: Lawrence Erlbaum Associates. 
Jan L. Bordewijk and Ben van Kaam, ( 1986). “Towards a new classification of Tele–Information services,” Intermedia, 
volume 14, number 1, pp. 16–21. 
Blumenfeld, P.C. et al. (1991) “Motivating project‐based learning: sustaining the doing, supporting the learning”. 
Educational Psychologist, 26, 369‐398. 
Boss, S., & Krauss, J. (2007). Reinventing project‐based learning: Your field guide to real‐world projects in the digital age. 
Eugene, OR: International Society for Technology in Education. 
Dillenbourg, P. (1999) “What do you mean by ‘collaborative learning’?”. In P. Dillenbourg (Ed.), Collaborative‐learning: 
Cognitive and computational approaches, Amsterdam: Pergamon, ElsevierScience, pp 1‐16.  
Finkelstein, N., Hanson, T., Huang, C.‐W., Hirschman, B., & Huang, M. (2010) “Effects of problem based economics on high 
school economics instruction”. Washington, DC: National Center for Education Evaluation and Regional Assistance. 
Fiske, J.(2003) ‐ Introducere în știința comunicării, Ed. Polirom, Iasi, 
Gutierrez‐Colon Plana, M. (2009) “Frustration in Virtual Learning Environments”. in Handbook of Research on E‐Learning 
Methodologies for Language Acquisition, de Cassia, Veiga Marriott, R. & Lupion Torres, P. (ed.) Information Science 
Reference. 
Heidegger, M. (1996) Being and time: A translation of Sein und Zeit (J. Stambaugh, trans.). Albany, NY: SUNY Press. (Original 
work published in 1927). 
Kirschner, P.A., Martens, R.L., & Strijbos, J.W. (2004) “CSCL in Higher Education? A Framework for Designing Multiple 
Collaborative Environments”. In Strijbos, J.W., Kirschner, P.A., Martens, R.L. (Eds.), What We Know about CSCL and 
Implementing It in Higher Education, Kluwer Academic Publishers.  
Lave, J., & Wenger, E. (1991) Situated learning: Legitimate peripheral participation. Cambridge UK: Cambridge University 
Press. 
Lou, Y., Abrami, P.C., & d’Apollonia, S. (2001) “Small group and individual learning with technology: A meta‐analysis”. 
Review of Educational Research, 71, 449‐521. 
McQuail, D, Windhal, S. (2001)‐ Modele ale comunicării pentru studiul comunicării de masă, Ed. Comunicare.ro, București,  
Ong, W. (1998) Orality and literacy: The technologizing of the world. New York, NY: Routledge. 
Shank, P. (2008) “Web 2.0 and Beyond: The Changing Needs of learners, New Tools, and Ways to Learn”. The E‐Learning 
Handbook Carliner, S. & Shank, P. (ed.) Pfeiffer. San Francisco. 
Stahl, G. (2004) “Building Collaborative Knowing. Elements of a Social Theory of CSCL”. In Strijbos, J.W., Kirschner, P.A., 
Martens, R.L. (Eds.), What We Know about CSCL and Implementing It in Higher Education, Kluwer Academic 
Publishers.  
Stephenson, J. (2002) Teaching and learning online: pedagogies for new technologies (London, Kogan Page). 
Strijbos, J.W., Martens, R.L., & Jochems, W.M.G. (2004) “Designing for interaction: six steps to designing computer‐
supported group‐based learning”. Computers & Education, 42, 403‐424. 

411
Methodological Issues in Research on MOOCs 
Juliana Raffaghelli and Donatella Persico 
Institute for Educational Technologies, Italy 
raffaghelli@itd.cnr.it 
persico@itd.cnr.it 
 
Abstract:  The  raise  of  attention  to  the  relatively  new  phenomenon  of  MOOCs  has  put  them  at  the  cutting  edge  of  the 
debate on networked teaching and learning. Research on MOOCs seems to have overcome the exploratory phase, and is 
approaching a consolidation of themes and objectives. However, little attention has been paid to methodological issues in 
MOOCs  research.  Furthermore,  the  methodological  approaches  most  widely  adopted  in  this  area  could  cast  out 
conclusions,  which  should  be  reconsidered  either  from  a  critical  theoretical  point  of  view,  or  from  studies  of  empirical 
replication.  In  this  paper  the  authors  have  reviewed  fifty‐seven  journal  articles  on  MOOCs  in  order  to  analyze  the 
methodological  approaches  most  commonly  adopted  in  this  field  of  research.  The  results  have  been  initially  grouped, 
taking  into  consideration  the  traditional  methodological  classification:  quantitative,  qualitative,  mixed‐methods,  design‐
based  research,  literature  review,  theoretical  contribution.  Furthermore,  the  methods  adopted  within  the  above 
mentioned  approaches  have  been  considered.  In  order  to  deepen  on  the  understanding  about  the  methodological 
approaches, the conceptual model “full cycle of educational research”, with its seven phases has been adopted to classify 
the several articles reviewed.  On these basis, the authors analyze the “methodological trends” within the field of MOOCs. 
The purpose is to show gaps and criticalities as well as to suggest future directions for selecting methodological approaches 
in the field of MOOCs research. 
 
Keywords: MOOC, methodological approach, trends, educational research 

1. Problem statement and objectives 
MOOCs (Massive  Open Online  Courses)  have  been given an  impressive attention  since  late 2011  (De  Freitas 
2013; EDUCAUSE 2012). From Siemens’ early experiences in 2008, several initiatives were launched in US and 
Canada, and more recently, in Europe (Ebben & Murphy 2014). The model has seen a very fast expansion that 
was defined a hype (Young 2013) due to the dimensions of coverage in both magazine articles, blogs and more 
recently, in scholarly literature (Liyanagunawardena et al. 2013). This phenomenon was clearly connected to 
the  idea  that  MOOCs  could  be  a  springboard  for  Higher  Education  change  due  to  the  revolution  they 
encompass  regarding  key  issues  as  accessibility,  openness,  excellence  of  teaching  staff  tightly  connected  to 
very  successful  research  and  business  activities  (Educause  2010)  (Knox  et  al.  2012).    The  high  quality  of 
contents, produced by prestigious academics, in conjunction with open access, was supposed to put the basis 
for  “quality  for  all”  (Barber  et  al.  2013).    Beyond  the  enthusiastic  response  of  thousands  of  students  and 
teachers,  and  the  involvement  of  hundreds  of  institutions,    concerns  are  also  raising,  mostly  regarding 
sustainability from the point of view of both the institutions and the participants (De Freitas 2013)(Guàrdia et 
al. 2013).  In this context, the first scholarly publications, appeared in 2009 and significantly increased in 2013. 
To  our  knowledge,  two  literature  reviews  have  been  published  (Liyanagunawardena  et  al.  2013;  Ebben  & 
Murphy 2014). Two phases of scholarship about MOOCs have been identified in the most recent   literature 
review (January 2014,Ebben & Murphy, op.cit) the first phase, running approximately from 2009‐2011, is that 
of  the  experimentation,  enthusiasm  and  engagement  with  connectivist  pedagogical  approaches  and  the 
discourses of Open learning. This is followed by a second phase (2012/2014) focused on exploring and applying 
pedagogical and technological approaches aiming at massification of higher education as a twofold approach 
improving access to education renewing higher education business models; a phase that gave raise to some 
criticisms  regarding  for  example  drop‐out  rates  and  sustainability  According  to  the  first    literature  review 
(Liyanagunawardena et al. 2013) four major problems must be faced by researchers and MOOCs designers: (a) 
the  need  for  exploring  all  of  the  stakeholders’  perspectives  in  MOOCs  (learners,  creators,  teachers, 
institutions,  etc.),  taking  into  consideration  advantages  and  disadvantages  for  every  perspective; (b)  cultural 
tensions  within  MOOC  pedagogies,  resources,  learning  environments;(c)  ethical  aspects  in  using  data 
generated  by  MOOCs;  (d)  learners  effective  strategies  to  deal  with  information  overload  and  self‐regulate 
within MOOCs (including avoiding drop‐out). Taking into consideration this situation the scholarship of MOOCs 
seems to have overcome the purely exploratory phase, and to approach the consolidation of research focus.  
However, little attention has been paid to methodological issues in the research on MOOCs: indeed, according 
to the two above mentioned reviews most studies are based on the case study approach, very appropriate for 
an initial, exploratory phase of development of scholarly debate, but less appropriate to test hypothesis and 
draw  theoretical  assumptions.  Furthermore,  the  robustness  or  appropriateness  of  research  methods  could 

412
 
Juliana Raffaghelli and Donatella Persico 

require  further  discussion  by  the  research  community.  In  spite  of  the  existence  of  the  above  two  literature 
reviews,  this  field  of  research  is  very  challenging  due  to  its  fast  development,  the  novelty  of  some  of  the 
problems  faced  and  the  amount  of  data  to  be  handled.  It  is  for  this  reason  that  the  authors  look  at  the 
appropriate selection of the methodological approach as one of the main a keys to obtain relevant results and 
move less tentatively towards the solutions of the problems faced. To move a first step in this direction, the 
paper reviews fifty‐seven journal articles on MOOCs, including the above mentioned two literature reviews , 
with the specific aim of  analyzing the methodological approaches adopted against the topic of the research 
and the (where existing) educational theory embraced.. On these basis, the paper analyzes and discusses the 
trends  of  the  methodological  approaches  adopted  overall  and  by  specific  MOOCs’  research  topics.  The 
purpose is to show gaps and criticalities as well as to suggest future directions for selecting research methods 
in the field of MOOCs research, contributing to a better definition of the methodological debate of this field of 
research. 

2. Data collection method 
Reflecting the time span of the MOOC phenomenon, the articles reviewed here were published from 2008 to 
May  2014  in  peer‐reviewed  journals.  Four  specialized  databases  were  searched  for  papers  with  the  term 
“MOOC” in the title, the abstract or keywords. This generated more than 300 articles, which were analyzed, 
eliminating a) duplicated articles, due to overlaps between databases and b) articles with full text in languages 
other than English, c) pieces of work other than research peer‐reviewed papers like reports, position papers, 
magazine articles, etc.. Proceeding papers were also excluded from the analysis for this article, but they were 
included in the database of reviewed literature for a further phase of analysis. The bibliographical references 
of the articles initially selected allowed for the identification of 8 additional articles often cited but not indexed 
in  the  four  databases  consulted.  Out  of  192  articles  finally  retrieved,  57  journal  articles  remained  and  were 
analysed. Table 1 and 2 show which databases where consulted, and the figures of the articles retrieved. Table 
3 shows the Journals consulted. 
Table 1: Distribution of papers analyzed per year            

 
Table 2: Specialized databases consulted 

413
 
Juliana Raffaghelli and Donatella Persico 

The data was assigned to a database comprising the fields as described in table 4. For the sake of this article, 
only  the  fields  relevant  to  the  aim  of  the  paper  were  considered.  This  led  to  leave  out  from  the  study  the 
following  fields:  (6,7,8,13,14,15).  The  analysis  was  organized  as  follows:  Firstly,  the  “descriptive  fields”, 
referring  to  the  type  of  article,  authors,  and  publications  date,  were  taken  into  consideration  in  order  to 
produce  tables  1,2,  and  3.  Secondly,  the  “research  problem”  and  the  “purpose  of  the  study”  were  bundled 
together to build the dimension of analysis called “Research aim”. Thirdly, the methodological approach (field 
11)  was  analyzed.  Fourthly,  the  methods  of  data  collection  and  data  analysis  were  considered.  Lastly,  an 
existing theoretical framework (Gorard 2004) was used to identify the distribution of papers along the cycle of 
educational  research  and  development.  This  framework,  is  briefly  described  in  the  “discussion”  section.  For 
every  field  of  the  database,  whenever  there  were  difficulties  in  categorizing  the  paper  due  to  unclear 
specification or lack of information the value “not clear” was used. 
Table 3: Journals consulted and authors 

 
 
 
 

414
 
Juliana Raffaghelli and Donatella Persico 

Table 4: Database fields’ and values assigned 

 
3. Data analysis  
This section presents the results of the data analysis. For every dimension, a brief explanation is provided of 
how the “values” within the dimension were created; descriptive statistics about the data, their discussion and 
some examples of the qualitative data collected in our database, are hence introduced. 

3.1 Research aims 
As mentioned above, this dimension was elaborated taking into consideration fields 9 and 10, that is,  the type 
of “research problem” and the “purpose of the study”. Some values were selected to define the research aims 
of  the  articles,  these  values  work  as  an  overarching  semantic  category,  assigned  on  the  bases  of  the  two 
component  fields.  For  example,  one  research  problem  could  be  How  to  choose  tutoring  styles  to  promote 
succeed  (defined  as  active  participation  instead  of  lurking)  in  cMOOCs;  and  the  purpose  of  the  study 
Experimentation of two ways of tutoring in cMOOCs; the value finally selected would be teaching processes in 
MOOCs. As a result, the nine categories showed in the Figure 1 were identified. While most categories could 
be  considered  self‐explaining,  the  category  of  “Design  for  Learning”  was  distinguished  from  “Teaching 
processes in MOOCs” since the former refers to the representational tools and strategies regarding MOOC’s 
design while the latter refers to the more concrete teaching activities and strategies used within the MOOC. 
The  category  “MOOC’s  pedagogy”  was  differentiated  from  “Teaching  processes  in  MOOCs”,  “Learning 
processes in MOOCs”, and “Design for learning in MOOCs”, by including papers dealing with conceptual and 
theoretical issues of the former three categories. 
 
Figure 1 shows that 17 out of 57 papers deal with LPM, followed by far by DPM, MP and MID. However, within 
these  17  papers  it  is  possible  to  identify  different  sub‐categories:  the  most  important  one  regards  the 
problems of completion rates in MOOCs, as well as factors hindering or promoting learners’ engagement; this 
is followed by the issue of Self‐determination and the literacies required to participate in MOOCs, including the 
proficient  use of  digital  technologies  and  social  media.  Furthermore,  the  problem  of  emotions  expressed  by 
the learners was considered in more than one work within LPM. The aims identified (taking into consideration 
the research problem and purpose) were central in our analysis as they should have a strong influence on the 
type of methodological approaches and methods adopted. Taking into consideration Gorard’s (2002) definition 
of  “warrants”  of  educational  research  for  its  trustworthiness,  there  must  be  coherence  between  a  research 

415
 
Juliana Raffaghelli and Donatella Persico 

aim  (its  ontological  characterization)  and  the  methodological  approach,  attempting  to  generate  critical 
evidence  that  can  be  rationally  deconstructed  and  discussed  within  the  scientific  community.  To  instantiate 
this  complex  concept  we  could  bring  this  example:  while  a  literature  review  is  a  study  that  requires  the 
analysis of specialized documentation (scholarly literature), a study on learning processes will require both the 
literature  and specific  forms  of  collecting  data,  that  go  from  discourse  or  students’  assignments,  to  surveys, 
tests and learning analytics.  

 
Figure 1: Research aims (Within the text, the values will be cited using the acronyms in capital letters) 

3.2 Methodological approach, methods and methodological phase 
The  methodological  approach  and  the  methods  used  constituted  two  dimensions  in  our  analysis,  that  were 
formulated  on  the  basis  of  the  main  theoretical  definitions  adopted  in  the  field  of  educational  research 
methodology (Arthur et al. 2012). According to this, there are two main overall “approaches”, the Quantitative 
and  the  Qualitative  approach  (some  call  them  “paradigms”)  (Lincoln et  al.  2011).  More  recently,  the  debate 
regarding methodologies for research effectiveness and quality has led to the configuration of a “third field” 
(Gorard  2004),  that  of  “Mixed  Methods”,  regarding  the  possibility  of  mixing,  in  several  phases  or  research 
activities,  the  two  types  of  methods,  within  a  more  pragmatic  approach  (Tashakkori  &  Teddlie  2014). 
Moreover,  another  line  in  the  educational  methodologies  is  that  of  “Design  Based  Research”  (Anderson  & 
Shattuck 2012). The classification of papers falling out of the mentioned categories, led to create other three 
values: Literature Review, Conceptual and Theoretical articles. While the first is self‐explaining, the other two 
referred  to  a)  papers  dealing  with  conceptual  schemes  or  models  created  by  the  authors;  b)  papers  dealing 
with  theoretical  discussion  and  frameworks  for  analysis.    Figure  2  shows  the  distribution  of  Methodological 
approaches and Figure 3 illustrates the specific methods adopted.  
 
Taking into consideration that MOOCs could be considered a nascent phenomenon for educational research, it 
can be  expected  to  find  a  significant  number  of  theoretical  and  “conceptual”  studies,  as  it  was  the  case: 18 
papers out of 57 went from more theoretical issues like how MOOCs could address connectivist learning, to 
what we denominated “conceptual” studies. These last consisted in categorizations of the existing literature, 
creation  of  dimensions/concepts  and  eventual  application  to  a  case,  or  classification  of  cases  using  the 
framework.  It  is  to  be  noted  that  the  concepts  were  mostly  created  by  the  authors,  on  the  basis  of  the 
literature  or  their  own  experience,  not  on  the  basis  of  more  systematic  methods  (systematic  review  of 
literature, grounded theory, factor analysis, etc.).  
 
Another important category was that of “mixed methods”. While the complexity of phenomena under analysis 
in educational research makes this approach particularly useful  (Gorard & Cook 2007), it is to be highlighted 
that many studies classified within this category did not take a clear position, but just mentioned the use of the 
approach  and  hence  introduced  a  profusion  of  data  that  was  not  always  coherent  with  the  main  research 
question  or  purpose  of  the  study.  A  clear  position  would  encompass,  instead,  mentioning  the  approach, 
explaining how the research problem was formulated and how, when and why the quantitative and qualitative 
data  was  collected.  This  was  even  more  evident  for  the  studies  that  we  classified  as  “not  clear”:  in  those 
studies  the  methodological  approach  was  not  expressed;  there  was  an  initial  formulation  of  the  research 
problem followed by several types of data (like learning analytics, together with the results of surveys, learning 
artifacts produced by the students, excerpts of discourse taken from online fora or social networks). In some 
cases,  it  seems  that  the  availability  of  data  produced  by  a  MOOC  influences  “ex  post”  the  methodological 

416
 
Juliana Raffaghelli and Donatella Persico 

approach  rather  than  the  opposite.  To  this  regard,  as  it  was  early  said  by  Ann.  L.  Brown  (Brown  1992),  in 
educational research experimentations it is usual to produce a maze of data, but it is necessary to select and 
introduce those elements that answer a research question in a relevant way. For instance, we observed many 
studies  in  which  the  number  of  blog  and  forum  posts,  as  well  as  other  social  networks  interactions  (like 
twitter) were presented, often in the form of descriptive statistics. However, none of the studies mentioned 
parameters (internally created and validated by the same authors, or compared against previous studies, or 
generated by others) to support the interpretation of data: as if the sole number would “speak”.  

 
Figure 2: Methodological approaches 

 
Figure 3: Methods adopted 
It is also to be noted that there were only two studies dealing with methodological issues in the research on 
MOOCs. While it is clear that this is a “niche” study, it could also be concluded that there is little concern about 
the  problem  of  research  methods  and  its  connections  with  both  practical  and  theoretical  problems  to  be 
faced. With regard to the methods adopted (Figure 3), we observe that most studies (20/57) adopted the use 
of  surveys  (pre‐  and  post‐  training)  attempting  to  study  the  learners  profiles  (skills,  motivations,  prior 
knowledge)  their  activities  and  feelings  along  and  after  their  participation  at  MOOCs,  their  opinion  about 
pedagogical  practices.  The  surveys  mostly  consisted  in  closed,  quantifiable  questions  as  well  as  open  and 
narrative questions, supporting the selection of the “mixed methods” declared as methodological approach. 
The second method preferred was the conceptualization and description/classification applying concepts (i.e. 
exploring  how  teaching,  learning,  assessment,  and  the  pedagogy  can  be  characterized  in  a  cMOOC  versus  a 
xMOOC).  
 
Little use of other more specific and systematic methods regarding both qualitative and quantitative traditions 
was observed.  

417
 
Juliana Raffaghelli and Donatella Persico 

For the qualitative case, very few studies declared explicitly the method of discourse or thematic analysis; this 
method  was  mentioned  in  some  studies  but  the  data  presented  (some  excerpts  of  discourse  from  the 
electronic  corpus  justifying  other  quantitative  data  collected)  leave  the  reader  with  doubts  about  the 
rigorousness  of  the  method  application.  Still  with  regard  to  qualitative  methods,  in  at  least  two  studies  the 
method chosen was “virtual or online ethnography” but the data collected (learning analytics, results from a 
survey,  discourse  from  forum  and  social  media),  the  type  of  analysis  and  the  interpretations  (taking  into 
consideration  the  figures  cast  out  by  the  survey  and  learning  analytics)  ignored  completely  the  procedures 
recognized within this research approach. In fact, an ethnographic research would require a deep exploration 
of  a  cultural  group  (the  learning  culture  in  a  MOOC)  from  the  point  of  view  of  the  subjects  of  the  study. 
Interviews,  the  analysis  of  critical  incidents,  sharing  with  the  participants  the  meanings  of  their  own 
productions  are  frequent  in  an  ethnographical  study,  but  completely  absent  in  the  two  MOOC’s  studies 
mentioned above.  
 
For the quantitative case, the massive use of descriptive statistics is sharply contrasted with the sporadic use 
of  other  types  of  statistical  instruments  like  correlation, factor  analysis  and  inferential  statistics.  This  can be 
interpreted as a consequence of the type of studies conducted (rather exploratory, instead of experimental), 
and it is coherent with the fact that MOOCs are a nascent field of research. However, a tendency to “describe 
cases” or “generate frameworks” to conceptualize the problem even if appropriate for a first phase, leads to 
the  recommendation  to  adopt  more  systematic  approaches,  both  as  design  experiments  or  as  controlled 
experimentations.  It  is  to  be  noted  that  only  one  out  of  the  57  studies  analyzed  implements  a  randomized 
experiment to show the differences of effectiveness of videos in both traditional undergraduate courses and 
MOOCs.  The  study  concludes  that  the  videos  implemented  in  traditional  courses  were  more  effective  than 
those used in the context of MOOCs. Eight of these quantitative studies collect data using Learning Analytics 
(LA) (Ferguson 2012), based on the tracking functions of the Learning Management System used. These data 
mostly  regard  the  online  activities  (clicks  on  specific  resources,  records  of  interactions,  etc.).  LA  appears  in 
early  works  as  well  as  in  the  more  recent cases  of  scholarly  literature.  While  there  is  one  work  (Bieke  et al. 
2014) addressing the way LA could be connected with specific theoretical constructs (Networked Learning) and 
the  operational  implementation  of  them  through  a  specific  method  (Social  Learning  Analytics)  and  specific 
tools (Social Learning Analytics Tool), the other seven works tend to use LA as a method to provide “additional 
information” regarding the frequency of interventions or interactions amongst participants. In these papers, 
the  connections  between  the  constructs  discussed  (for  example,  collaborative  learning  or  self‐directed 
learning) where loose, and the data was not elaborated further than descriptive statistics.  
4. Discussion 
The  evidence  reported  in  the  above  section  shows  little  variation  with  regard  to  the  methodological 
approaches and methods adopted along the period covered by our study. While the topic aligns with the two 
periods  mentioned  by  Ebben  &  Murphy,  regarding  the  methodological  concerns  the  evolution  has  been 
somehow  slower.  To  analyse  the  methodological  developments  in  MOOCs  research,  we  adopted  Gorard’s 
framework  of  the  “full  cycle  of  educational  research”  (Gorard  2004)(Gorard  &  Cook  2007)  to  classify  the 
papers  analyzed.  According  to  Gorard,  the  research  cycle  covers  seven  phases  of  development(reported  in 
Figure  4),  from  the  acknowledgement  of  existence  by  the  scientific  community  to  the  studies  aimed  at  fine 
tuning specific problems within the bigger picture, and the studies analyzing impact or technology transfer. As 
Gorard explains:  
 
“In this cycle, reviews and secondary analyses might appear in Phase 1, theory building and small‐scale field‐
work in Phase 2, etc., with smaller experiments being part of Phase 5 and full randomized controlled trial only 
appearing once in Phase 6” (Gorard, op.cit, p. 319)  
 
We  classified  the  research  works  explored  according  to  this  framework,  allocating  the  “theoretical”  and 
“conceptual”  studies  to  phase  1;  the  case  studies  exploring  phenomena  without  intervening  to  generate 
experimental  situations  to  the  phase  2;  the  studies  validating  a  design  or  an  approach  to  the  phase  3;  the 
design experiments (design‐based research) analyzing immediate impact to phase 4; the design experiments 
that  promoted  cycles  of  trialing  accompanied  by  small  improvements  and  further  analysis  (intra‐subject 
analysis),  to  phase  5,  and  randomized  experiments  (inter‐subject  analysis)  to  phase  6.  It  was  impossible  to 
assign any research to the phase 7. Figure 4 shows the distribution of works analyzed along the phases of the 

418
 
Juliana Raffaghelli and Donatella Persico 

education research cycle. Figure 4 shows that the studies regarding Phases 1‐4 covered 89% of studies; and 
within this, 50% was assigned to studies in the Phase 1 and 2.  
 
These  results  roughly  aligned  with  Gorard’s  point:  “We  also  agree  that  experiments  are  currently  lacking  in 
education research practice writ large, and that most education research gets stuck in Phases 1 to 4. In other 
words, it is stuck working towards a randomized trial that hardly ever gets done” (Ibidem). 
 
It  is  valuable,  in  any  case,  the  research  works  passing  to  the  phase  of  prototyping  and  trialing  (Ph4),  which 
encompass the analysis (on the basis of qualitative and quantitative data) of impact (on specific categories). 
This is suggesting that that there is an evolution in the type of studies regarding MOOCs: in the near future we 
will possibly witness research activities regarding several cycles of analysis of impact or experimental research 
activity. However, we wish to highlight that we do not consider the “phases” in a hierarchical or linear way. A 
robust  methodology  encompasses  good  research  questions,  addressing  relevant  educational  problems,  and 
implementing the type of study that gives better answers to those questions. This means that an exploratory 
study attempting  to configure  a  research  field,  or  a  specific  phenomenon  within  it,  is  as  important as  it  is  a 
randomized experiment. 

 
Figure 4: Distribution of the papers analyzed along the phases of the “full cycle of education research” (Gorard, 
2004, p.319) 
5. Conclusions 
Educational  research  has  been  criticized  and  its  results  have  been  scarcely  considered  by  policy makers  and 
practitioners (Shelton 2011). This may be due to the fact that it is a young discipline and it has a long way to 
go, but if educational researchers want their voice to be heard the quality and trustworthiness of the studies is 
of  paramount  importance  (Gorard,  op.cit).  In  this  review  of  the  literature  about  MOOCs  the  focus  is  on  the 
research methodologies used and several issues have been faced, such as defining the categories, classifying 
the  studies,  and  discussing  the  shortcomings  in  the  evolution  of  the  methodological  debate  within  the 
research in the field. The results of this study have been interpreted in the light of Gorard’s framework of the 
“full cycle of educational research” and suggest that research on MOOCs is mostly collocated at the level of the 
first  four  phases  of  such cycle.  This  isn’t  a peculiarity  of  this  field  of  research,  but  it  shows  that  this  area  of 
work faces two main and strictly related issues. The first one regards the need for a “methodological tuning” of 
educational research methods to the field of online learning and, more specifically, to that of MOOCs; with the 
aim  of  producing  a  more  mature  and  extensive  application  of  consolidated  and  systematic  educational 
research  methods  to  the  field  of  MOOCs.  The  second  is  the  need  for  an  evolution  of  the  methodological 
approaches  under  the  pressure  of  the  specific  needs  of  this  research  field:  an  example  of  such  evolution  is 
given by the intensive application of LA to face the problems raised by the need to analyse large amounts of 
data about large cohorts of learners.  
 
Regarding the first issue, it has been pointed out that researchers in the field of networked learning come from 
several disciplines and professional fields (Conole & Oliver 2006). This is probably due to the fact that the field 
of research is multidisciplinary as well as young, but is also likely due to the complex nature of the educational 
problems under analysis in the case of MOOCs. In any case, the different scientific backgrounds and skills of 
the  researchers  involved  lead  to  different  epistemological  and  ontological  conceptions  about  the  nature  of 
educational  problems  and  the  way  these  should  be  studied.  This  is,  at  the  same  time,  a  strength  and  a 
weakness.  It  is  a  strength,  because  it  allows  to  face  a  phenomenon  (MOOCs)  which  is  multifaceted  and 
multilevel,  going  from  the  learning  and  teaching  processes,  to  its  contribution  to  institutional  development 
and to the educational theory. It is a weakness, because it has led to gaps in the consistence of the research on 

419
 
Juliana Raffaghelli and Donatella Persico 

MOOCs and hence it hinders the plausibility of conclusions. This entails that the methodological approach and 
research  methods  should  be  carefully  discussed  and  selected  against  the  research  question,  taking  into 
consideration  the  methodological  debates  as  well  as  the  technical  specificities  regarding  a  method,  namely, 
digital ethnography. This is what we would call a process of “methodological tuning”. In connection with our 
reflection about the diversity of perspectives in the field of MOOCs research, a further area of research could 
be how the epistemological and ontological diversity amongst researchers collaborating in a research project 
regarding MOOCs is acknowledged.  
 
Regarding the second issue, we consider that the “methodological tuning” should not prevent the evolution of 
the methodological approaches needed to tackle the research concerning MOOCs. The nature of the problems 
faced  is  often  rather  new:  large  cohorts  of  students,  very  large  amounts  of  data,  new  ways  of  learning 
determined by unprecedented freedom of choice within the framework of courses that are online and open. In 
other words, the research field of MOOCs has peculiarities that require the adoption of suitable and possibly 
new methods with its practical as well as theoretical implications for the development of the research field.  
 
This  exploratory  study  leads  us  to  suggest  that  MOOCs  have  evolved  very  fast  as  phenomenon  as  well  as  a 
research  topic;  that  the  scientific  community  found  equally  quickly  focus  of  research  either  theoretical  and 
empirical;  but  that  there  has  been  less  concern  regarding  the  methodological  reflections.  We  are  still 
processing the data emerged from our review of literature: there are further issues that have not been dealt 
with  in  the  context  of  this  article,  like  the  issue  of  ethics  and  the  use  of  public  data  without  informed 
consensus;  further  instantiation  of  connections  between  the  research  problem  and  the  types  of  methods 
adopted, as well as the robustness of such connections; the geographical areas covered by the studies and the 
cross‐cultural concerns about the generalization of data, and so on.  
 
These are research directions for the near future, to draw a picture of a body of scholarly literature relevant 
for the educational community, and possibly for a broader audience.   

References 
Anderson, T. & Shattuck, J., 2012. Design‐Based Research: A Decade of Progress in Education Research? Educational 
Researcher, 41(1), pp.16–25.  
Arthur, J. et al., 2012. Research Methods and Methodologies in Education (Google eBook) J. Arthur et al., eds., Thousand 
Oaks, CA: SAGE.  
Barber, M., Donnelly, K. & Rizvi, S., 2013. An avalanche is coming. Higher Education and the revolution ahead, London. 
Available at: http://www.insidehighered.com/sites/default/server_files/files/FINAL Embargoed Avalanche Paper 
130306 (1).pdf [Accessed June 10, 2013]. 
Bieke, S. et al., 2014. Social Learning Analytics applied in a MOOC‐environment. eLearning Papers, 36, pp.45–48.  
Brown, A.L., 1992. Design Experiments: Theoretical and Methodological Challenges in Creating Complex Interventions in 
Classroom Settings. Journal of the Learning Sciences, 2(2), pp.141–178. Available at: 
http://dx.doi.org/10.1207/s15327809jls0202_2 [Accessed May 21, 2014]. 
Conole, G. & Oliver, M., 2006. Contemporary Perspectives in E‐Learning Research: Themes, Methods and Impact on 
Practice 1st ed., Oxon: Routledge.  
Ebben, M. & Murphy, J.S., 2014. Unpacking MOOC scholarly discourse: a review of nascent MOOC scholarship. Learning, 
Media and Technology, pp.1–18. Available at: http://dx.doi.org/10.1080/17439884.2013.878352 [Accessed March 
25, 2014]. 
Educause, 2010. The Future of Higher Education : Beyond the Campus. Context, (January), p.22. Available at: 
http://net.educause.edu/ir/library/pdf/PUB9008.pdf. 
EDUCAUSE, 2012. What Campus Leaders Need to Know About MOOCs. EDUCAUSE BRIEFS, pp.1–3. Available at: 
http://www.educause.edu/library/resources/what‐campus‐leaders‐need‐know‐about‐moocs [Accessed June 10, 
2013]. 
Ferguson, R., 2012. Learning analytics: drivers, developments and challenges. International Journal of Technology Enhanced 
Learning, 4(5/6), pp.304–317.  
De Freitas, S., 2013. MOOCs:The Final Frontier for Higher Education, Coventry University. Available at: 
http://benhur.teluq.uquebec.ca/ted/Ressources/mooc.pdf [Accessed February 7, 2014]. 
Gorard, S., 2004. Combining Methods in Educational and Social Research, Maidenhead, Berkshire, UK.: OpenUniversity 
Press‐McGraw Hill Education. 
Gorard, S., 2002. Fostering Scepticism: The Importance of Warranting Claims. Evaluation & Research in Education, 16(3), 
pp.136–149. Available at: http://dx.doi.org/10.1080/09500790208667014 [Accessed June 3, 2014]. 
Gorard, S. & Cook, T., 2007. Where does good evidence come from? International Journal of Research & Method in 
Education, 30(3), pp.307–323. Available at: http://dx.doi.org/10.1080/17437270701614790 [Accessed May 29, 2014]. 

420
 
Juliana Raffaghelli and Donatella Persico 

Guàrdia, L., Maina, M. & Sangrà, A., 2013. MOOC Design Principles. A Pedagogical Approach from the Learner’s Perspective 
| eLearning. eLearning Papers, (33).  
Knox, J. et al., 2012. MOOC pedagogy: the challenges of developing for Coursera | ALT Online Newsletter. (ALT) Online 
Newsletter, p.Issue 28. Available at: http://newsletter.alt.ac.uk/2012/08/mooc‐pedagogy‐the‐challenges‐of‐
developing‐for‐coursera/ [Accessed June 7, 2013]. 
Lincoln, Y., Lynham, S. & Guba, N., 2011. Paradigmatic controversies, contradictions, and emerging confluences, revisited. 
In N. K. Denzin & Y. S. Lincoln, eds. The Sage Handbook of Qualitative Research. Thousand Oaks, CA: SAGE 
Publications, pp. 97–128. 
Liyanagunawardena, T.R., Adams, A.A. & Williams, S.A., 2013. MOOCs: A systematic study of the published literature 2008‐
2012. The International Review of Research in Open and Distance Learning, 14(3), pp.202–227.  
Shelton, K., 2011. A Review of Paradigms for Evaluating the Quality of Online Education Programs. Online Journal of 
Distance Learning Administration, 14(4).  
Tashakkori, A. & Teddlie, C., 2014. SAGE Handbook of Mixed Methods in Social & Behavioral Research 2nd Editio. A. 
Tashakkori & C. Teddlie, eds., Thousand Oaks, CA: SAGE.  
Young, J., 2013. Beyond the MOOC Hype: A Guide to Higher Education’s High‐Tech Disruption [Kindle Edition], Washington 
D.C.: The Chronicle of Higher Education. 
 

421
A Proposal for a Novel e‐Learning System for the Visually Impaired 
Ahmed Rana1, Ibrahim Zincir2 and Samsun Basarici1 
1
Computer Technologies Department, Yaşar University, İzmir, Turkey 
2
Computer Engineering Department, Yaşar University, İzmir, Turkey 
ahmed.rana@yasar.edu.tr 
ibrahim.zincir@yasar.edu.tr 
samsun.basarici@yasar.edu.tr 
 
Abstract:  According  to  World  Health  Organization  (WHO),  285  million  people  are  estimated  to  be  visually  impaired 
worldwide: 39 million are blind and 246 million have low vision. It is a well‐known fact that for the visually impaired it is 
not possible to access the information via drawings and figures, as there is no interpretation. In addition, it is not easy to 
search  through  a  passage  for  the  relevant  information  as  Braille  takes  much  more  time  to  read  and  finally  a  lot  of 
memorization is necessary in order to achieve success in life. As standard procedures and systems for education are not 
sufficient  for  these  people,  a  novel  approach  is  necessary.  The  recent  advances  in  information  and  communication 
technologies  (ICTs)  have  placed  e‐learning  at  the  front  row  of  education  methodologies  for  the  disabled.  E‐learning 
applications  and  websites  specifically  designed  for  accessibility  help  to  improve  the  quality  of  the  education  without 
undermining the functionality and the usability.  This paper first outlines the challenges and the shortcomings of e‐learning 
schemas for the visually impaired and then proposes a novel touch screen application implemented via an effective and 
interactive, user‐friendly e‐learning system. 
 
Keywords: e‐learning, higher education, visually impaired, linear learning 

1. Introduction 
Today, even with the enormous advancements in technology, for people with any kind of disability, it is really 
difficult  to  have  a  proper  education.  Although  e‐learning  brought  new  perspectives  and  chances  to  these 
people, they only provide opportunities to a selected group. Standard e‐learning schemas and methods only 
help  the  ones  who  can  easily  access  and  use  computers  but  for  the  visually  impaired  people  they  are  not 
enough, and they cannot benefit of the rapid development of the ICT in the domain of e‐learning technologies. 
This paper explains the challenges of e‐learning systems for the visually impaired people and then outlines a 
new approach in order to overcome these problems. This approach implements a novel application specifically 
designed  for  visually  impaired  students  that  work  at  touch  enabled  mobile  devices  using  Android  OS 
(Operating  System).  This  application  inherits  a  unique  perspective  and  enables  an  easy  to  use,  intuitive  and 
effective implementation of e‐learning systems. It divides the touch screen simply to four main areas and then 
whenever the end‐user touches the necessary section of the screen, the application responds via sound and 
vibration depending on the action/impact required.  In addition, the proposed application enables a visually 
impaired person to simply draw the Braille letters over the touchscreen and once the gesture is completed, it 
reads the letter aloud so that the user can go back and change it if it is necessary, or to continue to the next 
one.  

2. E‐learning systems for the visually impaired 
Today, more than 1 billion people with disabilities are living in the world while approximately 150 million of 
them are school age children and 19 million of them is estimated to be visually impaired (out of the 285 million 
visually impaired worldwide) (Laabidi et al. 2013, Mokiwa 2013). It is really difficult to design a virtual learning 
environment for visually impaired people since for them it is important how the information and its contents 
are  delivered  and  standard  e‐learning  approaches  lack  this  perspective.  A  lot  of  development  and  research 
have been done about e‐learning systems but most of them only analyses task‐oriented perspectives that lacks 
any real interaction of the system with the end‐users (Butucea 2013, Mokiwa 2013). Task‐orientated approach 
mainly improves the accessibility of a web‐based application in terms of its utility but never really improves 
the usability. Web‐based applications are designed to serve a purpose. Basically all of these e‐learning systems 
only provides the appropriate information/data to the student in an artistic and different way but never really 
tries  to  apprehend  or  to  measure  whether  the  end‐user  has  really  perceived  the  lecture  in  real  time  or  not 
(Basarici et al. 2012, , Zincir et al. 2013). Hence, a user centric design approach that focuses on an e‐learning 
environment for disabled students is necessary. 
 

422
 
Ahmed Rana, Ibrahim Zincir and Samsun Basarici 

People  with  disabilities  may  use  special  hardware  or  software  for  the  computers  such  as  screen  readers, 
alternative keyboards and speech inputs but even with these adaptive technologies accessing course materials 
can be difficult. Email is widely used tool for the e‐learning even with the pupils, as it can be accessed by the 
screen readers. Webpages are also a great source to deliver contents but it have to be designed accordingly as 
screen  readers  can’t  read  graphics  and  translate  videos.  Webpages  should  have  conformed  accessibility 
standards  such  as  W3C’s  Web  Content  Accessibility  Guidelines  (WCAG)  2.0  or  images  should  include 
alternative text for screen reader users and videos should contain proper interpretation. Standard e‐learning 
systems for the visually impaired users scan or read material by tabbing through the headings and/or viewing 
all  the  links  of  a  document.  Hence,  any  e‐learning  system  designed  and  implemented  without  taking  into 
consideration  of  how  screen  readers  work,  can  make  it  very  difficult  for  the  visually  impaired  end‐users  to 
understand what is really going on (Babu et al. 2013, Buzzi et al. 2012, Olufisoye et al. 2013, Taylor et al. 2012). 
Once  there  are  any  spelling  mistakes  or  a  change  of  language  at  the  same  page  screen  readers  have  great 
difficulty to deal with these challenges, since they do not really see anything on the screen but just use script 
of codes in order to read the text in question. Also, because of their nature they are not capable of dealıng 
with images. Finally it should be noted here that not everything on the Internet is designed by the software 
developers via taking into consideration of visually impaired people. 
 
There  are  plenty  of  utilities,  which  do  provide  some  convenience  specially  finding  a  location  using  GPS 
applications,  reading  newspapers,  weather  updates,  radio  scanning  etc.  and  most  of  these  utilities  are 
designed  for  a  specific  operating  system  platform  which requires  the  users  to buy  a smartphone/tablet  of a 
particular  brand.  Our  proposed  application  will  be  used  on  most  commonly  used  operating  systems  and 
available to all kind of smart phones and tablets free 
 
Another  method  used  in  e‐learning  systems  for  visually  impaired people  is  voice  recognition  systems.  These 
systems can enable access to communication and learning, by making text synchronized with speech that will 
then support a healthier virtual environment for the disabled users, according to (Butucea 2013, Suzuki et al. 
2013, Wald 2008). Previous research proposes a probabilistic strategy approach of how these people use web 
interfaces and claims that by defining a tree structure of web pages, visually impaired persons will have almost 
a  normal  experience  in  using  software  testing  platform  (Hochheiser  2010,  Butucea  2013).  Still  voice 
recognition  systems  all  by  themselves  are  not  capable  enough  to  deal  with  many  problems  arouse  for  the 
people with the disabilities and do not guarantee ease of use and accessibility (Babu et al. 2013, Basarici et al. 
2012, Butucea 2013, Zincir et al. 2013).  
 
In a successful e‐learning system, all features should work with or without mouse or any other input device. 
Key pages layout should be simple and consistent, as this will also help students with low vision or learning 
impairment (Babu et al. 2013, Basarici et al. 2012, Butucea 2013, Hochheiser 2010, Olufisoye et al. 2013, Zincir 
et al. 2013). In addition, (Gross et al. 2013) states that implementing a multimodal interaction enables a much 
more free and natural communication via interfacing users with automated systems in both input and output 
and  hence  visually  impaired  users  can  utilize  their  “body‐sense”  to  find  elements.  In  order  to  achieve  an 
efficient  and  successful  virtual  learning  environment  for  the  visually  impaired  people,  a  novel  approach  is 
necessary which takes all these into consideration. It should be noted here that, when we talk about the novel 
approach towards e‐learning actually we are emphasizing about the software side at the user‐end, not about 
curricula  or  content  delivery  methodologies  as  it  has  been  already  a  featured  research.  The  proposed 
framework  that  will  be  explained  in  the  next  section,  therefore  inherits  a  multimodal,  task‐oriented,  user‐
centric and constantly evolving structure. A side effect of this approach is also that it decreases the load of the 
short term memory below the proposed seven plus/minus two chunks by Miller (1956). 
3. Proposed framework 
In  this  proposed  framework,  an  application  will  be  implemented  over  a  mobile  device  with  an  interactive 
touch screen (a tablet or a smart phone initially powered with Android OS, later IOS and Windows platforms) 
that will inherit voice I/O and screen reader layout specifications as well as capacity to recognize touch screen 
gestures. The initial startup screen will be divided into 4 sections containing 4 different set of programs where 
the user will be able to navigate each section by clicking it once and then getting back a voice response (simply 
name of that specific section). These 4 sections will be called Utilities, Email, Office Programs and D‐Box where 
the D‐box section will be access point for the client side to the e‐learning program (Figure 1).   
 

423
 
Ahmed Rana, Ibrahim Zincir and Samsun Basarici 

 
Figure 1: Startup screen 
As the name suggests, D‐box (Distance Learning Box) will be the most important part of the application while 
the  other  3  sections  will  lead  to  the  standard  applications  accordingly  inside  Android  Ecosystem.    Once  the 
visually impaired user double clicks any one of these sections, depending on the section, the application will 
route to the next user‐friendly sub‐section.  

 
Figure 2: D‐Box screen 
For  D‐Box  section,  the  application  will  direct  the  client  to  the  next  screen  where  the  screen  will  be  again 
divided into 4 new subsections; D‐Mail, D‐Doc, D‐Chat, and D‐Test (Figure 2). D‐Mail section will be the part 
where the student will exchange messages with the system administrators, other respective stakeholders and 
lecturers whenever it will be necessary. While D‐Doc section will be the part where online and offline contents 
will  be  accessed  (videos,  audios,  slides  and  documents  related  to  the  specific  e‐learning  courses),  D‐Test 
section  will  inherit  sample  questions  and  answers  as  well  as  time‐restricted  mock‐up  tests.  Finally,  D‐Chat 
section  will  provide  real‐time  audio  and  video  conferencing  abilities  with  other  students,  lecturers  and 
administrators whenever and wherever it will be essential.  

 
Figure 3: D‐Box keyboard 1 
The e‐learning system will also inherit a keyboard module that will be accessible from any application installed 
on  the  device.  This  module  will  inherit  two  different  types  of  keyboards.  The  first  keyboard  will  cover  the 
whole screen and again a single click over a specific region will activate the voice output describing what that 
section will do while double click over the same region will enable the application to accept is as it is pressed 

424
 
Ahmed Rana, Ibrahim Zincir and Samsun Basarici 

(Figure 3).  This simple interactive keyboard layout will be used very easily by any end‐user with any capacity 
since after a period of trails the locations of each letter and symbol will be effortlessly memorized.  
 
The second keyboard on the other hand, will be different from the first one and will let the visually impaired 
user to draw any letter from the Braille alphabet over the screen and then will recognize it by implementing 
simple image processing algorithms (Figure 4). Once the letter is drawn the module will read aloud the specific 
letter in question. It should be noted here that, at any time during the execution of any keyboard, the end‐user 
will  be  able  to  easily  change  the  keyboard  type  by  double  tapping  with  two  fingers  over  anywhere  of  the 
touchscreen.  

 
Figure 4: D‐Box keyboard 2 
To summarize in all of these sections, the e‐learning application will implement three main commands, a single 
tap over the touch screen will make the application to read aloud whatever is touched or typed, a double tap 
will make the application to execute the necessary command and thrice tap will make the application to go 
back (to the previous section). In addition to these, the application will also let the visually impaired people to 
navigate  throughout  the  system  by  shaking  and  holding  the  device  in  different  positions.  Basically  it  will 
implement accelerometer and gyroscope sensors so that once the required setting is activated, according to 
the position of the device relative to the floor that the user is standing, lowering the top left of the device will 
cause the system to read aloud the left top part of the four section/menu of the screen, e.g. Utilities at the 
startup menu. After this if the device is shaken than the necessary action will be executed, e.g. the system will 
navigate to Utilities section. Each time when the user goes into a sub‐section the screen will once again remain 
the same as in four parts and execution procedure will be repeated similar to the main screen until the last 
part is activated. Finally it should be noted that the proposed framework will inherit and implement the use of 
Google TalkBack throughout the e‐learning system.   

4. Conclusion and future work 
This  paper  outlines  the  challenges  and  the  problems  in  higher  education  for  the  visually  impaired  and 
discusses  the  implementation  of  an  e‐learning  system  which  inherits  a  novel  approach  that  will  be 
implemented over mobile devices powered by Android OS. The system is designed so that it will motivate and 
support its users which will in return increase the efficiency and the feasibility of the education for the visually 
disabled people. It is expected that this system will decrease the short term memory load of the users because 
the system is designed in a way that eases its use with an intuitive interface. The interaction is based on more 
or  less  natural  behavior  of  its  user.  The  consistency  of the  screens  and the  input/output  methods  make  the 
whole system easy to use and to access. 
  
As  this  paper  is  meant  to  introduce  a  novel  concept  of  computer  usage  for  visually  impaired  people  it  is 
obvious that future work will focus more on the implementation and test of the system. The implementation 
phase has already been started and in progress. Partners in the field of educating visually impaired students 
are supporting the system development with their knowledge and will also perform the tests after the system 
is  being  installed.  The  proposed  model  and  its  implementation  will  also  become  a  part  of  YES  (Zincir  et  al., 
2013) where system integration process is also an ongoing progress.      
References 
Akanbi, C. O. and Akinfenwa, T. O. (2013) "An Integrated E‐Learning Examination Model Using Combined MCQ and Essay 
Based Full Blind Marking Assessment Technique", Journal of Automation and Control Engineering, Vol. 1, No. 2, June, 
pp 135‐139. 

425
 
Ahmed Rana, Ibrahim Zincir and Samsun Basarici 

Awde, A., Hina, M.D., Tadj, C., Ramdane‐Cherif, A. and Bellik, Y. (2006) "Information Access in a Multimodal Multimedia 
Computing System for Mobile Visually‐Impaired Users", IEEE Conference Publications, Vol. 4, May, pp 2834‐2438. 
Babu, R. and Singh, R. (2013) "Enhancing Learning Management Systems Utility for Blind Students: A Task‐oriented, User‐
Centered, Multi‐Method Evaluation Technique", Journal of Information Technology Education: Research. Vol 12. 
December, pp 1‐32. 
Basarici, S.M., Zincir, I.  Balta, S. and Rana, T.A. (2012) "A Proposal for Turkish/German Cross Language Q&A System", The 
Proceedings of 12th European Conference on e‐Government, 14‐15 June 2012, Barcelona, Spain, 2012 Basarici 2012.  
pp 954‐959. 
Butuchea, D. (2013) "Personalized e‐learning software systems" Database Systems Journal vol. IV, No. 3, March, pp 141‐
149. 
Buzzi M. C., Buzzi M., Leporini M. and Mori, G. (2012) "Designing E‐Learning Collaborative Tools for Blind People", InTech, 
March, pp 125‐144. 
Gross, R., Bockholt, U., Biersack, E.W. and Kuijper, A. (2013) "Multimodal Kinect‐Supported Interaction for Visually 
Impaired Users", Universal Access in Human‐Computer Interaction. Design Methods, Tools, and Interaction 
Techniques for eInclusion Lecture Notes in Computer Science Volume 8009, pp 500‐509. 
Hochheiser, H. and Lazar, J. (2010) "Revisiting breadth vs. depth in menu structures for blind users of screen readers", 
Interacting with Computers ‐ Elsevier, 22, pp 389‐398. 
Laabidi, M. Jemni, M. Jemni, L. Ayed, A. Brahim, H.B. Jemaa, A.B. (2013) "Learning technologies for people with 
disabilities",Journal of King Saud University ‐Computer and Information Sciences, Vol 26, October, pp 29–45. 
Miller, G. A., (1956) “The magical number seven, plus or minus two: Some limits on our capacity for processing 
information”, Psychological Review, Vol. 63, pp. 81‐97 
Ngubane‐Mokiwa, S.A. (2013) "Perceptions and Implications on Blindness at an Open Distance Learning Institution in South 
Africa", Journal of Social Science, pp 157‐165. 
Suzuki, T., Araki, T., Kawai, K., Murai, Y. and Tatsumi, H. (2013) "On a Learning‐Science System Supporting Visually Impaired 
Students via the Haptic Device", IEEE Conference Publications, October, pp 4629‐4634. 
Taylor, B., Dah‐Jye L., Dong Z. and Xiong G. (2012) "Smart Phone‐based Indoor Guidance System for the Visually Impaired", 
IEEE Conference Publications,  December, pp 871‐876. 
Wald, M., Bain, K. (2008) "Universal access to communication and learning: The role of automatic speech recognition", 
Universal Access in the Information Society, 6, 2008, pp 435‐447. 
Zincir, I., Zeytinoglu, M., Rana, T.A. and Basarici, S.M. (2013) "A Novel Approach To E‐Learning: Yasar University E‐Learning 
System (YES)” Ecel 2013. Nice, France. Pp 546‐552 

426
Can Wikis Exploitation be a Teaching “Promising Land” in Secondary 
Education? A Complementary Teaching Tool in PROJECT Course in 
Secondary Education 
Eleni Rossiou 
University of Macedonia, Thessaloniki, Greece 
rossiou@uom.gr   
 
Abstract:  Wikis  are  mainly  used  in  companies  of  software  development  for  writing  reports  and  documentations.  In 
education, wikis are mainly used for cooperative problem‐solving. It seems that wikis are widely promoted as collaborative 
writing  tools  and  gain  in  popularity  in  educational  settings.  Project  is  an  obligatory  course  in  first  and  second  grade  of 
Lyceum School and it is a new research‐based course in Greek Lyceum curricula, since 2011‐2012. Teachers are assigned as 
instructors and students choose one of the available topics of research according to their interests. Teachers suggest the 
topics but the students as well and the final availability is defined in the teachers’ meeting. Doing “research” is a new issue 
both  for  teenagers  since  research  is  new  to  their  experience  and  for  teachers  since  they  are  not  used  in  supervising 
research  projects.  During  the  previous  school  year  2012‐2013,  teachers  of  the  project  “My  city,  you  make  my  life…a 
bicycle” decided to develop a wiki for interaction between students, students‐educational material and students‐teachers. 
The main reason was the communication between students and coordination of the educational process outside the class 
since  the  class  hours  had  planned  for  outdoors  activities  aiming  to  experiential  learning.  Wikis  aimed  to  help  students 
develop their skills in doing research through a collaborative process in the context of this innovative subject. The results of 
our  empirical  research  through  observations,  questionnaires  and  interviews  showed  that  encourages  students’ 
collaborative learning behaviour, it develops their motivations, attitudes and performance and it helps them to synthesize 
their final research through e‐collaboration and wikis exploitation can be a “promising land” in Secondary Education since 
it  promotes  students’  collaboration  and  skills  development  in  group‐working,  exchanging  opinions  and  sharing  material, 
critical reflection and learning how to do a research.  
 
Keywords: wikis, project, e‐collaboration, secondary education, teaching tool 

1. Introduction 
In  most  of  the  countries  all  over  the  world  the  continual  increase  of  Information  and  Communication 
Technologies (ICT) availability and the development of Internet access have led teachers to more frequently 
design  with  an  easier  way  their  educational  interventions  and  complement  with  e‐learning  their  teaching 
process in the class or part of it (Herrington, Reeves & Oliver 2005). The concept of "blending” emerged after 
the  experimental  implementation  of  e‐learning  in  various  universities  which  gave  an  insight  into  its 
potentialities  and  weaknesses  (Aydin  &  Yuzer  2006).  Blended  learning  focuses  on  active  educational 
techniques  and  increases  the  interactivity  between  students‐students  and  students‐teachers  (Garrison  & 
Kanuka 2004). The traditional didactic process that is implemented in teaching in Secondary Education shows 
weaknesses and this constitutes a significant reason for the difficulties that students face up (Gogoulou et al. 
2008).  
 
In Greece, since 2007 teachers are trained in using ICT in educational praxis and just the last year (since May 
2013) teachers of ICT are trained for ninety‐six (96) hours training by trainers who had been trained for 380 
hours a year before. This training is under the framework of the project “In‐Service Training of Teachers for the 
utilisation and application of ICT in the teaching practice” of the Operational Programme “Lifelong Learning”, 
NSRF (2007‐2013),  which  is  being  implemented  with co‐funding from  the  European Union and  the European 
Social  Fund,  and  it  is  the  continuation  of  an  older  respective  project  “B‐Level  in‐service  training”  which  was 
completed  in  2008.  It  concerns  an  action  of  the Greek Ministry  of  Education and  Religious  Affairs  which  has 
undertaken  to  form  a  consortium  of  its  bodies  which  is  comprised  of The  Organisation  of  Teacher  Training, 
the Research  Academic  Computer  Technology  Institute (RA‐CTI)  and  the Pedagogical  Institute (PI),  and  from 
24/2/2012 the consortium has been reformed and includes the Institute of Educational Policy (IEP) (successor 
of  the  project,  after  the  Organisation  of  Teacher  Training  and  the  Pedagogical  Institute,  were  shut  down 
according  to  law  Ν.3966/24‐5‐2011),  as  final  beneficiary  and  the Computer  Technology  Institute  &  Press 
“Diophantus” (CTI  “DIOPHANTUS”)  (this  is  how  RA‐CTI  was  renamed  by  law  Ν.3966/24‐5‐2011),  as  scientific 
partner (http://b‐epipedo2.cti.gr). One of the issues of the training course in use effectively WEB2.0 tools in 
educational  praxis.  So,  they  create  and  implement  educational  scenarios  that  use  Web2.0  e‐tools  as  blogs, 
wikis e.t.c. and they focus not developing technical skills but in significance of digital literacy.   

427
 
Eleni Rossiou 

The curriculum of ICT in Primary and Secondary Education does not aim only to increase students’ technical 
and communication skills but mainly to motivate students by providing multiple learning opportunities. Wiki is 
an appropriate Web2.0 tool that promotes collaborative learning and knowledge construction and information 
through a continuous material enrichment and can support teachers’ teaching and learning design to achieve 
their educational goals.  
 
Recently, the educational community is interested in using web‐based collaborative technologies ad wikis in all 
levels  of  education  (Τselios  et  al.  2011).  Wikis  are  better  than  other  Web2.0  tools  not  in  technical 
characteristics but in communication and collaboration practices that can easily support (Ma & Yuen 2008). In 
education,  wikis  can  be  used  with  three  basic  ways:  sharing  material,  cooperative/collaborative  document 
production and public discussion (Karystinakis & Paraskeva 2013). It is a web2.0 e‐tool with which teachers can 
support  students’  learning,  teach  with  an  interactive  way  and  involve  students  in  a  collaborative,  creative 
educational  process.  Students  develop  their  creativity  skills  and  especially  skills  on  editing  information,  and 
communication skills and they work in a community framework which make them more responsible and active 
members  of  a  group.  Recently  there  is  an  increase  on  using  wikis  in  the  educational  process.  Teachers  and 
instructors recognize the value of wikis and they choose them in order to organize their courses.  
 
The  “Greetings  from  the  World”,  wiki,  schools  from  various  places  cooperate  and  publish  their  experiences. 
This wiki aims to students’ sharing of experiences and familiarizing themselves with characteristics of countries 
that  they  have  never  visited  (Greetings  From  The  World  2011).    They  learn  from  and  with  their 
peers. (http://greetingsfromtheworld.wikispaces.com/). A similar approach is the wiki that refers to different 
cultures, natural landscapes and civilizations of various countries. Its aim is to encourage students to discover 
the culture of their country and comprehend its position in the whole world and also to develop collaboration 
skills (Metasaga 2011). Another wiki, with a more didactic approach was created and implemented in 2012 in 
the  context  of  the  course  of  Algorithms  in  the  last  grade  of  lyceum  school  to  students  17‐18  years  old,  in 
Greece.  The  course  of  algorithms  is  a  course  that  is  examined  in  national  level  for  students’  success  in  the 
University. The aim of the wiki was to develop students’ skills in problem solving via collaborative activities. 
Results  showed  that  wiki  encourages  collaboration  and  develop  students’  motivations,  attitudes  and 
performance (Karystinakis & Paraskeva 2013).  
 
The  aim  of  the  current  paper  is  to  investigate  if  wikis  can  be  a  “promising  land”  for  teaching  in  Secondary 
Education  via  promoting  students’  collaboration,  skills  development  in  group‐working,  opportunities  for 
exchanging opinions and sharing material, critical reflection and alternative way on learning how to learn and 
do  research.  The  research  questions  include:  which  are  students’  preferences  in  wiki  activities  during  the 
course  and  which  is  the  teacher/tutor  role  when  wiki  is  used  in  teaching  process?  Also,  it  is  evaluated  the 
technological environment and the educational methodology that has followed.   
 
In the following sections, firstly the framework of the project course and the wiki benefits are posed briefly, 
then  the  research  methodology  is  described  and  the  results  of  research  are  drawn  and  discussed.  The  last 
section  includes  the  conclusions  according  to  wikis  implementation  in  the  Project  course  and  some 
recommendations for tutors in a wiki‐class and further research suggestions are described.  
2. Wiki effect and the project course in secondary education 
The literature shows that as far as students work in a wiki, they are introduced in the process of creating the 
content  of  a  webpage.  They  develop  creative  skills  (Kear  et  al.  2010),  especially  skills  of  synthesizing 
information and verbal expression and creative flexibility by accepting the others’ amendments (Neumann & 
Hood, 2009). This perspective of creativity is an important point for students’ cultivation, not only in the class, 
but also at the level of imagination and new meanings. The product creation and contribution increases the 
sense of ownership and consequently their commitment to a common goal. In a wiki students are no longer 
passive  recipients  of  knowledge,  but  they  produce  it  (Sanden,  &  Darragh  2011).  This  increases  the 
commitment they feel about the final product and the community created, increases the desire to help each 
other  and  to  protect  the  community  (Neumann  &  Hood,  2009).A  key  feature  is  the  "visibility"  or 
"transparency"  that  exists‐as  opposed  to  traditional  forms  of  learning‐enabling  commenting  and  evaluating 
products among community members. When working on a wiki, students synthesize and evaluate continually 
their work. Therefore, gain experience and after some time become able to evaluate and judge more easily the 
level  of  their  work  and  to  improve  (Lai  &  Ng 2011).  Finally,  the development  of  students’  interpersonal  and 

428
 
Eleni Rossiou 
 
communication skills, especially consensus and compromise, in an environment where the outcome drives the 
interpersonal  problem  solving  are  achieved.  Also,  favoured  interactions  between  the  students  (Huang  et  al. 
2010)  and  teachers,  for  example,  are  informal  discussions  between  participants  and  keep  students  and 
teachers connected and configure so sincere cooperative relations between them. 
 
However, there are doubts if wikis can be used in teaching of different learning topics in Secondary Education 
and especially in a research course. The “Project” course, or “Research work” course, named as project, is a 
st nd
compulsory course and it is a part of the curriculum of the 1  and 2  Grades of Lyceum School in Secondary 
Education. This course has firstly taken place during the school year 2011‐2012 in 1st Grade and in 1st and 2nd 
grades during the school year 2012‐2013. Teachers are assigned as instructors and students choose one of the 
available  projects  for  doing  a  research,  according  to  their  interests.  During  the  school  year,  students 
participate  in  two  projects  (one  per  quarter)  and  the  course  is  implemented  for  two  consequent  hours  per 
week  and  this  course  is  not  examined  at  the  end  of  the  school  year  but  it  is  evaluated.  The  final 
mark/evaluation  is  a  combination  of  a)  final  artifacts  (final  document  and  construction),  b)  students 
participation  during  the  process  of  the  course  completion,  c)  the  final  presentation.  Especially  the  final 
presentation is taking place in an event that aims to familiarize students with their exposure in the public and 
the  management  of  public  speech,  but  also  to  ensure  quality  and,  above  all,  the  authenticity  of  the  work 
(Matsaggouras 2011).  
 
The research work in the context of the project course,  follows the approach of decreasing guidance for the 
common questions that have been configured in the plenary of the "group of interest ', because the guided 
exploration  has  proven  highly  effective  (Hmelo‐Silver,  Duncan  and  Chinn,  2007).  Relative  to  the  above  new 
course research work (Kellett 2005; Exline 2004.), are referred to the educational significant of project course 
as it: 
ƒ stimulates students’ thinking, creativity and initiative \through direct and active involvement in all phases 
of the research work,  
ƒ increases  the  interest  for  individual  courses,  because  students  realize  in  practice  the  contribution  of 
taught courses in understanding the world and dealing every‐day problems and major issues of life locally 
and globally, 
ƒ engages  students  in  thinking  and  the  scientific  method  as  the  aim  of  education  requires,  in  original 
working conditions, 
ƒ aims  to  develop  reflection,  critical  thinking  and  self‐criticism  and  personal  responsibility  around  human 
choices  and  actions,  the  dominant  norms,  values  and  socio‐political  and  ethical  dilemmas  in  modern 
multicultural societies, 
ƒ promotes collegiality and collaboration, as students within the research groups collaborate to study the 
issues and develop common work with scientific background, by creating documents and construction of 
various artifacts (construction, technology solutions , artistic creations , etc.), 
ƒ creates  channels  of  communication  between  school  and  the  local  community,  its  problems  and 
authorities,  
ƒ considers issues at local, national and global level thus preparing students to think and act as responsible 
citizens of their country and the world. 
3. Research methodology 
The blended learning course implemented in the classroom and outside of it, to nineteen (19) students of the 
2nd  Grade  of  the  Experimental  School  of  Aristotle  University,  Thessaloniki,  Greece  (Protypo  Peiramatiko 
Scholeio  Panepistimiou  Thessalonikis,  Greece)    in  the  context  of  the  Project  course  during  the  school  year 
2012‐ 2013. When the Project started and during setting up the “educational contract” the need of blended 
learning  was  raised.  The  reason  of  this  need  was  the  Project  requirements  and  the  students’  needs  and 
preferences  on  both  “learning  by  doing”  and  plan  and  implement  outdoors  activities  with  bicycles.  Since 
“research” was a new topic for teenagers and they were unexperienced on it, instructors of the project “My 
city,  you  make  my  life…a  bicycle”  developed  a  wiki  for  interaction  between  students‐students,  students‐
educational  material  and  students‐teachers.  The  wiki  aimed  to  help  students  to  develop  their  skills  in  doing 
research through collaborative activities in the context of this innovative subject. The objectives of the project 
were  to  investigate  a)  the  reasons  that  people  do  not  use  bicycle  in  their  daily  life  although  they  were 

429
 
Eleni Rossiou 

informed by different campaigns and b) teenagers’ opinions, positions and behaviours on using a bicycle.  The 
learning outcomes and expected results of wiki usage were: to promote students’ collaboration in developing 
their skills in exchanging opinions and sharing material, reflecting, learning how to do a research. Also, it was 
important to lead them to synthesize their final research document through e‐collaboration.  
 
The research methodology that was followed to evaluate the exploitation of wiki in the project course includes 
online  questionnaires,  interviews  and  discussion  with  the  whole  class.  The  return  rate  of  the  questionnaires 
was  16/19  students  and  eight  (8)  students  were  interviewed  similar  key  questions  regarding:  a)  the  main 
reasons of their participation and their preferences in wiki activities in order to collect data on the knowledge 
that they have gained and the factors that affected i.e. the collaboration affect in their learning, b) the easiness 
of  navigation  in  the  wiki  environment,  c)  the  role  of  discussions  in  forums  and  chats and  of collaboration  in 
large  and  in  small  groups, d)teachers’  role  and characteristics  and  e) the  educational  methodology that  was 
implemented during the whole course with wiki usage. The evaluation of the blended learning course achieved 
with a) the degree of students’ successful assessment and progress in the wiki environment, b) the students’ 
answers in the evaluation questionnaire and c) the teacher’s observation essay which is a paper that is written 
after  teacher  has  observed  students’  action  process  in  wiki  per  week  and  the  Group  Essay/Research  report. 
This report had to include literature review, research methodology, research results and conclusions. Also, in 
Appendix  students  included  a  short  report  of  their  e‐diaries  and  description  of  their  activities  outside  the 
classroom. 
 
The “Project” course in the Wiki space 
 
Wiki  is  the  tool  that  it  was  used  as:  a)  announcements‐board,  b)  resources  pool,  c)  communication  channel 
between  students‐students,  students‐teachers  and  students‐educational  material  d)  forum  for  exchanging 
opinions and ideas between students and place for solving queries, e) e‐space for organizing students’ work f) 
place for providing feedback on students assessments, g) monitor on students’ work and their evaluation, i) 
place  to  co‐plan  and  co‐organize  group  meetings  in  the  class  and  activities  outside  the  class  j)  e‐space  for 
evaluating project meetings and activities (Figure 1).  

 
Figure 1: The project course in the wiki space 
The  technological  environment  that  used  was  the  pbworks  (http://www.pbworks.com)  due  to  its  easy 
students’ familiarization with it and the free of cost.   
 
Firstly, students became members of the wiki and the tutors gave them the privileges of being able to change 
almost everything in a page of the wiki, from the content up to the title and way of navigation in it. The wiki 
content belonged to no‐one (ego‐less) since everyone was responsible for it and each student had to a) accept 
the fact that someone else could change his/her material and b) have in mind this fact when he/she acts in 
wiki place. Also, wiki was independent from time (end‐less) and could always be available and be developed in 
timeline since users can change the content (Lamb, 2011). A very important element of the wiki was discussion 

430
 
Eleni Rossiou 
 
of each group since all students had to contribute and also it could be a forum between students of each group 
or  between  groups  or  between  all  students.  In  order  to  increase  students’  responsibility,  their  membership 
was not anonymous and all students could comment any new entry or material uploaded. Thus, all students’ 
actions in the wiki were clear and the history of actions could display any change in the wiki content. Although 
change  during  the  time  were  important  the  wiki  of  the  project  course  was  organized  in  thematic  topics 
(Engstrom & Jewett 2005) according the students’ obligations as it concerns assignments and final documents.  
 
Each student was owner of a folder for his personal work and also co‐owner of the group folder (Figure 2). 

 
Figure 2: Each student in the project course has three kinds of roles: as student himself, as member of a small 
group (W1 or W2 or W3 or W4) and as member of a large group (W) 
The difficulty in wiki administration was that as far as students could delete anything there was not case to 
restore  the  deleted  material.  Also,  since  all  users  were  registered  with  their  email,  they  were  informed  via 
email about any change, update in wiki. No written rules had been agreed in groups meeting as it concerns 
students’ contributions and actions in the wiki. Students had not met difficulties in start using wiki and they 
had the opportunity to participate, and collaborate although they were not at school and they did not have to 
arrange meetings at particular time to complement their assessments.   .  
 
The main aim of the wiki usage was the content and not the appearance and this is the reason that its pages 
seem  as  simple  webpages  without  attractive  graphics.  The  search  tool  in  the  wiki  with  keywords  and  the 
different ways of navigations in it (starred pages, history, pages folder, menus links in wiki and outside of it) 
made the navigation easier.  

4. Results ‐ discussion 
Many researchers support the wikis usage in educational praxis since the benefits provided are important for 
learning and teaching (Tselios et al., 2011). The collaborative work via wiki promotes students’ active learning 
(Yan, 2008). Although wikis exploitation are still an issue for researchers and there are opposite results, in this 
section the results of the wiki usage in a project course shows that WIKIs exploitation is a “promising land” in 
Secondary Education. But it is not a proof and it is necessary to experiment wikis in various courses and levels 
of education.  
 
All students of the project course participated willingly in wikis evaluation. Most of them are boys (75%) and 
only one does not use computer at home and but this student uses Internet at school or other place (Net‐café, 
etc).  Students  participated  in  wiki  because  it  was  asked  by  the  teachers  of  the  course  (68,75%)  and  it  was 
necessary to fill their personal diary  (68,75%) which was an assessment per week (Figure 3). Other reasons 
were  the  continual  updated  about  the  project  process  and  the  plan  for  external  activities  (37,5%),  the 
possibility  to  communicate  with  teachers  (18,75%),  the  process  of  solving  queries  or  asking  for  help  from 
classmates or teachers (12,5%). As students explained in interviews they prefer to solve queries face‐to‐face at 
school meetings. 

431
 
Eleni Rossiou 

 
Figure 3: Reasons for students’ participation in WIKI 
The traditional relations of power still exist in school community but the whole community has the same aims 
and  focuses  to  make  them  successful  with  wiki  collaboration.  The  value  of  community  is  demonstrated  in 
Baltzersen  (2010)  research,  and  the  focus  is  sharing,  collaboration  and  the  creation  of  a  collective  product 
rather than competitiveness. So concepts of "special" ‐ "experience" ‐ "best" are degraded.  
 
As  it  concerns  the  activities that  took  place  in  the  wiki  during  the  course,  students  prefer  the  activities  that 
refer to teachers’ explanation, to collaboration with classmates of their group and other groups as well (Figure 
4). Other students’ preferences are: opportunity to discuss with classmates and teachers (43,8%), possibility to 
find more educational material and resources (37,5%), ask and answer questions (37,5%), and presenting their 
work to other students (37,5%). It is strange that students do not give high attention to teachers’ annotations 
on  their  work  and  as  they  clarified  in  the  interview  this  happens  because  they  are  not  available  during  the 
week due to their lessons that they do attend after school time and the commenting by teachers means more 
hours for working on the one subject.   

 
Figure 4: The most important wiki activities according to students’ view  
The wiki allows learning in a more student‐centered and democratic process since anyone can participate, edit 
publications,  change  or  supplement  texts  directly  (Ruth  and  Houghton,  2009).  The  results  are  visible  to 
everyone, so everyone can evaluate them, discuss and change. The process of discussion allows students to 
form their own opinion based on the information processed by the community. 

432
 
Eleni Rossiou 
 
At  the  end  of  the  course  students  expressed  their  opinion  about  the  necessary  qualifications  that  teachers 
should have in order to implement wikis during the educational process (Figure 5). They emphasized that they 
have  to  be  skilful  in  using  ICT  since  wikis  is  a  web‐based  tool.  Also,  they  have  to  have  organizational  skills 
(62,5%) and skills on motivating students (62,5%). Almost the half of them (43,8%) believe that teacher should 
know  very  well  the  research  process  since  it  is  a  process  different  to  teaching  process.  They  do  need  to  be 
aware  about  the  research  topic  and  provide  help  about  the  way  of  doing  research  and  the  appropriate 
resources  as  well.  Other  important  skills  are  considered:  friendliness  (31,3%),  transferring  of  knowledge 
(18,8%), rewarding students’ attempts (18,8%) and promoting students’ interaction (18,8%).  

 
Figure 5: Wiki‐tutor qualifications according to students’ view 
Students  believe  that  it  is  very  significant  to  be  encouraged  by  their  teacher  not  only  to  participate  and  be 
active  during  the  educational  process but  to  be consistent  in  the  Project  course  assessment  (complete  their 
project  work,  fill  in  their  digital  diary  weekly  and  be  active  in  the  wiki  environment)The  most  important 
characteristics  for  teachers  are  hierarchically:    students’  motivation  (43,8%),  well‐organised  (25%),  foster 
students’ interaction (18,8%), understand students’ needs (18,8%), knows very well the taught subject (Figure 
6). 

 
Figure 6: Wiki‐tutor qualifications hierarchically 

433
 
Eleni Rossiou 

According to students’ opinion on educational methodology, they were asked to rate their participation as it 
concerns the place that participated, the way of being implemented and the educational material provided. In 
details it is not so important that they could participate from home (37,5%). The level of students’ satisfaction 
on various parts of educational methodology is drawn in Figure 7.  

 
Figure 7: Students’ opinion on Wiki activities 
Almost  the  70%  of  students  feel  satisfied  a  lot  or  enough  on  the  encouragement  and  the  opportunity  of 
discussing or exchanging opinion , one out of 8 students are a little satisfied and only the 6,23% of the students 
are not satisfied at all. As it concerns both the opportunities of collaboration and active participation, and the 
easiness of asking questions they are satisfied very much (25%) or a lot (37,5%) or enough (37,5%) and only 
one  student  is  not  satisfied  at  all.  The  student  who  was  not  satisfied  at  all  was  the  student  who  had  not 
internet  access  at  home  and  according  to  his  interview  this  had  been  the  reason  of  his  worry,  anxiety  and 
dissatisfaction  was  the  only  one  who  had  faced  up  difficulties  on  Internet  access  and  completing  the  wiki 
activities. The most of the students are very much (18,8%), a lot (37,5%) or enough (37,5%) satisfied from the 
educational material available in the wiki environment. Students satisfied a little said that they had not had 
time to navigate themselves through all the pages of the wiki and this means that they did not manage to read 
through  all  the  available  educational  material.  As  it  concerns  the  frequency  and  the  duration  of  their 
participation in wiki activities (Figure 8), the most of them (56,3%) suggest once per week for one  hour (75%).  

 
Figure 8: Students’ preferences on duration and frequency on Wiki activities 

434
 
Eleni Rossiou 
 
As it concerns the technological environment of the web2.0 e‐tool students evaluated the easiness of using it 
as  it  concerns  the  discussions  and  solving  queries,  the  updating  of  their  personal  pages  and  the  process  of 
uploading files (Figure 9).  

 
Figure 9: Students’ opinions on technological environment of WIKI  
Almost three out of four students find the environment very easy (20‐25%) or easy (31‐44%) or easy enough 
20‐44%) to use. The easiest part of the above activities is considered the process of uploading files.  

5. Conlcusions and future plans 
In this paper it is presented the blended learning approach via wiki which was implemented during the project 
course entitled “My city, you make my life …a bicycle”. The project course is an obligatory course in Secondary 
Education,  it  runs  per  semester  and  students  do  research.  The  exploitation  of  wiki  supported  interaction 
between students, students‐educational material and students‐teachers and helped students to develop their 
skills  in  doing  research  through  collaborative  process  in  the  context  of  this  innovative  subject.  Through  wiki 
teachers led students to synthesize their final research through e‐collaboration. The results of the educational 
research  showed  that  wiki  encourages  students’  collaborative  learning  behaviour  and  develops  their 
motivations,  attitudes  and  performance.  But  there  are  still  difficulties  with  students  who  have  not  Internet 
access  at  home  either  because  they  are  not  PC  owners  or  due  to  parents’  no‐allowance  to  use  computer 
instead of studying other lessons.   
 
This blended learning course via wiki seems to offer big support to teachers to prepare their lessons of a new 
course  at  school  in  a  way  that  promotes  interactivity,  collaboration,  group‐working  and  self‐controlled 
studying.  The  wiki  offered  students  the  opportunity  to  synthesize  their  own  diaries  firstly  and  then  their 
project essays and familiarize themselves with distance and both self and group learning, with self and group 
assessment and writing a text using language properly, with discussion, with uploading and submitting files to 
Web.   
 
Some more implications of the current empirical research on the Project Course include the teachers’ skills and 
the  way  of  wikis  exploitation  as  it  concerns  the  time,  the  activities  and  the  educational  methodology.  In 
details, teachers should be well qualified on ICT, encourage students on completing their assessments online, 
and be aware on research process. As it concerns the time, the students’ availability is once per week for one 
hour.  Students’  preferences  on  activities  are  related  student‐centered  activities  which  promote  interaction 
between students‐students, students‐teachers and students material.    
 
With  wikis  in  research  project  courses,  teachers  can  design  their  tutoring  and  re‐use  their  digital  material, 
support  their  students’  learning  from  distance  according  to  their  educational  needs  and  follow  educational 
strategies  suitable  to  their  learning  style.  It  is  recommended  to  tutors  to:  a)  organize  the  wiki  environment 
such  as  it  will  be  easy  navigated  and  effective  in  learning  b)  communicate  via  wiki  frequently  and  promote 
students  to  participate  via  posting  question,  opinion,  work  update,  sharing  information,  c)  monitor  their 
students properly and follow their activities in the wiki d) answer queries and questions and push students to 

435
 
Eleni Rossiou 

continue  when  they  feel  stuck  e)  evaluate  periodically  the  educational  process  and  take  seriously  into 
consideration students’ needs, suggestions or absence.   
 
It  is  expected  that  the  wikis  exploitation  in  other  project  courses  will  give  more  recommendations  on  how 
wikis can be used and also, wikis exploitation in various lessons may give important opportunity on learning via 
social media in Secondary Education.    

References  
Aydin, B. & Yuzer, V. (2006). Building a Synchronous Virtual Classroom in a Distance English Language Teacher Training 
(DELTT) Program in Turkey. Turkish Online Journal of Distance Education – TOJDE, 7 (2), Article 1. 
Baltzersen, R. K. (2010). Radical transparency: Open access as a key concept in wiki pedagogy. Australasian Journal of 
Educational Technology, 26(6), 791‐809.  
Herrington, J., Reeves, T. & Oliver, R. (2005). Online Learning as Information Delivery: Digital Myopia. Journal of Interactive 
Learning Research, 16(4), 353‐367.  
Garrison, D.R and Kanuka, H(2004). Blended Learning: Uncovering its transformative potential in Higher Education. Internet 
and Higher Education, 7, 95‐105.  
Engstrom, M. E. and Jewett, D. (2005). Collaborative learning: The wiki way. TechTrends, 49(6),12‐15 
Exline, J. (2004), Inquiry‐based Learning, [online] Retrieved on 26/5/2014 from 
http://www.thirteen.org/edonline/concept2class/inquiry/index.html 
Gogoulou, A., Gouli, E., & Grigoriadou, M. (2008). Adapting and Personalizing the Communication in a Synchronous 
Communication Tool. Journal of Computer Assisted Learning, Vol. 24, 203‐216. 
Greetings From The World, (2011). [online] http://greetingsfromtheworld.wikispaces.com/ 
Hmelo‐Silver, Duncan, R. and Chinn, C. (2007). Scaffolding and achievement in problem based learning and inquiry learning: 
A response to Kirscner, Sweller, and Clark (2006). Educational Psychologist, 42(22), 99‐107. 
Huang et al., (2010).An empirical analysis on how learners interact in wiki in a graduate level online course. Interactive 
Learning Environments. Vol 18, 3. Special Issue:   Towards eLearning 2.0 University. 
Karystinakis, J. Paraskeva, F. (2013) The wikis exploitation for teaching Informatics in Secondary Education (In Greek). In 
Ladias, A., Mikropoulos, A., Panagiotakopoulos, Ch., Paraskeva, F., Pintelas, P., Politis, S., Retalis S., Sampson, D., 
rd
Fachantidis, N. and Chalkidis, A. (eds.), proceedings of 3  Panhellenic Conference “ICT in educational praxis”, of Greek 
Scientific Association ICT in Education (ETPE), University of Pireaus, 10‐12/5/2013. Retrieved on 24/5/2013 
from http://www.etpe.eu/new/custom/pdf/etpe2035.pdf 
Kear, K., Woodthorpe, J., Robertson, S. and Hutchisona, M.(2010). From forums to wikis: Perspectives on tools for 
collaboration. The Internet and Higher Education, 13(4), 218‐225. 
Kellett, M. (2005). How to Develop Children as Researchers. London: Paul Chapman. 
Lai, Y. and Ng, E. (2011). Using wikis to develop student teachers' learning, teaching, and assessment capabilities. Internet 
and Higher Education 14, 15–26. 
Lamb, B. (2011). “Wide Open Spaces: Wikis, Ready or Not” [online]. Retrieved 2/4/2014 from 
http://www.educause.edu/ero/article/wide‐open‐spaces‐wikis‐ready‐or‐not 
Ma, W. and Yuen A. (2008). A qualitative analysis on collaborative learning experience of student journalists using wiki. 
Hybrid Learning and Education, 103‐114 
Matsaggouras H. (2011) The innovation of Research Projects. (Η Καινοτομία των Ερευνητικών Εργασιών στο Νέο Λύκειο (In 
Greek)). Teacher’s Book. [online] 
http://blogs.sch.gr/kkiourtsis/files/2011/07/odigos_erevnitikwn_ergasiwn_A_lykeiou_project.pdf (ΟΕDB, 2011) 
Metasaga (2011). [online ] http://metasaga.wikispaces.com/ 
Neumann, D. L. & Hood, M. (2009). The effects of using a wiki on student engagement and learning of report writing skills 
in a university statistics course. Australasian Journal of Educational Technology, 25(3), 382‐398.   
Ruth, A. and Houghton, L. (2009). The wiki way of learning Australasian Journal of Educational Technology, 25(2), 135‐152. 
Sanden, S., & Darragh, J. (2011). Wiki use in the 21st‐century literacy classroom: A framework for 
evaluation. Contemporary Issues in Technology and Teacher Education, 11(1), 6‐20. Retrieved on 28/5/2014 
from http://www.citejournal.org/vol11/iss1/languagearts/article1.cfm 
Tselios, N., Georgoutsou, M. and Panagiotaki, A. (2011). Investigating the learning effectiveness of a Wiki based activity in 
the context of ICT education, Proceedings of 2nd Panhellenic conference: Integration and use of ICT in Education, 
Patras, 28‐30/4/2011, pp. 857‐866 (in Greek). 
Yan, J. (2008). Social Technology as a New Medium in the Classroom The new England Journal of Higher Education, Winter 
2008, 27. Retrieved on 14/5/2014 from http://files.eric.ed.gov/fulltext/EJ794242.pdf 
 

436
The Memory of Links: A Consequence of ICT and Connectivism 
Javier Sarsa 
Dept. of Educational Sciences, Faculty of Education of the University of Zaragoza, Spain 
jjsg@unizar.es 
 
Abstract:  Every  day  we  are  selecting  and  storing  contents  in  ICT  devices  which  are  intervening  or  will  intervene  in  our 
future knowledge acquisition. The relations established between our brain and different external resources also need to be 
stored in some part of the long‐term brain memory. Under this premise, this paper defines and analyses the ‘Memory of 
Links’  concept  (MoL)  as  a  consequence  of  the  connectivism  phenomenon.  That  implies  the  continuous  memorization  of 
locations due to the creation of new connections with ICT devices permanently. The MoL is a part of our biological memory 
specifically and deliberately used to remember the external location of a vast group of resources and some notions about 
them. The resources themselves make up your linked or extended memory. So, this paper defines what the MoL concept is 
and how it seems to work. We intend to show the existence of such MoL and its importance. The results of a questionnaire 
applied to University students confirmed that each student must remember up to 10 different types of locations where he 
or she stored important information. As regards the latter, some clear associations were identified in relation to several 
types of resources (documents, photos, music and videos) which were predominantly stored in offline spaces (hard disks, 
pendrives,  smartphones...).  It  was  also  noticed  that  the  organization,  synchronization,  centralization,  maintenance  and 
periodical‐review habits were poor. Bearing in mind that nowadays there is an increasing part of the brain memory (MoL) 
which is related to digital contents, it is urgently needed to reinforce some adequate habits to maintain the MoL active and 
its linked external resources operative. Finally, we argue the MoL, as long as it is well managed, is essential for learning, 
since it serves as a launching pad towards new knowledge creation. Therefore, the educational implications of the size and 
quality of the MoL remain unexplored. 
 
Keywords: memory of links, connectivism, extended memory, open learning, lifelong learning, hypermedia 

1. Introduction 
Since the advent of ICT a new difficulty has emerged. It is necessary to simultaneously manage a large set of 
devices, the traditional and the new ones. And, above all, we have to cope with the complexity of indexing all 
this information in the limited memory of our brain. Most of us use computers, laptops or smartphones as if 
they were an extension of our biological memory. We store files on these ICT devices, such as documents and 
e‐books, videos, pictures, speeches, music, maps, interactive applications, etc. Sometimes we only annotate its 
address on the Internet (its URL). At the same time we continue preserving traditional media, i.e., data written 
on paper (books, magazines, sticky notes, diaries…), to which we must often resort. We also keep links to other 
links, or list of links, and to top it off, connections to the memory of other people ‐we dip into them to get 
information  we  know  they  know,  when  needed‐.  This  huge  quantity  of  associations  is  the  result  of  many 
different  and  combined  processes  which  include  search,  selection  and  storage/organization  of  contents. 
Considering the psychological point of view, at least we need to memorize and recall the locations where the 
selected information is. 
 
In this way, a part of our brain memory which we are calling the ‘Memory of Links’ (MoL) is continuously being 
filled  with  connections  to  external  resources,  digital  or  not,  which  constitute  a  potential  source  to  reach  a 
higher learning. The Memory of Links extends the concept of digital hypermedia to our biological memory. It 
can  be  considered  that  our  physical  brain  memory  is  used  as  the  source  of  the  hyperlinks  which  lead  to 
information  we  have  already  selected.  Figuratively,  a  part  of  our  biological  memory  becomes  part  of  the 
hyperlinked world. Moreover, our mind is able to rebuild links which have disappeared or are broken on the 
Internet, thanks to the resources we stored in different devices, which are still present in our MoL and can be 
retrieved  following  the  path.  Our  memory  acts  as  the  nexus  between  the  offline  and  online  worlds.  While 
these associations between our memory and the external information are not broken and the resources are 
available, we will be able to use them in a similar way to that information contained in our real brain memory. 
Therefore, the contents addressed by our MoL constitute an extension of our brain memory, which is made 
possible thanks to the memorization of links. 
 
This  phenomenon  is  gaining  importance,  because  of  the  potential  modifications  it  supposes  to  the  way  we 
learn.  “The  Internet  has  become  a  primary  form  of  external  or  transactive  memory,  where  information  is 
stored  collectively  outside  ourselves...”  (Sparrow  et  al,  2011,  p.776).    “Our  brains  rely  on  the  Internet  for 
memory  in  much  the  same  way  they  rely  on  the  memory  of  a  friend,  family  member  or  co‐worker.  We 

437
 
Javier Sarsa 

remember less through knowing information itself than by knowing where the information can be found”, said 
Sparrow (2011).  There is an intense debate to determine whether this facility (of having the resources only 
one click away) is damaging learning. So, Carr (2008) wonders…, is Google making us stupid? He emphasizes 
the results of a study whose conclusions indicated that online researchers typically read no more than one or 
two pages of an article or book before they would ‘bounce’ out to another site.  
 
Many processes of search and selection of information usually end with the storage and maintenance of the 
information  itself,  or  just  bookmarking  the  location  where  that  information  is.  The  collections  of  links  are 
sometimes shared on bookmarking websites, like Delicious or Diigo. Content curation sites (like Scoop) have 
become one of the most successful practices on the Internet. The greater the desire to acquire new knowledge 
we have, the higher this need of linking external information is, whereas if there is no such willingness then 
the phenomenon hardly occurs. If we consider the pedagogical field, this fact takes much more importance, 
since a great part of our future acquisition of knowledge may depend on the maintenance of those external 
resources which represent our extended memory. Do the linking and maintenance processes themselves lead 
to  a  higher  knowledge?  Probably.  But  not  all  the  collected  information  will  turn  into  knowledge.  For  Ash 
(1998), information will not become knowledge until it is processed by the human mind. Therefore, without 
the necessary cognitive effort, a great part of our extended memory is abandoned or forgotten. 
 
From our perspective, it is necessary to reveal the existence, structure and dimension of the Memory of Links 
and  the  mechanisms  to  maintain  these  links  operational  as  well  as  to  manage  them  properly  for  facilitating 
further learning. The strengthening of these links connected to external information actually means that we 
are reinforcing the starting point to incorporate new knowledge. In other words, the development of habits to 
create new links in our MoL, organize and review them, can act as a seed for a subsequent learning, getting 
more advantage of the resources which have been already selected and indexed.  
 
In  this  paper  we  are  exploring  the  MoL  concept,  its  dimension  and  the  pedagogical  implications  of  its 
acknowledgement.  Do  students  identify  their  own  MoL?  Do  they  maintain  their  MoL  and  linked  resources? 
How many devices do they use? 

2. Background 
Indeed, it can be considered that the linked external information is an extension of our memory, as Vanebar 
Bush  seemed  to  point  in  his  conceptual  design  of  the  Memex  (Memory  Extended)  machine.  Memex  was 
planned for the user to store books, files… in the form of microfilms, which could later be retrieved with great 
speed  and  flexibility.  Memex  innovation  laid  in  the  fact  of  establishing  associations  between  information 
nodes: “This is the essential feature of the Memex.  The process of tying two items together is the important 
thing” (Bush, 1945). It was the beginning of the hypertext concept. The design of Memex was ready to create 
connections  among  information  entities  (he  called  them  “explicit  links”).  However,  Bush  did  not  consider 
whether these links were also established between the information and the memory of the individual. What 
amount of links did learners choose to remember and where did they annotate them? 
 
The  MoL  concept  may  also  resemble  to  “society  as  distributed  memory”  (Roberts,  1964)  or  to  “distributed 
cognition”  (Hutchins,  1995)  concepts.  Again,  they  are  quite  different  to  MoL.    In  the  first  one,  Roberts 
“characterized the cognitive properties of a society (its memory capacity and ability to manage and retrieve 
information)  by  looking  at  what  information  exists,  where  it  is  located,  and  how  it  can  move  in  a  society” 
(Hutchins,  2000,  p.2).  The  second  one,  “distributed  cognition”,  was  developed  by  Hutchins  and  has  roots  in 
other psychologists (Vygotsky, 1978; Minsky, 1985). It supports the idea that cognitive processes occurs within 
a social environment, e.g. interaction with other persons (Salomon, 1993).  
 
A combination of both concepts has been named more recently as connectivism (Siemens, 2004). It points out 
the changes brought by the information society. Connectivism is trying to gain a foothold among the learning 
theories. One of its statements is that maintaining and nurturing connections is needed to facilitate continual 
learning  and  that  the  “know‐where”  is  a  key  factor.  Downes  (2012,  p.325)  argues  that  “connectivism  is  the 
thesis that knowledge is distributed across a network of connections”. Connectivism does not emphasize the 
importance  for  the  individual  of  memorizing  the  links  (MoL),  neither  of  indexing,  organizing  and  reviewing 
them  for  the  future  learning.  The  MoL  is  a  consequence  derived  from  connectivism,  but  which  implies 
memorization by the individual. 

438
 
Javier Sarsa 

Connectivism  is  perhaps  a  derivation  of  previous  learning  theories  (close  to  Ausubel’s  anchorage  idea)  and 
which can  be explained  from  them.  Verhagen  (as cited in  Kop  and  Hill,  2008) considers  that connectivism  is 
unsubstantiated and not a learning theory but a pedagogical perspective. We stand out that this pedagogical 
advantage would have to be with the ability to organize information in our MoL to obtain a higher yield of the 
existing  information  in  Internet.  So,  a  part  of  our  brain  memory,  the  Memory  of  Links  (MoL),  is  used  for 
keeping track of the locations where our most precious assets reside. That is why the MoL must be considered 
an important psychological construct. 
 
The MoL receives nourishment when we memorize the locations where the information is and simultaneously 
we  learn  some  notions  about  such  information.  It  requires  the  permanent  existence  of  the  external 
information itself, which constitute the linked or extended memory. Therefore the linked or extended memory 
is composed of the real resources which potentially extend our cognitive schemes. These contents have been 
previously  found,  selected  and  stored  or  indexed  and  must  be  easy  to  locate  and  quickly  accessible. 
Meanwhile, the rest of information available on Internet is unknown for us (if we do not know the existence of 
certain information, it cannot be considered as belonging to our MoL neither to our extended memory). 
 
For  Gray  et  al (2006),  when we  try  to  measure  the  trends  to  choose  between  the  internal  memory  and  the 
information  stored  in  external  devices,  individuals  draw  upon  one  or  another  store  depending  on  the  time 
which  is  supposed  for  retrieving  the  information,  regardless  of  where  it  is.  That  is,  individuals  will  resort  to 
external  resources  if  they  think  the  seeking  process  is  quicker  than  to  obtain  them  from  their  memories. 
However, we  state that a more important factor to consider is if users  master the information or only have 
notions about it. The use of external resources is fundamental as long as individuals do not have knowledge or 
little  certainty  on  the  matter.  So,  the  factor  ‘mastery’  would  prevail  over  the  factor  ‘time’  until  a  sufficient 
competence would be reached. 
 
Furthermore, some recent studies claim that when apprentices have certainty that the information is available 
on some device (e.g. Web), they do not need to memorize it so much as if it was not stored. They remember 
the place where it is but not the information itself. The experiments conducted by Sparrow et al (2011) found 
that people are less likely to remember information when they are aware of its availability on online search 
engines. Indeed, Web pages have offloaded memory demands from our brain but they have created the new 
exigency  to  save  the  reference  to  the  location  of  the  information  in  our  memory.  That  is  why  we  must  pay 
additional attention to keep and organize the links and notions in our MoL. 
3. The ‘memory of links’ and ‘extended memory’ concepts 
As  it  is  mentioned  before,  the  MoL  is  the  place  of  our  biological  memory  used  to  store  the  location  of 
important information we like to have at our disposal and, as minimum, some notions about this information. 
Each  one  of  these  link‐notion  pairs  is  connected  to  our  external  selected  resources.  The  group  of  resources 
themselves, digital or not, constitute our linked or extended memory.  
 
The  links  in  the  MoL  may  be  strong  or  weak,  depending  on  the  degree  in  which  we  remember  where  the 
information is. A link would be weak when we have no certainty of the location of the resource or when we do 
not  know  if  it  still  exists.  Of  course,  our  MoL  can  forget  any  of  its  links.  A  typical  example  of  this  situation 
occurs when we do not remember anything at all about a document we kept a long time ago.  We do not even 
remember having saved it. But, one day, we find it by chance and recognize it. Then, we internally rebuild the 
link  and  it  becomes  part  of  our  MoL  again.  This  phenomenon  was  referred  by  Atkins  (2001)  as  ‘spreading 
activation’. It allows the strengthening of the links and, maybe, can help to recover other links also forgotten.  
Anderson  (1983)  claimed  that  the  first  contact  with  an  element  creates  a  trace  in  our  memory  with  the 
strength of one unit. Each subsequent contact would increase its strength, and according to the fortress, the 
likelihood and speed of information retrieval would increase. This strengthening process has been named as 
‘consolidation’ (Nelson and Gilbert, 2005). This finding is also used in distributed learning processes enhancing 
relational memory consolidation (Litman and Davachi, 2008). In the same way, the periodical review of links 
could serve to reinforce them. 
 
The  group  of  locations,  stored  in  our  biological  memory  (MoL)  can  lead  to  folders,  documents,  browser 
bookmarks/URL, social network profiles, contact’s comments, digital resources in desktop or mobile devices, 
and also notes in diaries, post‐it, lists, etc. A link in the MoL can point directly to a document (it would be a first 

439
 
Javier Sarsa 

level link; for example a PDF document about “solar energy” inside a pendrive) or to a set of resources (e.g. a 
folder containing bookmarks about “solar energy” in a browser; they would be second level links). At least two 
links are necessary to reach a resource in the second level. We would need to retrieve from our MoL the folder 
location and find the bookmark needed.  
 
On the other hand, we need to have some notion about the resources we are going to retrieve. The notions 
can be intense or vague, depending on the level of knowledge on the linked resources. The link will be also 
considered as weak whether the notions or rudiments we have about the external linked resource are null or 
when we have only vague notions about it.  
 
The ‘Memory of Links’ model has been illustrated in Figure 1. 

 
Figure 1: Conceptual representation of the MoL as a part of the brain biological memory and its connections 
with external information (linked or extended memory) 
Unlike what happens when the information is in the biological memory, in order to reach external information 
starting from the MoL three steps are needed: first, we have to remember that some time ago we stored a 
specific piece of information about a topic (this is the notion); second, we remember where it is stored (the 
link); and third, we need to access to it (in the extended memory, e.g., a pendrive, a URL…). On the contrary, to 
retrieve data from the biological memory only the last step is needed, i.e. to retrieve the information from the 
long‐term memory moving it to the working memory. Both situations have been rightly exposed in Otto and 
Inga case (Menary, 2010, p.10): “Otto has to remember that the relevant information is in his notebook before 
looking it up. Inga, by contrast, just remembers where the address is”.  
 
The linked information, which constitutes our linked or extended memory, is those targeted by the first level 
or  subsequent  level  links.  It  can  be  stored  anywhere,  like  in  hard  disks,  pendrives,  virtual  disks  (Dropbox, 
Google  Drive…),  phone  memory  cards,  mailboxes  (Hotmail,  Gmail…),  bookmarks  (in  different  browsers  and 
computers),  blog  entries,  printed  books  and  documents,  social  network  contacts,  the  memory  of  physical 
people, DVDs… or in several of these places at the same time.  
 
With so many resources, the MoL can become oversaturated early. The claim which says we only use a 10% of 
our brain capacity was revealed to be a myth (Beyerstein, 1999; Radford, 1999).  By contrast, the memory of 
an  adult  is  saturated.  An  adequate  organization  of  the  internal  links  (MoL)  and  extended  memory  (i.e.  the 
linked  information  itself)  make  easier  the  quick  location  and  recovery  of  knowledge,  enabling  greater 
efficiency  in  the  management  of  time.  The  periodic  review  of  links,  the  notions  and  the  verification  of  the 
existence of the information allow the strengthening of the associations (consolidation) and provide a starting 
point to reach a greater knowledge. 

4. Method and results 
A questionnaire was applied to university students (n=96) with an average age of 28 years.  They were studying 
a  degree  on  education.  Firstly,  the  questionnaire  had  been  successfully  applied  to  three  pilot  participants. 
After its application to the sample, the Cronbach’s alpha coefficient for the whole set of items and individuals 
was 0.78, which is considered enough. 
 

440
 
Javier Sarsa 

Through  a  set  of  items,  we  asked  them  questions  related  to  their  MoL  and  extended  memory.    The  main 
questions  intended  to  find  out  how  many  devices  they  were  using  to  store  their  information  and  how 
intensively. Before that, the students were stimulated to dump their MoL, or at least an approximation to it, 
writing it on a paper list. They also were encouraged to think what types of resources they usually stored or 
bookmarked and if they considered that those were an important part of their extended memory.  
 
As a result, the students acknowledged to use a large group of different storage devices. The bar height (Figure 
2) indicates the average number of locations in which students store their information. For example, each one 
was  using  2.2  pendrives/memory  cards  (mean=2.2;  mode  =  2).  This  is  the  most  common  device  and  all  the 
students said to use at least one of those. However, some students regularly used up to 6 pendrives/memory 
cards.  
 
Following  pendrives,  the  preferred  places  to  store  information  were  email  accounts  (mean=1.8;  mode=2). 
Social  network  accounts,  especially  Facebook  and  others,  were  in  the  third  place  (mean=1).  Mode  was  zero 
because many students did not have social profile whereas others had between 3 and 5 social profiles in which 
they stored information (sd=1.4). 
 
Next  positions  were  for  desktop  computers,  laptops,  lists  of  bookmarks  (the  item  asked  for  the  number  of 
browsers in which they had bookmarks), smartphones, paper diaries, external hard disks, personal virtual hard 
disk  (cloud  storage  spaces),  digital  spaces  shared  with  other  people  and,  finally,  other  devices  (e.g.  ebook 
readers).  

 
Figure 2: Average number of locations that the students were using as their extended memory (these locations 
contain the resources to which their MoL is pointing to). CD/DVD media were excluded because of 
the presence of many outlier data 
In total, the average number of locations used by the students was close to 10 (mean=9.5; sd=3.6). Therefore 
each student must, as a minimum, remember 10 locations where he or she has stored important information. 
Of course, within these locations, multitude of folders, mailboxes, pages, lists… may exist. These holders have 
also to be memorized in the MoL, as well as the notions about the specific documents. That means that the 
amount of digital objects to be remembered in their MoL is huge. 
 
The  survey  tried  also  to  determine  this  quantity.  We  admit  that  it  is  really  difficult  to  calculate  an 
approximation of the total number of resources (digital objects) of each type from the data gathered. The data 
provided by the participants were matched with the real ones for a small random sample of individuals (n=10). 
They  were  interviewed  and  it  was  decided  that  the  provided  data  were  not  accurate.  That  means  that  the 
students  provided  us  with  data  usually  eyeballed,  for  this  variable.  The  interviewed  students  brought  their 
laptops, pendrives and smartphones. They were asked about the number of files and folders in their devices as 
well as in their social profiles, browser bookmarks and folders in their email accounts. It was revealed that all 
of them did not were able to recall how many folders and files they had. Their answers were dozens or even 

441
 
Javier Sarsa 

hundreds  of  units  of  distance  from  their  questionnaire  answers.  During  the  in‐person  exploration  of  their 
stored resources some students were surprised to discover contents they had forgotten to have. In respect of 
text documents, several students declared to ignore the theme of a lot of documents. That reveals the lack of 
control on our MoL and the weakness of some links and notions. 
 
Despite these findings, the surveyed participants affirmed to have evidence of all or almost all contents they 
kept and a very or good enough organization of the information (77%). We can here check their over‐reliance 
on this matter.  
 
Some  questions  were  made  in  respect  of  organization,  centralization,  synchronization,  maintenance  and 
periodical review of resources.  
ƒ Organization: the most part of students (mean=92%) did not know about bookmarking sites like Delicious 
or  Diigo.  A  94%  did  not  use  information  organizers  (like  Evernote  or  OneNote)  neither  passwords 
organizers  (like  LastPass).  Therefore,  their  habits  to  keep  their  external  information  organized  were 
reduced to maintain a files and folders structure shared out among different devices.  
ƒ Centralization:  Students  did  not  have  their  information  centralized.  They  used  an  average  number  of 
locations close to 10. In spite of this, almost 88% of students did not have a list of these places; they relied 
on their internal MoL to remember where the information was. 
ƒ Synchronization:  Only  a  2%  is  using  applications  to  synchronize  their  resources  among  different 
repositories  and  devices.  They  maintain  structures  of  files  repeated  in  different  devices  but  these 
structures do not necessarily coincide in versions or number of files. 
ƒ Maintenance: They do not protect conveniently their extended memory, since they said to have backups 
of only a few things. A scant 10% of students claimed to have backups of everything and 33% of almost 
everything 
ƒ Periodical review: Only a 45% said to resort to the stored information frequently, which means many of 
them (55%) usually “store and leave behind”. And only a 10% reveal to dedicate some time periodically to 
sort their resources. This reviewing task is important in order to strength the notions over the information 
(when the mastery is reached it is supposed the user does not need the link so often).  
When  they  were  asked  to  identify  how  much  intensive  the  relation  between  ‘storage  devices’  and  ‘type  of 
resource’  was,  they  evidenced  a  strong  association  between  smartphones  and  personal  data,  and  between 
folders  in  desktop  or  laptop  computers,  and  photos,  music  and  videos.  Text  documents  were  stored  in 
computer folders, pendrives and email accounts. Figure 3 shows the complete data, without distinction among 
documents used to learn and those for leisure. 

 
Figure 3: Intensity of relations between ‘storage locations’ and ‘type of resources’ 

442
 
Javier Sarsa 

5. Discussion 
The study reveals that the digital locations used by the individuals are diverse and their organizational habits 
poor. But, how much importance should be given to the development of organizational habits? The way we 
organize  our  extended  memory  could  influence  how  good  and  quickly  we  learn.  The  reason  is  that  the 
extended memory, together with the brain memory, constitute a single meaningful unity. We resort to one or 
other  of  these  memories  indistinctly.  The  management  of  the  associations  between  our  inner  MoL  and  the 
external locations and resources is essential. It requires self‐discipline and a constant reviewing and screening 
of these associations. However, it seems that the individuals do not explicitly acknowledge the importance of 
such extended memory. 
 
That justifies the need of organization, but there is no software able to organize everything. For the external 
resources,  the  introduction  of  a  systematic  mechanism  to  sort  them  into  categories  would  be  enough.  But 
usually  they  remain  scattered.  The  synchronization  among  the  places  where  the  resources  are  stored 
(browsers,  tablets,  smartphones,  notebooks,  people’s  mind,  etc.)  is  complex.  Some  of  them  are  network‐
connected but others are isolated. In respect of centralization, the significance that some tools have acquired 
(Delicious,  Google  Bookmarks,  Diigo  for  bookmarks  or  OpenID,  LastPass…  for  passwords)  reveal  the  need  to 
freeze  our  memory  overload.  They  allow  saving  URL,  making  categories,  annotations,  sharing  bookmarks, 
archiving the information (so avoiding volatility problems), etc. In recent years it has also emerged a bunch of 
software  to  synchronize  folders,  calendars,  email  accounts,  contacts,  etc.,  especially  with  mobile  devices. 
Note‐taking has become easier with the use of tools like Microsoft OneNote, Evernote, Catch Notes and others, 
which represent a great advance. But again, even though these tools are very helpful, they definitively are not 
a  panacea.  The  problem  is  far  to  be  solved  because  applications  do  not  have  the  ability  to  synchronize  all 
devices and types of information. 
 
In order to properly manage and keep fit our MoL, some recommendations have been identified: 
ƒ The  creation  of  indexes  or  categories.  Being  organized  is  a  matter  of  creating  effective  systems  for 
routinely  handling  different  types  of  information  and  everyday  situations  that  require  memory  (Nelson 
and Gilbert, 2005).  
ƒ The offloading or copy of the MoL to a list (list of locations). It can freeze brain memory space. So, the list 
location  will  be  the  only  place  to  remember,  if  needed.  Centralization  software  is  really  useful  for 
offloading the MoL. 
ƒ The frequent review of the MoL to strength the links and improve the notions we have about the linked 
resources. Maybe some links are not lost but its strength may wane (Anderson, 1983). Repetition helps to 
encode information by forcing you to pay attention to it (Nelson and Gilbert, 2005).  
ƒ The MoL updating. Thus, discarding from our MoL associations which are already broken or useless. This 
can be particularly complicated when links are very strong. Sometimes the MoL links are still there but the 
external resource in the extended memory is already disappeared. 
ƒ The MoL growth, fostering the inclusion of new topics, with the aim of extending our learning horizon. 
6. In conclusion 
In  this  document,  we  are  admitting  the  existence  of  an  internal  Memory  of  Links  (MoL)  composed  of  a 
collection of links and notions about the linked information. These links lead to external resources which are 
frequently saved on ICT devices. These resources constitute our linked or extended memory.  
 
The creation and maintenance of links and notions (MoL) is an essential starting point for the generation of 
new learning, considering the knowledge society we move in. This would nowadays mean that, in case of the 
inexistence of such MoL (or of an empty MoL), the scope and pace of learning would be limited. But, on the 
contrary, an increasing MoL can lead to new inquiry and inquisitiveness. 
 
From  our  questionnaire  it  has  been  extracted  the  conclusion  by  which  the  MoL,  in  the  analysed  group  of 
students,  is  composed  of  links  to  any  kind  of  resources,  distributed  in  a  group  up  to  10  devices  or  sites.  It 
seems  that  the  students  have  strong  links  related  to  those  contents  which  have  an  immediate  and  explicit 
usefulness for their youth interests (photos, music and videos) and to text documents which are in the range 
of their current studies. It is difficul to know the exact quantity of resources indexed by their MoL. 

443
 
Javier Sarsa 

Statistics reflect the confidence that respondents have in their MoL (locations and notions). But there is a lack 
of organization protocols, for example using lists, and an absence of a systematic process to make backups of 
the  resources.  We  stress  that  teachers  have  the  responsibility  to  recommend  their  students  to  keep  their 
extended memory resources ordered, locatable and updated. 
 
As future directions we would like to stress the need that students become aware of the importance of their 
MoL and its maintenance. We stress that one of the main tasks for the instructors should be the discovery of 
new digital contents and repositories of resources for their students. And we pose one question to be clarified 
in the future, is it the incorporation of new links to the MoL itself a way of learning? 

References  
Anderson, J. R. (1983) “A spreading activation theory of memory”, Journal of Verbal Learning and Verbal Behavior, No. 22, 
pp 261–295.  
Ash, J. (1998) Managing knowledge gives power, Communication World, Vol 15, No.3, pp 23–26. 
Atkins, P. (2001) “What happens when we relearn part of what we previously knew? Predictions and constraints for models 
of long‐term memory”, Psychological Research, Vol 65, No. 3, pp 202–215. 
Beyerstein, B. (1999) Mind‐Myths: Exploring Everyday Mysteries of the Mind and Brain, John Wiley and Sons, New York.  
Bush, V. (1945) “As we may think. Atlantic Monthly”, reprinted in Bush, V. (1966) Interactions, Vol 3, No.2, pp 35–46.  
Carr, N. (2008) “Is Google making us stupid?”, [online], The Atlantic, 1 July,  
www.theatlantic.com/magazine/archive/2008/07/is‐google‐making‐us‐stupid/306868/ 
Downes, S. (2012) Connectivism and Connective Knowledge, National Research Council Canada, Ottawa, [online], 
www.downes.ca/files/Connective_Knowledge‐19May2012.pdf 
Gray, W., Sims, C., Fu, W. and Schoelles, M. (2006) “The Soft Constraints Hypothesis: A Rational Analysis Approach to 
Resource Allocation for Interactive Behavior”, Psychological Review, Vol 113, No.3, pp 461–482. 
Hutchins, E. (1995) Cognition in the Wild, MIT Press, Cambrige, MA. 
Hutchins, E. (2001) Distributed Cognition, International Encyclopedia of the Social & Behavioral Sciences, University of 
California, San Diego, CA. 
Kop, R. and Hill, A. (2008) “Connectivism: Learning theory of the future or vestige of the past?”, The international Review of 
Reseach in Open and Distance Learning, Vol 9, No.3, pp 1–13. 
Litman, L. and Davachi, L. (2008) “Distributed learning enhances relational memory consolidation”, Learn Mem., No. 15, pp 
711–716. 
Menary, R. (2010) The extended mind, MIT Press, Cambridge, MA.  
Nelson, A. and Gilbert, S. (2005) The Harvard Medical School guide to achieving optimal memory, McGraw Hill, New York. 
Minsky, M. (1985) Society of Mind, Simon & Schuster Paperbacks, New York, NY. 
Radford, B. (1999) “The ten‐percent myth”, Skeptical Inquirer, Vol 23, No.2, [online], The Committee for Skeptical Inquiry, 
www.csicop.org/si/9903/ten‐percent‐myth.html 
Roberts, J. (1964) “The self‐management of cultures”, in Goog‐enough, V. (ed.) Explorations in cultural anthropology, 
McGraw‐Hill.  
Salomon, G. (1993) Distributed cognitions: Psychological and educational considerations, Cambridge University Press, 
Cambridge & New York. 
Siemens, G. (2004) “A learning theory for the digital age”, [online], elearnspace, 
www.elearnspace.org/Articles/connectivism.htm 
Sparrow, B. (2011) “Study Finds That Memory Works Differently in the Age of Google”, 14 July, [online],  Columbia 
University, news.columbia.edu/googlememory 
Sparrow, B., Liu, M. and Wegner, D. (2011) “Google Effects on Memory: Cognitive Consequences of Having Information at 
Our Fingertips”, Science, Vol 333, No.6043, pp 776–778. 
Vygostky, L.S. (1978) Mind in society. The development of higher psychological processes, Harvard University Press, 
Cambridge, MA. 

444
Understanding and Utilizing the Effectiveness of e‐Learning: A 
Literature Study on the Definitions, Methodologies, and Promoting 
Factors of e‐Learning Effectiveness 
Signe Schack Noesgaard1, 2 and Rikke Ørngreen2 
1
The Universe Foundation, Sønderborg, Denmark 
2
ResearchLAB: IT and Learning Design, Dep. of Learning and Philosophy, Aalborg 
University, Copenhagen, Denmark 
ssn@learning.aau.dk 
rior@learning.aau.dk 
 
Abstract:  A  structured  search  of  librarian  databases  revealed  that  the  research  into  the  effectiveness  of  e‐Learning  has 
heavily increased within the last 5 years. Taking a closer look at the search results, the authors discovered that researchers 
define  and  investigate  effectiveness  in  multiple  ways.  At  the  same  time,  learning  and  development  professionals  within 
public  and  private  organizations  are  increasingly  met  with  a  demand  to  prove  the  effectiveness  of  their  learning  and 
development initiatives. This paper investigates the concepts of effectiveness in e‐Learning. It broadens the definition of 
effectiveness  and  qualifies  certain  measurements  of  same.  Preliminary  results  from  a  literature  study  and  an  empirical 
investigation  of  ‘the  effectiveness  of  e‐Learning’  for  science  teachers  (K12)  are  combined.  The  paper  discusses  the 
following  research  questions:  How  is  the  effectiveness  of  e‐Learning  defined?  How  is  the  effectiveness  of  e‐Learning 
measured?  What  makes  e‐Learning  solutions  effective?  The  literature  study  entailed  a  structured  search  of  literature, 
which left the authors with 761 relevant abstracts from journal articles. The sorting criteria were that the articles’ topics 
were on the effectiveness of e‐Learning within adult learning contexts, and that the articles were based on an empirical 
study. The selected abstracts are currently being coded and analyzed in detail. Although this literature study is still a work 
in  progress,  the  authors  have  already  discovered  19  distinct  ways  to  define  effectiveness.  The  findings  indicate  that 
effectiveness  is defined  as  ‘learning  outcome’  in  41  %  of  the  articles.  Moreover,  the  most  common  way  to  measure  the 
effectiveness is clearly through quantitative methods and a pretest/posttest‐setup is most commonly used. An empirical 
study of an e‐Learning solution for science teachers (K12) brings valuable elements into the discussion of the findings of 
the literature study. The empirical study suggests that it is difficult to turn e‐Learning into improved teaching performance, 
as  the  participating  teachers  for  instance  apply  several  strategies  to  avoid  substantial  changes  to  their  work  practice. 
Furthermore, the study shows that solely measuring on the fulfilment of pre‐defined learning objectives as effectiveness 
parameters, disallows developers and researchers to see unexpected and unintended transfer to practice based on the e‐
Learning program. Finally, the research brings valuable input to the discussion of the validity of self‐assessments suggesting 
that participants are able to report on their own practices provided certain qualitative survey approaches. Understanding 
the many ways to define effectiveness can help learning and development professionals reflect on their practices and thus 
better target their measuring efforts to counting what counts for them and their stakeholders.  
 
Keywords: effectiveness, e‐Learning, adult learning, literature study, definition, measurement 

1. Introduction 
The  research  into  the  effectiveness  of  e‐Learning  has  increased  heavily  within  recent  years.  This  is  due  to 
primarily  the  growth  in  technological  possibilities  for  IT  and  learning,  as  well  as  an  increased  political  and 
organizational attention to “what works” in learning. Figure 1a, reflects the total of 761 papers in our search, 
and Figure 1b reflects 111 intensively coded abstracts (details in the methodology section below). The number 
of  papers  decreases  in  the  year  2013,  because  the  structured  search  took  place  beginning  October  2013. 
Consequently, not all papers published in 2013 are included.  
 
In  the  following  analysis,  the  authors  investigate  the  effectiveness  definitions  and  measures  applied  by 
researchers.  This  paper  is  structured  around  the  three  research  questions:  How  is  the  effectiveness  of  e‐
Learning  defined?  How  is  the  effectiveness  of  e‐Learning  measured?  What  makes  e‐Learning  solutions 
effective?  Hence,  the  aim  of  this  literature  study  is  to  create  a  structure  of  the  research  within  the  field  to 
understand the characteristics, tendencies, and connections between the applied concepts. 

445
 
Signe Schack Noesgaard and Rikke Ørngreen 

 
Figure 1a: Number of published papers per year 

 
Figure 1b: Number of published papers with abstracts coded per year 

1.1 The literature study ‐ methodology 
When searching for systematic reviews and meta‐studies on the effectiveness of e‐Learning several are found 
within  health  care  and  language  learning.  These  reviews  do,  however,  primarily  include  quantitative  studies 
based  on  certain  criteria,  such  as  sample  size  (Veneri,  2011),  transparency  in  statistical  numbers  provided 
(Grgurovic, Chapelle, & Shelley, 2013; Means, Toyama, Murphy, & Baki, 2013), or homogeneity of respondent 
and predefined outcome measures (Rosenberg, Grad, & Matear, 2003). Only one meta‐review related to the 
literature  study  of  this  paper  was  found.  This  included  both  qualitative  and  quantitative  studies  in  an 
integrative  review  evaluating  student  outcome  of  distance  learning  in  the  nursing  education  literature 
(Patterson, Krouse, & Roy, 2012).  
 
The quantitative meta‐reviews found aim to document the effectiveness of e‐Learning, i.e. consolidating the 
data  of  a  number  of  quantitative  studies  to  understand  if  e‐Learning  is  effective.  The  mixed  method  meta‐
review mentioned above, describes the state of the research, explains how the studies evaluate different types 
of  outcomes,  and  discusses  different  aspects  of  learning  effectiveness.  This  is  somewhat  similar  to  the 
intention  of  the  present  paper,  which  also  applies  a  mixed  method  methodology.  However,  in  here  a  much 
larger amount of research articles is brought into play due to broader selection criteria. Hence, this paper is 
not  concerned  with  re‐investigating  how  effective  e‐Learning  is,  but  with  understanding  definitions, 
measurements, and promoting factors of e‐Learning effectiveness.  
 
The  authors  conducted  conventional  subject  searches  in  30  academic  databases  (In  J‐stor,  Scopus  and 
Proquest (28 databases)) on the effectiveness of e‐Learning in adult contexts as per below (Table 1). All fields 
of research were included in the searches as e‐Learning can be created to support any subject and may thus 
appear  within  any  of  these.  The  searches  only  included  articles  in  English  and  where  possible  only  peer‐
reviewed journals were included. Please note that the chosen synonyms for ‘effectiveness’ include ‘transfer’ 
and ‘application’. This may have placed extra emphasis on finding articles defining effectiveness as such. 
 
The searches initially revealed close to 1000 articles. A rough sorting of articles, which excluded articles clearly 
irrelevant to the subject brought down the number to 761. If the paper contained an empirical study on the 
effectiveness  of  e‐Learning,  and  the  e‐Learning  solution  under  investigation  was  targeted  at  working 
professionals or students within professional or higher education, then the abstracts were carefully coded and 
analyzed in great detail (using Nvivo 10). When doubts about relevance or coding of the abstracts surfaced, the 
two authors discussed the specific abstract, decided on the best coding, and documented the learning from 
the discussion in a shared document. 
 
 
 
 

446
 
Signe Schack Noesgaard and Rikke Ørngreen 

Table 1: Applied search string 
effect* OR transfer* OR applica* OR impact OR outcome*(search title) 
AND 
“e‐Learning” OR e‐Learning OR online OR web‐based OR “web based” OR technolog* OR WBT OR WBL OR 
blended OR Internet OR Distance OR CBT OR CBL OR distance OR Computer OR mobile OR simulation* OR “social 
media” OR “community of practice” OR game* OR gamification* (search title) 
AND 
learning OR training OR education OR development OR “competence development” (search title) 
AND 
adult OR “competence development” OR lifelong OR profession* OR employe* OR worker* OR “further 
education” OR master OR business* (search abstract) 
NOT Children OR Child OR kids OR Youth OR “Technology transfer”(search anywhere) 
Before the coding began, a rough coding scheme was created based on the research questions, which entailed 
parent  codes  (named  ‘nodes’  in  NVivo)  like  ‘definition  of  effectiveness’,  ‘research  question’,  ‘research 
methodology’,  ‘subject  area’,  ‘audience’,  ‘theories  applied’,  ‘technology  applied’,  ‘  key  findings’  etc.  The 
detailed  coding  tree  was,  however,  created  through  in‐Vivo‐coding,  a  grounded  approach,  where  codes  are 
added as the analyses reveals relevant factors and by applying the original statement of the source as code 
name  (Harry, Sturges  and Kingner  2005).  In  addition, new  sub‐nodes are  continuously  being  created  as new 
definitions, new findings of effectiveness factors, new technologies etc. appear in the abstracts.  
 
Currently 224 abstracts have been carefully read, and 111 of these papers lived up to above criteria and have 
been  coded  in  detail  using  the  above  mentioned  method.  These  abstracts  have  been  chosen  randomly,  and 
not alphabetically to avoid cultural influence due to local spelling of surnames. 
The below results are based on the coding of the 111 abstracts. 

1.2 The empirical study – bringing context into the literature study 
The research question of the empirical study is if, how, and why an e‐Learning program for science teachers in 
the Danish elementary schools (K12) works in practice. Thus, the empirical study lives up to the criteria of the 
literature study as it focuses on the effectiveness of e‐Learning for working professionals. This empirical study 
is brought to play as it exemplifies some of the challenges highlighted by the literature study. 
 
The solution and the learning design is a competence development initiative on the natural science teaching 
methods.  In  this  project,  effectiveness  is  understood  as  the  transfer  of  learning,  which  positively  impacts 
teaching  practices.  The  e‐Learning  solution  was  investigated  intensively  from  February  to  June  2014  with  7 
teachers at three Danish elementary schools.  
 
The  data  gathering  method  entailed  extensive  in‐class  video‐recordings  and  observations.  The  researcher 
recorded  the  teaching  and  used  a  mobile  ethnographic  approach,  i.e.  the  teachers  had  a  small  camcorder 
attached to their neck, which enabled the researcher to view the teaching from the teachers’ perspective. This 
data consists of approx. 120 hours of in‐class video recordings and 100 pages of observation notes. Secondly, 
the researcher had reflection‐sessions at the three schools with 2‐3 teachers at a time before and after the e‐
Learning. These sessions were inspired by the mind tape/retrospective interview methodologies (as in Kumar, 
Yammiyavar, Nielsen 2007). Thirdly, the teachers’ interaction with the e‐Learning including their preparation 
for  classes  was  recorded  through  Camtasia;  a  software  that  allows  for  both  recoding  the  screen,  mouse 
movements, and a picture‐in‐picture setting of the user. Here the think‐aloud approach was applied (Nielsen, 
Clemmensen  &  Yssing  2002).  This  data  consist  of  approx.  25  hours  of  video  recordings  and  40  pages  of 
observation of teacher interaction with the e‐Learning. Finally, the teachers responded to a satisfaction survey 
immediately following the conclusion of the e‐Learning as well as a pre‐survey shortly before initiating the e‐
Learning and a post‐survey approx. one month after completion of the e‐Learning. The latter will be repeated 
6 mounts after completion. This final data consist of 28 responses to the surveys of approx. 20 questions each.  
 
The  approach  to  gathering  empirical  data  was  specifically  designed  to  capture  some  of  the  complexity, 
possibilities, challenges, and actual realizations of impact on teaching practices – expected and unexpected. In 
the following the preliminary results of the empirical study is included when they provide valuable input to the 
research questions of this paper.   
 

 
 
447
 
Signe Schack Noesgaard and Rikke Ørngreen 

2. How is the effectiveness of e‐learning defined?  
In the literature study approx. one third of the abstracts are currently coded; still, as many as 19 different ways 
to  define  effectiveness  has  been  located.  These  are  listed  below  in  chronological  order  with  the  definition 
most used at the top. Table 2 refers to 92 papers of the 111 currently coded. The remaining abstracts did not 
state the target audience and are therefore not included in this table.  
 
The  individual numbers  under  the  19 definitions  amount to  170  and  not  92  papers.  This  is  because a  set  of 
definitions is often used to investigate the effectiveness of an e‐Learning solution, for example several papers 
use both ‘learning outcome’ and ‘satisfaction’ as part of their effectiveness definition (fx. Harrington & Walker, 
2009; Jung, Choi, Lim, & Leem, 2002; Maloney et al., 2011). The numbers of this list is continuously changing as 
the  study  proceeds,  though  the  clearest  tendencies  is  expected  to  stay  relatively  stable,  as  these  have  not 
changed significantly in the latest abstracts reviewed.  
Table 2: Definitions of effectiveness divided by adult learning context  
Work related 
Total 
  Higher education  learning 
Number of papers:  52  40  92 
Distribution of papers:       
Learning outcome  29  9  38 
Transfer (application to practice)  3  15  18 
Perceived learning, skills, or competency  11  6  17 
Attitude  8  3  11 
Satisfaction  8  3  11 
Skills acquired  5  5  10 
Usage of product  4  5  9 
Learning retention  4  4  9 
Completion  0  5  5 
Motivation and engagement  3  2  5 
Organizational results  0  5  5 
Application to simulated work practice  0  4  4 
Self‐efficacy  0  4  4 
Confidence  1  2  3 
Cost‐effectiveness  1  2  3 
Connectedness  1  1  2 
Few errors  2  0  2 
Raised Awareness  0  2  2 
Success of (former) participants  1  0  1 
       
Undefined effectiveness  10  2  12 
57 % (52/92) of the papers are within higher education. Within this field, the most prominent definition of e‐
Learning effectiveness is clearly ‘learning outcome’ with 56% (29/52) of these papers applying this definition. 
Within work related learning the most used definition is ‘Transfer (application to practice)’ with 38% (15/40) of 
the papers within the field applying this definition. 
 
‘Learning outcome’ refers to participants showing signs of new understanding stemming from the e‐Learning 
initiative. ‘Learning outcome’ is of course a broad definition, but often in the abstracts of higher education, the 
definition is clarified in terms of measurements, for example: “Student learning measurements included: pre‐
test, final examination (post‐test), and final letter grade.” (Boghikian‐Whitby, & Mortagy 2008). 
 
Within  the  field  of  work‐related  learning,  the  actual  application  of  learning  or  performance  of  employees  is 
essential. For example in a study on teachers' technology competencies, it was not ‘knowing about’, but the 
actual “integration of computer activities with appropriate inquiry‐based pedagogy in the science classroom” 
that constituted effectiveness (Angeli 2005).  
 
It  is,  however,  interesting  that  ‘Transfer  (application  in  practice)’  is  sometimes  evaluated  through  the 
participants’  self‐assessments:  “Outcomes  were  measured  across  levels  1  to  3  of  Kirkpatricks  hierarchy  of 
educational outcomes, including attendance, adherence, satisfaction, knowledge, and self‐reported change in 

448
 
Signe Schack Noesgaard and Rikke Ørngreen 

practice” (Maloney et al 2011) and “A follow‐up questionnaire showed that two‐thirds of those who viewed the 
program  had  subsequently  reviewed  the  performance  data  for  the  initial  wire  they  were  using  and  20%  had 
changed it.” (Marsh et al 2001). This brings into light the discussion of whether or not it is possible for learners 
to  assess  own  transfer,  i.e.  if  people  say  what  they  do,  or  if  researchers,  managers,  peers,  or  learning 
professionals also have to observe what is actually done.  
 
On the other hand, since much attention in the learning literature is given to engagement and motivation as 
necessary  factors  for  knowledge  gain  and  learning  transfer,  it  is  surprising  that  only  5  papers  include  these 
aspects in their research (Table 2).  
 
Some papers investigate the interrelatedness of more aspects of effectiveness, such as the relation between 
learning outcome/retention and behavior. As an example, Hagen et al. (2011) found that “…the effects of the 
intervention on security awareness and behavior partly remains more than half a year after the intervention, 
but  that  the  detailed  knowledge  on  information  security  issues  diminished  during  the  period.”  Such  a  study 
challenges the idea that behavior change can be measured through learning retention. 
  
Table 2 also shows that the abstracts within higher education operate with few definitions besides ‘learning 
outcome’ while the papers within work related learning to a larger extent apply the great variety of definitions. 
This  could  be  because  universities  work  with  performance  requirements  that  primarily  revolve  around 
examination  grades  and  completion  rates,  leading  to  measures  of  effectiveness  as  cognitive  knowledge 
indicators. In a work‐related setting, effective learning entails a broader repertoire, including aspects that are 
not bound to the individual or a project group such as application to work context, organizational results, cost‐
effectiveness etc.  
 
In addition, it became clear in our analyses, that many abstracts and some papers do not state how they define 
effectiveness. 13 % (12/92) of the abstracts leave effectiveness completely undefined. 

2.1 Why is this important? 
The  many  ways  to  understand  the  effectiveness  of  e‐Learning  has  benefits:  it  means  that  professionals  and 
researchers have substantial flexibility in their work to define, measure, and claim effectiveness of e‐Learning 
solutions.  The  broadness  of  the  concept  does,  however,  also  bring  challenges.  Effectiveness  bears  different 
meaning to different people ‐ still effectiveness is often left undefined even by researchers. This may lead to 
misunderstandings, and the definitions of effectiveness bringing most value to participants and stakeholders 
may  not  be  applied.  Hence,  illuminating  the  many  ways  to  define  effectiveness  can  spark  reflection  and 
inspiration  on  utilizing  the  concept  of  effectiveness  most  appropriately  for  one’s  purpose.  Thus,  it  enables 
learning professionals to better align expectations and target their measuring efforts to counting what counts 
for them and their stakeholders. 

3. How is the effectiveness of e‐learning measured?  
The above section broadens the understanding of the definitions applied within research into the effectiveness 
of e‐Learning. But how are these definitions then investigated in the various studies? How do the researchers 
measure  effectiveness  and  which  consequences  does  this  have?  Of  the  111  abstracts  coded  in  detail,  63 
abstracts identify their research design.  
Table 3: Research study methods 
  Mixed  Qualitative  Quantitative 
All abstracts coded with…  9  5  37 
Comparative studies applying…  0  1  18 
In table 3 the first row depicts the distribution of research studies coded as mixed, qualitative and quantitative 
studies. In addition, 30 comparative studies were found. 11 of these do not describe in the abstract if they are 
conducting qualitative, quantitative, or mixed methods research. The rest allocate their research as shown in 
the second row. Consequently, nearly 73 % (37/51) of these studies are quantitative. Almost half of these are 
comparative studies, which compare e‐Learning with traditional face‐to‐face and/or blended learning. The vast 
amount of comparative quantitative studies may be due to the steady interest of policy makers in this research 
(Grgurovic et al., 2013). 
 

 
 
449
 
Signe Schack Noesgaard and Rikke Ørngreen 

The  literature  study  reveals  that  the  most  common  way  to  measure  effectiveness  is  through  a  quantitative 
pretest/posttest‐setup. To come to an understanding of which effectiveness definitions are most used in which 
kind of studies, the effectiveness code was correlated with the research methods applied. Such a correlation 
shows that ‘learning outcome’ is used more frequently in the quantitative studies (18 papers) than those who 
are qualitative (2 papers) and mixed studies (1 paper). Of course there are in total more quantitative studies 
identified  than  there  are  qualitative,  but  the  quantitative  studies  use  of  ‘learning  outcome’  is  significantly 
higher than this factor.  
 
This  literature  study  reveals  that  the  quantitative  studies  apply  a  broader  number  of  the  19  effectiveness 
definitions. Qualitative studies could be assumed to have a rich repertoire of effectiveness definitions, but this 
is not the case. Instead, the qualitative studies tend to use only one and sometimes two of the 19 definitions. 
This could be because qualitative and mixed methods studies aim to go into depth with a single concept and 
the intentions are often to understand the why’s of such a concept. This requires a lot of time and resources to 
investigate,  meaning  one  or  two  concepts  may  be  chosen  for  the  effectiveness  definitions,  whereas 
quantitative research definitions are chosen as set of variables constituting effectiveness. 
 
The reason for the distribution of research methods in this literature study could be due to both a publication 
and policy bias. Writing rich descriptions of the ‘why’s’ in qualitative research does require more space than 
reporting on means and standard deviations. Very few journals allow for such prolonged papers. Not only do 
the journal policies require authors to adhere to a maximum word‐count, but quantitative papers also tend to 
be  in  higher  demand,  in  reference  to  what  Grgurovic  (2013)  names  a  ‘publication  bias’,  i.e.  the  tendency  to 
publish only studies with statistically significant findings. 

3.1 Why is this important? 
As stated, most research into the effectiveness of e‐Learning focuses on measuring if and/or which e‐Learning 
solutions  are  effective  using  quantitative  measures.  In  the  empirical  study  of  the  e‐Learning  program  for 
science  teachers  the  goal  was  to  understand  the  complex  structures  when  attempting  to  change  teaching 
practice by use of e‐Learning. The solution has an on‐the‐job learning approach, including in‐class practice, and 
a  facilitated  team‐based  competence  development  setup.  Still  the  empirical  study  shows  that  great effort  is 
needed to turn e‐Learning into improved teaching performance. 
 
The  qualitative  analysis  of  the  teachers’  interaction  with  the  e‐Learning  (Camtasia  recordings)  shows  three 
prevailing strategies, which the teachers use to avoid substantial changes to their work practice:  
ƒ  ‘Find statements to reject content’ means that the teachers seemed to be searching for single elements in 
the e‐Learning solution, which they could use to prove it was unrealistic to teach in the suggested ways, 
considering their specific work context. Some even stated that they preferred the ways of the e‐Learning 
solution, but their context would not allow for it.  
ƒ ‘Modify  content  to  make  change  less  demanding’  refers  to  the  teachers  consciously  or  unconsciously 
modifying the content so it either became the same as their current practice allowing to state that they 
are  already  teaching  this  way  or  changing  the  content  so  it  became  easily  applicable.  Bransford  and 
Schwartz  (1999)  made  the  related  discovery  that  people  often  change  the  transfer  situation  until  it 
becomes similar to something they know (Lobato, 2006). 
ƒ ‘Pinpoint content easily implemented’, which meant that the teachers found the elements of the content, 
which they could easily apply to their teaching without changing it fundamentally. 
In  the  quantitative  and  qualitative  surveys,  the  teachers  were  asked  to  evaluate  their  application  of  the 
program’s learning content in the very lessons in which the class‐room observations took place. This enabled 
the  researcher  to  compare  the  self‐assessments  of  transfer  and  transfer  related  concepts  (motivation, 
knowledge,  and  self‐efficacy)  with  the  observation  material.  This  led  to  the  conclusion  that  all  teachers 
following the program have made noticeable changes in their teaching practice, however, largely by using the 
third strategy mentioned above.  
 
This research design (see 1.3) also enabled the researcher to capture unintended and unexpected transfer. As 
an example, one teacher became so fond of her new way of posing questions to the pupils that she now uses 
the method when she teaches history as well. On the other hand, her co‐worker became insecure to an extent 

450
 
Signe Schack Noesgaard and Rikke Ørngreen 

which negatively affected her teaching. Research into learning transfer shows that the classical notion of one‐
to‐one transfer from learning to practice must be challenged (see Lobato, 2006). A challenge when evaluating 
effectiveness is that unexpected transfer, which can have both positive and negative impact on performance, 
may  not  be  analyzed,  if  only  known  and  a  priori  concepts  are  investigated.  Thus,  if  only  quantitative  survey 
data  was  gathered,  a  partly  misleading  picture  of  the  transfer  of  learning  would  have  been  drawn  in  the 
empirical study.  
 
In addition, the teachers generally overestimated themselves in both pre and post‐test. However, by including 
the  qualitative  elements  of  the  survey  (e.g.  teachers  describe  what  they  did  in  the  lessons  with  their  own 
words),  most discrepancies between  self‐assessment  and  observation were  clarified and  responses  could  be 
accepted or corrected accordingly.  
 
A  concern  is  thus  the  amount  of  pure  quantitative  research  in  the  literature  study.  Results  solely  relying  on 
rating scales and multiple choice tests can easily become misleading. Openness to participants’ own unframed 
understanding even if solely part of a survey format, can potentially give more valid and usable answers on the 
effectiveness  of  e‐Learning  whether  it  is  defined  as  learning  transfer,  learning  outcome,  satisfaction,  or  any 
other definition calling for surveys.  

4. What makes e‐learning solutions effective?  
As part of the coding process, all abstracts were provided with codes on whether the e‐Learning was effective, 
not effective, or partly effective, provided this was stated or indicated in the abstracts, which was the case for 
61 of the 111 abstract. Table 4 shows the distribution.   
Table 4: Is e‐Learning effective or not?  
Effective  41 
Not effective  6 
Partly effective  14 
Knowing  the  challenges  of  e‐Learning,  the  fact  that  only  10%  (6/61)  of  the  studies  are  classified  as  ‘Not 
effective brought the validity of the classifications into question. Taking a closer look at the abstracts it became 
clear  that  a  large  amount  of  the  empirical  effectiveness  studies  were  conducted  by  researchers  which 
appeared to have a stake in the success of the e‐Learning solution. This issue of ‘effectiveness bias’ means that 
the  literature  study  at  this  point  does  not  support  the  investigation  into  which  e‐Learning  solutions  are 
particular  effective.  Perhaps  future  analysis  of  the  papers  in  questions  can  unfold  this  question.  What  the 
study can explore is instead the factors that influence e‐learning effectiveness. 
     
A  qualitative  view  on  the  factors,  which  the  researchers  state  as  promoting  or  prohibiting  e‐Learning 
effectiveness across the spectra of definitions, methodologies, and e‐Learning media, provides valuable input 
to  e‐Learning  design  and  research.  Through  in‐Vivo‐coding,  34  factors  were  found.  Subsequently,  a 
condensation took place in which the 34 factors were divided into the three categories: Individual (subject), 
Contextual scaffolding (context + object), and e‐Learning solution and process (artifact). These categories are 
inspired by the concepts of activity theory, as they relate to learning and transfer of learning (such as in the 
thinking of Engestrôm, Leont’ev, Vygotsky and Orlikowsky). The categorization of the factors is a simplification 
of these theories, which nevertheless show an interesting distribution of the factors (Table 5). The papers of 
the literature study clearly prioritize the e‐Learning solution and process over contextual factors yet increasing 
attention is paid to the importance of the context in which the learners work (Noesgaard, 2014). The reason 
for  this  phenomenon  may  be  that  the  contextual  factors  are  perceived  as  too  complex  and  changeable  to 
investigate and control for research, and that these lay outside the responsibility of learning professionals.  
Table 5: Factors that influence effectiveness 
Individual (subject)  Context scaffolding (context + object)  E‐Learning solution and process 
(artifact) 
Age  Learning environment  Active learning 
Entrance scores  Support  Applicable to practice 
Experience in profession  Technological resources available to  Balance between asynchronous and 
Language (second language)  user  synchronous activities 
Learner characteristics  Time available to learn  Cognitive load 
Learner preferences    Collaboration 

 
 
451
 
Signe Schack Noesgaard and Rikke Ørngreen 

Individual (subject)  Context scaffolding (context + object)  E‐Learning solution and process 

(artifact) 
Locus of control    Communication 
Motivation  Computer playfulness 
Perception of learning  Design 
Previous e‐Learning experience  Expected workload 
Previous training  Instructional scaffolding 
Prior online experience  Interaction (learner – instructor and 
  peer2peer) 
Learner control 
Modeling 
Problem‐based learning 
Practice (incl. case study, case‐based 
learning, and simulation) 
Structure 
Technological constrains 
Usability 
When  it  comes  to  general  learner  characteristics,  the  papers  agree  that  effectiveness  varies  according  to 
individual differences (fx Armatas et al., 2003; Aydoǧdu Karaaslan, 2013). Some papers refer broadly to learner 
characteristics; others discuss particular issues of relevance to their study. Two mentioned characteristics are 
‘age’  and  ‘previous  online  experience’  (Table  5).  Boghikian‐Whitby  &  Mortagy  (2008)  suggest  “…that  adult 
students  benefit  more  from  taking  online  classes  compared  to  traditional  age  students,  and  that  computer 
competency helped improve performance in online classes over time.” (Boghikian‐Whitby & Mortagy, 2008). It 
is  also  interesting  when  factors  are  not  mentioned  to  have  an  impact  on  effectiveness  such  as  ‘gender’: 
“However, although gender is a significant predictor in traditional classroom courses, its effect disappears in 
Web‐based  courses.  There  is  evidence  that  Web‐based  courses  can  be  conducive  to  the  leaning  process  of 
technical knowledge for female students.”(Lam, 2009). 
 
With  regards  to  the  e‐Learning  solution  and  process,  the  factors  listed  in  the  table  are  well‐known  in  most 
academic and professional e‐Learning communities, fx “While structure is an important part of any classroom 
or training environment, this research shows that it is absolutely critical in an online environment.” (Hauser, 
Paul, & Bradley, 2008). That said, the importance of some of the interrelated factors ‘instructional scaffolding’, 
‘modeling’, ‘support’, and ‘interaction’ still receive little attention in design. Though e‐Learning is often stated 
as  equally  or more  effective  than  face‐to‐face  learning,  these  factors  are  generally considered  critical  to  the 
effectiveness  of  e‐Learning  as  illustrated  with  the  following  papers:  “Students  valued  interaction  with 
instructor as an important factor in online learning. New students had a better success rate in instructor‐led 
online courses than in independent‐study online courses. Adult students need modeling and scaffolding to be 
successful in an online environment.” (Jiang, Parent, & Eastmond, 2006); “…the supported training group had a 
significantly  higher  program  completion  rate  than  the  independent  group.”  (Bennett‐Levy,  Hawkins,  Perry, 
Cromarty, & Mills, 2012); “Results indicate teachers attributed improved student learning to technology use; 
online communication with peers and experts reduced teacher isolation, enhanced professional practice, and 
gave access to perspectives and experiences otherwise unavailable; but the additional workload discouraged 
several  teachers.”  (Hawkes  &  Good  2000).  The  last  article  also  emphasizes  the  need  to  consider  both  time 
available to the learners as well as the expected workload of the e‐Learning (see also Noesgaard, 2014). 

4.1 Why is this important?  
Understanding factors which research deems critical for e‐Learning effectiveness in adult contexts can enable 
learning professionals to reflect on their priorities in learning design. The list can be used as a form of check‐
list  to  ensure  that  those  factors  which  learning  professionals  consider  relevant  for  their  specific  e‐Learning 
participants, contexts, and solutions are taking into account.     

5. Conclusions  
This  paper  has  discussed  the  following  research  questions:  How  is  the  effectiveness  of  e‐Learning  defined? 
How is the effectiveness of e‐Learning measured? What makes e‐Learning solutions effective? It has shown the 
multiple  ways  to  define  effectiveness.  Further,  the  authors  highlighted  the  benefits  of  reflection  on  and 
clarification  of  the  way  in  which  these  definitions  are  brought  into  play  in  research  and  practice.  The 
definitions  qualify  certain  measurements  of  effectiveness.  In  this  regard,  this  paper  suggests  that  applying 

452
 
Signe Schack Noesgaard and Rikke Ørngreen 

purely  quantitative  measures  on  the  fulfilment  of  pre‐defined  learning  objectives  disallows  research  and 
practice to capture unexpected and unintended transfer to practice and presents potential sources of error. 
However, including open‐ended qualitative questions in surveys can substantially improve the validity of such 
approaches. Lastly, this paper has presented factors promoting and prohibiting the effectiveness of e‐Learning, 
and  it  encourages  learning  professionals  to  consider  these  factors,  especially  the  contextual  ones,  when 
designing for e‐Learning effectiveness. 

6. Limitations and further work  
The literature study has certain limitations: First of all, the fact that the analysis is based on abstract and only 
to  a  small  extent  takes  the  full  papers  into  account,  categorizes  the  papers  in  ways  which  may  have  been 
slightly  different  had  the  full  papers  been  analyzed.  Second  of  all,  e‐Learning  is  dealt  with  as  one  single 
concept,  while  it  entails  a  great  variety  of  delivery  methods,  technologies,  and  learning  designs.  These 
variations  are,  however,  also  coded  in  the  literature  study,  and  the  authors  look  forward  to  unfolding  the 
concept  of  e‐learning  generally  as  well.  Third  of  all,  the  literature  study  considers  a  large  number  of  papers 
compared  to  other  literature  studies.  Still,  the  quantitative  analyses  will  benefit  from  the  number  of  coded 
abstracts increasing as the study proceeds, since some of the findings are based on relative small numbers for 
this  approach  (Table  2).  The  qualitative  findings  also  become  richer  and  more  nuanced  as  the  number  of 
papers grows. Last of all, the reader must know that both researchers have been involved in discussions of the 
design of the e‐Learning solution tested in the empirical study. Hence, the researchers may also be affected by 
‘effectiveness bias’. The researchers will continue to debate these concerns as the study continues. 

Acknowledgements  
This  research  is  part  of  an  industrial  PhD  project  funded  by  the  Danish  Ministry  of  Higher  Education  and 
Science in a partnership with the Universe Foundation. 

References 
Angeli, C. (2005). “Transforming a teacher education method course through technology: Effects on preservice teachers’ 
technology competency”, Computers & Education, 45(4), 383‐398. 
Armatas, C., Holt, D., & Rice, M. (2003)." Impacts of an Online‐Supported, Resource‐Based Learning Environment: Does 
One Size Fit All?", Distance Education, 24(2), 141–158.  
Aydoǧdu Karaaslan, I. (2013). "The effect of banking personnel’s access to e‐learning opportunities on their professional 
achievement.", Turkish Online Journal of Educational Technology, 12(2), 269–280.  
Bennett‐Levy, J., Hawkins, R., Perry, H., Cromarty, P., & Mills, J. (2012). "Online Cognitive Behavioural Therapy Training for 
Therapists: Outcomes, Acceptability, and Impact of Support.", Australian Psychologist, 47(3), 174–182. 
 Boghikian‐Whitby, S., & Mortagy, Y. (2008). "The Effect of Student Background in E‐Learning ‐ Longitudinal Study.", Issues 
in Informing Science & Information Technology, 5, 107–126.  
Grgurovic, M., Chapelle, C. A., & Shelley, M. C. (2013). A meta‐analysis of effectiveness studies on computer technology‐
supported language learning. ReCALL : The Journal of EUROCALL, 25(2), 165–198.  
Harrington, S. S., & Walker, B. L. (2009). "The effects of computer‐based fire safety training on the knowledge, attitudes, 
and practices of caregivers.", Journal of Continuing Education in Nursing, 40(2), 79–86.  
Hagen, J., Albrechtsen, E., & Johnsen, S. O. (2011). "The long‐term effects of information security E‐Learning on 
organizational learning.", Information Management & Computer Security, 19(3), 140‐154. 
Harry, B., Sturges, K. M., & Klingner, J. K. (2005). "Mapping the process: An exemplar of process and challenge in grounded 
theory analysis". Educational researcher, 34(2), 3‐13. 
Hauser, R., Paul, R., & Bradley, J. (2008). "The Impact Of Culture And Computer Self‐Efficacy In An Online Training 
Environment". Allied Academies International Conference. Academy of Information and Management Sciences. 
Proceedings, 12(2), 19–21.  
Hawkes, M., & Good, K. (2000). "Evaluating professional development outcomes of a telecollaborative technology 
curriculum." Rural Educator, 21(3), 5‐11. 
Jiang, M., Parent, S., & Eastmond, D. (2006). "Effectiveness of Web‐Based Learning Opportunities in a Competency‐Based 
Program". International Journal on E‐Learning, 5(3), 353–360.  
Jung, I., Choi, S., Lim, C., & Leem, J. (2002). "Effects of Different Types of Interaction on Learning Achievement, Satisfaction 
and Participation in Web‐Based Instruction". Innovations in Education and Teaching International, 39(2), 153–162.  
Kumar, J., Nielsen, J., & Yammiyavar, P. (2007). "Tracing cognitive processes for usability evaluation: a cross cultural mind 
tape study " Springer Berlin Heidelberg, (pp. 336‐345). 
Lam, M. (2009). "Effectiveness of Web‐Based Courses on Technical Learning." Journal of Education for Business, 84(6), 323–
331.  
Lobato, J. (2006). "Alternative Perspectives on the Transfer of Learning : History , Issues , and Challenges for Future 
Research." Journal of the Learning Sciences, 15(4), 431–449.  

 
 
453
 
Signe Schack Noesgaard and Rikke Ørngreen 

Maloney, S., Haas, R., Keating, J. L., Molloy, E., Jolly, B., Sims, J., … Haines, T. (2011). "Effectiveness of Web‐Based Versus 
Face‐To‐Face Delivery of Education in Prescription of Falls‐Prevention Exercise to Health Professionals: Randomized 
Trial." Journal of Medical Internet Research, 13(4).  
Marsh, C. M., Hannum, W. H., Trotman, C. A., & Proffit, W. R. (2001). "Design and effectiveness of a computer‐based 
continuing education program for orthodontists." The Angle Orthodontist, 71(1), 71‐75.  
Means, B., Toyama, Y., Murphy, R. F., & Baki, M. (2013). "The Effectiveness of Online and Blended Learning: A Meta‐
Analysis of the Empirical Literature. "Teachers College Record, 115(3), 1.  
Nielsen, J., Clemmensen, T., & Yssing, C. (2002, October). "Getting access to what goes on in people's heads?: reflections 
on the think‐aloud technique." In Proceedings of the second Nordic conference on Human‐computer interaction (pp. 
101‐110). ACM. 
Noesgaard, S. S. (2014)." Supporting Transfer of Learning: Practice‐based considerations on the applicability of transfer 
literature in online design." (pp. 1–5). Stockholm: designsforlearning.nu. 
Patterson, B. J., Krouse, A. M., & Roy, L. (2012). "Student outcomes of distance learning in nursing education: an integrative 
review." Computers, Informatics, Nursing : CIN, 30(9), 475–488.  
Rosenberg, H., Grad, H. A., & Matear, D. W. (2003). "The effectiveness of computer‐aided, self‐instructional programs in 
dental education: a systematic review of the literature." Journal of Dental Education, 67(5), 524–532. Veneri, D. 
(2011)." The role and effectiveness of computer‐assisted learning in physical therapy education: a systematic 
review." Physiotherapy Theory and Practice, 27(4), 287–298. 

454
Status quo of Media Usage and Mobile Learning in Engineering 
Education  
Katharina Schuster 
Center for Higher Education ‐ TU Dortmund University 
Katharina.Schuster@ima‐zlw‐ifu.rwth‐aachen.de 
 
Abstract: The usage of different kinds of media is part and parcel of teaching and learning processes in higher education. 
According  to  today’s  possibilities  of  information  and  communication  technologies,  mobile  devices  and  app‐usage  have 
become indispensable for a big share of the population in everyday life. However, there is little empirical evidence on how 
students  use  mobile  devices  for  learning  processes  in  higher  education,  especially  in  engineering  education.  Within  the 
project “Excellent Teaching and Learning in Engineering Sciences (ELLI)”, three large technical universities (RWTH Aachen 
University, Ruhr‐University Bochum, Technical University Dortmund) follow different approaches in order to improve the 
current teaching and learning situation in engineering education. Many of the corresponding measures are media‐related. 
In this context, a broad understanding of media is applied which includes hardware as well as software. Amongst others, 
research is conducted on the topics of mobile learning, virtual laboratories, virtual collaboration, social media services and 
e‐learning recommendation systems for teaching staff. In order to match the literature and results of the project with the 
current habits of study related media usage of students, the three universities conducted a survey in cooperation with the 
Karlsruhe  Institute  of  Technology  (KIT).  The  KIT’s  questionnaire  covers  more  than  50  education‐related  media  and  IT‐
Services and has been applied at over 20 universities in 6 countries. For the survey conducted within the ELLI project, the 
topic  of  mobile  learning  was  added  to  the  questionnaire.  Over  1.500  students  were  asked  about  their  habits  of  study 
related  media  usage  in  terms  of  frequency  of  use  and  level  of  satisfaction.  Regarding  the  topic  of  mobile  learning,  the 
students  were  asked  for  the  kind  of  hardware  and  the  kind  of  apps  they  use  for  higher  education  purposes.  The  130 
identified  apps  were  clustered  regarding  subject  and  function.  This  paper  presents  the  main  results  concerning  the 
students’ general habits of study related media usage and their mobile learning habits. It concludes with a special focus on 
the possibilities mobile devices offer to the improvement of engineering education. 
 
Keywords: media usage habits, social media, mobile learning, engineering education 

1. Introduction  
The  media  usage  at  universities  is  highly  diverse.  Printed  learning  material,  digital  documents  or  complete 
online courses are just a few examples which illustrate the broad variety of media and IT‐services offered to 
support  the  students’  learning  processes.  Especially  web‐based  services  like  search  engines,  facebook  or 
special tools for online learning induced significant changes in society and in the landscape of higher education 
during  the  last  years.  In  contrast  to  analogue  media  such  as  printed  books,  digital  media  and  IT‐services  for 
learning  purposes  have  been  referred  to  as  e‐learning  for  the  past  20  years.  The  term  can  be  specified 
regarding the function of the corresponding service. Reinmann‐Rothmeier (2003) distinguishes between three 
lead  functions:  E‐Learning  (a)  by  distributing,  (b)  by  interacting  und  (c)  by  collaborating.  In  the  case  of  e‐
learning by distributing, the main function of the medium is to distribute information. E‐learning by interacting 
applies to media and IT‐services which allow the student to interact with the system without any additional 
personal  help.  E‐learning  by  collaborating  refers  to  processes  of  social  problem  solving  and  therefore  also 
refers to the principle of “learning from different perspectives” (Reinmann‐Rothmeier 2003). Within the first 
focus of this paper, the research question of which function is needed most from the students’ point of view 
was investigated.  
 
In previous cycles of the KIT’s study on habits of study related media usage, Gidion and Grosch (2012) found 
that students prefer services which are linked to face‐to‐face learning settings, such as printed and electronical 
script  or  the  online  catalogue  of  the  university’s  library.  Media  which  require  active  participation  are  being 
used less frequently. Virtual teaching and learning environments are also being used not only seldom but also 
with a low rate of satisfaction (Gidion and Grosch 2012). 
 
Since one of the research foci of the ELLI project is learning with social media services, another question being 
investigated within this paper was whether students use services like facebook for studying. Social platforms 
such as facebook or information services like twitter provide an easy access as well as already implemented 
possibilities for communication by means of groups, private messages and forums for the students during their 
studies.  Other  web  based  media  services  for  communication  and  collaboration  such  as  wikis,  weblogs  and 
forums  were  implemented  increasingly  for  the  teamwork  of  students  also  in  the  teaching  of  engineering 

455
 
Katharina Schuster 
 
during  the  last  years  (Dittler  2009).  Surveys  at  other  universities  and  faculties  (Schiefner  2011)  as  well  as 
statements  of  teachers  of  the  engineering  sciences  (Thöing  2014)  show  a  rather  hesitant  use  of  this  kind  of 
media by students, which is in line with the results of Gidion and Grosch (2012).  
 
The second focus of this paper lies on the use of mobile devices and apps in teaching and learning contexts. 
The use of such devices and apps has become indispensible for many people’s everyday life. According to the 
Federal Statistical Office of Germany, the number of mobile internet users in Germany increased in 2013 by 
43 %.  Amongst  the  16  to  24  year  olds,  81 %  use  mobile  internet  (Federal  Statistical  Office  2014).  The  trend 
towards  mobile  computers  also  applies  to  the  type  of  technical  devices  being  used:  In  2013,  65 %  of  all 
German households were in possession of a mobile computer, e.g. a laptop, a notebook or a tablet‐PC. The 
Federal  Statistical  Office  asserts  that  the  share  has  multiplied  almost  six‐fold  compared  to  surveys  in  2003. 
Most  households  (33 %)  use  a  mobile  device  additionally  to  the  stationary  PC,  followed  by  almost  as  many 
households (32 %) who solely use a mobile device. The number of households, which solely use stationary PCs 
is decreasing: Whilst in 2003 the share was at 51 %, it dropped 20 % in 2013 (Federal Statistical Office 2013). 
Looking at these statistics, it is a logical consequence that the use of mobile devices is also increasing within 
the  context  of  higher  education.  Current  literature  offers  only  little  empirical  data  on  the  question  how 
students are using mobile devices for their learning processes. In addition to that we do not know if, how often 
and in which contexts the students were asked by teachers to use their mobile devices in learning contexts in 
class or for the learning process in general. 
 
In  recent  years  the  technology  shift  has  changed  the  way  how  mobile  learning  is  defined  –  from  PDAs  to 
smartphones and tablets. This is also visible by looking at different definitions over time. Quinn (2001) offered 
a  rather  technology‐centered  view  in  2001  by  saying  that  mobile  learning  is  „elearning  through  mobile 
computational devices: Palms, Windows CE machines, even your digital cellphone“. Sharples et al. (2010) have 
a  more  user‐centered  view  by  describing  the  learning  environment  and  adding  the  learners’  autonomy 
regarding the choice over time and place. In order to go even more into detail an extended literature review 
was  conducted  in  the  ELLI‐Project.  Thus  over  100  definitions  on  mobile  learning  were  found  in  about  240 
different  sources.  The  definitions  could  be  divided  into  3  different  clusters,  either  highlighting  the  mobile 
devices  itself,  the  flexibility  for  the  learning  process  or  new  didactical  approaches.  The  following  quotations 
illustrate this variety and are taken from the most cited sources in the context of Mobile Learning: 
“What is new in ›mobile learning‹ comes from the possibilities opened up by portable, lightweight 
devices  that  are  sometimes  small  enough  to  fit  in  a  pocket  or  in  the  palm  of  the  one’s  hand” 
(Kukulska and Traxler 2005). 
“Mobile Learning devices are defined as handheld devices and [...] should be connected through 
wireless connections that ensure mobility and flexibility”(Quinn 2001). 
“[Mobile  learning]  provides  the  potential  of  personal  mobile  technologies  that  could  improve 
lifelong learning programs and continuing adult educational opportunities” (Sharples 2000). 
Summing up all these perspectives, Crompton et al. (2013) published a description of their literature research 
regarding the mobile learning evolution over the years. According to them, mobile learning means “learning 
across  multiple  contexts,  through  social  and  content  interactions,  using  personal  electronic  devices”.  In 
addition  to  that,  four  different  but  central  characteristics  of  mobile  learning  can  be  identified  based  on 
literature (Maske 2012): 
ƒ Use of mobile devises 
ƒ Local independence for learning  
ƒ Contextualization of the learning process 
ƒ Informality of learning 
In  the  following,  the  methodology  of  the  study  is  described,  including  the  description  of  the  sample.  The 
results  are  presented  in  two  sections.  The  first  section  describes  the  ten  most  and  least  used  media  and  IT 
services,  as  well  as  their  corresponding  values  of  satisfaction.  In  the  second  results  section,  the  results  on 
mobile learning are presented. The paper concludes with a broader view on all results presented and depicts 
further research questions. 
 
 

456
 
Katharina Schuster 
 
2. Methodology and description of the sample 
The survey used a questionnaire that was developed at Karlsruhe Institute of Technology in 2009 (Grosch & 
Gidion  2011). It  was  conducted  several  times  before  at 20  universities  in  6 countries. One  of  the  KIT’s  long‐
established survey’s aims is to identify the potential of a university, which media and IT sectors still need to be 
supported further and which are already used by the students. The three universities RWTH Aachen University, 
Ruhr  University  Bochum  and  TU  Dortmund  University  issued  the  questionnaire  in  co‐operation  with  the 
Karlsruhe Institute of Technology in 2013. It focused on the students’ habits of study related media usage, in 
order to expand the empirical database and to match it with the other topics focused in the ELLI project, such 
as  mobile  learning,  virtual  laboratories,  virtual  collaboration,  social  media  services  and  e‐learning‐systems. 
More detailed, the research questions were: 
ƒ Which function of e‐learning is needed most and least from a students’ point of view? 
ƒ Which role do social media services play for study related media usage?  
ƒ Which  kind  of  hardware  and  which  kind  of  apps  do  students  use  for  studying  and  what  are  the 
consequences for mobile learning activities of universities? 
Therefore the survey asked engineering students from the three universities for frequency of use and level of 
satisfaction for 54 media and IT services as well as hardware devices. To deliver a complete picture of media 
usage habits, the items related to university internal as well as to external services. Students had to respond to 
each  given  item  by  answering  the  question  “Which  of  the  given  devices  or  services  do  you  use  for  your 
studies?”  Each  item,  e.g.  e‐book  reader,  had  to  be  responded  using  a  five  point  scale,  ranging  from  „very 
frequently“  to  „never“.  Due  to  the  special  focus  on  mobile  learning,  the  questionnaire  was  modified  and 
several items were added to the original KIT questionnaire. Going more into detail with regard to the use of 
software on mobile devices, the survey asked for apps, which are already used by the students in the context 
of learning.  
 
The  survey  was  synchronously  carried  out  at  the  three  universities.  A  total  of  1587  engineering  students 
answered the questionnaire between April and May 2013. Most of the students were first‐ (59.6%) or second‐
year (19.4%) students. 81.6 % were male, 18.4 % were female students. The results of media usage habits in 
general were conducted with the means of descriptive statistics, calculating the percentage of students who 
used  a  medium  or  an  IT‐service  frequently  or  very  frequently.  The  same  calculation  was  performed  for  the 
least used media and IT‐services. In addition, the corresponding satisfaction value was calculated for the most 
and least used media and IT services. To get deeper insights into the usage of mobile devices, the percentage 
of how many students used a specific device frequently or very frequently. Moreover, students were asked, 
which  apps  they  use  for  study  purposes.  The  given  apps  were  analyzed  qualitatively  with  an  explorative 
approach, i.e. no categories had been conducted previously. After a first round of scanning the data, the apps 
were clustered by subject. In a second round of analysis, the apps were clustered by function. In a last step, 
the proportion of the categories was calculated for each cluster.  
3. Results 

3.1 General media usage of students  
The media and IT services most frequently used in the context of academic studies are presented in Figure 1. 
The service most frequently used is the Google search engine. This corresponds to the fact that Google is the 
most‐used search‐engine in the internet in general (Alexa 2014). According to different web analytics services, 
also  Wikipedia  and  Facebook  are  ranked  among  the  most  frequently  used  sites  of  the  web  (Alexa  2014, 
Quantcast 2014, SEOmoz 2014). 
 
As the results show, e‐mail services of the university are being used frequently. It seems that communication 
via e‐mail for learning purposes, e.g. to correspond with professors or  with fellow students, is common and 
well established. The frequent use of course accompanying slides (78.7 %) and course accompanying lecture 
notes  (75.3 %)  online  reflect  media  usage  habits  which  fall  in  the  category  e‐learning  by  distributing 
(Reinmann‐Rothmeier 2003). The use of analogue media in the form of course materials printed (68.4 %) is less 
frequent, but still among the top 10 of all surveyed media and IT services. The fact that google books (77.1 %) 
and other electronic books (39.5 %) are also amongst the top 10 of study related media, underlines 
the function of e‐learning by distributing as important once more from the students’ point of view. 

457
 
Katharina Schuster 
 
50.4 %  of  all  students  stated  that  they  use  e‐learning  opportunities  specifically  provided  by  the  department 
frequently  or  very  frequently.  This  reveals  the  fact  that  each  e‐learning  solution  provided  has  to  fit  the 
corresponding study field, an approach which is also followed within the ELLI project.  

 
Figure 1: Most used media and IT‐services 
Apart  from  the  top  10  of  media  and  IT‐services  used  most  in  a  study  related  context,  the  data  was  also 
extracted for the least used media and IT‐services. The percentage of frequency as well as the corresponding 
satisfaction rate is shown in figure 2.  
 
A very obvious difference is that the average discrepancy between frequency and satisfaction in this dataset is 
three  times  bigger  than  for  the  items  of  the  most  used  media  and  IT  services.  Whilst  the  absolute  average 
discrepancy in the most used media and IT services is 9.7 %, it is 23.1 % in the least used media and IT services. 
If we look at the services in detail, a first conclusion is that Facebook is the clear leader when it comes to social 
networks. Whilst Google + is still used by 4.6 % of the students, other providers share only 1.8 % of the lot. This 
also corresponds to the results of web analytics services mentioned above. The microblogging system twitter is 
only used by 2.4 % of the students for study purposes.  
 
Although twitter is also amongst the top ten web sites worldwide according to web analytic systems, it has not 
become common for study purposes yet. Dictionary software is also not used very frequently. This might be a 
result of frequently updated and well‐established services which are also available online, such as leo.org or 

458
 
Katharina Schuster 
 
duden.de  for  the  German  speech  community.  Social  bookmarks  don’t  seem  to  be  needed  very  often.  Only 
1.6 % of the students claim to use them frequently or very frequently.  

 
Figure 2: Least used media and IT‐services 
The two second biggest values for the discrepancy between frequency of use and satisfaction occur for two 
innovative virtual reality technologies which already find their way into higher education: Gesture Computing 
and  Augmented  Reality.  Both  are  not  used  very  often  (4.1 %  and  3.1 %),  but  the  usage  leads  to  high 
satisfaction.  It  can  be  assumed  that  the  seldom  usage  of  such  technologies  does  not  happen  by  choice.  It 
seems more likely that students don’t have enough possibilities yet to use the technology, or at least not as a 
regular part of their studying. The seldom use of the technologies might be the result of lack of supply, not of 
demand.  This  could  also  be  the  explanation  for  the  seldom  use  of  digital  game‐based  learning.  Wikis  which 
require  active  involvement  are  not  used  very  frequently,  which  is  in  line  with  previous  results  of  the  KIT’s 
survey published by Gidion and Grosch (2012). However, it can not be assumed, that forms of learning with 
and by user generated content are being avoided in general. An aspect for further investigations is to filter all 
forms  of  media  and  IT  services  which  involve  user  generated  content  and  to  analyse  their  acceptance  on  a 
deeper level.  

3.2 Mobile learning 
In  the  following,  all  results  regarding  the  topic  of  mobile  learning  are  presented.  Most  of  the  questioned 
students  (87.7 %)  own  a  smartphone.  The  corresponding  value  for  the  tablet  PC  is  much  lower  with 
27.7 %.Therefore if teaching staff decides that the usage of tablet PCs is required for the course, students must 
be given the opportunity to borrow such a device. The results of hardware usage for study purposes regarding 
frequency of use and satisfaction are shown in figure 3.  
 
The results of the survey show that 63.9 % of the students use their smartphone often or very often in context 
of  learning,  whilst  only  26%  use  their  tablet  computer  often  or  very  often  for  studying.  The  latter  is  not 
surprising, as tablets are not very distributed among students yet. E‐book readers are used even more rarely, 
as only 4 % use this device often or very often. The last question in this context was, how often the students 
use  mobile  apps  for  learning.  The  answers  reveal  that  the  use  of  apps  explicitly  for  learning  is  not  very 
common  yet.  Only  7.2 %  of  the  students  use  mobile  apps  often  or  very  often.  This  is  a  fairly  low  value. 

459
 
Katharina Schuster 
 
Competing conclusions of this result could be that there either are no adequate apps for studying, that existing 
apps are not usable or that students just do not know them. 

 
Figure 3: Frequency and satisfaction of hardware usage for study purposes 
Going more into detail the students were asked to name the apps they are already using for study. All in all 
13.5 %  of  the  students  answered  this  question  with  “yes”  and  named  an  app  which  they  used  for  study 
purposes. In total, the students named 357 apps (139 different ones). Based on the answers a ranking on how 
often the apps were named was worked out and the top five could be identified. In the following these are 
explained  briefly.  Merck  PSE  is  an  interactive  periodic  table  of  chemical  elements  and  was  named  47  times 
(13%).  Wolfram  Alpha,  a  computational  knowledge  search  engine,  was  named  26  times  (7.3%).  22  times 
Schnittkraft‐Meister,  a  game‐based  learning  app  to  calculate  cutting  forces,  was  mentioned.  For  file  hosting 
and  as  a  cloud  service  mainly  Dropbox  is  used  (4.8%).  From  those  students  who  named  an  app,  4.2%  use 
Ankidroid, a program to design customized and personalized flashcards and use them for studying. 
 
Furthermore  the  different  apps  were  clustered,  firstly  by  function  and  secondly  by  subject.  In  this  context 
again all 357 answers were taken into account and duplications were ignored, in order to calculate the relative 
distribution among the app naming. 
 
Function  oriented  cluster:  Dividing  the  apps  by  the  purpose  they  are  used  for,  7  different  clusters  could  be 
identified. 109 (31%) of the named apps serve as any kind of database. 79 (22%) apps serve the organization of 
learning  and  47  (13%)  times  an  app  for  any  kind  of  application  and  testing  was  named.  Furthermore  the 
students named 40 (11%) apps which fall in the category of language dictionaries, 30 (8%) apps which assist 
the students to make notes or edit documents and 20 (6%) apps for cloud computing. 32 (9%) apps could not 
be allocated to any cluster. Hence these were summarized under “others”. The results are visualized in figure 
4. 
 
Subject  oriented  cluster:  Looking  at  the  related  subjects  the  named  apps  could  be  allocated  to  six  different 
clusters.  The  biggest  cluster  (160;  45%)  is  formed  by  named  apps,  which  had  no  connection  to  any  special 
discipline.  In  this  cluster  apps  like  Dropbox  or  apps  used  to  make  notes  are  summarized.  This  cluster  is 
followed  by  mentioned  apps  for  mathematics  and  chemistry/physics  (each  57;  16%).  49  (14%  of  the)  times 
language learning apps, 30 (8%) times mechanical engineering or logistics apps and finally 4 (1%) times apps 
used in context with electrical engineering/informatics were named. These results are visualized in figure 5.  
 
 

460
 
Katharina Schuster 
 

 
Figure 4: Apps clustered by function 

 
Figure 4: Apps clustered by subject 
The results show that most of the used apps provide a general use without any subject relation. Looking into 
the list of named apps in this context shows that programs helping to organize the learning process, providing 
cloud  computing  and  helping  to  edit  documents  dominate  this  kind  of  use.  Hence,  this  is  the  area  were 
students  currently  see  the  biggest  advantages  of  app  usage  for  study  purposes.  There  are  only  some 
exceptions that provide the possibility for concrete knowledge application in a special subject context. Looking 
at  those  apps  with  a  special  subject  connection  it  is  visible  that  more  apps  are  used  in  context  with  basic 
sciences  in  comparison  to  applied  sciences.  As  in  this  study  only  engineering  students  were  asked  it  is  clear 
that even in engineering classes apps on basic sciences can be used. A second look into the app list shows that 
these  apps  in  most  cases  are  some  kind  of  database  (e.g.  Merck  PSE)  –  the  biggest  among  the  function 
oriented  clusters.  A  question  for  further  investigation  can  be,  why  only  the  minority  of  the  mentioned  apps 
could  be  used  for  subject  related  application.  Is  this  a  question  of  app  quality  or  are  there  simply  not  that 
many apps? However the results indicate that are still high potentials lying in the development of specialized 
apps. Even if there are some apps, those are not used very often. The fact that in general only a little bit more 
than  13%  of  the  students  could  even  name  apps  they  are  using  for  study  purposes  shows  that  very  clearly. 
Considering furthermore that from all asked students (over 1500) only 47 named the most often mentioned 
app underlines this finding. 

461
 
Katharina Schuster 
 
4. Conclusion  
To  summarize,  students  mostly  use  media  and  IT‐services  with  the  function  of  distribution  of  information. 
Facebook as probably the most common example of social media services is being used for study purposes, 
whilst other social media services like google+ or the microblogging service twitter have not found their way 
into  universities  yet.  It  can  be  stated  that  the  study  related  media  usage  partly  reflects  the  media  usage  in 
general. This is shown by the frequent use of popular sites like Facebook, Wikipedia or Google. Although with 
the given data, no statements can be made regarding cause and effect, it could be possible that especially in 
their  first  years  at  university,  students  use  their  already  established  mechanisms  of  media  use  as  a  starting 
point, before they develop other, more demanding and complex forms of e‐learning. This can be interpreted 
as a form of reduction of complexity in the first years of studying. Especially to improve the introductory phase 
of the studies, which is affected by high dropout rates in engineering education, the relation between media 
usage and experience needs to be investigated on a deeper level.  
 
E‐learning services are being used more frequently than books or printed course materials. As a consequence 
for the ELLI project, this means that e‐learning recommendation systems for teaching staff can be supportive 
for finding the tool that fits the teaching goals best. This could be of great help, especially for subject‐specific 
e‐learning opportunities, as in engineering education. Especially if the e‐learning system is supposed to provide 
more  functions  than  just  distributing  information,  a  personal  recommendation  is  of  great  value.  Since  the 
conducted study focused on the students only, it cannot be determined whether the seldom usage of gesture 
computing or augmented reality is a consequence of the students’ choice or of a lack of supply. Assuming that 
the latter is true, the ELLI project follows the right direction doing research on mixed‐reality systems like the 
Virtual  Theatre  (Schuster  et  al.  2013).  However,  the  application  of  such  innovative  hardware  requires 
technical, psychological and subject‐specific didactical skills in order to lead to the desired learning outcome 
(Schuster  et  al.  2014,  in  press).  Since  “learning  from  different  perspectives”  is  important  for  social  problem 
solving  (Reinmann‐Rothmeier  2003),  it  seems  to  be  an  important  precondition  to  teach  students  the 
competences they need in a globalized and digitalized working world. Why students don’t use interactive or 
collaborative media and IT‐services more often still needs to be investigated on a deeper level.  
 
The results on mobile learning show that the use of mobile devices is not as common as it might be expected 
from  general  trends  (Federal  Statistical  Office  2013).  For  example  only  a  little  bit  more  than  a  tenth  of  the 
students named apps they are using for study purposes. This could have at least two reasons. On the one hand 
it  is  possible  that  not  enough  appropriate  apps  exist,  at  least  those  which  are  usable  in  a  learning  context. 
Another  explanation  is  that  the  students  simply  do  not  know  which  apps  can  be  used  effectively  for  which 
purpose.  To  conclude,  the  students  must  be  supported  in  finding  adequate  apps.  Even  though  the  use  of 
mobile apps at this point is not very common, mobile devices offer unique possibilities to support collaborative 
working processes. Especially the apps the students already named in the survey should stay in focus and it 
should  be  investigated  why  these  apps  are  used  for  engineering  education  and  what  defines  their  unique 
selling point. In addition to that more qualitative studies are necessary on that point. In order to go more into 
detail  student  interviews  should  be  conducted  asking  for  reasons  why  they  use  or  do  not  use  their  mobile 
devices for learning.  
Acknowledgements 
The present work is supported by the Federal Ministry of Education and Research within the project “Excellent 
teaching and learning in engineering sciences (ELLI)”.  

References  
Alexa Internet Inc. (2014), “Top Sites in: All Categories > Computers > Internet > Searching > Search Engines”, [online], 
http://www.alexa.com/topsites/category/Top/Computers/Internet/Searching/Search_Engines. 
Alexa Internet Inc. (2014), “The top 500 sites on the web”, [online], http://www.alexa.com/topsites . 
Atwal, R., Tay, L., Cozza, R., Nguyen, T. H., Tsai, T., Zimmermann, A., and Lu, C. K. (2013), Forecast: PCs, Ultramobiles and 
Mobile Phones, Worldwide, 2010‐2017, 4Q13 Update. Stanford. 
Bakkers, J. H., Craven, R., Delaney, J., Jeronimo, F., and Montero, I. (2014), European Mobile and Internet Services, 2014: 
Top 10 Predictions. 
Dittler, U. (2009), E‐Learning 2.0: Von den Hochschulen gehypt, aber von den Studierenden unerwünscht? In: Dittler, U. et 
al. (Hrsg.). E‐Learning: Eine Zwischenbilanz. Kritischer Rückblick als Basis eines Aufbruchs, Waxmann, Münster/New 
York/München/Berlin, pp. 205‐218. 

462
 
Katharina Schuster 
 
Federal Statistical Office (Statistisches Bundesamt) (2012), „Private Haushalte in der Informationsgesellschaft ‐ Nutzung 
von Informations‐ und Kommunikationstechnologien“, Statistisches Bundesamt, [online], 
https://www.destatis.de/DE/Publikationen/Thematisch/EinkommenKonsumLebensbedingungen/PrivateHaushalte/P
rivateHaushalteIKT2150400127004.pdf;jsessionid=AD21B8CB5822AE878EA61C95630F0569.cae1?__blob=publication
File. 
Federal Statistical Office (Statistisches Bundesamt) (2014), “Number of mobile internet users up 43% in 2013”. Press 
Release Nr. 089 (11.03.2014), [online], 
https://www.destatis.de/EN/PressServices/Press/pr/2014/03/PE14_089_63931.html. 
Federal Statistical Office (Statistisches Bundesamt, 2013), „Ob als Einzel‐ oder Zusatz‐geräte: Mobile PCs setzen sich 
durch“. Press Release Nr. 386 (18.11.2013), [online],  
https://www.destatis.de/DE/PresseService/Presse/Pressemitteilungen/2013/11/PD13_386_632.html. 
Gidion, G. and Grosch, M. (2012), Welche Medien nutzen die Studierenden tatsächlich? Ergebnisse einer Untersuchung zu 
den Mediennutzungsgewohnheiten von Studierenden. In: Forschung und Lehre 6/12, pp. 450‐451. 
Grosch, M. and Gidion, G. (2011), Mediennutzungsgewohnheiten im Wandel. Ergebnisse einer Befragung zur 
studiumsbezogenen Mediennutzung, KIT Scientific Publishing, Karlsruhe.  
Grosch, M. (2012), Mediennutzung im Studium. Eine empirische Untersuchung am Karlsruher Institut für Technologie. 
Shaker: Aachen. 
Kukulska‐Hulme, A. and J. Traxler, J. (2005), Mobile learning: A handbook for educators and trainers. London: Routledge. 
Maske, P. (2012), Mobile Applikationen 1: Interdisziplinäre Entwicklung am Beispiel des Mobile Learning. Wiesbaden: 
Gabler Verlag. 
Quantcast Corporation (2014), “Rankings – Top sites”, [online], https://www.quantcast.com/top‐sites . 
Quinn, C. (2000), mLearning: mobile, wireless, in‐your‐pocket learning, in LineZine, 2001. 
Reinmann‐Rothmeier, G. (2003), Didaktische Innovation durch Blended Learning. Leitlinien anhand eines Beispiels aus der 
Hochschule. Bern: Verlag Hans Huber. 
Schiefner, M., Kerres, M. (2011), Web 2.0 in der Hochschullehre. In: Dittler, U. (Hrsg.). E‐Learning: Einsatzkonzepte und 
Erfolgsfaktoren des Lernen mit interaktiven Medien, Oldenbourg, München, pp. 127‐138.  
Schuster, K., Ewert, D., Johansson, D., Bach, U., Richert, A., Jeschke, S. (2013), Verbesserung der Lernerfahrung durch die 
Integration des Virtual Theatres in die Ingenieurausbildung. In: Tekkaya, A. Erman; Jeschke, Sabina; Petermann, 
Marcus; May, Dominik; Friese, Nina; Ernst, Christiane; Lenz, Sandra; Müller, Kristina; Schuster, Katharina (Hg.): 
TeachING‐LearnING.EU discussions. Innovationen für die Zukunft der Lehre in den Ingenieurwissenschaften, pp. 246‐
260.  
Schuster, K., Hoffmann, M., Bach, U., Richert, A., Jeschke, S. (2014), Diving in? How users experience Virtual Environments 
using the Virtual Theatre. In: HCI International 2014 Conference Proceedings, in press. 
SEOmoz,Inc. (2014), “Moz's list of the top 500 domains and pages on the web”, [online], http://moz.com/top500 . 
Sharples, M. (2000), The Design of Personal Mobile technologies for Lifelong Learning, 34th ed. 
Sharples, M. et al (2010), A Theory of Learning for the Mobile Age. In: Bachmair, B. (Hrsg.): Medienbildung in neuen 
Kulturräumen. Wiebaden: VS Verlag für Sozialwissenschaften, pp. 87‐99.  
Thöing, K., Bach, U., Vossen, R., Jeschke, S. (2014), Herausforderungen kooperativen Lernens und Arbeitens im Web 2.0. In: 
A. Erman Tekkaya et al. (Hrsg.): TeachING‐LearnING.EU Tagungsband movING Forward – Engineering Education from 
vision to mission 18. und 19. Juni 2013, Dortmund, 2014, pp. 191‐194. 

463
Technology on CALL: Improving English Language Learning in a 
Spanish Context 
Beatrice Segura‐Harvey and Sue Greener 
University of Brighton, UK 
B.SeguraHarvey1@uni.brighton.ac.uk 
S.L.Greener@brighton.ac.uk 
 
Abstract: The acquisition of English as a second language remains a vital necessity for business in a globalized environment. 
Once  a  particularly  early  pioneer  of  e‐learning,  second  language  acquisition  has  not  moved  with  current  thinking  on 
learning  and  rapid  technological  advances  in  terms  of  platforms  and  devices.  The  focus  of  this  paper  is  a  much  needed 
review of “computer assisted language learning (CALL)” with recommendations for continued research and development 
applied to a Spanish context. With the recent economic crisis in the Spanish economy, due to global economic pressures 
from 2008, there has been a dramatic drop in employment, which consequently has forced Spanish citizens to leave the 
country looking for work. However, the variable quality of language teaching and learning in schools has produced a deficit 
in skilled workers and professionals with a suitable level of working English. These two areas of change, CALL and Spain’s 
employability  issues,  mean  that  businesses  and  language  academies  have  to  tackle  the  deficit.  This  paper  describes 
research  into  the  potential  benefits  and  difficulties  faced  by  businesses  and  individual  learners  in  improving  English 
language acquisition and aims to determine whether improved use of technology could help. The global use of CALL was 
investigated  and,  within  this  context,  research  was  conducted  in  Spain  with  learners  of  English  and  language  academy 
directors to analyse the environment of computer‐assisted language learning within Spain. This was a cross‐sectional study 
using mixed methods for the purposes of triangulation of data: following a review of relevant literature, the results of a 
student survey and a management survey were analysed and used to develop realistic online lessons with Spanish students 
to  test  out  the  concepts  identified  in  the  research.  The  outcomes  of  this  case  study  are  also  presented  in  the  paper, 
although  at  this  stage  of  the  research  only  a  very  limited  test  has  been  possible.  The  study  has  focused  attention  on  a 
holistic view of the environment and attitudes towards CALL from the perspective of students and managers of language 
academies.  These  issues  include  self‐directed  learning,  feedback  automation,  English  proficiency,  computer  competency 
and  attitudes  towards  CALL.  The  findings  are  of  particular  importance  for  businesses  needing  a  good  level  of  English 
proficiency and learners and teachers using CALL. The report concludes with recommended areas of further research into 
the  country’s  potential  further  development  and  distribution  of  CALL.  Also,  it  draws  together  the  economic  impact  of 
improved English language acquisition and how Computer Assisted Language Learning could promote this positive change 
and attitudes. 
 
Keywords: computer assisted language learning, employability, attitudes towards technology, Spain 

1. Background 
In  2008, Spain was among several countries that suffered from a severe economic recession. Five years on, 
the country is still recovering from the crisis and in 2013 27% of the population were reported as unemployed, 
equating to 6.232 million people (International Monetary Fund, 2013). A natural reaction to the saturated job 
market  is  the  increase  in  job  competition.  One  critical  skill  that  many  businesses  in  a  range  of  sectors  are 
requesting  from  future  employees  is  English  for  work  purposes.  Furthermore,  in  2012,  it  was  reported  that 
40% of Spanish people believed “the language barrier to be a significant hindrance to effective cross‐border 
relations  in  the  business  sector”  (English  First,  2012).  According  to  English  First  (2013),  Spain  ranked  last  in 
English  proficiency  between  2007‐2009.  However,  in  2013,  Spain  has  ranked  higher  than  France  and  Italy. 
Nevertheless, Spain is still positioned 23rd on the index with “moderate proficiency” which places it 3rd to last 
out of the EU countries reviewed in the report. There could be many reasons why Spain has improved its level 
of English proficiency over the last 4 years such as: a reaction to the economic pressures of the recession; pro‐
English  education  governments  that  have  backed  changes  to  the  education  and  training  of  English;  and  the 
change  in  attitudes  from  employers  considering  English  as  a  “basic  skill”  rather  than  an  “admirable”  one 
(English First, 2013). 

2. Call 
Computer assisted language learning (CALL) has been used generally since the 1980s but was first discussed in 
the  1950s  (Kenning  1990).  CALL  now  attempts  to  integrate  second  language  acquisition  with  pedagogy  and 
web technology. Increasingly Web 2.0 technology involving user generation is linked with social constructionist 
theory to  provide  the conceptual  framework  for  CALL (Garrett  2009,  Bin  Zou 2013,  Ernest  2013, Vetromille‐
Castro  2013,  Luo  2013,  Altunay  2013).  This  holds  whether  we  are  discussing  the  independent  learner,  the 

464
 
Beatrice Segura‐Harvey and Sue Greener 

autonomous  learner,  the  co‐operative  learner  or  the  incidental  learner.  The  literature  suggests  the  need  in 
CALL  for  learner  autonomy  plus  either  explicit  guidance  or  scaffolding,  or  at  least  the  strong  presence  of 
explicit monitoring and feedback. Self‐direction and determination are vital for learners using CALL since there 
are rich resources available through video, global newscasts, audio pronunciation in electronic dictionaries etc, 
but  the  learner  needs  to  find  out  how  to  navigate  and  practice  through  these  general  consumer 
communication tools (GCCTs). Bin Zou (2013) describes, for example, a study of self‐correcting online tools for 
development of pronunciation, in which the segmental characteristics of pronunciation (phonetic and syllabic) 
could be improved through auto‐feedback, but the supra‐segmental characteristics which are needed for tone, 
stress  and  duration  of  a  syllable,  and  the  prosodic  feature  related  to  tone,  pitch,  speed  and  level,  are  not 
automatically  corrected,  although  necessary  for  well  understood  speech.  Widely  available  tools  such  as 
podcasts  and  video  conferencing  are  also  regularly  in  use  for  second  language  acquisition  (see  for  example 
Lord  and  Harrington  2013),  as  are  interactive  games  involving  voice  recognition  and  speech  interactive 
software.  Texting  and  micro‐blogging  may  seem  at  first  glance  to  be  less  than  helpful  for  SLA  but  do 
increasingly  provide  authentic  and  naturalistic  opportunities  for  self  directed  language  learners.thus  the 
development  of  a  wide  range  of  Web  2.0  tools  for  communication  have  driven  a  broadening  array  of  tools 
suitable for CALL, whether through guided instruction or for the use of autonomous learners. In this paper, we 
attempt to find out the extent to which such tools are used in SLA in private language academies in Spain, and 
whether there is further opportunity to drive English language learning for work through CALL. 
3. CALL in Spain ‐ the study 
The cross‐sectional research conducted was exploratory in nature and took a more holistic view of the CALL 
environment  and  English  language  learning  within  Spain,  as  it  was  to  connect  technology  and  human 
interaction in terms of learning a language. Therefore, both the external and internal reality were considered 
through an interpretive view and explored through a mixed methods approach. A subjectivist approach was 
adopted  for  the  primary  data  collection  (surveys  and  case  study).The  quasi‐experimental  study  used  an 
inductive approach for the collection of secondary and some primary research (survey), as it was used to build 
assumptions to explore within the test case study within a concurrent triangulation design of global CALL and 
English proficiency within Spain.  
 
The  initial  student  survey,  which  focused  on  individual  respondents'  demographics,  English  proficiency, 
computer skills and attitudes towards CALL, used a snowball sampling technique and was used to make initial 
contact with 153 private language academies strategically chosen for their geographic location. Each province 
within  Spain  was  searched  on  www.google.es  with  the  words  “academia  de  ingles”  and  the  contact 
information  of  the  top  three  academies  on  the  search  were  recorded  into  a  database.  Only  two  academies 
were ultimately able to participate due to the time of year the research was conducted, further contacts will 
be necessary to follow up this initial study. For the management survey, which focused on current presence of 
online  services  and  existing  considerations  for  potential  future  use  of  CALL  within  academies,  an  initial  self‐
selection sample frame was used and due to limited response, a second sample was taken with an additional 
218 academies contacted. Finally for the test case study, Spanish students living in Brighton were contacted to 
take  part.  The  case  study  was  undertaken  to  offer  a  CALL  based  English  language  class  in  order  to  evaluate 
student responses and consisted of pre‐class homework that supported self‐directed learning and the usability 
of general consumer communication tools (GCCTs) such as mobiles, blogs, podcasts, online games etc (Garrett 
2009). Then the students completed an online survey, took part in a Skype lesson and finished with a semi‐
structured interview.  
4. Findings and discussion 
The  165  respondents  to the student  survey  in  academies were  predominantly  female,  at 61.3%  with  an age 
range significantly higher in the brackets of 20‐29 years (58%) and 30‐39 years (26%). 18% of the participants 
were unemployed compared to the national average of 27% (International Monetary Fund, 2013). The English 
proficiency questions highlighted that 82% of the academy students had been studying English for 0‐5 years. 
This  data  excluded  English  education  during  primary  and  secondary  school.  Furthermore,  70%  of  the 
respondents described their level of English as below B2 (Upper Intermediate), which is the international level 
for  ‘English  for  work’.  In  addition,  60%  of  all  respondents  considered  ‘future  work’  as  a  reason  for  learning 
English. Thus, an attitude towards English language as a key skill for employability can be deduced from the 
data. Concerning the importance of various language skills associated with English proficiency, speaking (82%) 
and  listening  (30%)  were  considered  the  two  most  important  skills,  and  they  were  the  two  skills  that  were 

465
 
Beatrice Segura‐Harvey and Sue Greener 
 
considered  to  be  their  weakest  (speaking  52%,  listening  26%).  Regarding  the  participants'  computer 
competency, 99% of the respondents reported that they had access to an internet connection either at work 
or at home and only 10% stated that they used the computer between 0 and 5 hours per week, which suggests 
that  90%  use  the  internet  on  a  regular  basis.  In  addition,  all  respondents  answered  the  question  regarding 
their  competency  using  email  and  nearly  50%  stated  they  felt  ‘confident’  using  email,  Microsoft  Word  and 
Excel.  However,  9  respondents  did  not  answer  the  question  regarding  Skype.  Interestingly,  42%  stated  they 
had not learnt English through a computer before but 68% said that they would in the future. 30 comments 
were  made  that  described  reasons  for  not  wanting  to  learn  English  through  CALL,  the  common  responses 
were:  “I  prefer  the  classroom”,  “it  doesn’t  support  conversation”  and  “I  prefer  person  (sic)".  It  could  be 
deduced from these responses that personal contact and physical space are important to Spanish EFL learners. 
Conversely, 85% said one of the main benefits of CALL was flexibility, which is a particular benefit for business 
learners.  
 
The  purpose  of  the  management  survey  within  the  academies  was  to  evaluate  the  current  presence  of  an 
online service and any existing considerations for potential future use of CALL within the academies. This data 
was  collected  from  16  academies  across  Spain  with  an  average  number  of  250  students  in  an  academy. 
However, 38% of academies were reported to be running at below 50% capacity and almost a third functioning 
between  71‐80%  capacity.  Interestingly,  only  one  third  reported  that  they  had  an  online  service  offering 
information,  supplementary  materials,  courses,  core  materials  and  tests/exams.  But  35%  of  the  academies 
with the online platforms reported that 10% or fewer of students were using the services. Therefore, the data 
suggests  that  a  minority  of  the  academies  is  integrating  CALL  platforms  within  their  services.  Finally,  the 
management were asked questions regarding any future projections for moving into a CALL platform within 
their academies: 87% stated they would not be offering 100% online classrooms and common reasons given 
included  lack  of  technical  skills,  insufficient  human  resources,  time  constraints  and  methodological  focus 
within  the  academy. When asked  hypothetically  which  skills  their  academy  would  like  to  focus  on  within  an 
online platform, the responses were distributed fairly evenly; however, listening scored highest with 69% of 
respondents choosing the skill. Interestingly, 56% chose speaking which made it the second most popular skill 
to  focus  on.  Furthermore,  two  thirds  of  the  academies  said  they  would  use  an  already  established  online 
language classroom. 
 
In order to test out some of these findings from language academies, a small test case study was prepared and 
conducted  using  GCCTs  throughout  the  entire  process.  The  pre‐class  homework  was  issued  in  a  Microsoft 
Word format and completed using a computer to listen to audio clips online and create maps and sent back for 
marking in the same format. Because the literature had suggested that auto‐feedback mechanisms were still 
patchy  in  quality,  being  less  able  to  correct  errors  in  context  than  a  teacher  involved  in  synchronous 
communication,  and  because  synchronous  approaches  are  available  via  Web  2.0,  the  lesson  was  conducted 
using Skype video conferencing and the message box was used in a similar way to a whiteboard. Two students 
completed the case study with individual Skype lessons and interviews. Initially, they were asked to complete a 
homework task that comprised of a variety of skills taught in a typical English language course. The students 
were allowed to do as much or as little of the homework as they wanted. The two students competed all the 
homework with varying types of errors within the two pieces of work. Overall, the students had very positive 
attitudes  towards  the  tasks  and  mostly  showed  understanding  of  the  task  requirements.  However,  without 
specific guidance from a teacher some errors were made in relation to task understanding. Both students fell 
into  the  most  common  age  range  of  the  survey  results  (20‐29  years).  Even  though  the  students  were  at  B2 
level, one student had been studying English for 1‐2 years, whilst the other student 6‐8 years. The students 
both chose “future work” as their reason for learning English and when asked which skill is the most important 
both  chose  “listening”  but  one  student  also  chose  “speaking”,  answers  which  were  typical  in  the  student 
survey. The students’ answers to the questions regarding computer competency and attitudes towards CALL 
also fitted closely to the survey.  
 
Within  the  interview  and  the  lesson  both  students  demonstrated  a  level  of  self‐directed  learning  whilst 
completing the pre‐class homework and within their comments towards learning through a computer. Student 
B  commented  on  the  positive  nature  of  self‐directed  learning  through  a  computer  but  also  highlighted  the 
need to use the equipment properly without which it was seen to be ineffective: 
 

466
 
Beatrice Segura‐Harvey and Sue Greener 

“if you have a laptop, you can use the dictionary, the Internet, look at some different articles if 
you  are  not  sure  about  a  particular  topic…  So  it  is  very  useful  if  you  use  it  properly,  but  if  you 
don’t it is completely useless”. 
She gave examples of useful self‐directed tasks, such as research for a discussion and ‘useless’ tasks, such as an 
Internet translator website. The word ‘usefulness’ was present in both interviews. Student A highlighted the 
need for body language whilst communicating with people when at a lower level of English. She went on to say 
that if she was at a lower level than B2 then she would not consider learning English online but now that she is 
at  a  B2  level  she  would  find  online  classes  ‘useful’?  The  students’  attitudes  towards  CALL  were  generally 
positive. The students appreciated the flexibility of the class and supported this with examples:  
“you can do at your home, when you can, when you are happy to do it” (Student A).  
The importance of this mental change was explained in more detail by student A expressing “a more positive 
mind” attributed to the learning process. Furthermore, student B added a perspective of educational culture, 
stating, “in my country, at university and school they just give you the books and say ‘here you go, go learn 
that’  ”  which  consequently  lead  onto  the  discussion  of  fully  self‐directed  learning.  Student  B  expressed  her 
belief  that  a  teacher  is  an  integral  part  to  the  learning  process  and  sided  with  the  blended  learning 
environment,  
“you can’t just leave everything to the laptop or some programmes. You always need a person, a 
teacher to explain to you where you are wrong and where you are not.”  
Finally, when the students were asked about the use of CALL in terms of computer competency, student A did 
not offer an opinion on the subject. However, student B referred back to her past education as a factor altering 
her  attitude  to  the  process.  Throughout  her  education  she  used  pen  and  paper  to  take  notes  and  prepare 
work. This ingrained habit affected her outlook on the usability of the computer for learning: “I am not used to 
that and it is my state of mind. But I have that state of mind because of the education I had”. It is possible that 
this area of doubt in this student’s mind could be an issue for students in general and so further research into 
students’ culturally conditioned perspectives would offer a deeper evaluation into the students’ motivations 
towards CALL in general.  
 
The Skype software allowed for free conversation with minimal technological issues. The major problems with 
communication during the lesson were the inability to make eye contact and use body language to: direct the 
flow of conversation, help student understanding of a concept and offer them encouragement. As the reliance 
on silent communication was very limited, there was a stronger focus on the ‘mmm’s and ‘ah ha’s. Also the 
interviewer  felt  that  smiling  was  paramount  as  eye  contact  was  impossible.  The  technological  discrepancies 
with the two lessons were freezing and blurred screens. However, these issues did not at any point during the 
lesson or interview disrupt the conversation or understanding.  
 
This study so far has shown from the survey data that the combination of local economic disintegration and 
unemployment in Spain has meant that English language learning has increased in demand over recent years 
and  is  still  rising  due  to  the  growing  acceptability  in  attitudes  towards  English  as  a  key  skill  for  future 
employability. Public perception in this area has been reported as changing and policies made by the Spanish 
government within the primary and secondary education systems further supports a move to an increase in 
English  proficiency  throughout  the  country  in  the years  to  come.   Due to  a  combination  of  factors  from  the 
research,  Spain’s  present  position  in  the  technological  arena  suggests  potential  development  in  CALL.  The 
contributing factors were: Spain’s high position in the global Internet ranking. Within the student survey nearly 
all  participants  stated  they  have  access  to  an  internet  connection  and  only  10%  of  respondents  stated  they 
spent 0‐5  hours  per  week  on  the  computer.  All  participants  responding  to  the  student  survey  answered  the 
questions  regarding  internet  browsing  and  email.  Therefore,  it  could  be  assumed  that  computer  access  and 
competency  is  high  within  the  country  as  the  data  shows  access  to  GCCTs  (such  as  Internet  and  related 
applications), which is one of the intrinsic building blocks to the development of CALL in a Web 2.0 context. 
Furthermore, even though the management survey from the findings is relatively small, a possible hypothesis 
could be deduced from the results for further research: The English Language Learning industry in Spain is not 
maximising  its  revenue  by  moving  into  a  new  technological  gap  within  the  market.  The  survey  participants 
were not working at full capacity in their traditional classrooms. However, 87% claimed that offering a 100% 
CALL platform was not under consideration over the next year. This attitude towards CALL as an area of new 
revenue  is  possibly  not  being  currently  assessed  by  this  industry.  Even  so,  this  hypothesis  needs  further 
research and therefore can only be suggested in this report. 

467
 
Beatrice Segura‐Harvey and Sue Greener 
 
A wide range of different types of GCCTs is being researched globally. The technological advancements in this 
area are developing into a wide range of platforms supporting many forms of learner styles and underpinned 
by a range of pedagogical theories. Whilst technological advancements are leading the CALL development, it 
seems  that  from  the  literature,  teaching  methodologies  and  second  language  acquisition  (SLA)  theories  are 
‘catching  up’  with  the  research  on  methods  of  effective  use  of  technology  and  learning  a  language.  For 
example,  automated  feedback  seems  to  still  be  in  its  infancy  in  terms of  a  sophisticated  platform  offering  a 
wide range of feedback styles. Consequentially, some of the literature claims that there needs to be more in‐
depth  research  on  this  and  other  areas  that  link  technology  and  learning  together.  Even  so,  technology  is 
increasingly available to the public on a global scale and on account of Spain’s membership with the European 
Union,  this  provides  the  nation  with  access  to  some  of  the  fast  paced  technological  advancements  in  the 
world.  Therefore,  the  combination  of  Spain’s  change  in  attitudes  towards  English  language  as  a  key  skill  for 
employability and the speed at which the technological advancements are reaching the public domain, it could 
be concluded that the future of CALL appears set to grow.  
 
The  data  from  the  student  survey  showed  that  even  though  nearly  68%  of  the  participants  would  consider 
using  CALL  to  learn  English,  there  were  qualitative  responses  that  highlighted  student  apprehension  or 
unawareness  to  the  potential  variety  of  CALL  platforms  available.  Another  popular  characteristic  in  all  the 
research data emphasized the importance of the level of flexibility CALL offers. In the student survey 84% of 
respondents  chose  flexibility  as  a  criterion  for  motivation  to  use  CALL.  Subsequently,  the  case  study 
participants  connected  this  aspect  of  flexibility  to  a  more  positive  mindset  when  working.  Furthermore,  the 
literature indicated that the term flexibility went beyond the concepts of freedom of time, location and choice. 
The  variety  of  platforms  also  displayed  flexibility  in  terms  of  diversity  of  uses  of  different  learner  styles,  for 
example,  through  the  use  of  sensory  learning  and/or  culturally  authentic  materials.  In  spite  of  the  present 
environment, future progression and studied attitudes of CALL, the findings in this project raise questions as to 
the level of student competency within both technology and learning skills when using CALL.  
 
Firstly,  the  student  survey,  showed  that  computer  competency  and  access  could  be  high  within  Spain. 
However,  there  were  participants  who  omitted  the  questions  in  regards  to  confidence  when  using  Skype. 
Additionally, the case study displayed that whilst both students completed the pre‐class homework effectively, 
one  of  them  drew  attention  to  a  potential  cultural  issue  that  students  could  have.  During  her  education  in 
Spain  she  was  used  to  working  with  a  pen  and  paper  and  so  associated  learning  with  this  method  of 
documentation. Despite this point, the homework called for the students to use a more self‐directed form of 
learning as many of the tasks were slightly ambiguous by design. The two participants therefore, displayed this 
style  of  learner  approach,  which  is  in  line  with  much  of  the  literature  in  this  report.  The  literature  not  only 
suggested that there needed to be some degree of self‐direction when using CALL but that a learner strategy 
of “the life‐long learner” was a positive attribute within a student.  
5. Concluding remarks 
The global development of CALL offers a potentially new form of learning for students in Spain and, although 
the platforms are not in popular use in Spain at present in private language academies, there is an opportunity 
for growth in this field. If there were to be an expansion of CALL in the country then this could offer students a 
variety of flexible approaches to improve their English so as to gain an increased level of employability. This 
method could also be conducive to a more authentic business environment due to the technological approach 
of  international  communications  now  used.  Consequently,  this  could  not  only  improve  an  individual’s 
professional  prospects  but,  if  successfully  executed  on  a  large  scale  with  wide  spread  English  education 
through CALL, it could improve the global prospects of the economy as a whole by having skilled workers with 
an international standard of ‘English for work’. 
 
Even though CALL is not integral to the spread of English proficiency within Spain, it does offer a new method 
of accessibility and appears to meet a significant gap identified in this study in private language academies. On 
the  other  hand  there  are  many  factors  that  will  affect  the  level  of  development  of  CALL  in  Spain  and  if  a 
business  is  considering  this  platform  it  will  need  to  take  into  account  many  issues  regarding  culture, 
technological competency, motivational attitudes, student accessibility and technological effectiveness in the 
current  environment.  Attitudes  towards  the  importance  of  English  have  been  changing,  so  it  would  be 
beneficial  for  a  business  to  take  advantage  of  this  development  and  lead  an  already  growing  market  into  a 

468
 
Beatrice Segura‐Harvey and Sue Greener 

diverse  and  expanding  phenomenon  of  computer  assisted  language  learning  based  on  social  constructionist 
principles and supporting self‐direction in learning.  

References  
Altunay, D., (2013) The Role of Open Educational Resources in English Language Learning and Teaching. International 
Journal of Computer‐Assisted Language Learning and Teaching 40 (2) 97‐107 
Bin Zou, Zing, M., Xiang, C., Wang, Y., Yuping, W., and Sun, M., (2013) Computer‐Assisted Foreign Language Teaching and 
Learning: Technological Advance. International Journal of Computer‐Assisted Language Learning and Teaching 3 (3) 
99‐104 
English First. (2013). EF English Proficiency Index. English First.First, E. (2012). English First. Retrieved 11 15, 2013, from 
English First Website: http://www.ef.com.es/about‐ef/press/release/news_25_04_2012/  
International Monetary Fund. (2013, 04). Retrieved 11 20, 2013, from 
http://www.imf.org/external/pubs/ft/weo/2013/01/weodata/index.aspx 
Ernest, P., Catusus, M., Hampet, R., Heiser, S., Hopkins, J., Murphy, L., and Stickler, U. (2013) Online Teacher Development: 
Collaborating in an online learning environment. Computer Assisted Language Learning. 26 (4) 311‐333 
Garrett, N., (2009) Computer‐Assisted Language Learning and Teaching Trends and Issues Revisited: Integrating Innovation. 
The Modern Language Journal. 93. 719‐740 
Lord, G., and Harrington, S., (2013) Online Communities of Practice and Second Language Phonological Acquisition. 
International Journal of Computer‐Assisted Language Learning and Teaching 3 (3) 34‐55 
Luo, T. (2013) Web 2.0 for Language Learning: Benefits and Challenges for Educators. International Journal of Computer‐
Assisted Language Learning and Teaching 3 (3) 1‐17 
Vetromille‐Castro, R., Marie Moor, A., Bohlmann Duarte, G., and Hoffmann Sedres,N. (2013) From Learning Objects to 
Language Learning Objects: Communicative Language Teaching principles in CALL materials. International Journal of 
Computer‐Assisted Language Learning and Teaching 3(2) 82‐96 
 

469
Achieving Flow Through Gamification in the Course of Computer 
Games 
Martin Sillaots 
Tallinn University, Tallinn, Estonia 
martins@tlu.ee 
 
Abstract: Gamification is the use of game elements in non‐game environment, for example in the educational contexts of 
courses  and  lessons.  The  safest  candidate  for  implementing  gamification  in  education  is  the  course  of  computer  games 
because game‐like course format is supported by the course content. How the students accept this kind of approach? Can 
gamification make the learning more engaging? Can students feel the stop worrying about themselves and lose the sense 
of  time  –  feel  the  flow?  To  answer  to  those  questions  two  courses  (one  for  Cross  Media  master  students  and  one  for 
bachelor level students) of Design of Computer Games were organised like games. Different game elements (experience 
points, scoreboard, avatar, chance, competition etc.) were integrated with the course to gain the atmosphere of game. In 
the end of each course the feedback information was collected and the flow conditions (balance, concentration, clear goals, 
feedback,  autonomy  and  immersion)  were  measured.  It  turned  out  that  the  same  gamification  methods  lead  to  the 
different level of flow in different cases. Relatively small aspects can disturb the flow. 
 
Keywords: flow, gamification, game design, course design 

1. Introduction 
Gamification is the use of game elements in non‐game environment (Kapp 2012). This method is frequently 
used  in  marketing  and  business  conditions  (Huotari  &  Hamari  2011).  Education  is  one  field  where  game 
elements  have  started  to  use  lately  (Kapp  2012).  In  most  cases  the  gamification  is  implemented  in  order  to 
increase the engagement among students (Fitz‐Walter et al. 2011). The easiest case for course gamification is 
the course of computer games because the course content is supporting gamified learning activities (Sheldon 
2011). Is it possible to design the course in the way that students immerse with the learning activities and they 
don’t notice the time passing? This kind of immersion (Baños et al. 2004) and flow (Csikszentmihalyi 1990) is 
typical to the computer games. Players can spend hours with playing their favourite games and not noticing 
what’s happening around them. It would be nice to engage students with the study process in the same deep 
level then players of video games. 
 
The aim of this study is to design and implement two courses of Computer Games as games and evaluate does 
this leads to deeper immersion? Game elements like goals, avatar, experience points, scoreboard, levels, luck, 
collaboration, competition and feedback were integrated with course design. The model of flow was used for 
measuring  the  immersion  among  students  on  the  gamified  courses.  First  the  game  elements  used  for 
gamification  are  introduced.  Next,  the  tool  for  measuring  the  flow  is  described.  Then  the  case  courses  are 
introduced and finally the flow is measured.  
2. Game elements 
Before we start talking about game elements it is important to define what game is? “Game is a activity of play 
in the pretended reality where participants try to achieve challenging goal by acting in accordance with rules” 
(Adams 2009). By this definition game does not have to be competition. Some authors distinguish games from 
the simulations saying that game is always competition against something or somebody. Game does not have 
to be purely entertaining. E.g. educational games have a serious goal. Some serious games are not even fun 
(e.g.  medical  simulators).  Depending  on  the  genre  and  type  games  can  contain  following  elements  (Adams 
2009): 
ƒ Clear goals 
ƒ Interactive activities for achieving the goals 
ƒ Instant and rich feedback to the activities 
ƒ Competition among players 
ƒ Collaboration in teams 
ƒ Clear rules – game objects and relations between them 

470
 
Martin Sillaots 

ƒ Rewards like experience points, scoreboards and badges 
ƒ Levels as game units or rating or difficulty of the game 
ƒ Balance between skills and challenges 
ƒ Luck, chance or randomness 
ƒ Risk of failing 
ƒ Game world – imaginary place where players go during the gameplay 
ƒ Characters – avatars and non‐player characters 
ƒ Game aesthetics – graphical and visual elements 
ƒ Interactive story telling 
ƒ Immersion – loosing the sense of time and stop worrying about self. 
Some of the game elements (e.g. goals, rules and collaboration) are very close to course elements. Some of 
the  game  elements  are  similar  but  named  differently  (e.g.  grades  are  rewards,  learning  units  are  levels, 
learner’s profile is avatar). Some of the elements should be part of the course design but sometimes they are 
missing (e.g. instant and rich feedback, balance between learner skills and assignments). Some of the elements 
are not so frequently used in educational conditions (e.g. competition, luck, risk, story) and some of them are 
difficult to implement (e.g. game world and aesthetics).  

3. Flow 
When goals are clear and activities are organised in engaging way the participants loose the sense of time and 
they stop worrying about themselves. This kind of immersion is typical for computer games. (Baños et al. 2004). 
How  to  evaluate  the  level  of  immersion  on  the  gamified  course?  Several  theories  exist  for  analysing  users 
enjoyment like disposition, attitude, transportation, cognition, parasocial interaction and flow (Oliver & Nabi 
2004).  When  most  of  the  theories  provide  narrow  models  for  enjoyment,  the  theory  of  flow  gives  general 
structure suitable for summarising the aspects of enjoyment. It enables to build a instrument for measuring 
the design of the course (Sweetser & Wyeth 2005). 
 
Flow is a state of mind where the user is concentrated on the certain task so deeply that they are loosing the 
sense  of  time  and  stop  worrying  about  other  things.  It’s  optimal  experience  in  the  level  of  mind  and  body 
when  the  user  absorbs  to  the  activity  and  feels  deeper  enjoyment  (Csikszentmihalyi  1990).  According  to 
Csikszentmihalyi for achieving the state of flow following conditions should be provided: 
ƒ Balance  between  challenges  and  users  skills.  Also  constant  growth  of  the  level  of  difficulty  accordance 
with the growth of skills. 
ƒ Distractors are avoided and concentration is supported. 
ƒ Tasks are fulfilled spontaneously and effortlessly. Activity must be rewarding for its own sake. 
To achieve flow conditions following elements are important to meet: 
ƒ Achievable tasks – difficult but achievable through great effort. 
ƒ Ability to concentrate on task. 
ƒ Clear goals – it should be clear what is needed. How to achieve that, is open. 
ƒ Tasks provide instant and rich feedback. 
ƒ Autonomy – user is controlling her actions. 
ƒ Deep but effortless involvement – concern of everyday life disappears – Immersion. 
ƒ Concern of self disappears – Immersion. 
ƒ Loosing the sense of time – Immersion. 
Several  researchers  have  used  the  concept  of  flow  for  measuring  the  user  engagement  while  playing 
videogames (Brockmyer et al. 2009) (Sweetser & Wyeth 2005) (Beume et al. 2008), e‐learning games (Fu et al. 
2009), participating in online courses (McGrath & Bayerlein 2013), or in online idea competitions (Witt et al. 

471
 
Martin Sillaots 

2011). According to previously listed sources, the elements for the model of flow are: balance, concentration, 
goals, feedback, autonomy and immersion. 

4. Case courses  
In order to increase the students’ engagement, two courses of Game Design were organised as games: 
ƒ Game  Interactions  (G1)  course  was  held  in  the  spring  semester  2013  for  Cross  Media  and  Interaction 
Design  master  students.  During  the  entire  semester  6  face  to  face  contact  lessons  were  organised  (4h 
each). 20 students out of 21 (95%) finished the course. 
ƒ Computer Games (G2) course was held in the autumn semester 2013 for Cross Media bachelor students. 
Course had 12 contact sessions (4h each). 23 students out of 35 (66%) finished the course. 
The objectives of the both courses were to provide an overall understanding about game research and theory, 
design and implementation. The main focus was on the game design. The content of the course was based on 
the book “Fundamentals of game design” (Adams 2009). Following topics were covered: game structure and 
elements, design process and roles, game idea and concept, gameplay, core mechanics and balancing, story, 
game world, characters, user interface, paper and digital prototypes. Learning activities were inspired by the 
book “Multiplayer Classroom” (Sheldon 2011).  
 
In both case courses started with introducing the learning goals. First assignment was the design of personal 
avatar. Students were encouraged to use nicknames that are related with the course content. They were also 
asked  to  design  an  icon  for  the  avatar  and  write  character  background  story.  The  main  objective  for  avatar 
design was to generate safe names that can be used in the scoreboard and not to violate the law of protection 
of personal data. Every assignment had three sub‐activities: creating and uploading an artefact (document or 
drawing  or  prototype),  presenting  the  artefact  in  the  class,  answering  and  asking  questions.  E.g.  during  the 
avatar  assignment  every  student  designed  her  profile  for  the  course  VLE  as  avatar.  Based  on  the  quality  of 
assignment, experience points (XP) were achieved. Randomly selected five students had a chance to introduce 
their avatar in the front of the class and answer to the questions. Additional XP’s were offered based on the 
quality of presentations and questions. 
 
Next assignment was related with analysing and introducing student’s favourite digital game. Students had to 
write a short paper about one game and to describe its genre, gameplay and other elements. Third assignment 
was selecting role for the game design team based on student’s background. Role selection affected the team 
formulation.  
 
Forth assignment was providing an idea for the new computer game. Every student had a chance to pitch the 
idea in front of the class. After presentations voting was organised. Students had to select the most attractive 
ideas. In different cases the voting was organised differently. In G1 every student presented ideas in the front 
of  the  entire  class  and  every  student  had  a  chance  to  evaluate  all  ideas.  Because  this  process  was  too  time 
consuming  in G2  first  the  teams  were  formed  and  students  introduced  their  ideas  in  smaller  groups.  Voting 
was made inside of the group and the selected idea was introduced to the rest of the class. In both cases the 
owners of the selected ideas earned some extra XP’s.  
 
Based  on  selected  roles  (and  in  G1  case  also  on  game  idea  preferences)  the  teams  were  formed.  TeamUp 
(http://teamup.aalto.fi)  tool  was  used  for  creating  heterogeneous  teams.  This  tool  enables  to  form  groups 
automatically  based  on  students’  preferences  so  they  could  work  with  suitable  game  idea  and  to  hold  a 
desired role in the team. 
 
After  forming  the  teams  rest  of  the  activities  were  conducted  as  a  joint  effort.  Students  were  asked  to 
compose a document to describe the specification of the new game, design the game challenges and activities 
(gameplay), specify core mechanics of the game (rules), write a story for the game, design graphical items for 
the game world (backgrounds, characters, objects), compose paper prototype and implement digital prototype 
for  the  game.  For  game  development  the  eAdventure  (http://e‐adventure.e‐ucm.es)  platform  was  used. 
eAdventure  doesn’t  require  programming  skills.  Every  assignment  involved  creating  a  short  documents  or 
artefacts, presenting them in the front of the class and asking questions from other teams. The members of 
the teams earned XP’s per every assignment in equal level. Most of the activities involved cooperation inside 

472
 
Martin Sillaots 

the teams and competition between teams and provided immediate oral feedback to the students. The aspect 
of chance was reduced during the team activities because it affected only the order of presentations. 
 
The course ended with the final exam (Big Boss Fight) where teams introduced their game specifications and 
demonstrated  digital  prototypes.  Visitors  from  game  industry  were  invited  to  listen  students’  presentations 
and ask questions. After the exam students were asked to conduct self‐evaluation. They had a chance to adjust 
the amount of XP’s that were collected during the teamwork. 
 
Every activity generated certain amount of experience points (XP). Based on XP’s students were listed in the 
scoreboard. Game levels were based on scores and later they were converted in to grades. Course included 
several bonus activities and possibilities to earn extra XP’s like testing and evaluating different game projects 
and providing links to additional learning materials. 

5. Methodology 
In the end of each course the feedback was collected from the students in the format of online questionnaire. 
Altogether  32  students  out  of  43  (74%)  who  finished  the  course  with  the  positive  result,  responded  ‐  17 
students  from  G1  (85%)  and  15  students  from  G2  (65%).  The  goal  of  the  survey  was  to  evaluate  did  the 
gamification  leaded  to  the  flow  (were  the  flow  conditions  achieved)?  Questions  were  adapted  from  the 
previous  surveys  done  by  different  researchers  (Brockmyer  et  al.  2009)  (Fu  et  al.  2009).  13  questions  were 
asked  from  the  G1  course  participants.  The  questions  were  expressed in  the  form a Likert  scale,  and  with a 
free text field for additional comments. For the G2 the previously used questionnaire was modified by adding 
questions.  21  single  choice  questions  with  free  form  comments  were  asked.  Questions  from  two  different 
surveys  were  mapped  according  to  the  Flow  model  (Brockmyer  et  al.  2009)  concerning:  balance  (G1  3 
questions; G2 4 questions), concentration (G1 3; G2 3), goals (G1 3; G2 2), feedback (G1 1; G2 3), autonomy 
(G1 2; G2 4) and immersion (G1 1; G2 5). 
 
The  interval  scale  with  values:  yes  =  4,  rather  yes  =  3,  rather  no  =  2,  no  =  1  was  used  for  the  answers.  The 
neutral answer was left out intentionally to force students to take clearer standpoints. Arithmetical averages 
were calculated for every question and for the group of questions (flow element).  
Table 1: Scales for the questions and results 
Scales  Value  Min  Max 
Yes  4  3.26  4.00 
Rather yes  3  2.51  3.25 
Rather no  2  1.76  2.50 
No  1  1.00  1.75 
During  the  data  analysis,  average  results  were  tied  with  text‐based  explanations.  The  consequent 
interpretation  key  was  the  following.  The  range  from  1  to  4  was  divided  in  to  4  equal  intervals.  When  the 
average  rating  belongs  to  the  range  from  4  to  3.26  then  this  flow  element  was  successfully  achieved  (Yes). 
Rather yes if the result belongs between 3.25 and 2.51. Rather now if the result belongs between 2.5 and 1.76. 
Element  was  not  achieved  if  the  result  belongs  to  range  from  1.75  to  1.  All  quantitative  estimations  were 
combined with students’ qualitative comments. 

6. Results 
In general all flow aspects were achieved in high level (total average rating 3.27 – yes) but the flow in G1 (3.38 
‐ yes) was achieved in much higher level then in G2 (3.15 – rather yes). In this case younger students (G2 was 
formed from bachelor students) felt flow in lower level then older G1 master students.  
Table 2: Average ratings for flow elements per courses  
Flow Conditions  G1  G2  Average 
Balance between challenges and skills  3.25  Yes  3.39  Yes  3.32  Yes 
Avoid distraction and enable concentration  3.43  Yes  3.24  Rather yes  3.34  Yes 
Clear goals  3.65  Yes  3.34  Yes  3.49  Yes 
Instant and rich feedback  3.59  Yes  3.62  Yes  3.61  Yes 
Control and autonomy  3.03  Rather yes  3.05  Rather yes  3.04  Rather yes 
Immersion  3.29  Yes  2.54  Rather yes  2.92  Rather yes 
Average flow  3.38  Yes  3.15  Rather yes  3.27  Yes 

473
 
Martin Sillaots 

It is apparent from the students’ comment that in both cases they enjoyed the gamified course but according 
to their remarks, stronger flow was achieved among G1 students then in G2. G2 students felt difficulties with 
motivation  among  team  members,  physical  learning  conditions  that  did  not  support  teamwork,  the  way  in 
which the teams were formed and personal attitude towards learning.  
 
In both cases students enjoyed the final presentation of game prototypes the most because it had an audience 
of professionals that gave their availability to come and to challenge students with questions and remarks. The 
composition of the audience was perceived incredibly high in quality.  

6.1 Balance 
In both cases students found the difficulty of the assignments to be in balance with their skills and knowledge. 
As there were no programming skills required to attend the course, none of the tasks was too difficult. In both 
cases students felt that the difficulty level rather increased during the course. First exercises like creating an 
avatar  or  writing  the  main  idea  of  the  game  were  really easy, but as  the  course  came  closer  to  an end,  the 
missions (for example the digital prototype and at the same time preparing for big boss fight) got more time 
demanding. 
Table 3: Average ratings for questions about balance 
Questions  G1  G2 
Learning activities were suitable for students’ skills  3.35  Yes  3.51  Yes 
Difficulty of the tasks increased during the course  3.12  Rather yes  3.00  Rather yes 
Skills increased during the course  3.29  Yes  NA  NA 
Average Balance  3.25  Yes  3.39  Yes 
They also mentioned that managing the teamwork was getting harder when the course proceeded. One team 
leader  was  expecting  team  members  to  contribute  to  the  further  development  of  the  game  idea  but  fellow 
students refused to do that. Instead they expected clear development tasks from the manager. Another team 
leader  was  not  happy  when  team  members  tried  to  reshape  the  core  concept  of  the  game.  In  negative 
comments students mentioned that they needed more time for teamwork. G2 students mentioned that they 
expected more practical work instead of theory.  

6.2 Concentration 
In  general  the  concentration  to  learning  activities  was  higher  among  G1  students  then  G2.  In  both  cases 
students found that the biggest factor for higher engagement was the content of the course. They mentioned 
enjoying  the  creative  nature  of  the  learning  activities.  Also  the  possibility  to  earn  XP’s  was  mentioned  as  a 
motivating factor. One G1 student commented: “The idea to give XP for completed tasks and for being active 
in  the  class  is  really  great,  but  unfortunately  what  is  good  is  always  given  too  little.  I  would  have  expected 
more ways to be interactive and earn points for various fun tasks which would be completed during the class, 
maybe there just weren't that much time for that.” 
Table 4: Average ratings for the questions about the concentration 
Questions  G1  G2 
Course provided stimuli for involvement  3.65  Yes  2.73  Rather yes 
It was easy to focus on course content  3.24  Rather yes  3.00  Rather yes 
Learning activities were relevant to the course content  3.41  Yes  4.00  Yes 
Average concentration  3.43  Yes  3.24  Rather yes 
G2  students  found  that  the  gamified  course  design  helped  them  to  concentrate  on  learning  activities.  One 
student  commented:  “Learning  through  gaming  is  a  good  idea  to  motivate  young  people  nowadays”.  G2 
students  provided controversial  comments  towards the work  in  teams.  Half  of  them  enjoyed  work  in  teams 
because  it  provided  opportunities  to  discuss  ideas  and  solutions.  Other  felt  frustration  because  the  lack  of 
communication  and  low conscientiousness  among  team members.  One  G2  student  said:  “I could have  done 
more, but got discouraged because of my team. If they do nothing, why should I?” 
 
In both cases students found it relatively easy to focus on course if the assignments were delivered on time. 
Some students’ mentioned that they had difficulties because of other responsibilities (other subjects and job 
tasks). G2 added another factor that made focussing harder – not suitable classroom. Classes took place in the 

474
 
Martin Sillaots 

cinema hall. The room was too big, too dark and the physical conditions supported comfortable sitting instead 
of active involvement. 
 
Both  G1  and  G2  students  found  that  all  learning  activities  were  relevant  with  the  course  content.  Some 
students recommended to skip the theoretical part of the computer games and focus only on practical hands 
on game design. 

6.3 Goals 
In both cases the goals of the course and the scoring system was clear for most of the students. Some students 
mentioned that the goal or the scoring system was not understandable in the beginning of the course but they 
got clear during the process. 
Table 5: Average ratings for the course goals 
Questions  G1  G2 
Course goals were clear  3.71  Yes  3.47  Yes 
Rewards were appropriate for the effort needed  3.53  Yes  3.20  Rather yes 
Average to Goals  3.65  Yes  3.34  Yes 
It  was  also  mentioned  that  scoring  system  was  too  complex  and  took  too  much  time  for  explanations.  Few 
students  did  not  like  the  use  of  randomness  but  it  affected  very  small  amount  of  course  activities  and  was 
mostly related with creating the order of presentations. G2 students comment that final exam should provide 
more XP’s  

6.4 Feedback 
In both cases students perceived the feedback to be instant and rich enough. Feedback was provided through 
oral comments, email messages and scoreboard. 
Table 6: Average ratings for the feedback 
Questions  G1  G2 
Feedback was instant  3.59  Yes  3.80  Yes 
Feedback was rich  NA  NA  3.40  Yes 
VLE was easy to use  NA  NA  3.67  Yes 
Average Feedback  3.59  Yes  3.62  Yes 
Although the question about the ease of use of the VLE was not asked from G1 students, they discussed VLE 
related aspects in general comments. In both cases students were satisfied with the VLE and found it easy to 
use  compared  to  other  VLE’s.  In  negative  comments  they  mentioned  that  they  have  too  many  different 
learning platforms and it is complicated to orientate in all of them. 

6.5 Control 
In both cases learners felt moderate control (rather yes) over their learning activities and progress during the 
course. Mostly the control was based on individual contribution to assignments. Students from G1 emphasise 
the importance of the engaging activity. This is also mentioned in G2 students’ comments but more frequently 
they  mention  the  importance  of  the  scoreboard  –  XP’s  were  more  important  to  them  to  measure  their 
progress then for G1 students. 
Table 7: Average ratings for the control 
Questions  G1  G2 
Learners implemented different strategies for getting positive results  NA  NA  2.57  Rather yes 
Learners had control over learning activities  NA  NA  3.33  Yes 
It was possible to correct mistakes  NA  NA  3.33  Yes 
Learners had control over the progress  3.03  Rather yes  3.47  Yes 
Average for Control  3.03  Rather yes  3.05  Rather yes 
Students also listed several aspects that did not respond to their control: management of teamwork (in some 
teams) and randomly pointed presentation tasks. 
 

475
 
Martin Sillaots 

6.6 Immersion 
G1 students felt much higher immersion during the course compared to G2. One reason for this could be the 
more  detailed  set  of  questions  that  was  asked  from  G1.  But  based  on  students’  comments  it  is  clear  that 
immersion among G2 students was lower.  
Table 8: Average ratings for immersion 
Questions  G1  G2 
Learning activities were engaging  3.29  Yes  3.20  Rather yes 
During learning activities I forgot my everyday troubles  NA  NA  2.13  Rather no 
During learning activities I felt that time is passing faster than usually  NA  NA  2.33  Rather no 
During learning activities the concern about self disappeared  NA  NA  2.53  Rather yes 
During learning activities I felt emotional connection with other students  NA  NA  2.53  Rather yes 
Average immersion  3.29  Yes  2.54  Rather yes 
G1  students  found  the  learning  activities  highly  engaging  because  the  nature  of  assignments.  Students 
commented that it was really engaging to write analyse of the favourite game or story for the game, produce 
the trailer for the game or prepare for the final presentation. Students felt strong emotional connection with 
their project and this motivated them to contribute more actively. 
 
Although  G2  students  mentioned  that  it  was  interesting  to  shape  a  mere  idea  in  to  something  that  can  be 
created, it did not lead to forgetting everyday troubles. In the beginning of a course the time was passing fast, 
but  in  second  half,  it  was  slowing  down.  G2  students  were  more  focussed  on  collecting  XP’s  then  finishing 
deliverables. The motivation dropped when the amount of points required for the positive grade was collected. 
In some teams G2 students felt that team spirit dominated over the self. In this case they also felt a stronger 
emotional connection between team members. In one team one student tried to control the entire process 
and  was  not  taking  in  to  account  fellow  students’  opinions.  And  in  some  teams  the  connections  remained 
weak because students did not contributed to teamwork enough. 

7. Discussion and conclusion 
The  aim  of  the  article  was  to  design  two  courses  as  games  to  achieve  the  stronger  involvement  among  the 
students and measure the effect of the gamification with the help of model of Flow. In one case (G1) the state 
of flow was achieved in much higher level then in another (G2). What are the possible reasons that lead to the 
different results in similar courses? 
 
The main reason for the weaker flow among G2 students was probably related with the mechanism how the 
teams  were  formed.  In  G1  all  students  introduced  their  ideas  for  the  new  game.  Best  ideas  were  selected 
through voting and teams were formed around the teams (students had a chance to choose whit what idea 
they would like to work). In G2 (because of bigger number of students) first the teams were formed and then 
the idea was selected inside the teams. Most likely this caused the situation where some of the team members 
did not feel emotional connection with the selected idea.  
 
Another  aspect  that  can  influence  the  flow  is  the  nature  of  students’  motivation.  Students’  comments 
provided  plenty  of  evidences  to  understand  that  students  from  G1  were  more  driven  by  the  intrinsic 
motivators (to them the nature of the assignment was engaging) when G2 students were mostly interested in 
collecting  XP’s  ‐  extrinsic  motivators.  Maybe  it  was  not  reasonable  to  provide  XP’s  to  the  activities  that  are 
engaging enough? This is also accordance to the Kapp’s recommendations – provide points for boring activities, 
interesting activities are engaging because of their nature (Kapp 2012). Games and game design are perceived 
as engaging topics for most of the students because they are related with play and creativity. 
 
Third  aspect  could  be  the  physical  conditions  of  the  course  –  cinema  hall  is  not  suitable  place  for  active 
involvement. And finally G2 students’ attitude to learning was different compared G1 students. G2 students 
had different excuses (other courses and busy times at work) for missing the classes.  
 
For  conclusion,  gamification  of  the  course  can  increase  the  involvement  among  students  and  the  model  of 
Flow can be used for measuring the deepness of the immersion. Following comment from one G1 student is 
representing nicely the general attitude of the entire group: “I found the course challenging and engaging. The 
idea  to  structure  the  course  like  a  game  was  at  first  strange,  but  then  refreshing.  Such  way  to  present  the 

476
 
Martin Sillaots 

course made it from the beginning pertinent to the subject and gave us immediately the idea that when we 
talk about games all our engagement has to be within the game world. I would like other lecturer to have the 
same risky, but interesting way to present and see academic lectures.” 
 
In presented cases there is a plenty of space for improvement: 
ƒ Teams should be formed around the game ideas. 
ƒ Create scoring system that supports work in teams. E.g. Let fellow students to grade team presentations. 
Based  on  this  the  average  score  for  the  presentation  is  given  to  the  teams.  Finally  team  has  to  share 
earned points between team embers based on their contribution. 
ƒ Replace scoreboard with team personal task list that describes what should be done and what is done.  

References 
Adams, E., 2009. Fundamentals of Game Design, New Riders; 2 edition.  
Baños, R.M. et al., 2004. Immersion and emotion: their impact on the sense of presence. Cyberpsychology & behavior : the 
impact of the Internet, multimedia and virtual reality on behavior and society, 7(6), pp.734–41.  
Beume, N. et al., 2008. Measuring flow as concept for detecting game fun in the Pac‐Man game. In 2008 IEEE Congress on 
Evolutionary Computation (IEEE World Congress on Computational Intelligence). IEEE, pp. 3448–3455.  
Brockmyer, J.H. et al., 2009. The development of the Game Engagement Questionnaire: A measure of engagement in video 
game‐playing. Journal of Experimental Social Psychology, 45(4), pp.624–634.  
Csikszentmihalyi, M., 1990. Flow: The Psychology of Optimal Experience, Harper &Row.  
Fitz‐Walter, Z., Tjondronegoro, D. & Wyeth, P., 2011. Orientation Passport. In Proceedings of the 23rd Australian Computer‐
Human Interaction Conference on ‐ OzCHI ’11. New York, New York, USA: ACM Press, pp. 122–125.  
Fu, F.‐L., Su, R.‐C. & Yu, S.‐C., 2009. EGameFlow: A scale to measure learners’ enjoyment of e‐learning games. Computers & 
Education, 52(1), pp.101–112.  
Huotari, K. & Hamari, J., 2011. “Gamification” from the perspective of service marketing. In CHI 2011. Vancouver.  
Kapp, K.M., 2012. The Gamification of Learning and Instruction: Game‐based Methods and Strategies for Training and 
Education [Hardcover], Pfeiffer; 1 edition.  
McGrath, N. & Bayerlein, L., 2013. Engaging online students through the gamification of learning materials: The present 
and the future. In Sydney: H. Charter;M. Gosper; J. Hedberg, pp. 573–577.  
Oliver, M.B. & Nabi, R.L., 2004. Exploring the Concept of Media Enjoyment: An Introduction to the Special Issue. 
Communication Theory, 14(4), pp.285–287.  
Sheldon, L., 2011. The Multiplayer Classroom: Designing Coursework as a Game [Hardcover], Cengage Learning PTR; 1 
edition.  
Sweetser, P. & Wyeth, P., 2005. GameFlow: A Model for Evaluating Player Enjoyment in Games. Computers in 
Entertainment, 3(3), p.24.  
Witt, M., Scheiner, C. & Robra‐Bissantz, S., 2011. Gamification of online idea competitions: Insights from an explorative 
case. In Proceedings of INFORMATIK 2011 ‐ Informatik schafft Communities. Berlin, p. 192. 
 

477
Learning Biology With Interactive Digital 3D Content: Teacher 
Attitudes 
Leo Siiman, Mario Mäeots and Margus Pedaste 
Centre for Educational Technology, University of Tartu, Tartu, Estonia 
leo.siiman@ut.ee 
mario.maeots@ut.ee 
margus.pedaste@ut.ee 
 
Abstract: E‐learning has the potential to transform the educational experience by going beyond traditional ways of learning 
such as reading textbooks or listening to in‐class lectures. Digital content forms the foundation of e‐learning and internet 
connectivity makes the delivery of digital content fast, reliable and convenient. However, thus far most e‐learning content 
has  been  simply  traditional  content  converted  to  digital  form  (paper  textbooks  become  e‐books  and  in‐class  lectures 
become online video lectures). But digital content can offer new functionality that transcends the limitations of traditional 
content. One important example where this is true is digital 3D models. Digital 3D models allow learners to interactively 
navigate  and  visually  examine  the  spatial  structure,  composition  and  arrangement  of  objects.  This  type  of  interactivity 
supports spatial thinking, which is strongly linked to academic success in the STEM (science, technology, engineering and 
mathematics) disciplines. The STEM subjects are important drivers of innovation and economic growth in knowledge‐based 
societies, but currently the number of young people pursuing and obtaining high qualifications  in STEM is insufficient to 
meet the future needs of many developed countries. In this paper we explored how digital 3D content can enhance and 
improve  STEM  learning.  To  investigate  this  topic  we  created  a  digital  3D  model  of  the  human  respiratory  system, 
distributed  it  via  a  web‐based  platform  to  three  experienced  biology  teachers  and  then  conducted  in‐person  interviews 
with  the  teachers.  Based  on  the  teacher  responses  we  were  able  to  synthesize  four  instructional  design  principles 
(dynamic,  spatial,  informative  and  authentic)  that  characterize  what  effective  3D  content  should  look  like.  The  opinions 
and attitudes of teachers towards using digital 3D models for teaching a domain‐specific STEM subject, and their views on 
the  learning  experiences  afforded  by  3D  content  are  important  for  designing  and  using  new  e‐learning  content  so  it 
impacts student learning in an effective and meaningful way.  
 
Keywords: e‐learning, visualization, digital 3D content, STEM education, secondary school, teacher attitudes  

1. Introduction 
Digital 3D content in education is an emerging trend where new opportunities for teaching and learning exist 
(Bodenlos and Lennex, 2012). With digital 3D models students can interact with content in ways not previously 
possible.  Interacting  with  digital  3D  content  has  the  potential  to  improve  a  students’  understanding  of 
scientific  structures  and  processes  (Siiman  and  Pedaste,  2013).  Yue  (2012)  showed  that  realistic  computer‐
based 3D views improve spatial thinking. Spatial thinking can be defined as an ability to create, retain, retrieve, 
and transform well‐structured visual images (Korakakis, Pavlatou, Palyvos and Spyrellis, 2009, p. 391). Spatial 
thinking  is  an  important  factor,  or  even  a  fundamental  ability,  related  to  future  academic  success  in  the 
subjects of science, technology, engineering and mathematics (Yue, 2012; Wai, Lubinski and Benbow, 2009). 
 
Besides  offering  potential  academic advantages  through  enhanced  spatial  ability, 3D  content can  be  visually 
stimulating  and  thus  a  promising  way  to  motivate  young  students  to  study  STEM  subjects.  A  recent  and 
successful  intervention  to  reverse  declining  student  interest  in  computer  science  has  been  to  teach  novice 
students  using  a  visual  programming  environment  rather  than  with  a  syntax‐dependent  text‐only 
programming  language  (Siiman,  Pedaste,  Tõnisson,  Sell,  Jaakkola  and  Alimisis,  2014).  Visual  programming 
environments seem to bridge the appeal young people feel towards modern forms of entertainment (e.g. CGI 
enhanced  movies,  multimedia  video  games)  with  the  seriousness  and  focused  attention  required  to  learn 
computer programming. Similarly, digital 3D content is nowadays commonly used for entertainment purposes 
(e.g.  special  effects  imagery  in  films  and  television,  environments  and  objects  in  video  games).  But  less 
attention has been placed on taking advantage of digital 3D content for educational purposes. One barrier has 
been  a  lack  of  easily  accessible  and  pedagogically  grounded  examples  of  3D  content,  especially  at  the  K‐12 
educational level.  
 
Recently, in fall 2013, the Smithsonian Institution launched an online 3D web portal to make available to the 
general public interactive 3D digitisations of some of their historic artefacts (http://3d.si.edu). They used a 3D 
laser  scanner  to  create  digital  3D  models,  thereby  preserving  accurate  geometrical  and  colour  information 
from the objects. Alongside the digital 3D archive, the Smithsonian Institution is currently working on creating 

478
 
Leo Siiman, Mario Mäeots and Margus Pedaste 

new educational resources and a STEM curriculum around 3D technology (http://3d.si.edu/article/educators). 
They envision that digital 3D data sets can be used to create engaging learning experiences in K‐12 classrooms. 
For example, the design of a 3D model can be explored and examined using 3D computer software and later a 
plastic version of the 3D model can be printed using a 3D printer. Nevertheless, these pedagogical ideas have 
not yet been systematically tested in classrooms and the effectiveness of 3D content to improve learning is still 
not  well  understood.  More  information,  especially  from  teachers  and  students,  is  needed  to  evaluate  the 
potential of digital 3D technology in education.  
 
In this study we collected and analysed the opinions and attitudes of three secondary school biology teachers 
about using a digital 3D model. The teachers were provided with a web‐based 3D biology model and asked to 
interact with it. Their feedback was later documented through in‐person interviews. Three research questions 
framed this study: 
ƒ What  features  of  3D  models  are  necessary  to  satisfy  the  requirements  of  the  secondary  school  biology 
curriculum? 
ƒ What biology topics can be more effectively taught with 3D models rather than with traditional content? 
ƒ Are teachers willing to create 3D models themselves? 
2. Methodology 
The general design of this study consisted of two parts: creating a 3D model for teachers to interact with and 
interviewing teachers about their experience with the 3D model.  

2.1 Digital 3D model creation 
The human respiratory system was chosen as a specific example from which to build a digital 3D model. We 
purposefully attempted to make the 3D model as simple as possible with the intent of retrieving open‐ended 
feedback from teachers who might be encountering digital 3D content for the first time. To create the model 
we  first  obtained  relevant  3D  content  from  the  BodyParts3D  database  (http://lifesciencedb.jp/bp3d).  The 
BodyParts3D  database  is  a  repository  of  open‐access  3D  human  anatomy  digital  data  released  under  the 
Creative Commons license CC‐BY SA 2.1JP (Mitsuhashi, Fujieda, Tamura, Kawamoto, Takagi and Okubo, 2009). 
We  downloaded  the  following  3D  parts:  pharynx,  larynx,  trachea,  bronchi,  bronchiole,  lungs,  and  a  human 
body silhouette. Using the free, open‐source 3D software Blender (http://www.blender.org) we assembled the 
parts together. In addition we designed a learning activity to accompany the model.  
 
The learning activity we chose to create was based on learning activities with 2D visual pictures or diagrams 
that teach biology knowledge. A 2D diagram with lines or arrows indicating different parts of an object is often 
used to test whether students can correctly identify and label the parts they see. We adapted this 2D exercise 
into a 3D learning activity by attaching tags to individual parts of the 3D model. A learner then has to find the 
tags  and  correctly  label  the  part  name  as  well  as  the  corresponding  tag.  This  activity  forces  a  learner  to 
navigate  a  three‐dimensional  virtual  space  by  rotating,  panning,  and  zooming.  It  is  assumed  that  skilful 
navigation in a 3D environment can improve a learners’ spatial ability. 
 
To  distribute  the  3D  model  to  teachers  we  used  the  website  Sketchfab  (https://sketchfab.com).  Although 
Blender is a powerful software application for creating and displaying 3D content, it was decided that a web‐
based platform would be a more convenient way for teachers to access and interact with a 3D model. Any web 
browser that supports WebGL graphics (most browsers nowadays fully support WebGL) is able to display 3D 
interactive models on Sketchfab. Navigation (i.e. rotating, panning, zooming) in Sketchfab is most conveniently 
accomplished with a three‐button mouse (left mouse button to rotate, right mouse button to pan and mouse 
scroll button to zoom).  
 
Figure 1 shows a screenshot image of our web‐based 3D model of the human respiratory system (accessible at 
https://skfb.ly/zPrn). The human body silhouette was designed to be semi‐transparent so that internal parts 
are visible, but without sacrificing entirely the outer human body contour. The internal respiratory parts are 
opaque and each one is coloured differently. Figure 2 shows a screenshot image after a user has navigated in 
the 3D environment and found a particular tag. Figure 2 shows that the bronchi part has a tag labelled ‘mudel 
748’.  

479
 
Leo Siiman, Mario Mäeots and Margus Pedaste 

 
Figure 1: Interactive digital 3D model of the human respiratory system. The web‐based 3D model is accessible 
at https://skfb.ly/zPrn 

 
Figure 2: Navigating in the 3D environment (i.e. rotating, panning and zooming) allows a learner to find tags 
attached to individual parts on the 3D model. The bronchi part shown here has a tag labelled ‘mudel 
748’ 

2.2 Teacher interviews 
After  the  3D  model  was  created  we  were  ready  to  distribute  it  to  teachers  and  collect  their  feedback.  We 
chose to conduct exploratory interviews with the teachers to obtain in‐depth information about their attitudes 
regarding 3D content for biology education. Three experienced biology teachers (Hanna, Kaisa and Liisa; not 
their real names) from separate secondary schools in Estonia participated in this study. Hanna had 25 years of 

480
 
Leo Siiman, Mario Mäeots and Margus Pedaste 

experience as a teacher, Kaisa had 20 years and Liisa had 18 years. Interviewing teachers with many years of 
experience allowed us to explore the new potentials of 3D content from the perspective of experts. A semi‐
structured  expert  interview  is  a  useful  method  to  gather  information  from  a  person  possessing  extensive 
knowledge in a certain field of activity (Meuser and Nagel, 2009).  
 
The same e‐mail letter was sent to all three teachers inviting them to participate in a research study. The letter 
contained  a  link  to  the  web‐based  3D  model,  instructions  for  navigating  the  3D  environment  with  a  mouse, 
description  of  the  learning  activity  to  find  tags  on  the  models,  and  a  request  to  participate  in  an  interview 
about  their  experience  with  3D  content.  Follow‐up  communications  with  the  teachers  led  to  scheduling  in‐
person interviews with the teachers at their respective schools. Two researchers went to conduct each of the 
three interviews. Each teacher was asked the same three questions: 
ƒ What connections does the 3D model have with teaching the secondary school biology curriculum? 
ƒ What suggestions do you have for creating new 3D models?  
ƒ Would you be ready to create 3D models yourself? 
A time limit of approximately 30 minutes was set for each interview. The teachers were encouraged to give 
open‐ended responses. The two interviewers individually recorded field notes on paper, mainly because of the 
advantages  field  notes  have  in  terms  of  simplicity  (Tessier,  2012).  When  collecting  interview  data  with  field 
notes it is important to transform the ideas and memories into a well‐written form as soon as possible while 
impressions are still vivid (Sanjek, 1990). In our case the two researchers compared their notes with each other 
the day after each interview in order to reach a consensus on the main points expressed by the teachers.  
3. Results  
The results of the interviews with the three teachers are organized according to the three questions that were 
asked. The questions addressed the topics of connection to the secondary school curriculum, suggestions for 
improvement of 3D content and willingness to create 3D content.  

3.1 Relevance to the secondary school curriculum 
The  first  question  asked  the  teachers  whether  the  3D  model  they  examined  was  relevant  to  teaching  the 
secondary school biology curriculum in Estonia. All three teachers answered that the model was insufficient to 
satisfy the needs of the secondary school biology curriculum.  
 
Hanna said that the model by itself gives too little information. She indicated that simply navigating in a 3D 
environment  to  look  at  different  parts  of  a  model  does  not  provide  an  adequate  learning  experience  for 
students. Kaisa said that the model does not enable a student to learn independently with it, and therefore 
requires a teacher to fill‐in the missing information through teacher‐led instruction. Kaisa also mentioned that 
the model is inadequate for independent learning because it lacks textual descriptions of the parts and does 
not provide feedback. Liisa said that the secondary school biology curriculum does not particularly devote a lot 
of time to teaching human anatomical structures and that this model does not have strong connections to the 
curriculum.  She  remarked  that  3D  models  to  teach  human  anatomy  might  be  beneficial  at  the  basic  school 
level where learning biological structures is first introduced. Liisa also indicated that a possible future elective 
course  (currently  being  discussed  at  her  school)  to  teach  human  anatomy  and  physiology  at  the  secondary 
school level might benefit from 3D models. 
 
Hanna remarked that physical 3D models of human anatomy are available to many biology teachers in Estonia, 
and  can  demonstrate  the  same  information  as  computer‐based  3D  models  in  terms  of  showing  the  spatial 
arrangement of parts with respect to one another. Liisa mentioned that the digital 3D model was too general 
and its teaching advantages small compared to using physical 3D models. However, Hanna pointed out several 
potential advantages of digital 3D models such as the ability to zoom inside parts and that open‐access digital 
models are free of cost when compared to relatively expensive physical 3D models. 
 
Both Hanna and Kaisa stressed the importance of teaching biological processes at the secondary school level, 
and  remarked  that  the  static  3D  model  they  examined  did  not  currently  support  the  learning  of  biological 
processes. Hanna also mentioned that the model did not facilitate an inquiry approach to learning because a 
teacher would have to explain too many essential key points.  

481
 
Leo Siiman, Mario Mäeots and Margus Pedaste 

3.2 Suggestions for improvement 
The second question asked the teachers to propose their own ideas for improving 3D content in order for it to 
be educationally effective at the secondary school level. The teachers cited specific examples where 3D models 
could  be  potentially  beneficial.  Since  the  example  3D  model  dealt  with  the  human  respiratory  system  the 
teachers focused on other topics related to human anatomy.  
 
The teachers provided examples of human anatomy topics where 3D content could be beneficial for looking 
inside  parts,  looking  at  parts  that  are  hidden  by  other  parts,  and  correcting  visual  misunderstandings  that 
might  occur  with  traditional  2D  learning  materials.  The  teachers  cited  several  examples:  all  three  teachers 
mentioned the nervous system and specifically the brain structure, Hanna and Kaisa mentioned the structure 
of the human heart, Kaisa and Liisa mentioned the excretory system and the structure of nephrons in kidneys, 
Hanna and Kaisa mentioned the structure of the eyes and ears, Liisa mentioned the reproductive system, and 
Hanna mentioned the digestive system. 
 
Additionally, the teachers brought out aspects related to teaching biology at the secondary school level that a 
3D model should include. All three teachers wanted more textual information to accompany the 3D models. 
For example, Hanna mentioned an option for students to click on a part and then textual information such as 
the  name  of  the  part  appears,  Liisa  mentioned  including  interesting  textual  facts  about  the  parts  with  the 
model,  and  Kaisa  mentioned  including  text  that  describes  the  processes  associated  with  an  individual  part. 
Kaisa remarked that textual info about a 3D model should be easily retrievable for a student (i.e. a maximum 
of two clicks to access relevant info). Hanna and Kaisa mentioned several times during their interviews that 3D 
content should support the teaching of processes. For example, Hanna said that the human respiratory model 
needs to show how the breathing process occurs (i.e. air is inhaled through the nose and mouth, travels down 
the trachea, etc.). Another example mentioned of a process was the path food takes as it travels through the 
human body. A third example was to show how nephrons filter blood inside kidneys. A forth example was the 
renewal process of human skin cells. A fifth example of a process that could benefit from using a 3D model was 
the circulation of blood through the heart.  
 
All three teachers saw the potential advantage of 3D models to illustrate processes as providing more real‐life 
authenticity to teaching biology topics versus the use of traditional learning materials such as 2D animations. 
Hanna  strongly  stressed  the  need  to  integrate  the  inquiry  learning  approach  when  using  3D  models.  Liisa 
mentioned that 3D models should include a measurement scale so that students can estimate the size of the 
objects and develop an intuitive sense of object dimensions. 

3.3 Willingness to create 3D content 
The  third  question  asked  during  the  interview  focused  on  whether  the  teachers  would  be  ready  to  create 
digital 3D models themselves.  
 
Hanna  and  Kaisa  were  not  ready  to  create  3D  models  themselves  because  they  viewed  their  computer 
competence as too low or felt that it would take too much time. They saw themselves as users, not creators, of 
3D content. Liisa, however, did express a willingness to create digital 3D models. But she remarked that the 
computer equipment at her school needed to be updated to support such a task.  
 
As an additional remark, all three teachers mentioned in their interviews that navigating the computer‐based 
3D model using a mouse did not present any technical difficulties for them.  

4. Discussion 
In general the teachers indicated that 2D content does not always present a complete and authentic picture 
when teaching biology content. A potential solution could be to use 3D content, but if the 3D content is too 
simple then the ‘aha moment’ quickly disappears and student motivation to learn independently is diminished. 
Therefore it is necessary to identify design features that need to be considered in order to create effective 3D 
content. 
 
Based  on  the  teacher  interviews  and  their  suggestions  for  improving  3D  content,  we  synthesized  four 
principles  to  characterize  effective  3D  content.  The  principles  indicate  that  3D  content  should  be  more 

482
 
Leo Siiman, Mario Mäeots and Margus Pedaste 

student‐centred and encourage students to reason inductively. In contrast, the simple 3D model we presented 
in this study required extensive teacher guidance and deductive instruction to satisfy the learning outcomes 
expected of the secondary school biology curriculum.  
The four principles for effective 3D content are: dynamic, spatial, informative, and authentic.  
ƒ Dynamic. This principle means that a 3D model should be able to support the teaching of processes and 
therefore requires animation.  
ƒ Spatial.  This  principle  reinforces  the  implicit  nature  of  3D  content,  i.e.  that  objects  can  be  interactively 
explored in three‐dimensional space. 
ƒ Informative.  This  principle  arose  out  of  the  constant  demands  by  the  teachers  that  informative  textual 
material accompany the visual 3D models.  
ƒ Authentic. This principle refers to offering content within a more realistic and immersive situation.  
The simple 3D model tested by the teachers could be improved by applying these four principles. The dynamic 
principle suggests improving the 3D human respiratory model by showing how the human breathing process 
occurs;  e.g.  the  path  air  follows  to  deliver  oxygen  to  where  it  is  needed  in  the  body  and  the  subsequent 
removal of carbon dioxide by exhalation of air out of the body. Animating the breathing process would make 
the  model  more  ‘alive’  while  also  allowing  a  learner  to  interactively  examine  it  in  three‐dimensional  space 
(thereby  satisfying  the  spatial  principle).  The  informative  principle  indicates  that  text  appear  somewhere  so 
that  the  process  is  clearly  explained  in  words.  The  informative  principle  is  consistent  with  instructional 
methods  for  designing  effective  multimedia  learning,  where  it  is  stressed  that  both  words  and  pictures  are 
needed  to  facilitate  deeper  learning  (Mayer,  2003).  The  authentic  principle  could  improve  the  model  by 
showing a range of proportionally accurate and realistic sizes of the parts involved in the breathing process. 
During  the  process  of  breathing  air  travels  through  the  mouth,  nose,  trachea,  bronchi,  lungs,  bronchioles, 
alveoli,  and  finally  to  red  blood  cells.  This  range  of  sizes  involved  in  the  breathing  process  can  be  easily 
demonstrated by a computer‐based 3D model through zooming in and out. 
 
In  the  context  of  interactive  multimodal  learning  environments,  Moreno  and  Mayer  (2007)  reviewed  five 
design  principles  (guided  activity,  reflection,  feedback,  control  and  pretraining)  that  were  found  to  promote 
effective  learning.  These  principles  apply  in  general  to  any  learning  content.  The  four  principles  (dynamic, 
spatial, informative and authentic) offered in this work are more specific to optimizing the advantages of 3D 
content. From this point of view they should be considered within the specific context of developing effective 
3D content for improved learning of STEM subjects.  
 
Finally, it is important to note that the recommendations to improve 3D content studied in this paper came 
from teachers working at the secondary school level. The biology curriculum at that level is focused more on 
teaching processes rather than structures. As mentioned before, one teacher remarked that perhaps primary 
school  students  would  benefit  more  from  simpler  designed  3D  models,  since  at  that  level  the  learning  of 
structural  features  is  first  introduced.  Hence,  the  appropriate  level  of  3D  content  complexity  may  therefore 
depend on the age or prior knowledge level of the students for whom it is intended.  
5. Conclusion 
Digital  3D  content  offers  new  possibilities  to  enhance  STEM  education  and  enrich  e‐learning.  In  this  study 
three teachers were interviewed about their experience with using a 3D model. Their feedback was used as a 
basis to propose design principles for creating effective educational 3D content. A limitation of this study was 
the small sample of teachers from which we collected data. Another limitation was the web‐based platform 
(Sketchfab) used to deliver the 3D model does not promote the full functionality digital 3D content has to offer 
(i.e. creating 3D content, animated 3D content) that other 3D software provides (e.g. Blender). Future studies 
should modify 3D content according to the four principles proposed in this paper and test it with students in 
order to investigate the effect digital 3D content has on student motivation, academic performance and long‐
term knowledge and understanding. 

Acknowledgements 
The  3D  model  of  the  human  respiratory  system  used  in  this  research  was  created  in  the  context  of  the 
Estonian project Biodigi (http://www.biodigi.edu.ee), financed by the European Social Fund. 

483
 
Leo Siiman, Mario Mäeots and Margus Pedaste 

References 
Bodenlos, E. and Lennex, L. (2012) “3D technology in the schools”, Paper presented at the Society for Information 
Technology & Teacher Education International Conference 2012, Austin, Texas, USA, pp 4209‐4211.  
Korakakis, G. G., Pavlatou, E. A., Palyvos, J. A. and Spyrellis, N. N. (2009) “3D visualization types in multimedia applications 
for science learning: A case study for 8th grade students in Greece”, Computers & Education, Vol 52, pp 390‐401. 
Mayer, R. E. (2003) “The promise of multimedia learning: using the same instructional design methods across different 
media”, Learning and Instruction, Vol 13, pp 125‐139. 
Meuser, M. and Nagel, U. (2009) "The expert interview and changes in knowledge production." Interviewing Experts, pp 
17‐42. 
Mitsuhashi N., Fujieda K., Tamura T., Kawamoto S., Takagi T. and Okubo K. (2009) “BodyParts3D: 3D structure database for 
anatomical concepts”, Nucleic Acids Res., Vol 37, pp D782–D785. 
Moreno, R. and Mayer, R. (2007) “Interactive multimodal learning environments.”, Educ Psychol Rev, Vol 19, pp 309‐326. 
Sanjek, R. (1990). “A vocabulary for fieldnotes”, In R. Sanjek (Ed.), Fieldnotes (pp. 92‐139). Ithaca, NY: Cornell University 
Press. 
Siiman, L.A. and Pedaste, M. (2013) “Towards a pedagogy for using digital 3‐D content in science education”, Paper 
presented at the 6th International Conference of Education, Research and Innovation, Seville, Spain, November, pp 
5992‐5999. 
Siiman, L. A., Pedaste, M., Tõnisson, E., Sell, R., Jaakkola, T. and Alimisis, D. (2014) “A Review of Interventions to Recruit and 
Retain ICT Students”, International Journal of Modern Education and Computer Science, Vol 6, pp 45‐54. 
Tessier, S. (2012) “From field notes, to transcripts, to tape recordings: Evolution or combination?”, International Journal of 
Qualitative Methods, Vol 11, pp 446‐460. 
Wai, J., Lubinski, D., and Benbow C. P. (2009) “Spatial Ability for STEM Domains: Aligning Over 50 Years of Cumulative 
Psychological Knowledge Solidifies Its Importance”, Journal of Educational Psychology, Vol 101, pp 817‐835. 
Yue, J. (2008) “Spatial Visualization by Realistic 3D Views”, Engineering Design Graphics Journal, Vol 72, pp 28‐38.  

484
If you Could Choose, how Would you Show Your Teacher What you 
Have Learned? 
Ivana Šimonová 
University of Hradec Kralove, Hradec Kralove, Czech Republic 
ivana.simonova@uhk.cz  
 
Abstract:  Nowadays,  it  is  generally  acknowledged  that  the  instructor´s  teaching  style  should  match  students´  learning 
preferences. In this context the ICT‐supported instruction is considered suitable and beneficial for students of all learning 
styles, as it offers a wide range of tools and activities which can be tailored to any learning style and used by any teaching 
style  instructor.  But  how  does  this  work  when  learners´  knowledge  is  assessed?  Despite  the  assessment  is  recognized  a 
crucial part of the process of instruction, teachers often tend to use tests (either standardized or non‐standardized ones, 
printed  or  online)  of  the  same  types  for  all  learners,  which  means  learners´  individual  assessment  preferences  are  not 
reflected at all. Teachers strive to make assessment more systematic, transparent, objective so that to provide all students 
with  the  ´same´  conditions.  This  ´fair´  approach  is  the  cause  of  the  ´un‐fair´  conditions  from  the  point  of  individual 
preferences  within  the  process  of  learners´  knowledge  assessment.  Generally,researches  in  this  field  are  built  on 
expectations  that  the  match  between  teaching  and  learning  styles  will  result  in  improving  learners´  knowledge.  In  our 
research we included individual assessment preferences in the design of ICT‐supported process of instruction. The research 
ran in the subject of English for specific purposes (IT English) and the sample group consisted of more than 200 students of 
bachelor Applied Informatics and master Information Management study programmes. The research followed two phase 
structure. First, we detected student´s individual learning preferences by Johnston´s Learning Style Inventory. It consists of 
28 statements evaluated on five‐level Likert scale and three open‐answer questions – Question N. 2 focuses on preferred 
ways  of  performing  learner´s  knowledge  (see  the  paper  title).  Second,  we  monitored  learners´  experience,  opinions  and 
preferences for various types of knowledge assessment. The collected data underwent the process of frequency analysis. 
Results  proved  significant  correlation  in  the  group  of  precise  processors,  slight  (not  significant)  correlations  in  groups  of 
technical  and  sequential  processor  (most  respondents  felt  into  these  two  groups),  while  confluent  processors 
demonstrated their exceptionality not only in learning but in assessment preferences as well.  
 
Keywords: higher education, learning styles, assessment format, LCI 

1. Introduction 
How can we pretend any longer that we are serious about creating a learning society if we have no satisfactory 
response  to  the  questions  how  we  ourselves  learn,  how  the  learning  can  be  enhanced,  whether  learning 
difficulties could be better understood as the teaching problems, what learning model we operate with and 
how it should be used to improve our performance. These were the original questions asked by Coffield et al. 
(2004)  before  they  started  research  on  the  systematic  and  critical  review  of  learning  styles  in  post‐16 
pedagogy at the beginning of 2000s.  
 
It  is  generally  acknowledged  that  the  instructor´s  teaching  style  should  match  the  students´  learning  styles. 
Felder  et  al.  (2002)  say  that  mismatching  can  cause  a  wide  range  of  further  educational  problems  –  e.g.  it 
favors certain students and discriminates others, especially if the mismatches are extreme; on the other hand, 
if  the  same  teaching  style  is  used  repeatedly,  students  become  bored.  Gregorc  (2004)  claims  that  only 
individuals  with  very  strong  preferences  for  one  learning  style  do  not  study  effectively,  the  others  may  be 
encouraged  to  develop  new  learning  strategies.  Only  limited  numbers  of  studies  have  demonstrated,  e.g. 
those  mentioned  by  Coffield  (2004)  that  students  learn  more  effectively  if  their  learning  style  is 
accommodated.  Other  studies  have  proved  that  there  was  no  statistically  significant  difference  in  students´ 
knowledge  built  in  the  educational  process  supported  by  ICT  and  within  the  traditional,  i.e.  face‐to‐face 
instruction.  The  question  is  whether  tailoring  the  process  of  ICT‐supported  instruction  (in  this  case  running 
within the LMS) to student´s individual learning preferences results in the increase in knowledge. To discover 
this  was  the  main  objective  of  the  three‐year  research  project  “A  flexible  model  of  the  ICT  supported 
educational process reflecting individual learning styles.“  
 
This  project  arose  from  the  Ch.  A.  Johnston´s  concept  “Unlocking  the  will  to  learn“  (1996).  The  traditional 
learning  process  is  based  on  belief  that  all  learning  occurs  as  part  of  learner´s  intelligence.  The  greater  the 
intelligence, the more a child can learn. Johnston attracts attention to the verb can, as no one says ´will learn´ 
(1996, 16). To describe the whole process of learning, Johnston uses the metaphor of a combination lock saying 
that cognition (processing), conation (performing) and affectation (developing) work as interlocking tumblers; 

485
 
Ivana Šimonová 

when  aligned  they  unlock  an  individual´s  understanding  of  his/her  learning  combination.  The  will  lies  in  the 
centre of the model and interaction is the key. She compares human learning behaviour to a patterned fabric 
where the cognition, conation and affectation are the threads of various colours and quality. It depends on the 
individual weaver (learner) how s/he combines the threads and what the final pattern is. 
 
Johnston  (1996,  48‐50)  designed  the  Learning  Combination  Inventory  (LCI)  consisting  of  28  statements, 
responses to which are defined on the five‐level Likert scale, and three open‐answer questions:  
ƒ What makes assignments frustrating for you? 
ƒ If you could choose, what would you do to show your teacher what you have learned? 
ƒ If you were the teacher, how would you have students learn? 
The LCI differs from other widely used inventories (e.g. by Kolb, Honey and Mumford etc.). It emphasizes not 
the product of learning, but the process of learning; it focuses on how to unlock and what unlocks the learner’s 
motivation and ability to learn, i.e. on the way how to achieve student´s optimum intellectual development. 
This  was  the  main  reason  why  LCI,  not  any  other  traditional  tool  was  applied  for  detecting  respondents´ 
individual  learning  styles.  The  responses  to  LCI  describe  the  schema  (pattern)  that  drives  students´  will  to 
learn. Respondents are categorized into four groups as follows:   
ƒ sequential processors, i.e. the seekers of clear directions, practiced planners, thoroughly neat workers; 
ƒ precise processors, i.e. the information specialists, info‐details researches, answer specialists and report 
writers; 
ƒ technical processors, i.e. the hands‐on builders, independent private thinkers and reality seekers; 
ƒ confluent  processors,  i.e.  those  who  march  to  a  different  drummer,  creative  imaginers  and  unique 
presenters.  
Then,  each  individual  pattern  consists  of  four  types  of  processors  of  various  quality  and  quantity,  e.g.  it 
includes sequential processing on the ´prefer´ level, precise and technical approaches on the ´accept´ level and 
´rejects´ confluent ways of processing information.   
 
The  same  approach  is  applied  on  learner´s  showing  the  teacher  what  s/he  has  learned.  The  term  of  testing 
styles was used as it keeps the line of learning and teaching styles researched before. Our understanding of 
this term closely relates to Question 2 in Johnston´s LCI: ´If you could choose, what would you do to show your 
teacher what you have learned?´, in other words in our research we focus on assessment preferences of single 
students, i.e. (1) what are the approaches to, ways, types of assessment or testing knowledge which would be 
appreciated by single types of students (processors) in the ICT‐supported process of instruction and (2) do the 
preferences in certain types of assessments relate to learning and/or cognitive preferences/styles of individual 
students in the ICT‐supported process of instruction?  
2. Theoretical background 
Modern education systems require considering individual differences while planning a learning environment. 
In this process the focus has always been on learning styles, approaches, strategies etc., whereas assessment 
preferences of students have been widely ignored. Hence, while planning the learning environment, students’ 
assessment preferences should be taken into consideration. The concept of ´assessment preferences´ refers to 
students’ opinions, attitudes, and preferences of assessment methods and its properties (Birenbaum, 1997). 
The level of benefit that the students get from the instructing and assessment activities varies according to the 
individual differences they have. So many individual differences (such as students’ learning styles, motivations, 
strategies they use while learning, personalities etc.) affect the students’ performance, success and the level of 
the benefit they get from such a process of instruction. On the other hand, besides the individual differences 
related to learning, students’ perception about the assessment process has great importance to the quality of 
education in general (Doğan, Atmaca, Aslan, 2012). But, the final question still exists: What else can be done to 
make the ICT‐supported process of learning easier? Following the Felder´s multistyle approach (Felder, 2010)  
we  would  recommend  to  use  a  wide  range  of  methods,  strategies  and  approaches  which  have  been 
successfully applied in the face‐to‐face form of instruction for ages and to use them under the conditions of e‐
learning. Or, the Bloom´s digital taxonomy introduced by Churches (2010) might be one of the tools. 

486
 
Ivana Šimonová 
 
Above  all,  there  exists  another  phenomenon  which  might  be  adjusted  to  individual  preferences  –  testing 
styles,  i.e.  individualized  approaches  to  the  process  of  knowledge  and  skills  assessment  reflecting  student´s 
preferences.  
 
In  modern  education  systems,  the  instruction  and  assessment  should  be  thought  as  whole,  not  separate 
processes. This situation reveals the relations between the characteristics related to learning and assessment. 
The researches show there is a relation between students’ assessment preferences and individual differences 
related to learning such as learning styles, approaches etc. Birenbaum, Gutvirzt (1995), Birenbaum, Rosenau 
(2006), Cohen (1995), Gijbels, Dochy (2006). Therefore, in order to increase the quality of the education, there 
should be a harmony (match) between students’ perceptions about learning – assessment approaches that the 
teacher applies in the classroom. 
 
Testing  (assessment)‐related  problems  should  be  taken  into  account  from  the  view  of  assessment  format. 
Most educators have been well aware of this factor and have adjusted their teaching to learners´ preferences; 
they  have  included  approaches  and  strategies  preferred  by  single  types  of  learners  and  excluded  those  not 
appreciated. But, what about the field of testing learners´ knowledge and skills? Are the “testing styles” taken 
into account? (Mitchell, 1994). Unfortunately, despite assessment is recognized a crucial part of the process of 
instruction, teachers often tend to use tests (either standardized or non‐standardized ones, printed or online) 
of  the  same  types  for  all  learners,  i.e.  learners  ´individual  preferences  in  testing  are  not  reflected  at  all,  as 
Leither mentions (2011). Teachers are pushed to make assessment more systematic, transparent, objective, so 
that to provide all students with the ´same´ conditions. But – this ´fair´ treatment is the cause of the ´unfair´ 
conditions  from  the  point  of  individual  preferences  in  styles  of  testing.  Leither  started  experimenting  with 
giving  students  choices  on  their  exams  when  offering  the  option  to  taking  exams  in  the  multiple‐choice  or 
open‐answer  form.  As  expected,  the  group  where  preferences  in  testing  styles  were  reflected  reached 
significantly higher test scores (the difference was 5.51 %, p < 0.005 level) (2011, 417). The data produced by 
the whole Leither´s pedagogical experiment were also analyzed according to several other criteria, including 
e.g.  whether  learners´  choice  of  a  type  of  test  is  relevant  to  their  learning  styles,  or  not,  what 
students´opinions on assessment and exam formats are and others. 
3. Research design and methodology 
We followed the Leither´s pedagogical experiment (2011) and ran the research which focused on single types 
of  processors  according  to  Johnston´s  LCI  and  learners´  preferences  in  assessment  formats,  i.e.  how  the 
sequential, precise, technical and confluent learners would show their teacher what they have learned.  
The  process  of  research  was  structured  into  three  phases:  (1)  learning  preferences  of  all  students  were 
detected  by  LCI;  (2)  each  student  expressed  his/her  preferences  in  assessment  format/s;  the  collected  data 
were  statistically  processed  by  the  method  of  frequency  analysis  (Hatch,  Lazaraton,  1991),  interpreted  and 
discussed. Totally 324 students of the Faculty of Informatics and Management, University of Hradec Kralove 
participated  in  the  research,  i.e.  all  students  enrolled  in  the  first  year  of  bachelor  Applied  Informatics  and 
master  Information  Management  study  programmes  in  2013/14.  The  learning  preferences  of  the  research 
sample are displayed in figure 1. 

 
Figure 1: LCI preferences in the research sample   

487
 
Ivana Šimonová 

The data show the ´accept´ field is wide. This result means most students are able to accept (i.e. to have their 
knowledge  tested  by)  any  of  the  provided  assessment  formats.  Whereas  approximately  10 %  of  confluent 
processors  expressed  the  rejection  of  some  formats,  this  approach  was  very  rare  with  other  types  of 
processors.  On  the  other  hand,  the  sequential  processors  stated  more  than  20  %  of  preferences  in  some 
formats, followed by technical (approx. 13 %) and precise learners (8 %); the confluent processors expressed 
hardly any preferences (approx. 3 %). For the further course of research, data of only those students whose LCI 
pattern  showed  at  least  one  preferred  type  of  processing  were  included  in  the  research  sample,  i.e. 
respondents having ´accept´ and ´reject´ types within their patterns only were dropped out, while those having 
two or three preferred types were included in all the groups concerned – totally in two or three groups (totally 
12 respondents), none of the patterns contained four preferred types of processing. These data are analyzed 
in detail in figure 2.   
 
The  learning  preferences  having  been  detected  by  the  LCI,  students  articulated  their  preferences  in  various 
assessment  formats.  Totally  18  formats  were  listed  and  described  to  be  selected  from.  The  formats  are 
presented in table 1. Students were encouraged to mark (tick) those ones ´which they would choose to show 
the  teacher  what  they  had  learned´.  Both  the  oral  (O)  and  written  (W)  formats  were  included  in  the  list, 
offering  individual  or  group  work,  with/without  pre‐defined  field  of  interest  and  open‐answer  or  multiple‐
choice tasks. The appropriateness of each assessment format to the type of processor was evalauted on the 
10‐point scale (1 – full preference, 10 – full rejection). The collected data were clouded into three groups as 
follows:    group  1  –  I  prefer  this  format  (evaluation  1,  2,  3  were  included);  group  2  –  I  accept  this  format 
(evaluation 4, 5, 6, 7); group 3 – I reject this format (evaluation 8, 9, 10).  
Table 1: Types of assessment formats 
Format  Form  Description 
O1  individual  Student is asked a question from the pre‐defined list. 
O2  individual  Student is asked a question from the unknown list. 
O3  individual  Student provides answer, teacher listens to the student. 
O4  individual  Teacher‐student dialogue starting with question ´What were you most interested in within 
this subject?´, teacher listens to student´s answer without interruptions. 
O5  individual  Teacher‐student dialogue starting with question ´What were you most interested in this 
subject?´, teacher asks additional questions to the topic. 
O6  individual  Teacher‐student dialogue starting with question ´What were you most interested in this 
subject?´, teacher asks questions to relating topics. 
O7  group  Students sit at the round table, each answers his/her question. 
O8  group  Students sit at the round table, each answers his/her question, other students add the 
answer. 
O9  group  Students sit at the round table, they answer the same question ‐ each student adds 
something new to previous student´s answers (first‐come first‐choice principle), several 
rounds of answers are recommended. 
O10  group  Students sit at the round table, they focus on the same question (problem) using critical 
analysis, evaluation, application of previous knowledge and experience etc. 
W1  individual  A question (problem, topic) from pre‐defined list is set for essay writing. 
W2  individual  A question (problem, topic) from unknown list is set for essay writing. 
W3  individual  Multiple‐choice test with 1 correct answer. 
W4  individual  Multiple‐choice test with 2+ correct answers. 
W5  individual  Yes/No test. 
W6  individual  True/False test. 
W7  group  Students introduce results of the project they worked on during the semester; topic was 
set at the beginning of the semester. 
W8  group  Students introduce results of the project they worked on during the exam day; topic is 
selected from the unknown list. 
Other proposals  Students were encourage to present any comments, proposals, … 
In figure 2 the data showing assessment preferences of single types of processors are displayed.  

488
 
Ivana Šimonová 
 

 
Figure 2: Assessment preferences of the sequential, precise, technical and confluent processors   

489
 
Ivana Šimonová 

4. Results, interpretation, discussion 
The collected data were processed by the method of frequency analysis and displayed in figure 2 presenting 
preferred  assessment  format/s  (columns  in  black  colour),  accepted  formats  (grey  columns)  and  rejected 
formats (black‐white striped columns).  
 
At  first  sight,  black  columns  are  eye‐catching  in  first  three  figures,  with  highest  frequency  in  the  technical 
processors´ figure in both the oral and written formats, whereas lowest occurrence is displayed in confluent 
processors´ figure in written format. Highest frequency of rejected formats appeared in the precise processor 
group in oral group formats, followed by lower but slightly more frequent occurrence detected in confluent 
processor group.  
 
A more detailed sight having been applied, following features were detected: 
 
Sequential processors  
ƒ preferred individual exams based on teacher‐learner dialogue, possibly directed by the teacher, followed 
by teacher listening to student´s answer without interruptions, having the question from the predefined 
list;  writing  tests  (Yes/No,  multiple‐choice  with  one  correct  answer,  True/False;  writing  essays  on  any 
topic; 
ƒ accepted individual exams with unknown questions and group exams been asked individual questions or 
solving one problem in the group, when questions were not known before; 
ƒ strongly  rejected  multiple‐choice  tests  with  2+  correct  answers,  followed  by  writing  essays  on  unknown 
topic, and nearly each respondent rejected individual oral and written exams focused on a question from 
the predefined list and all types of written test.  
Precise processors 
ƒ preferred  not  been  interrupted  in  oral  exams,  i.e.  answering  a  question  from  the  pre‐defined  list,  been 
listened by teacher when speaking or running a teacher‐learner dialogue on what  they were interested in 
this subject, writing multiple‐choice test with one correct answer, Yes/No and True/False type; 
ƒ accepted  all  three  oral  group  exams,  writing  essays  on  unknown  topic  and  multiple‐choice  test  with  2+ 
correct answers; 
ƒ rejected both types of group oral exam, mainly the critical analysis of the problem and all dialogue‐based 
forms, as well as work on projects within the exam day. 
Technical processors 
ƒ definitely preferred dialogue‐based exam, the individual form, when teacher listens to student´s answer 
to the question from/out of the list, multiple‐choice testing with one or 2+ correct answers; 
ƒ accepted  group  exams,  either  in  the  form  of  critical  analysis  of  problems,  or  adding  information  to 
previous students´ answers; 
ƒ rejected teacher´s questions on topics relating to the question, all types of group exams and writing essays 
(of both types). 
Confluent processors 
ƒ preferred writing essays (of both types) and working on projects (of both types); having individual exams 
based on their interests and running without been interrupted with teachers´ questions;  
ƒ accepted all types of group exams and (a few of them) True/False and Yes/No testing; 
ƒ rejected  answering  both pre‐defined  and  unknown  questions  and  other  students  adding comments and 
information to their answers in groups, written forms of testing of all types. 
In literary reviews it is rather difficult to find studies which focus on assessment formats in relation to learning 
preferences; these topics are widely researched separately. Despite this fact, similar results were collected by 
Montequin,  Fernandez,  Balsera  and  Nieto  (2013)  who  researched  technical  and  human  aspects  reflected  in 
group dynamics, i.e. they studied how different combinations of student profiles could explain different group 
dynamics and at the same time predict the final success of the group. They produced conclusions similar to 

490
 
Ivana Šimonová 
 
those  of  technical  processor  group.  On  the  other  hand,  Markovic  et  al.  (2013),  who  dealt  with  adaptive 
distance  learning  and  testing  system,  stated  that  personalized  profiles adapted  the  learning  and  assessment 
process  to  learner´s  preferences  designing  and  using  adaptive  testing  systems  as  part  of  the  curriculum.  If 
multimedia materials are used, either working with static texts and image‐based sources, or dynamic  video‐, 
animation‐based  materials,  the  visual/verbal  preferences  are  activated  and  final  knowledge  performance  is 
tested  by  adaptive  tools  reflecting  individual  preferences  (Chen,  Sun,  2012).  Compared  to  this  result,  Al‐
Hudhud (2012) complains about the lack of adaptive interaction tools in the current LMSs; consequently (in his 
opinion) the LMSs cannot reflect learners´ preferences, neither in learning, nor within the assessment process. 
In his study he produces design requirements to be implemented so that the LMSs were able to accommodate 
learner´s preferences.    

5. Conclusions 
In the Czech education environment the theory of adaptive e‐learning is being developed at the university of 
Hradec  Kralove,  Faculty  of  Informatics  and  management  (Simonova,  Poulova)  and  University  of  Ostrava, 
Faculty of Education (Kostolanyova, Kapounova, Sarmanova et al.). Kostolanyova (2012) focuses on the roles of 
LMS  and  the  teacher  as  the  activators  of  the  process  of  e‐/learning  providing  the  learner  with  either 
personalized,  or  non‐personalized  process  of  learning.  In  this  process,  the  various  assessment  formats  are 
implemented. In her research she uses the VARK questionnaire and the Learning Style Inventory by Dunn and 
Dunn, which was standardized for the Czech language (Dunn, Dunn, 2009).  Reflecting her and Leither´s results 
we  are  going  to  continue  this  research  focusing  on  verification  of  correlations  between  single  types  of 
processors  defined  by  Johnston  (sequential,  precise,  technical,  confluent)  and  formats  of  assessment,  as 
presented  in  this  work,  by  comparing  the  test  scores  collected  from  various  assessment  formats  which 
match/mismatch to  the processors.  
 
Reflecting  the  fact  that  current  process  of  instruction  is  widely  supported  by  modern  information  and 
communication  technologies,  we  strongly  recommend  the  problem  of  assessment  styles  to  be  taken  into 
consideration  not  only  in  the  traditional  way  of  teaching/learning  but  also  in  the  ICT‐supported  instruction. 
Widely used multiple‐choice tests in electronic version are the first step within this process which should be 
definitely  followed  by  considering  their  appropriateness  to  learners  with  different  learning  and  assessment 
preferences. Whether these will be detected by the LCI (as in our research), or by another tool is the subject of 
individual researcher decision and the research design reflection. 
Acknowledgements 
The paper is supported by the Excellence project N. 2208. 

References  
Al‐Hudhud, G. (2012) Intelligent system design requirements for personalizing e‐learning systems: applications of AI to 
education. International journal of engineering education, Vol. 28, No. 6, pp. 1353‐1359. 
Birenbaum, M. (1997) Assessment preferences and their relationship to learning strategies and orientations. Higher 
Education, Vol. 33, pp. 71‐84.  
Birenbaum, M. and Gutvirzt, Y. (1995) On the relationship between assessment preferences, cognitive style, motivation 
and learning strategies. 11th conference of the Israeli Research Association. Jerusalem, The Hebrew University.  
Birenbaum, M. and Rosenau, S. (2006) Assessment preferences, learning orientations, and learning strategies of pre‐
service and in‐service teachers. Journal of Education for Teaching, Vol. 32, No. 2, pp. 213‐225.  
Chen, C.M. and  Sun, Y.C. (2012) Assessing the effects of different multimedia materials on emotions and learning 
performance for visual and verbal style learners. Computer & Education, Vol. 59, No. 4, pp. 1273‐1285. 
Churches, A. (2010) “Bloom´s Digital Taxonomy”, [online], Bloom´s and ICT tools,  http://edorigami.wikispaces.com/ 
Bloom%27s+Digital+Taxonomy (11 May 2014). 
Coffield, F. et al. (2004) Learning styles and pedagogy in post‐16 learning.  
A systematic and critical review. Newcatle University report on learning styles. Newcastle university, Newcastle. 
Cohen, V. (1995) Relationships between assessment preferences, test anxiety, learning strategies, motivation and gender. 
Unpublished master thesis, School of Education, Tel Aviv University, Hebrew.  
Doğan, C. D., Atmaca, S. and Aslan, F. (2012) The correlation between learning approaches and assessment preferences of 
8th grade students. İlkoğretim Online, Vol. 11, No. 1, pp. 264‐272.  
Dunn R. and Dunn. K. (2009) Instructional strategies on students´ achievements and attitudes: perceptions of educators in 
diverse institutions. Journal of education strategies, issues and ideas, Vol. 82, No. 3, pp. 135‐140. 
Felder, R.M, Felder, G.N. and Dietz, E.J. (2002) The effects of personality type on engineering student performance and 
attitudes. Journal of engineering education, Vol. 91, No. 1, pp. 3‐17. 

491
 
Ivana Šimonová 

Felder, R.M. (2010) “Are Learning Styles Invalid? (Hint: No!)”, [online], 
http://www4.ncsu.edu/unity/lockers/users/f/felder/public/Papers/LS_Validity(On‐Course)pdf (15 May 2014). 
Gijbels, D. and Dochy, F. (2006) Students’ assessment a references and approaches to learning: Can formative assessment 
make a difference? Educational Studies, Vol. 32, No. 4, pp. 399‐409.  
Hatch, E. and  Lazaraton, A. (1991) The research manual. Design and statistics for applied linguistics. USA, Heinle&Heinle 
Publishers.  
Gregorc, A. (2004) “Gregorc´s mind styles”, [online], http://www.colorfulleadership.info/papers/concrete.htm  (13 May 
2014). 
Johnston, C.A. (1996) Unlocking the will to learn. Thousand Oaks, Corwin Press, Inc.  
Kostolanyova, K. (2012) Teorie adaptivního e‐learningu (The adaptive e‐learning theory). Universitas Ostraviensis, Ostrava. 
Leither, A. (2011) Do student learning styles translate to different “testing styles? Journal of political science education, Vol. 
7, No. 4, pp. 416‐433. 
Markovic, S., Jovanovic, Z., Jevremovic, A. and Popovic, R. (2013) Adaptive distance learning and testing system. Computer 
applications in engineering education, Vol. 21, No. S1 (supplement 1), pp. 2‐13. 
Mitchell, D.P. (1994) Learning style: a critical analysis of the concept and its assessment. London, Kogan Page. 
Montequin, V.R., Fernandez, J.M.M., Balsera, J.V. and Nieto, A.G. (2013) Using MBTI for the success assessment of 
engineering teams in project‐based learning. International journal of technology and design education, Vol. 23, No. 4, 
pp. 1127‐1146.  

492
Smart Learning and Collaborative Authoring Based on Knowledge 
Level 
Yeong‐Tae Song1, Yuanqiong Wang1 and Yongik Yoon2 
1
Computer and Information Sciences Department, Towson University, USA 
2
Sookmyung University, Seoul, Korea 
ysong@towson.edu 
ywang@towson.edu 
yiyoon@sookmyung.ac.kr 
 
Abstract: As the functionalities of the modern society are getting more complicated, the demands for required knowledge 
to  its  constituent  members  are  getting  more  diversified,  i.e.,  target  conformant  customized  knowledge  set  is  required. 
Even though traditional classrooms are trying to churn out the students with such knowledge sets, they still fall short of 
meeting  such  demands.  Online  schools  and  MOOCs  (Massive  Open  Online  Course)  play  substantial  roles  in  meeting  the 
demands  with  quick  turnouts  in  their  contents.  However  the  core  of  the  issue  is  in  the  granularity  of  the  necessary 
knowledge components, i.e., how to provide necessary knowledge components – customized to each learner ‐ based on 
the learner’s knowledge level and their purposes. The required knowledge sets for the various domains of the society are 
constantly changing but due to the rigidity of the current knowledge delivering system, it is difficult to accommodate such 
needs.  The  following  questions  may  be  asked  to  summarize  such  situation:  How  can  we  make  sure  that  the  learning 
materials delivered are at the right level for the learners’ knowledge level in some domain? How can we make sure that 
the  learning  materials  created  are  by  the  qualified  authors  in  the  domain?  As  an  effort  to  answer  these  questions,  we 
propose  a  smart  learning  management  system  that  contains  smallest  meaningful  possible  learning  objects  that  can  be 
dynamically assembled to meet various needs of the required knowledge set based on each individual learner’s knowledge 
level and needs. To ensure that the learners are getting the right level of learning contents, and to help ensure the quality 
of the learning contents, we attempt to measure the knowledge level that is objectively acceptable for both learner and 
leaning object provider. In our approach, semantic search is conducted to identify relevant learning objects based on the 
given  learning  goal  and  needs.  The  learner's  knowledge  level  will  then  be  utilized  to  determine  which  learning  object  is 
appropriate to the learner with certain knowledge level. For that, we assess a learner or an author’s knowledge level as a 
multi‐criteria  decision  making  process.  Factors,  such  as  highest  level  of  education,  professional  training,  level  of  work 
experience,  courses  taken  from  credible  organization  in  some  selected  field,  and  etc.  are  used  as  the  general  criteria  to 
determine their knowledge level.  AHP (Analytical Hierarchy Process) is adopted for this purpose.  The result from AHP will 
serve as the basis to identify the learning components at the right difficulty level for the learner to satisfy their learning 
goal. To make the system more flexible, the weight for each criterion can be adjusted depending on the purpose of the 
evaluation.  Learners  can  also  adjust  the  difficulty  level  of  the  learning  components  manually.    As  for  the  provider,  the 
measured knowledge level will be used to evaluate the qualification of the potential author or collaborative authors for a 
particular domain so as to ensure the quality of the learning object created.  
 
Keywords: smart learning, collaborative authoring, learning object, knowledge level 

1. Introduction 
Modern  technology  and  smart  services  are  available  in  various  aspects  of  our  lives  nowadays.  These 
technology and services make our life more convenient, enjoyable, and productive. The convenience offered 
by such services and technology leads to more diversified requests on the functionality in our society, i.e., as 
our society changes, so do the requirements in corresponding knowledge set. Since the demands for the new 
and modified knowledge are constantly changing, learning systems must be flexible enough to accommodate 
such changing demands. Certain portions of existing knowledge may still be useful and even considered base 
knowledge but there are portions that are completely new or modified from existing knowledge set.  
 
The  total  number  of  existing  job  titles  in  the  US  alone  is  currently  about  30,000,  (Answers,  2014).  The 
requirements for each title are continuously evolving to meet the needs of the changing functionality in our 
society.  Our  higher  education  institutions  are  working  hard  to  provide  the  knowledge  sets  for  such  needs. 
However,  there  is  always a gap between academia  and  industry  due to  various  issues  such  as  accreditation, 
curriculum design, credit hour limitation, etc. that contribute to slow response to the changes. Online schools 
and  more  recently  MOOC  (Massive  Open  Online  Course)  are  also  trying  to  close  the  gap  with  their  prompt 
delivery of learning contents but the gap is often times too wide to close. Another problem we are facing is the 
qualification of knowledge provider of those required and domain specific knowledge sets. Learners who are 
seeking new positions or career advancements may come up with learning goals that are needed to fill up the 

 
493
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 

knowledge  gap  between  what  they  know  and  what  the  employers  require.  Ideally  speaking,  it  can  be 
represented as: 
 
For each knowledge domain d 
Learning Goal (d) = required knowledge level (d) – learner’s knowledge level (d) 
 
There  have  been  some  approaches  in  assessing  learner’s  knowledge  level  for  the  evaluation  of  students' 
learning (Eberly center, n.d.; TEP, 2014) but not in the level of applying the knowledge level into designing the 
learning goals. In some rapidly changing fields, it is always challenging to find relevant learning materials for 
the field. In such field, agility is the key factor to be successful, which in turn necessitates the demand for the 
capable authors. However, in such field, one author may not have sufficient knowledge set to create all the 
learning  materials  needed.  Therefore/In  this  case,  collaborative  authoring  is  needed  and  encouraged.  By 
combining each author’s specialty, it may be possible to provide a complete knowledge set needed for some 
demanding  fields.  The  issue  is  how  to  ensure  the  quality  of  the  learning  materials.  One  way  to  ensure  the 
quality would be assessing potential authors' knowledge level for the specific domain before qualifying them 
to be the authors.  
 
In summary, this paper is to address the following research questions: 
 
RQ1:  How  can  we  make  sure  that  the  learning  materials  delivered  are  at  the  right  level  for  the  learners’ 
knowledge level in some domain?  
RQ2: How can we make sure that the learning materials created are by the qualified authors in the domain? 
 
In addition, we also explore other ways to utilize the assessed knowledge level of an individual. For example, 
the competency of an employee for a position may also be assessed by the knowledge level for a specific field. 
The knowledge level for the position may be predetermined so the result of the knowledge assessment may be 
compared in order to determine the placement of an employee. 
 
After the brief review on the knowledge level assessment, learning objects and learner profile, a proposal of 
how the knowledge level can be assessed is presented, followed by suggestions on how the assessment result 
can be utilized for different purposes. To conclude, future research direction is discussed at the end. 
2. Literature review 

2.1 Background on knowledge level assessment 
With diverse background of the online learners, it is essential to present right level of learning material to each 
learner.  One  of  the  key  factors  in  determining  the  level  of  learning  material  is  based  on  a  learner's  prior 
knowledge level in a given domain. Therefore, it is crucial to find a way to assess learner's knowledge level. 
When  assessing  someone’s  learning,  six  levels  were  identified:  (1)  knowledge  or  remembering;  (2) 
comprehension    or  understanding;  (3)  application  or  applying;  (4)  analysis  or  analyzing;  (5)  synthesis  or 
creating; and (6) evaluation or evaluating (Bloom, 1956, Anderson, et al., 2000, Clarks, 2013). Unfortunately, it 
is not always easy to assess someone’s knowledge level automatically. 
 
Many approaches have been adopted to evaluate a student's learning. Eberly Center from Carnegie Mellon has 
categorized  these  approaches  based  on  the  types  of  measures  they  use,  including  the  ones  using  direct 
measures and the ones using indirect measures (Eberly Center, n.d.). Direct measure approaches include tests, 
concept maps, portfolios and auditions, etc. Standard tests have been widely used as a key measure of one's 
knowledge  level.  For  example,  many  people  take  standard  tests  to  obtain  professional  certificates  to 
demonstrate their knowledge level in a specific area. Many industries have widely adopted certificates, such as 
MCSE certification by Microsoft, CCNA by Cisco, etc. Tang, Cen and Cheng (2010) proposed a distance learning 
system  that  attempted  to  provide  learners  with  different  level  of  instruction  based  on  the  assessment  of 
students'  learning  level.  They  also  used  learner's  test  records  to  determine  their  knowledge  level. 
Unfortunately, one’s test score is not the only measure showing his knowledge level. Moreover, not everyone 
takes those tests due to access and cost issues. 
 

494
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 
 
Namatame  and  Ueno  (2006)  tried  to  evaluate  learner's  knowledge  level  on  concept  mapping  tasks.  They 
analyzed  students'  records  on  their  repeated  attempts  of  quizzes  through  an  e‐learning  system.  The  repeat 
attempts  were  analyzed  based  on  a  consistency  index.  They  then  applied  Bayesian  network  to  categorize 
students  into  three  different  groups,  students  who  have  sufficient  understanding,  students  who  have  not 
enough understanding, and students who have an inadequate understanding.  
 
However, the direct measure approaches may not always show the overall knowledge level of a learner. For 
example,  obtaining  a  certificate  may  demonstrate  some  of  the  knowledge  level  categories,  such  as 
remembering, understanding and applying depending on the types of questions included in the test.  However, 
the  level  of  knowledge  in  terms  of  "creating"  may  not  be  well  assessed  in  this  case.  Indirect  measure 
approaches,  such  as  self‐reports,  inventory  of  prior  courses  and  experiences,  etc.  (Ederly  Center,  n.d.)  may 
sometimes  need  to  be  included  in  the  assessment  process.  Simpamba  (2011)  presented  a  case  study  that 
evaluates  the  knowledge  level  of  the  parliament  members  based  on  their  self‐report  data  containing 
information regarding the members' level of education; the attendance of training workshops, seminars and 
exchange  visits;  and  the  utilization  of  parliamentary  tools  after  the  attendance  of  the  workshops.  This 
information was utilized to predict members' training needs. 
 
Previous research on assessing one’s knowledge level is mostly based on one type of measures, either direct or 
indirect  measures.  However,  one  measure  does  not  always  reflect  one's  knowledge  level  accurately. 
Unfortunately, there was few reported study on how to comprehensively assess a learner's knowledge level 
with all the possible measures automatically.  

2.2 Bayesian theory and analytical hierarchy process (AHP)  
A  Bayesian  network  is  a  probabilistic  graphical  model  for  representing  causal  relationship  among  variables 
(Pearl,  1988).  It  stems  from  conditional  probability  theory.  The  probability  of  an  event  B  given  event  A  is 
calculated by using the form:  
 
P(B|A) = P(A|B)*P(B)/P(A) 
Where P(A|B) is the conditional probability of A given B, and P(A) and P(B) are the probabilities of 
events A and B. 
 
To construct a Bayesian network, the following steps need to be taken: identify possible variables, construct an 
undirected graph of all variables, determine the direction of the edges, and create the conditional probability 
table. The training data for creating the Bayesian network can be obtained from expert interview or the 
collection of historical data from the participants. 
 
Even  though  researchers  in  the  education  technology  design  have  been  trying  to  provide  adaptive  learning 
experience  to  the  learners,  many  are  using  Bayesian  theory  alone  for  this  purpose.  For  instance,  Burdescu, 
Mihăescu,  and  Logofătu  (2008)  presented  a  proposal  in  using  naive  Bayes  classifier  to  improve  learner's 
proficiency. Unfortunately, the simple Bayes classifier being used in their proposal assumed that the effect of 
an attribute value on a given class is independent of the values of the other attributes.  Ma, Wei, Hu, and Guan 
(2011)  proposed  the  use  of  Bayesian  theory  to  create  a  Bayesian  belief  network  classifier  model  to  provide 
better recommendations to the learners. In a smart learning system, we need to recommend the right learning 
materials  to  the  learners  not  simply  based  on  their  preference,  but  also  their  personal  learning  goals. 
Therefore,  simply  applying  Bayesian  approach  may  not  be  enough.  A  more  comprehensive  approach  that 
utilizes both Bayesian theory and AHP is needed. 
 
AHP  is  widely  used  when  making  decisions  in  very  complex  problems.  Saaty  (1980)  presented  AHP  as  a 
weighted  score  approach  with  three  principals:  Hierarchy  representation  and  decomposition,  Priority 
discrimination and synthesis, and Logical consistency. After decomposing the decision goal into a hierarchical 
structure, there can be multiple levels in the final structure. The levels in between the first and the last level 
contain criteria and sub‐criteria of the problem. Experts/users will need to do pair‐wise comparison of decision 
criteria to establish the relative importance of each criterion comparing to others in the same level (Table 1). 
The pair‐wise comparison is then reduced to a comparison vector by the eigenvector method. The coefficients 
aij are normalized to the interval [0,1]. The weights for each criterion will also be normalized so that the sum of 
weights equals to 1.  

495
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 

∑ (wi) = 1 (wi: the weight for the ith criterion). 
Table 1: Pair‐wise comparison for criteria (where aij is relative importance of ith criterion comparing to the jth 
criterion 
  Criterion1  Criterion2  Criterion 3  Criterion 4 
Criterion1  1  a12  a13  a14 
Criterion2  a21  = 1/ a12  1  a23  a24 
Criterion3  a31 = 1/ a13  a32 = 1/ a23  1  a34 
Criterion4  a41 = 1/ a14  a42 = 1/ a24  a43 = 1/ a34  1 
After establishing the weights for each criterion, we rate a candidate (i.e. learner, learning object, and author) 
against the criteria identified (aij, for the rate ith candidate received when being evaluated against jth criterion 
in Table 1).  
 
The weighted sum for a candidate will then be: 
 

 S(Ai) =      
,where wj is the weight for the jth criterion, aij is the score for the ith candidate on the jth criterion.  
 
Both  Bayesian  theory  and  AHP  have  been  widely  used  in  decision  making  research.  Huang  and  Bian  (2009) 
presented an experiment using Bayesian network and AHP to present personalized recommendation for the 
tourists based on tourist's travel behaviour and other users on the website. Papic‐Blagojevic, Gajic, and Dokic 
(2012) proposed more applications for the application of Bayesian network and AHP in tourism in Serbia. We 
believe similar approaches can also be applied in higher educational setting.  

3. Learning objects 
Learning  object  may  be  termed  as  reusable  learning  resource  that  has  meaningful  chunk  of  information  in 
some  domain.  It  should  be  specified  in  such  a  way  that  can  be  easily  searchable  for  broader  use.  In  our 
proposed approach, we have followed the industry metadata standards ‐ Dublin Core (Dublin Core Metadata 
Initiative,  2002)  and  IEEE  LOM  (LOM, 2002)  ‐  to  express each  learning object  element  effectively  searchable 
and  interoperable  in  the  networked  environment.  We  have  used  the  following  elements  to  express  the 
contents: title, description, keyword subject, creator, type, audience, publisher, identifier, format, size, typical 
learning time, difficulty level, language and cost. 
 
Careful  design  of  a  study  plan  may  be  used  to  satisfy  an  individual  learner’s  learning  goal  by  assembling 
relevant learning objects.  

3.1 Learner profile 
There are two competing standards in industry – IMS LIP (IMS Global Learning Consortium Inc., 2001) and IEEE 
PAPI (IEEE LTSC, 2002). In our approach, we mainly followed IMS LIP and its XML schema format to represent 
the basic learner profile and study plan completion information. In IMS Learner Information Profile, there are 
11  core  structures  to  describe  a  learner  such  as  identifications,  security  keys,  transcripts,  goals,  qcl 
(qualifications,  certifications  and  license),  activities,  interest,  competency,  relationship,  affiliation  and 
accessibility.  

3.2 Smart learning management system (SLMS) 
The smartness of the learning management system (SLMS) lies in the fact that it can promote the effectiveness 
of the learning by satisfying major learning needs such as providing relevant learning contents to its learners 
and dynamic assembly of learning contents so it can meet the needs of rapid changes in learning environment.  
 
In  our  view,  the  smartness  in  learning  management  system  understands  the  learning  needs  of  the  learners 
from  their  searches  automatically  and  provides  learners  with  customized  learning  contents  based  on  their 
knowledge level and previous performance and preferences. The smart e‐Learning system in this research aims 
at  building  smart  learning  environment  where  learners’  learning  contents    may  be  adapted  to  new  learning 

496
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 
 
goals based on the learner’s performance and their learning styles as well as their past knowledge level.  In an 
attempt to satisfy such requirements, we have implemented a smart learning management system (SLMS) as 
shown in the figure 1. 

 
Figure 1: Dynamic study plan creation in SLMS 
The SLMS (Song, Y. el al., 2013) focuses on a few things, namely, learner profile, dynamic study plan creation 
using  relevant  learning  objects  based  on  each  learner’s  learning  goal,  and  ontological  learning  content 
management  system  (LCMS).  A  study  plan  has  a  set  of  learning  objects  that  is  relevant  to  satisfy  a  certain 
learning  goal  and  may  be  used  interchangeably  with  a  course.  In  the  figure  1,  the  search  keyword  is  in  the 
learning object search window and the search result that includes all related learning objects as well as directly 
matched  learning  objects.  The  relationships  among  the  leaning  objects  in  the  LCMS  are  defined  by  the  web 
ontology language (OWL). The list on the right column shows dynamic study plan creation. It involves drag and 
drop of the relevant learning objects in the search results to the right column.  Once the study plan is created, 
the study plan will be associated with the learner’s profile so the SLMS can monitor the progress.  

4. Assess knowledge level ‐‐ a proposal 

4.1 Previous knowledge level information collection 
As suggested in the literature, both the records from direct measures as well as indirect measures will be used 
to assess a learner's knowledge level. After a learner signs up to the system, he will be required to create a 
profile containing his previous knowledge level information. The learner will be required to identify one area 
of  study  that  he  is  interested  in.  Once  the  area  of  study  is  identified,  he  will  be  required  to  provide  more 
information in the given field, such as the highest level of education obtained (including the year the diploma 
was awarded), certificates and licenses obtained (year and name/nature of the certificates and licenses), past 
work  experience  (nature  of  the  work,  years  of  experience,  artefacts  created),  and  any  related  course  taken 
previously.  

4.2 Knowledge level assessor 
An AHP model can be applied in learning systems to provide the assessment of a learner's knowledge level. To 
construct this model, the following stages are applied: (1) constructing a hierarchical model including possible 
alternatives  and  the  criteria  for  each  alternative;  (2)  conducting  a  pair  wise  comparison  for  the  criteria;  (3) 
finding  the  relative  weight  of  each  alternative  against  each  criterion;  and  (4)  calculating  the  score  of  each 
alternative based on the relative weight. 

497
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 

Goal:
Criteria Assessing Knowledge Level

Educational Professional Training Working Experience Courses Taken in

History (W1) History (W2) (W3) SLMS (W4)

Highest degree License Obtained (W21) Number of courses

Original work done
Subcriteria

obtained (W11) taken (W41)

(W31)
Year the license
Year the awarded (W22) Time the course was
highest degree Years of working
experience (W32) taken (W42)
awarded (W12) Certificate Obtained
(W23)
Main job function
Year the certificate
(W33)
awarded (W24)
Alternatives

Learners

 
Figure 2: AHP model for assessing a learner's knowledge level in a specific field 
Figure 2 above shows the AHP model in order to evaluate a learner's knowledge level in a specific field. The 
relative  importance  of  each  criterion  will  be  determined  by  doing  a  pair  wise  comparison  of  the  criteria.  To 
properly  determine  the  weights,  it  is  necessary  to  consult  the  experts  in  each  field  to  conduct  the pair‐wise 
comparison.  To  the  benefit  of  this  discussion,  a  default  weight  for  each  criterion  is  assigned  at  the  author's 
discretion to illustrate the idea (Tables 2‐6).  
Table 2: Comparison matrix for criteria 
Criteria  Educational  Professional  Past Working  Courses taken in  Average 
Level  Training  Experience  SLMS  Weight (wi) 
Educational Level  1  1/3  1/5  1/3  0.079 
Professional  3  1  1/3  1  0.222 
Training 
Past Working  5  3  1  1/3  0.331 
Experience 
Courses taken in  3  1  3  1  0.369 
SLMS 
Table 3: Comparison matrix for sub‐criteria for "educational level" 
Criteria  Highest Degree Awarded  Year the degree awarded  Average Weight (wi) 
Highest Degree Awarded  1  1  0.5 
Year the degree awarded  1  1  0.5 

Table 4: Comparison matrix for sub‐criteria for "professional training" 
Criteria  License  Year license  Certificate  Year certificate   Average Weight 
obtained  awarded  obtained  awarded  (wi) 
License obtained  1  1  1/3  1/3  0.129 
Year license  1  1  1/3  1  0.179 
awarded 
Certificate  3  3  1  1  0.388 
obtained 
Year certificate  3  1  1  1  0.304 
awarded 

498
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 
 
Table 5: Comparison matrix for sub‐criteria for "past working experience" 
Criteria  Original  Years of working  Main job  Average Weight 
Work done  experience  function  (wi) 
Original Work done  1  1/3  1/3  0.140 
Years of working experience  3  1  1/3  0.287 
Main job function  3  3  1  0.574 
Table 6: Comparison matrix for sub‐criteria for "Courses taken in SLMS" 
Criteria  Number of courses taken  Time the courses taken  Average Weight (wi) 
Number of courses taken  1  1  0.5 
Time the courses taken  1  1  0.5 
Based on the data collected in each learner's profile described in section 3.1, each learner will then be rated on 
each  criterion  identified  in  the  model.    Rating  will  be  assigned  to  each  learner  based  on  the  information  he 
provided in the profile. Any missing information will have a default rating of 0.  For example, high school or 
equivalent, B.A., B.S., M.S., and Ph.D. are the possible degrees recognized in the learner's profile. The relative 
weight for each possible degree can be calculated using the same way as we did for determine the weight of 
each criterion above. 
 
Once the rating is done, the knowledge level for the specific learner will then be calculated as:  
 
Knowledge level =   ))  
,where Wi is the weight for ith top level criterion, Wij is the weight for individual sub‐criterion in for ith 
top level criterion, and aij is the rating against the sub‐criterion for this  learner. 
 
In order to make it easier to use of the knowledge level assessment result, one’s knowledge level will be put 
into one of three categories: novice, intermediate, and advanced/expert. Therefore, threshold will need to be 
determined after the above calculation is done. Default threshold can be defined in the system while allowing 
it  to  be  adjusted  by  the  user  to  accommodate  the  special  needs.  For  example,  learners  whose  knowledge 
levels are at 20% of the total score or lower will be identified as "novice"; the ones with scores fall in between 
21%  to  80%  of  the  total  score  will  be  identified  as  "intermediate";  the  upper  20%  will  be  regarded  as 
"advanced/expert". For each knowledge level identified, it will be mapped to corresponding level of learning 
objects.  For  instance,  a  learner  who  is  at  the  intermediate  level  of  a  given  subject  should  be  presented  the 
learning object in that subject at intermediate to expert level. Unless being requested by the learner, learning 
objects at “novice” level will be filtered out for this learner. 

4.3 Learning goal mapping based on knowledge level  
As modern society demands deeper and more customized skill sets, the existing training materials or learning 
objects may not be able to satisfy their learning needs. Such variety of learning needs necessitates customized 
study plan that may be able to satisfy each individual learning need. The variety of leaning needs also come 
from their knowledge level even with the same leaning need depending on each individual learner’s current 
knowledge level.  
 
In Figure 3, Learning goal mapper module takes learner’s learning goals and learner knowledge level as input 
and search the learning object / study plan repository for the learning object/ study plan that are relevant to 
the  learner’s  knowledge  level.  Sequencing  and  filtering  module  filters  out  irrelevant  results  and  makes  the 
sequence that follows dependency relations among the learning object. The three knowledge level assessors 
have different purposes for different participants.  
 

499
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 

Learning objects (study plan)

Sequencing 
Learning goal 
Learning goal Search result and filtering 
mapper
LO/SP

learner Learning style

Learner knowledge level

LO/SP 
repository

Learner profile

Training, certificate, license, education, etc.
Training, certificate, license, education, etc.
collaborative author

knowledge 
skill set level assessor  knowledge  knowledge  Register 
for  level assessor  level assessor  learning object 
collaborative  for learner for employee (LO)
author Learning object

Qualified employee

Required Skill set

Qualified knowledge level
management For authoring authoring

 
Figure 3: Knowledge level utilization 

4.4 Potential applications for knowledge level assessment  
As  illustrated  in  Figure  3,  the  assessed  knowledge  level  can  be  utilized  in  three  different  areas,  namely,  for 
satisfying a specific learning goal, for qualifying collaborative authors, and for qualifying collaborative authors. 
We  created  a  domain  list  (DL)  from  college  majors  in  (http://www.mymajors.com/college‐majors/).  Any 
relevant  criterion  R  as  listed  in  the  figure  2  in  the  profile  will  get  corresponding  weight  as  illustrated  in  the 
table 2 ~ 6 and be recorded in the profile in association with the corresponding domain D in DL. If a relevant 
criterion such as certificate or training is multidisciplinary, there may be more than one relevant domain. For 
example,  if  the  domain  of  interest  is  computer  science,  indexed  by  k,  and  a  profile  in  consideration  has  a 
certificate  for  health  informatics  that  may  consist  of  two  domains  such  as  computer  science  and  medical 
science indexed by m. Then only the computer science is the relevant criterion so the corresponding weight 
may be recorded as R(k) /2. 
 
The following steps suggest how the assessed knowledge level can be utilized for different purposes: 
 
1. Select a learner’s profile  
2. Assess the learner's knowledge level in a specific domain D 
a. Search for relevant factors, e.g., education level, and their corresponding weights for the 
domain D 
b. The summation of the  weight determines the knowledge level for the domain D 
3. Application areas 
a. For satisfying learning goal 
i. Semantic search on the required learning objects 
ii. filtering on the returned results based on the resulting knowledge level from 
step 2 
iii. sequencing the results based on the dependency among the learning objects 
iv. The filtered and sequenced list of learning objects, called study plan, is created. 
It is a customized knowledge set that is required to achieve a specific learning 
goal for the learner 

500
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 
 
b. For qualifying collaborative authors 
i. Determine the required knowledge level for authoring in a specific domain 
ii. Compare with assessed knowledge level for a potential author 
a. If not satisfied Notify the potential author and ask for profile 
update for the domain 
b. Perform the step 2 
c. If not satisfied, disqualify the potential author 
2. Else notify the potential author for the qualification 
c. For the placement of employees 
i. Determine the required knowledge level for the competency of the position 
ii. Compare with assessed knowledge level for potential employees 
iii. Notify the potential employees of the result 

5. Conclusion 
In order to meet the diverse knowledge demands from continuously changing society, there have to be a way 
to  measure  the  kind  and  level  of  knowledge  required.  We  surveyed  a  number  of  approaches  in  assessing 
knowledge  level  and  suggested  how  to  fill  the  gap  in  knowledge  levels  by  utilizing  reusable  knowledge 
components called learning objects. In this paper, we proposed an approach on how to assess knowledge level 
of  learners,  collaborative  authors,  and  employees  based  on  their  profile  ‐  previous  education,  professional 
training working experience, and courses taken in a learning system in a specific field. Moreover, we suggested 
how  the  assessment  result  can  be  utilized  in  three  different  areas,  such  as  providing  appropriate  learning 
objects/study  plans  to  the  learners,  qualifying  potential  candidate  to  participate  in  collaborative  authoring, 
and placing employees to the right positions. 
 
The proposed work laid foundation on how to systematically manage knowledge resources for both learning 
and human resource management. 

6. Future work 
This paper only presented a proposal on how the knowledge level can be assessed and how the result of this 
assessment can be utilized for different purposes. More work is needed to implement and test the proposed 
framework.  
 
We are currently working on the ontological verification of the proposal, which requires building ontology on 
each domain. Each domain needs to be decomposed into constituent building blocks and to build relationships 
among  them.  Semantic  search  on  the  related  knowledge  components  may  reveal  more  accurate 
representation of human knowledge level on a particular domain.   

References 
Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., Wittrock, M. C. 
(2000). A Taxonomy for Learning, Teaching, and Assessing: A revision of Bloom's Taxonomy of Educational Objectives. 
New York: Pearson, Allyn & Bacon.  
Answers, (2014) "How many different job titles exist in the US?" [online]. 
http://wiki.answers.com/Q/How_many_different_job_titles_exist_in_the_US?#slide=2 
Bloom B. S. (1956). Taxonomy of Educational Objectives, Handbook I: The Cognitive Domain. New York: David McKay Co Inc.  
Burdescu, D., Mihăescu, M. C., and Logofătu, B. (2008). "Employing Bayes Classifier for Improving Learner's Proficiency", 
Proceeding of the Third International Conference on Internet and Web Applications and Services, pp. 38 ‐ 42.  
Clark, D.R. (2013). “Bloom's Taxonomy of Learning Domains”, [online]. http://www.nwlink.com/~donclark/hrd/bloom.html 
Dublin Core Metadata Initiative. 2002. Expressing Qualified Dublin Core in RDF / XML. 
http://dublincore.org/documents/dcq‐rdf‐xml/. 
Eberly center, “Assessing Prior Knowledge”, [online]. Carnegie Mellon University,  
http://www.cmu.edu/teaching/designteach/teach/priorknowledge.html 
Huang, Y., and Bian, L. (2009) “A Bayesian network and analytic hierarchy process based personalized recommendations 
for tourist attractions over the Internet”, Expert Systems with Applications, 36 (2009), 933‐943. 
IEEE LTSC, (2002) "IEEE  standards for Learning technology – Public and Private Information (PAPI) for Learners (PAPI 
Learner)" [online].  http://metadata‐standards.org/Document‐library/Meeting‐reports/SC32WG2/2002‐05‐
Seoul/WG2‐SEL‐046_SC36N0182_papi_learner_relations_info.pdf 
IMS Global Learning Consortium Inc. 2001. "IMS Learner Information Packaging Information Model Specification" [online]. 
http://www.imsglobal.org/profiles/lipinfo01.html. 

501
 
Yeong‐Tae Song, Yuanqiong Wang and Yongik Yoon 

LOM, (2002). Draft standard for learning object metadata. IEEE 1484.12.1‐2002, 15 July 2002.  
Ma, D., Wei, W., Hu, H., and Guan, J. (2011) "The application of Bayesian Classification Theories in Distance Education 
System", I. J. Modern Education and Computer Science, 4, pp. 9‐16.  
Namatame, Y. and Ueno, M. (2006). “A Method to Evaluate Learner's knowledge structure in e‐learning”, Proceeding of the 
Sixth International Conference on Advanced Learning Technologies, pp. 43‐45.  
Papic‐Blagojevic, N., Gajic, T., and Dokic, N. (2012) “Using Bayesian network and AHP method as a marketing approach 
tools in defining tourists' preferences”, TURIZAM. 16 (1) pp. 8‐19. 
Song, Y., Park, K., Yoon, Y. (2013) “Ontology based Learner‐centered Smart E‐Learning System”, Proceedings of VI 
International GUIDE Conference, Athens 2013 
Pearl, J. (1988). Probabilistic reasoning in intelligent systems. Networks of plausible inference. San Mateo, CA: Morgan 
Kaufmann. 
Satty, T. L. (1980). The analytic hierarchy process. New York., NY: McGraw‐Hill. 
Simpamba, E. (2011) “The assessment of the levels of knowledge skills and abilities (KSAs) held by new or continuing 
parliamentarians and the determination of training and professional development needs – the Zambian case”, 
International Conference: Effective capacity building programs for parliamentarians, Bern (Switzerland), October. 
Tang, W., Cen, G., Cheng, J. (2010) “Based on Xml of Web Mining In Dynamic Dividing Level Instruction System”, Proceeding 
of Second International Workshop on Education Technology and Computer Science. DOI 10.1109. pp. 468‐472.  
TEP, (2014) "Bloom's Taxonomy of Cognitive Levels", [online]. Teaching Effectiveness Program, Teaching and Learning 
Center, http://tep.uoregon.edu/resources/assessment/multiplechoicequestions/blooms.html 
 

502
Evaluation as a Powerful Practice in Digital Learning Processes 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 
Aalborg University, Copenhagen, Denmark 
Birgitte@learning.aau.dk 
kale@learning.aau.dk 
 
Abstract: The present paper is based on two empirical research studies. The Netbook 1:1 project (2009–2012), funded by 
the  municipality  of  Gentofte  and  Microsoft  Denmark,  is  complete,  while  Students’  digital  production  and  students  as 
learning designers (2013–2015), funded by the Danish Ministry of Education, is ongoing. Both projects concern primary and 
lower secondary school and focus on learning design frameworks that involve students’ agency and participation regarding 
digital  production  in  different  subjects  and  cross‐disciplinary  projects.  Within  these  teacher‐designed  frameworks,  the 
students perform as learning designers of learning objects aimed at other students. Netbook 1:1 has shown that digital and 
multimodal  production  especially  facilitates  student‐learning  processes  and  qualifies  student‐learning  results  when 
executed  within  a  teacher‐designed  framework,  which  provides  space  for  and  empowers  students’  agency  as  learning 
designers. Moreover, the positive impact increases when students as learning designers participate in formative evaluation 
practices.  Traditionally,  the  Danish  school  has  worked  hard  to  teach  students  to  verbalise  their  own  academic 
competencies.  However,  as  our  everyday  environment  becomes  increasingly  complex  with  digital  and  multimodal 
technologies, formative evaluation as a learning practice becomes central, requiring the students to develop a digital and 
multimodal  literacy  beyond  the  traditional,  language‐centred  type.  Students’  digital  production  and  students  as  learning 
designers  is  a  large‐scale  project  that  follows  up  on  the  findings  of  Netbook  1:1.  It  experiments  further  with  various 
evaluation practices in a digitalised learning environment that focuses on different phases of the learning processes and 
includes feed‐forward and feedback processes. Evaluation as a learning practice in a digitalised learning context focuses on 
students  as  actors,  addressing  their  self‐reflections,  responses  to  feedback  from  peers  and  feed‐forward  processes,  and 
responses to feedback from teachers and feed‐forward processes. 
 
Keywords: formative evaluation, summative evaluation, self‐evaluation, peer evaluation, teacher evaluation, digital 
learning processes, multimodality, evaluation design  

1. Introduction 
Traditionally,  Danish  schools  have  worked  hard  to  teach  students  to  verbalise  their  own  academic 
competencies. However, the advent of new media impacts on the representative forms of subject matters and 
calls for new subject knowledge. The representative forms are specifically changed through multimodality; the 
subsequent, new subject knowledge is needed not only because the technology is available, and multimodal 
competencies  are  core  competencies  of  the  21st  century  (Organisation  for  Economic  Co‐operation  and 
Development  [OECD]  2008).  New  subject  knowledge  is  also  necessary  because  multimodal  means  of 
expression  function  as  an  externalising  vehicle  for  reflection  and  construction  of  meaning  (Sørensen  & 
Levinsen  2014),  in  the  same  way  as  speech  and  writing  externalise  thoughts  and  enhance  learning  (Dysthe, 
Hertzberg  &  Hoel  2001).  With  multimodal  expressions,  the  students  achieve  a  broader  repertoire  through 
which to experience the world and express themselves while learning. Gradually, as education becomes more 
digitalised  and  multimodal,  schools  are  challenged  to  provide  new  subject  knowledge,  together  with 
professional capacities, to describe multimodal competencies and specify learning objectives and what must 
be taught and evaluated. 
 
Since the 1990s, especially in the UK, there has been a growing interest in developing formative evaluation, 
since evaluation has proven to be a powerful learning practice in contemporary constructivist learning designs, 
such  as  cooperative,  action  or  problem‐based  learning  that  aim  at  students’  active  participation  and  agency 
(Black  &  Wiliam  1998,  Harlen  &  Deakin  Crick  2002,  Tanner  &  Jones  2003,  Hattie  &  Timperley  2007).  At  the 
same  time,  formative  evaluation  functions  as  a  means  of  navigation  for  the  actors  during  the  process  of 
transformation undertaken in schools as digitalisation expands (Luckin et al. 2012). This development has led 
to an increasing interest in digitally supported, formative evaluation practices, a field marked by new ideas and 
innovation, such as experiments with mobile technologies and social networks (Ibid.). Summative evaluation 
has  recently  been  actualised  by  the  Programme  for  International  Student  Assessment  (PISA)  that  ranks 
students’ performance among the OECD member‐countries. The PISA results and the ranking of countries have 
set  the  agenda  for  educational  politicians,  educators  and  researchers  across  Europe,  shifted  the  focus  from 
formative to summative evaluation (Dysthe 2009, Shewbridge et al. 2011, p. 7) and released huge investments 
in digital, multiple‐choice tests and measuring designs (called The Digital National Tests in Denmark). In both 

503
 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 

formative and summative digital evaluation designs, multimodality and students’ agency stand weak (Wyatt‐
Smith  &  Kimber  2009);  accordingly,  the  development  and  production  of  evaluation  designs  that  encompass 
both constructivist and social constructivist, digitalised learning designs and the various modalities and their 
interrelations as representations, emerge as a major challenge. Moreover, since their definition 50 years ago, 
the concepts of formative and summative evaluations have become weakly defined (Taras 2008). 
 
Our  research  in  Netbook  1:1  (for  further  reading  about  research  design,  data  collection  and  analysis,  see 
Levinsen  &  Sørensen  2013  and  Sørensen  &  Levinsen  2014)  shows  that  evaluation  formats,  ranging  from 
students’  self‐evaluation  over  peer  evaluation  to  teacher‐initiated  evaluations  in  various  designs,  are  crucial 
for  students’  subject‐related  and  trans‐disciplinary  learning,  the  way  they  work  and  how  they  design  and 
conduct  presentations.  In  the  ongoing  research  and  development  project,  Students’  digital  production  and 
students  as  learning  designers,  we  experiment  with  various  evaluation  practices,  learning  objectives  and 
criteria  for  evaluation.  The  present  paper  describes  the  basic  framework  for  formative  and  summative 
evaluations and various evaluation formats that have been developed and tested in the project, illustrated by 
empirical  examples.  Additionally,  we  touch  on  theoretical  approaches  and  discuss  new  challenges,  such  as 
student governance and multimodality in evaluations.  
2. Literature study 
The  teacher’s  awareness  of  the  students’  knowledge  (or  lack  of  it)  and  abilities  is  pivotal  to  the  design  of  a 
learning framework that involves students’ agency. In practice, to facilitate learning, both the teacher and the 
student must be aware of the student’s (pre)condition and progress. To achieve this awareness and transform 
it  into  a  teacher’s  assessment  and  the  students’  understanding  of  their  learning  levels  and  challenges,  the 
generally  agreed  practice  is  evaluation  –  a  huge  topic  ranging  from  national  tests  to  the  kind  of  everyday 
classroom practices that are the focus of the present project. Evaluation is divided into two main categories: 
formative and summative (Shriven 1967, Bloom, Hastings & Madaus 1971).  
 
The research literature regarding the respective roles of assessment and summative and formative evaluations 
in students’ learning and empowerment as agents in relation to their learning is primarily produced in the UK. 
According  to  Tanner  and  Jones  (2003),  Taras  (2008)  and  Black  (2013),  the  research  focus  has  mostly  been 
directed  towards  formative  rather  than  summative  evaluation.  Taras  pointed  out  that  the  relationship 
between the two forms is weakly described: “More seriously, the absence of this discussion has resulted in the 
distortion  of  this  relationship,  which  has  led  to  a  misunderstanding  of  both  assessment  processes”  (Ibid.  p. 
173).  
 
Taras (2008) and Tanner and Jones (2003) argued that the formative and summative concepts are often used 
to  denote  and  distinguish  between  two  types  of  evaluation:  teacher  and  classroom  assessment  (formative 
assessment)  versus  external/national  assessment  (summative  assessment).  In  contrast  to  the  general 
definition,  Brookhart  (2001)  emphasised  function  and  purpose  rather  than  type  and  claimed  that  both 
classroom and external assessments are applicable to formative and summative purposes. Tanner and Jones 
(2003,  p.  276)  defined  an  “assessment  event”  to  include:  “…the  preparation  for  the  assessment  by  both  the 
teacher  and  the  student,  the  feedback  from  the  assessment  offered  by  the  teacher,  and  the  impact  of  the 
assessment on the subsequent learning behaviours of the student”. Accordingly, the formative purpose of any 
evaluation or assessment should be to provide feedback that helps students identify gaps and assist in their 
learning progress and performance. Luckin and colleagues (2012) maintained that traditional understandings 
of evaluation are challenged by digitalisation in terms of various digital‐supported evaluations, together with a 
range of modalities that expands the need for literacy beyond written texts and spoken words. The very notion 
of  classroom  assessment  is  also  challenged  by  the  hybrid  space  that  emerges  through  mobile  and  wireless 
technology and dissolves the brick‐and‐mortar‐defined limits of the physical classroom (de Souza e Silva 2006, 
Sørensen, Audon & Levinsen 2010). 
 
The works of Black and Wiliam (1998, 2009) and Hattie and Timperley (2007) showed that positive impact on 
students’ learning performance is strongly connected to interaction and continuous evaluation by the teacher 
as  an  integrated  part  of  everyday  teaching.  Luckin  and  colleagues  (2012)  also  found  that  evaluation  as  a 
learning  practice,  combined  with  digital  production,  strongly  supports  students’  academic  and  cross‐
disciplinary  learning,  the  way  they  work  and  how  they  shape  their  projects  and  presentations,  while  their 
awareness  of  their  own  capabilities  changes  substantially  as  they  progress.  In  the  UK,  the  so‐called 

504
 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 

assessment‐for‐learning movement had promoted formative over summative evaluation until recently (Taras 
2008);  the  consequence  has  been  a  research  focus  locked  on  the  negative  effects  of  testing  (Black  2013). 
Moreover, the term evaluation is currently preferred over assessment (Taras 2008). As a counter movement, 
the  present  PISA  programme  promotes  summative  evaluation  as  a  driver  for  learning  over  formative 
evaluation  (Dysthe  2009).  In  this  situation,  most  research  aims  at  producing  evidence  that  either  of  the 
evaluation types performs better than the other, rather than focus on how they might enhance each other or 
how they should be understood or defined.  
 
The  general  research  focus  has  been  on  the  teacher‐driven  evaluation  and  assessment  that  aim  to  provide 
both  teacher and  students  with  knowledge  that  improves  the  students’  performance,  as  presented  in  OECD 
Reviews  of  Evaluation  and  Assessment  in  Education  –  DENMARK  (Shewbridge  et  al.  2011).  The  focus  on  the 
teacher  as  the  main  provider  of  feedback  and  feed‐forward  corresponds  with  the  general  view  within  the 
learning design theory that learning design – including evaluation and assessment – is the teacher’s domain 
(Dale 1989, 2000).   
 
In  contrast  to  the  generally  accepted  position,  we  discovered  in  our  research  (Levinsen  &  Sørensen  2013, 
Sørensen  &  Levinsen  2014)  that  even  young  students  are  able  to  act  as  learning  designers.  We  found  that 
practices  ranging  from  students’  self‐evaluation  over  peer‐evaluation  to  teacher‐initiated  evaluations  in 
various designs are crucial for students’ subject‐related and trans‐disciplinary learning, the way they work and 
how they design and conduct presentations. The students actively reflect on and use both the feedback and 
feed‐forward produced in both ongoing evaluations during the work process and final evaluations. 
 
In the ongoing project, Students’ digital production and students as learning designers, we take these ideas a 
step  further.  We  coin  the  concept  of  students  as  learning  designers,  meaning  that  students  act  as  learning 
designers of their own learning processes, including forms of evaluations within a teacher‐designed framework 
that empower students’ agency through digital production of learning objects aimed at other students. In the 
project,  we  experiment  with  various  evaluation  practices  with  formative  purposes,  learning  objectives  and 
criteria regarding evaluations that:  
ƒ focus on different phases of the learning processes;  
ƒ contain feed‐forward and feedback processes; and 
ƒ focus on students as actors and address their self‐reflections, responses to feedback from peers and feed‐
forward processes, and responses to feedback from teachers and feed‐forward processes. 
3. Research design and methodology 
The project is based on a combination of Action Research and Design Based Research using quantitative and 
qualitative approaches. The overall framework for the project includes interventions within different subjects. 
The  interventions  are  in  accordance  with  Design  Based  Research  designed  with  increasing  complexity  from 
simple mathematic exercises to more complex trans‐disciplinary activities that involve advanced technologies 
such  as  social  media,  robotics  or  location‐based  technologies.  In  accordance  with  Action  Research,  the 
researchers and the teachers collaborate closely when preparing the interventions locally at each school as the 
interventions must be integrated in the ordinary planning of the school year.  
 
The  project  is  complex  in  many  ways  and produce data using  two  main  approaches  within  an  overall  mixed 
methods framework (for details see Levinsen et al. 2014): 1) Baseline measures are conducted as a long term 
diachronic quantitative survey combined with qualitative structured observations at the start, middle and end 
of  the  project;  2)  each  of  the  six  interventions  are  followed  through  a  combined  synchronic  and  diachronic 
approach  where  the  researchers  as  action  researchers  follow  the  interventions  in  order  to  document  and 
identify  changes  and  developments  of  the  performed  practice.  Qualitative  data  are  collected  before,  during 
and after the interventions in the form of individual semi‐structured interviews, semi‐structured focus groups 
and  informal  conversations  with  teachers  and  students,  as  well  as  video,  photo  and  artefacts.  The  aim  is  to 
produce a complementary set of data that records and documents the interventions and allows for analysis of 
their impact on the students’ learning and the teachers practice.  
 

505
 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 

4. Formative and summative evaluations as learning practices 
Luckin and colleagues (2012) mentioned two important processes to explore in using evaluation practices in 
order to identify what and how the learner knows and understands. The first is the student’s reflection on his 
or her own learning activities. In doing so, the student develops an understanding and becomes empowered 
about  how  to  improve  his  or  her  learning  activities  and  strategies.  These  reflections  are  qualified  through 
dialogue  and  practice.  The  second  process  is  the  teacher’s  evaluation  of  and  reflection  on  the  student’s 
learning  activities.  The  learning  processes  are  qualified  by  the  teacher’s  feedback  and  feed‐forward  to  the 
student, as the student should learn to respond to critical comments and include them in the ongoing learning 
activities  and  reflections.  If  the  learning  design  framework  provides  a  basis  for  ongoing  formative  and 
summative evaluations, the evaluation activities may function as a driver for reflection and learning for both 
teacher and student.  
 
In agreement with Brookhart (2001), we understand summative and formative evaluations as functions that 
may take place both inside or outside the (hybrid) classroom and with the purpose of providing both teacher 
and students with appropriate knowledge to strengthen and stimulate students’ academic development. Along 
with  Scriven  (1967)  and  Bloom  and  colleagues  (1971),  we  understand  these  functions  as  having  different 
points  of  departure.  Thus,  summative  evaluation  lends  itself  to  a  backward‐looking perspective  that aims  at 
evaluating completed tasks and whether (minimum) competencies have been achieved in relation to defined 
learning objectives. On the other hand, formative evaluation refers to a forward‐looking perspective that aims 
at producing feed‐forward that supports the students’ future learning, ways of working and collaborating, and 
presentations  and  presenting  performance.  Thus,  we  understand  evaluations  as  learning  practices  that  are 
performed  by  both  teacher  and  students  as  functions  with  a  purpose.  Summative  evaluation  is  mostly 
conducted at the end of a learning process, while formative evaluation may take place both during and at the 
end of a learning process. The two evaluation practices are complementary; summative information is about 
the  distance  to  the  goal  (learning  objective),  while  formative  information  helps  define  and  navigate  the 
journey (learning) towards that goal.  
 
As mentioned above, we find that design for learning is both the teacher’s and the students’ domain. Netbook 
1:1  (Sørensen &  Levinsen 2014)  showed  that  the  students  operate  at all  three  levels of  Dale’s  model  (1989, 
2000):  practice,  organising  and  planning,  due  to  a  teacher‐designed  frame,  which  centres  on  the  students’ 
learning  process  and  subject‐related  reflections.  The  frame  defines  an  arena,  where  the  students  take  on 
responsibilities and act as learning designers under the teacher’s supervision. We find that students evaluate 
and reflect on their practice during the process by using everyday language, while the teacher’s reflection in 
action is based on his or her professional theoretical knowledge and competencies. From a design‐for‐learning 
perspective where the students’ learning is driven by their reflections and evaluations as learning designers, 
we have further developed Dale’s model into a four‐level Design for Learning Model. In the new model (Figure 
1), the fourth level belongs solely to the teacher’s domain.  

 
Figure 1: Four‐level design for learning model 
Taking the departure point from the students as learning designers, evaluation becomes a pivotal practice for 
both the learning process and learning results. Evaluation should be a core learning practice in any teacher‐
based design  frame,  explicitly  formulated  in  terms  of function  and  purpose,  and  actively  integrated  into  the 
students’ agency as learning designers. Apart from Luckin and colleagues’ (2012) two processes, we work with 
three variations of evaluation practices:  
ƒ students’ self‐reflection and self‐evaluation, 
ƒ peer response with feedback and feed‐forward and 
ƒ teacher response with feedback and feed‐forward. 
Before we unfold the evaluation practices, we should explain the feedback and feed‐forward concepts that are 
present in all three practices and form the basis for evaluation as a learning practice. Feedback aims to: 

506
 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 

ƒ take stock 
ƒ share knowledge  
ƒ evaluate a process and/or a result 
Feedback  is  a  practice  where  summative  and  formative  purposes  may  function  complementarily.  When 
feedback  aims  at  taking  stock,  it  is  often  given  during  the  learning  process.  However,  feedback  may  also 
function as summative at the end of a learning process and provide an overview to the student about what is 
or is not learned and which competencies are acquired or not. When the aim is sharing constructed knowledge 
among students, feedback may equally be generated during and/or after the process. When the aim is to offer 
a  critical  or an  appreciative  response,  evaluation  is  typically  performed at  the end  of the  process,  when  the 
work is completed and presented. Feed‐forward aims to: 
ƒ proceed with a process, 
ƒ generate new ideas and 
ƒ produce changes. 
Sometimes,  feedback  and  feed‐forward  are  intertwined,  since  feedback  often  leads  to  conversations  about 
how to proceed, and knowledge sharing leads to new ideas. However, in our context, it is convenient to focus 
on feed‐forward if the purpose is solely formative, such as if the students are at a standstill, the teacher finds a 
lack of subject‐matter quality in their work, the organisation of their work does not function, and changes are 
needed. The teacher may choose to intervene and challenge the students to reset their usual ways of thinking 
and doing and inspire new strategies to proceed. Feed‐forward may also occur spontaneously, for instance, if a 
student finds useful ways of using a program or an app or discovers information that may be shared with the 
class. As feedback, feed‐forward may be given both during and after a learning process. For both teacher and 
students, feedback and feed‐forward may function as drivers for redesigning both the frame and the learning 
design. 

5. Students as learning designers, and evaluation practices 
In this section, we present examples of evaluation practices from the projects Students’ digital production and 
students  as  learning  designers  and  Netbook  1:1,  based  on  subject‐related,  trans‐disciplinary  and  individual 
contemplative projects. 

5.1 Students’ self‐reflection and self‐evaluation 
The  teachers  develop  a  digital  objective  and  an  evaluation  sheet  for  the  students  to  fill  in  at  the  end  of  a 
project. The evaluation sheet is included in the student portfolio and used during student‐teacher and student‐
parent‐teacher conversations. In the early grades, the students possess limited writing skills, so the sheet has a 
mix of check marking and a few written answers. The teachers plan the activity with a generous time frame 
and  perform  formative  guidance  while  the  students  evaluate  themselves  in  relation  to  the  following 
chategories  
ƒ Subject/trans‐disciplinary learning 
ƒ Working practice – organisation, collaboration 
ƒ Product and presentation 
ƒ Technology. 
ƒ Modalities 
ƒ Working efforts 
In this manner, the students’ evaluation refers to the teacher‐defined objectives for the project, which stem 
from the legislated learning objectives for Danish schools. These objectives are discussed with the students for 
their understanding and rephrased to student‐language (Figure 2).  

507
 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 

 
Figure 2: Example of a digital questionnaire in which second‐grade students answer questions after studying 
an author and his books (authors’ translation) 
In the early grades or if the students are not yet used to evaluation as a learning practice, it is important to 
introduce the format thoroughly, since its purpose is to provide an arena for the students’ reflections on their 
learning process and the learning itself.  
 
It may be an issue of whether check marking supports reflection. However, in the early grades, it is important 
that  all  categories  are  present  and  allow  the  students  to  become  accustomed  to  and  build  a  repertoire  of 
relevant  criteria  to  master  the  evaluation  of  various  learning  objectives  and  the  dimensions  of  the  learning 
process. 

5.2 Responses with feedback and feed‐forward 
Ongoing  evaluations  with  feedback  and/or  feed‐forward  can  be  used  as  short  time‐outs,  where  students 
and/or  the  teacher  show  and  tell  something  that  others  can  learn  from,  for  example,  when  students  have 
found out how to animate a graphic element. A complementary summative and formative purpose may also 
be included at the end of a learning process.  

 
Figure 3: Ongoing evaluations with feedback (backward‐looking critiques and comments) and/or feed‐forward 
(forward‐looking comments and suggestions on what can be done) 
In our project, the students continuously uploaded their work or collaborated directly in the cloud. Therefore, 
all products, notes and stages in the processes were accessible for both the teacher and the peers at all times. 
They were both easily shared online and mediated using the interactive whiteboard during time‐outs.  
 
Peer response: During the process, peer response is provided as planned or as spontaneous time‐outs where 
the  students  take  stock  of  the  progress  in  relation  to  the  overall  time  frame.  Short  presentations  using  the 
interactive whiteboard allow for peer comments on the quality of the work and suggestions for improvements. 
The  whiteboard  can  be  used  as  a  tool  to  add  layers  and  comments  directly  on  the  digital  work.  As  an 
evaluation practice with a formative purpose, peer response is both useful for subjects and trans‐disciplines, 
working  practice,  and  use  of  technologies  and  modalities,  since  it  supports  ongoing  improvements.  Peer 
response  as  a  final  evaluation  of  subjects  and  trans‐disciplinary  projects  focuses  on  the  students’  digital 
products,  the  acquired  subject  or  trans‐disciplinary  learning,  and  the  working  practice,  including  subject‐
related  and  social  collaborative  aspects.  Peer  response  as  a  final  evaluation  of  individual  contemplative 
projects  focuses  on  each  student’s  final  product  and  the  way  the  student  uses  modalities  to  present  and 
mediate  the  product  and  the  content.  During  the  peer  response,  the  teacher  stays  in  the  background  and 
guides the evaluation in terms of how to express relevant critiques without hurting the receiver and ensuring 
that all relevant aspects are brought into play. The students’ self‐evaluation is also an element in the final peer 
response as it is a driver for the formative function of peer response.  
 
Teacher  response:  The  teacher  may  both  produce  process  and  final  evaluations  and  hold  summarising 
conversations with individual students. As the learning manager, the teacher needs to maintain awareness of 
the various aspects of the learning processes and the students’ challenges, then uses this knowledge to select 
important issues for either process or final evaluations. The teacher’s professional background and knowledge 

508
 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 

about  the  students  help  him  or  her  select  what  to  allocate  to  the  plenum  and  individual  conversations, 
respectively.  The  evaluation  may  be  organised  in  various  ways;  accordingly,  the  teacher  must  possess  a 
repertoire of practices that suits the evaluation purposes, such as: Are there only right or wrong answers or 
alternative  possibilities?  Is  the  purpose  to  reflect  on  a  subject  or  to  inspire  more  in‐depth  work  with  the 
subject matter? What kind of evaluation enhances the students’ future learning processes, and what may be 
vulnerable?  
 
th
For  a  full  week,  10 ‐grade  students  work  on  trans‐disciplinary  projects,  using  art  and  architecture  in  their 
neighbourhood.  They  employ  various  digital  production  tools  to  produce  short  videos,  texts,  photos,  etc., 
about  the  neighbourhood.  These  are  published  through  the  social  location‐based,  mobile  gaming  platform 
SCVNGR that allows users to build a game‐layer on top of the world. During the week that also includes peer‐
response  sessions,  the  teacher  accesses  the  digital  productions  and  takes  stock  of  the  students’  process, 
progress  and  challenges.  This  knowledge  is  used  to  provide  formative  input  to  the  students  in  the  form  of 
feed‐forward regarding the thoroughness of their mediating content and the functional and aesthetic use of 
their modalities. At the end of the process, the final file constitutes the students’ delivery of the assignment 
for the teacher’s assessment.  

6. Concluding discussion 
The  use  of  language  bears  an  impact  on  whether  the  students  take  the  evaluation  as  a  formative  input  for 
future work. Littleton and colleagues (2005) developed the concept of “thinking together”, addressing various 
forms of dialogue and questioning that may either enhance or hamper collaboration and learning. “Thinking 
together”,  combined  with  an  explorative  manipulation  of  digital  representations,  is  also  useful  in  evaluation 
processes, especially when language functions as a vehicle for exploration and construction of knowledge and 
as a driver for reflection. The underlying reason is that the teacher may use the students’ articulation of and 
work  with  the  digital  product  to  identify  challenges  and  exploit  the  acquired  knowledge  to  reorganise  the 
frame or details in the learning design. In the Danish school, similar to higher education, no tradition exists for 
evaluating the teacher’s work as an evaluator. Nonetheless, we note an advantage in involving students in this 
aspect  of  the  teacher’s  practice,  for  instance,  the  learning  design  and  the  teacher’s  communication  and 
interaction with the students.   
 
Digital technology offers a wide range of options for developing evaluation as a learning practice. We found 
that teachers and students used shared networks and cloud technology to create new dynamic frameworks for 
both the teachers’ work with evaluations and for the students’ peer evaluation. Accordingly, there is a need 
for  research  and  development  regarding  how  technology  may  support  summative  and  formative  evaluation 
practices during and after learning processes. It is also necessary to explore and develop digital solutions that 
enhance the analysis of evaluation results and support the teachers and students decision making on how to 
transform produced knowledge into efficient practices. Teachers are already exploring digital options; Luckin 
and colleagues (2012) specifically cited social media.   
 
We have already mentioned the beginning impact of digitalisation on the forms of evaluation such as digital, 
national  summative  types  and  the  competitive  approach  used  in  the  PISA  programme.  However,  other 
dimensions such as multimodality, creativity and innovation that are actualised by digitalisation also influence 
evaluation.  When  students’  approach  to  subjects  become  multimodal,  and  subjects  are  mediated  digitally 
through  multimodal  representations,  multimodality  becomes  part  of  both  the  subject  matter  itself  and  the 
related  academic  competencies.  As  mentioned  in  the  introduction, the  Danish  school  has  aimed at  teaching 
students to verbalise their own academic competencies. However, the advent of new media and their impact 
on representative forms and competencies call for new subject knowledge, not only because the technology is 
st
available  and multimodal  competencies  represent  a core  competence  in  the 21   century  (OECD 2008).  New 
subject knowledge is also needed because multimodal modes of expression function as an externalising vehicle 
for  reflection  and  construction  of  meaning,  together  with  speech  and  writing  (Sørensen  &  Levinsen 
2014).Thus, multimodal means of expression provide students with both a broader repertoire for expressing 
themselves  and  a  more  nuanced  tool  for  experiencing  the  world.  This  means  that  multimodal  means  of 
expression not only have to be part of the articulation of evaluations in a digital learning environment, but the 
students’ use of the former should be evaluated as a competence with defined learning objectives. This issue is 
an  important  dimension  in  future  discourses  on  any  subject  and  its  related  knowledge  regime.  For  the 

509
 
Birgitte Holm Sørensen and Karin Tweddell Levinsen 

teachers,  it  is  a  major  challenge  to  develop  learning  designs  for  evaluation‐as‐a‐learning  practice  in  a 
digitalised learning environment and to include both the modalities and their interrelations. 

References 
Black, P. (2013) Valuing Assessment in Science Education: Pedagogy, Curriculum, Policy. In Corrigan, Gunstone and Jones 
(Eds.), Pedagogy in Theory and in Practice: Formative and Summative Assessments in Classrooms and in 
Systems, pp 207‐229, Springer, Dordrecht, New York. 
Black, P. J. and Wiliam, D. (1998) “Assessment and Classroom Learning”, Assessment in Education: 
Principles, Policy and Practice, Vol. 5, No. 1, pp 7–73. 
Black, P. J. and Wiliam, D. (2009) “Developing the Theory of Formative Assessment”, Educational Assessment, Evaluation 
and Accountability, Vol. 21, No. 1, pp 5–31. 
Bloom, B. S., Hastings, T. and Madaus, G. (1971) Handbook of Formative and Summative Evaluation of Student Learning, 
McGraw‐Hill, New York. 
Brookhart, S. M. (2001) “Successful Students’ Formative and Summative Uses of Assessment Information”, Assessment in 
Education, Vol. 8, No. 2, pp 153–169. 
Dale, E. L. (1989) Pedagogisk Profesjionalitet, Gyldendal, Oslo.  
Dale, E. L. (2000) Professionalisering og Læring i Organisationer. Andersen and Frederiksen (Eds.), Innovation, Kompetence, 
Læring, pp 123–130, Dafolo, Frederiksberg. 
de Souza e Silva, A. (2006) “From Cyber to Hybrid”, Space and Culture, Vol. 9, No. 3, pp 261–278. 
Dysthe, O. (2009) “Evaluering i Klassen til Støtte for Læring”, KvaN, Vol. 85, pp 43‐59. 
Dysthe, O., Hertzberg, F. and Hoel T. L. (2001) Skrive for at Lære – Faglig Skrivning i de Videregående Uddannelser, Klim, 
Århus. 
Harlen, W. and Deakin Crick, R. (2002) “A Systematic Review of the Impact of Summative Assessment and Tests on 
Students’ Motivation for Learning”, Research Evidence in Education Library, Evidence for Policy and Practice 
Information and Co‐ordinating Centre (EPPI‐Centre), Social Science Research Unit, Institute of Education, London. 
Hattie, J. and Timperley, H. (2007) “The Power of Feedback”, Review of Educational Research, Vol. 77, pp 81–112. 
Levinsen, K. and Sørensen, B. H. (2013) “Students as Learning Designers”, Proceedings of Society for Information 
Technology & Teacher Education International Conference 2013, Association for the Advancement of Computing in 
Education, 2013, pp 5142–5149, Chesapeake, VA. 
Levinsen, K., Sørensen, B. H., Tosca, S., Ejsing‐Duun, S. and Karoff, H. S. (2014) “Research and Development Projects with 
ICT and students as learning designers in Primary Schools : a methodological challenge”, Proceedings of the 4th. 
International Conference on Design for Learning: Expanding the field. Stockholm 2014. 
Littleton, K., Mercer, N., Dawes, L., Wegerif, R., Rowe, D. and Sams, C. (2005) “Thinking Together at Key Stage 1”, Early 
Years: An International Journal of Research and Development, Vol. 25, No. 2, pp 165–180. 
Luckin, R., Bligh, B., Manches, A., Ainsworth, S., Crook, C. and Noss, R. (2012) Decoding Learning: The Proof, Promise and 
Potential of Digital Education, Nesta, London.  
Organisation for Economic Co‐operation and Development. (2008) “21st. Century Skills: How can you Prepare Students for 
the new Global Economy?”, [online], Organisation for Economic Co‐operation and Development, 
http://www.oecd.org/site/educeri21st/40756908.pdf (Accessed June 2014). 
Scriven, M. (1967) The Methodology of Evaluation. In Stake, R. E. (Ed.), Curriculum Evaluation. American Educational 
Research Association (monograph series on evaluation, no. 1), Rand McNally, Chicago. 
Shewbridge, C., Jang, E., Matthews, P. and Santiago, P. (2011) “OECD Reviews of Evaluation and Assessment in Education – 
DENMARK”, [online], Organisation for Economic Co‐operation and Development, 
http://www.oecd.org/edu/school/47696663.pdf (Accessed June 2014). 
Sørensen, B., Audon, L. and Levinsen, K. (2010) Skole 2.0, Klim, Aarhus. 
Sørensen, B. H. and Levinsen, K. (2014) Didaktisk Design ‐ Digital Produktion, Akademisk Forlag, København. 
Tanner, H. and Jones, S. (2003) “Self‐efficacy in Mathematics and Students’ Use of Self‐regulated Learning Strategies during 
Assessment Events”, Proceedings of the 27th Conference of the International Group for the Psychology of 
Mathematics Education (PME) held jointly with the 25th Conference of PME‐NA, Vol. 4, pp 275–283. 
Taras, M. (2008) “Summative and Formative Assessment – Perceptions and Realities”, Active Learning in Higher Education, 
Vol. 9, No. 2, July, pp 172–192. 
Wyatt‐Smith, C. and Kimber, K. (2009) “Working Multimodally: Challenges for Assessment”, English Teaching: Practice and 
Critique, Vol. 8, No. 3, December, pp 70–90. 

510
The Cost Model in the Course Financial Literacy 
Libuše Svobodová 
University of Hradec Kralove, Hradec Kralove, Czech Republic 
libuse.svobodova@uhk.cz 
 
Abstract: The importance of electronic education has been increasing, steadily developing and constantly changing in the 
last decade in the Czech Republic. The article deals with the creation of the calculation and monitoring of the costs in the e‐
learning  course.  The  topic  is  very  important,  because  almost  all  organizations  are  involved  in  monitoring  costs  and  cost 
models, monitoring revenues, creating of calculations and in pricing strategy. There is defined the term e‐learning at the 
beginning of the article. In the following part there are described the various forms of e‐learning. The purpose of the article 
is aimed on designing of the model for monitoring of costs and also establishment of calculations for e‐learning teaching. 
The model will focus on the environment in the Czech Republic. Specifically, it will be designed model that could be used at 
the  Faculty  of  Informatics  and  Management  at  the  University  of  Hradec  Králové  by  preparing  of  the  course  “Financial 
literacy”  in  the  context  of  lifelong  learning.  The  course  will  be  composed  of  more  financial  subjects  such  as  taxation, 
accounting, banking, financial markets and others. Education will be channeled through the LMS Blackboard. There will be 
used  both  on‐line  and  off‐line  forms.  Synchronous  and  also  asynchronous  tools  will  be  used  in  communication.  Social 
networks  or  investment  games  will  be  used  in  some  topics.  The  students  can  test  knowledge  in  them  in  practice.  The 
absolving of the course could increase the financial literacy, which is not classified in the Czech Republic on the sufficient 
level.  Due  absolving  of  the  course  the  education  in  this  field  should  improve  the  financial  literacy  of  people  that  will 
consequently make their lives better. A detailed research together with the analysis and critical assessment of accessible 
materials will enable to identify the way how structure the costs and propose the calculations for preparing and teaching 
the  course.  The  analysis  of  this  initial  state  will  consequently  enable  to  identify  key  deciding.  There  will  be  proposed 
options  how  many  students  will  have  to  study  the  course  at a  certain  price.  Primarily  and  secondary  sources  were  used 
within the framework of the topic. 
 
Keywords: calculation, course, costs, model, financial literacy  

1. Introduction 
The rate of household debt is growing in most countries. At the same time the supply of new financial products 
is increasing. For people, it is important to master financial literacy and to know what to focus on in this field. 
Financial  literacy  is  the  starting  point  of  this  paper.  Financial  literacy  is  defined  in  various  ways;  there  is  no 
universal  definition.  Important  steps  have  been  made  in  this  issue  in  the  Czech  Republic  and  a  lot  of  other 
measures  are  being  prepared  with  a  number  of  institutions.  Despite  financial  literacy  in  the  Czech  Republic 
based on the results of studies (The National Strategy for Financial Education 2010), (Financial literacy in the 
Czech  Republic),  Atkinson  and  Messy  (2012),  (Financial  literacy  in  the  Czech  Republic.  Czechs  and  financial 
literacy?  Worse  is  the  only  Mexico  and  Slovakia  ...),  (Knowledge  of  Czechs  in  insurance  is  below  average), 
(Financial  literacy  Czechs  is  low)  is  not  at  a  sufficient  level.  Due  it  might  be  useful  for  citizens  of  the  Czech 
Republic to study a comprehensive financial literacy course in the framework of the lifelong training. 

2. E‐learning 
E‐learning is usually perceived as electronic learning. Typically this means using a computer to deliver part, or 
all of a course whether it is in a school, part of mandatory business training or a full distance learning course. 

2.1 Support in the sphere of e‐learning and in the business education at the University of Hradec 
Králové 
Alike most universities University Hradec Králové and especially Faculty of Informatics and Management has 
been using intensively e‐learning courses for several years. First fully distance courses, which were formed in 
1997,  were  based  upon  WWW  pages.  A  tutor  placed  on  them  study  materials,  tasks  or  assignments.  E‐mail 
served  as  a  means  of  communication.  In  1998  the  first  complex  distance  course  for  lifelong  education  was 
completed. It is a milestone, as this year development of e‐learning course started. Up to 2001 four e‐learning 
courses were run (six terms with more than 100 participants). This year e‐learning courses were opened for full 
time  students  (Poulová,  2004).  In  the  following  years  the  faculty  started  to  use  a  virtual  platform 
LearningSpace  for  distribution  of  e‐learning  courses.  Later  WebCT  virtual  environment  replaced  it  and  is 
currently being used. They both offer necessary and helpful tools and services to ensure e‐learning courses of 
high quality. WebCT was replaced with LMS Blackboard. 

511
 
Libuše Svobodová 

Nowadays (in 2014) there are running more than 100 courses (in Czech, in English, in German) in the learning 
management  system  Blackboard.  These  courses  are  dedicated  to:  full‐time  studies,  combined  studies  and 
lifelong learning. Many of teachers from the Faculty of Informatics and Management used today this virtual 
environment such as support for their teaching. 
 
The current state of e‐learning at the Faculty of Informatics and Management is on a high level.  
 
Thanks  to  LMS  and  created  courses  could  our  Faculty  of  Informatics  and  Management  aimed  also  for  the 
interuniversity studies: RIUS (the InterUniversity training between three Czech Universities. The University of 
Hradec  Králové  ‐  the  Faculty  of  Informatics  and  Management, the University  of West  Bohemia  in Pilsen  and 
Tomas Bata University in Zlín) and EVENE (Erasmus Virtual Economics & Management Studies Exchange. There 
were involved students from 9 universities from the European Union). We know that we can educate citizens 
only via e‐learning form. 

2.2 Forms of e‐learning 
E‐learning can take many forms: 
ƒ Purely online – there are no face‐to‐face meetings  
ƒ Blended learning – it is combination of online and face‐to‐face  
ƒ Synchronous or asynchronous 
ƒ Instructor‐led group or self‐study or self‐study with subject matter expert 
ƒ Web‐based or computer‐based (CD‐ROM) or video/audio tape  
For  our  course  “Financial  literacy”  we  calculate  to  use  blended  learning  with  synchronous  and  also 
asynchronous type of communication. The students should study also without the personal meeting. It ups on 
the people whether they will come to arrange meetings with specific questions. By study it will be possible to 
use also social media or investment games, for example Youtube with the practical illustration (Černá, 2013) or 
games descripted in Svobodová (2014).  At the beginning of each topic mentioned in the next parts there are 
planned meetings once every two months. In the case of interest can be the terms adjusted. Self‐education 
will  be  the  main  direction.  The  students  will  study  via  LMS  Blackboard.  Teaching  quality  will  depend  on  the 
tutor and on the quality of materials (Klímová, 2011), (Šimonová, 2013). The motivation to study is important 
in the lifelong training (Svobodová, 2011). 
3. Materials and methods  
The research procedure followed two phases: 
ƒ First, to introduce the problematic of the new project and control process with the budget setting process 
and calculation of the break‐even analysis. 
ƒ Second, to propose lectures for the new e‐learning program and the costs that are associated with it.  
The reason of the planned new study program is the lack of financial literacy of citizens in the Czech Republic 
and the demand for this field of study and insufficient supply. The studies about financial literacy in the Czech 
Republic were mentioned in the Introduction. Study in this topic will be carried out according to interest by 
different age groups in all regions.  
 
The main goal of the article is aimed on designing of the model for monitoring of costs and also establishment 
of calculations for e‐learning teaching. 

4. Results, interpretation, discussion 

4.1 The planning of the new project and control process 
This chapter brings description of a process to establish the new e‐learning course for lifelong training in the 
field of financial literacy. When we would like to prepare the new course “Financial literacy” it is necessary to 
do bellow mentioned steps. 
 

512
 
Libuše Svobodová 

The  figure  shows  the  planning  and  control  sequence  within  a  business  and  starting  of  the  new  e‐learning 
course. Once the objectives of the e‐learning course have been determined, the various options that can fulfil 
these objectives must be considered and evaluated in order to derive a strategic plan. The budget is a short‐
term financial plan for the business that is prepared within the framework of the strategic plan. Control can be 
exercised  through  the  comparison  of  budgeted  and  actual  performance.  Where  a  significant  divergence 
emerges, some form of corrective action should be taken. If the budget figures prove to be based on incorrect 
assumptions about the future, it might be necessary to revise the budget. 

 
Figure 1: The planning and control process of the new project (new study program in lifelong training) 
The question should be: How should budget help to managers? 
 
Budgets are generally regarded as having five areas of usefulness. These are: 

 
Figure 2: The main five benefits of budgets to the business 
The budget‐setting process 
 
The figure shows the sequence of events in the preparation of the budgets. Once the budgets are prepared, 
they are communicated to all interested parties and, over time, actual performance is monitored in relation to 
the targets set out in the budgets. 
 
Traditionally,  much  budget  setting  has  tended  to  be  on  the  basis  of  what  happened  last  year,  with  some 
adjustment  for  any  changes  in  factors  that  are  expected  the  affect  the  forthcoming  budget  period.  This 
approach is sometimes known as incremental budgeting.  
 
Zero‐base  budgeting  (ZBB)  rests  on  the  philosophy  that  all  spending  needs  to  be  justified.  Thus,  when 
establishing, say, the training budget each year, it is not automatically accepted that training courses should be 
financed  in  the  future  simply  because  they  were  undertaken  this  year.  The  training budget  will  start  from  a 

513
 
Libuše Svobodová 

zero base and will only be increased above zero if a good case can be made for the scarce resources of the 
business to be allocated to this form of activity.  

 
Figure 3: Steps in the budget‐setting process 
ZBB encourages managers to adopt a more questioning approach to their areas of responsibility. To justify the 
allocation of resources, they are often forced to think carefully about the particular activities and the ways in 
which  they  are  undertaken.  This  questioning  approach  should  result  in  a  more  efficient  use  of  business 
resources.  With  an  increasing  portion  of  the  total  costs  of  most  businesses  being  in  areas  where  the  link 
between outputs and inputs is not always clear, and where commitment of resources is discretionary rather 
than demonstrably essential to production, ZBB is increasingly relevant. 

 
Figure 4: The budgetary control process 
Budgets,  once  set,  provide  the  yardstick  for  assessing  whether  things  are  going  to  plan.  Variances  between 
budgeted and actual performance can be identified and reacted to. 
Effective budgetary control 
ƒ Good  budgetary  control  requires  establishing  systems  and  routines  to  ensure  such  things  as  a  clear 
distinction between individual managers´ areas of responsibility, prompt, frequent and relevant variance 
reporting, and senior management commitment. 
ƒ There are behavioural aspects of control relating to management style, participation in budget setting and 
the failure to meet budget targets that should be taken into account by senior managers. 
The budgets should have also below mentioned criticisms: 
ƒ Cannot deal with rapid change 
ƒ Focus on short‐term financial targets, rather than value creation 
ƒ Encourage a “top‐down” management style 
ƒ Time‐consuming 

514
 
Libuše Svobodová 

ƒ Based around traditional business functions and do not cross boundaries 
ƒ Encourage incremental thinking (last year´s figure, plus x per cent) 
ƒ Protect rather than lower costs 
ƒ Promote “sharp” practice among managers 
ƒ Budgeting is very widely regarded as useful and extensively practised despite the criticisms 

4.2 Costs 
Cost may be defined as the amount of resources, usually measured in monetary terms, sacrificed to achieve a 
particular objective. The costs incurred by a business may be classified in various ways and one important way 
is according to how they behave in relation to changes in the volume of activity. There are costs that: 
ƒ are fixed (stay the same) when changes occur to the volume of activity and 
ƒ vary according to the volume of activity. 
We should have also stepped fixed costs. Most fixed costs are not fixed over all volumes of activity. They tend 
to  be  “stepped”.  This  means  that,  in  practice,  great  care  must  be  taken  in  making  assumptions  about  fixed 
costs.  The  problem  is  particularly  heightened  because  most  activities  will  probably  involve  fixed  costs  of 
various  types  (rent,  supervisory  salaries,  administration  costs),  all  of  which  are  likely  to  have  steps  at  a 
different points. 
 
For  most  of  the  managers  is  very  important  to  be  familiar  with  the  break‐even  point (BEP).  It  is  the  level  of 
activity (in units of output or sales revenue) at which the total costs (fixed + variable) are the same as total 
sales revenue.  
 
Calculation of BEP is as follows:  
ƒ total sales revenue = fixed costs + total variable costs. 
It is also possible to rewrite the formula as: 
ƒ number of units of output at BEP = fixed costs / (sales revenue per unit variable costs per unit. 
Use of knowledge of BEP is for managers necessary for a particular activity, for risk assessment. With this issue 
is also concerned contribution per unit, margin of safety and operating gearing. 
ƒ Contribution per unit = sales revenue per unit less variable cost per unit. 
ƒ Margin of safety = excess of planned volume of activity over BEP. 
ƒ Operating gearing = the extent to which the total costs of some activity are fixed rather than variable. 
Some  managers  use  also  Profit  volume  (PV)  chart  that  is  an  alternative  approach  to  break‐even  (BE)  chart. 
Economists tend to take a different approach to BE, taking account of economies (and diseconomies) of scale 
and of the fact that, generally, to be able to sell large volumes, price per unit tends to fall.  
 
On the next figure there are presented the relationship between above mentioned terms. 
 
The  bottom  part  of  the  graph  represents  the  fixed  cost  element.  To  this  is  added  the  wedge‐shaped  top 
portion, which represents the variable costs. The two parts together represent total cost. At zero activity, the 
variable  costs  are  zero,  so  total  costs  equal  fixed  costs.  As  activity  increases  so  does  total  costs,  but  only 
because variable costs increase. We are assuming that there are no steps in the fixed costs. 
 
The bottom part of the break‐even formula is known as the contribution per unit. It is called „contribution“, 
because it contributes to meeting the fixed costs and, if there is any excess, it also contributes to profit. The 
margin of safety is the extent to which the planned volume of output or sales lies above the BEP. The relative 
margins of safety are directly linked to the relationship between the selling price, the variable costs and the 
fixed costs. 
 

515
 
Libuše Svobodová 

 
Figure 5: Break‐even chart 
Though  the  BEP  can  be  calculated  quickly  and  simply  it  does  not  mean  that  the  graphical  approach  of  the 
break‐even chart is without value. The chart shows the relationship between cost, volume and profit over a 
range of output an in a form that can easily be understood by non‐financial managers. The break‐even chart 
can therefore be a useful device for explaining this relationship. 
 
The usefulness of being able to deduce the BEP is that it makes it possible to compare the planned or expected 
volume of activity with the BEP and so make a judgement about risk. Planning to operate only just above the 
volume of activity necessary in order to break even may indicate that it is a risky venture, since only a small fall 
from the planned volume of activity could lead to a loss. There are also failing to break‐even analysis. Where a 
business fails to reach its BEP, steps must be taken to remedy the problem: there must be an increase in sales 
revenue or a reduction in costs, or both of these. The BE analysis has also some weaknesses that are necessary 
to take into consideration. 
 
Below there are mentioned three general problems: 
ƒ Non‐linear relationships. The management accountant´s normal approach to break‐even analysis assumes 
that the between sales revenues, variable costs and volume are strictly straight‐line ones. In real life this is 
unlikely to be so. This is not probably not a major problem. 
ƒ Stepped  fixed  costs.  As  was  mentioned  above  it  is  a  type  of 
costhttp://www.businessdictionary.com/definition/expense.html that is more or less constant over a low 
level shift in activity, but which changes incrementally when activity shifts substantially. An example of a 
step fixed cost that might be incurred by an education process would be the need to add the new subject. 
ƒ Multi‐product  business.  Most  business  do  not  offer  just  one  product  or  service.  This  is  a  problem  for 
break‐even analysis since it raises the question of the effect of additional sales of one product or service 
on sales of another of the business´s product or services. There is also the problem of identifying the fixed 
costs  of  one  particular  activity.  Fixed  costs  tend  to  relate  to  more  than  one  activity  –  for  example,  two 
activities may be carried out in the same rented premises. There are ways of dividing fixed costs between 
activities, but these tend to be arbitrary, which calls into question the value of the break‐even analysis. 
Despite  some  problems,  the  notion  of  break‐even  analysis  and  BEP  seem  to  be  widely  used.  The  media 
frequently refer to the BEP for business and activities. 

4.3 Planned subjects in the course financial literacy 
In the whole e‐learning course there are planned 10 areas that are very important in the financial issues. We 
came up with the following: 
ƒ Basics of Finance 
ƒ Banking and Stock Exchange and Financial Markets 
ƒ Business Economics 

516
 
Libuše Svobodová 

ƒ Fundamentals of Economics (micro and macro) 
ƒ Fundamentals of Financial Accounting  
ƒ Insurance 
ƒ Personal Bankruptcy 
ƒ Public Finance 
ƒ Small Firms and Accounting for Managers  
ƒ Tax System of Czech Republic 
Students will have not only to complete the entire course, but it will be possible to choose the individual areas 
that they need in their life. It is calculated with the final short test at the end of each topic. After successful 
finishing of each topic they will get also the certificate about the absolved topic and also the whole course. 
 
In  the  next  step  we  should  define  the  fixed  and  variable  costs  in  the  study  courses.  It  is  calculated  that  the 
offices for the manager of the courses, administrator and lecturers will be in the same building together with 
the students from the Faculty of Informatics and Management.  
 
Some examples of costs that are likely to be fixed in our cost model are: 
ƒ an  overhead  costs  such  is  rent,  insurance,  cleaning  costs,  telephone  calls,  postage,  electricity,  water, 
depreciation, payment for the LMS Blackboard, and others. This payment is done as percentage from the 
income to rector´s office.  
ƒ Advertisement is necessary not only at the beginning but regularly. 
ƒ Other fixed costs are the staff salaries, especially manager and administrator of the course and also the 
salaries of the lecturers by preparing of the materials for the course. 
The costs that are likely to be variable in the prepared project are the salaries for the lecturers. They will be 
calculated on the basis of the taught hours in the courses and hours necessary for actualisation of the study 
materials.  Teaching  will  provide  teachers  from  the  Department  of  Economics.  They  have  got  the  great 
qualification.  Involved  will  be  those  that  have  rich  experience  with  blended  learning.  There  are  no  other 
variable costs instead of the printing the materials. 

 
Figure 6: List of fixed and variable costs in the proposed project 

517
 
Libuše Svobodová 

It  will  be  necessary  to  calculate  all  fixed  costs  together.  Variable  costs  will  be  calculated  on  the  basis  of 
students  per  semester.  In  consideration  for  lecturers  salaries  will  be  taken  the  taught  hours  and  the 
actualization  of  the  materials  in  the  new  cycle.  Most  of  the  topics  are  frequently  updated  (taxation, 
accounting, banking and investing, insurance). The second part of the variable costs will be the printing costs 
(most materials will be only on‐line so it will be the small amount). 
 
In this paper will be not done the detailed calculation and budget with the concrete numbers because of the 
sensitivity. It is expected that the biggest two costs groups of the planned project will be salaries of lecturers 
and the overhead costs.  
 
Price will be determined so that the course could allow citizens to pay. There will be granted a discount of 10% 
for completion of all courses and 5% at completion of half of them. The discounts would be able to motivate 
students´ study of several issues.  
 
From  the  price,  variable  and  fixed  costs  it  will  be  possible  to  calculate  above  mentioned  break‐even  point, 
contribution per unit, margin of safety and operating gearing. 
 
During the first year will be regularly monitored students' interest in detail and evaluated economic data. After 
each  half‐year,  the  overall  assessed  students'  interest  will  be  calculated  income  and  expenses  that  are 
associated  with  the  project.  There  will  be  monitored,  what  subjects  are  most  interested  in  whether 
participants choose all courses or part of them. Based on the data rates will be adjusted if appropriate, will be 
adjusted frequency and more. In next years will continue the monitoring of the students´ needs and economic 
data. On the basis of those information should be changed the budget of the project and other.  
 
Finally, it is great to compare the value of the costs to the value of the benefits, and use this analysis to decide 
course of action. To do this, calculate the total costs and the total benefits of the study program, and compare 
the two values to determine whether the benefits outweigh the costs. At this stage it's important to consider 
the payback time, to find out how long it will take for you to reach the break‐even point. It is the point in time 
at which the benefits have just repaid the costs of the project.  
5. Conclusion 
To  determine  the  financial  cost  of  education  in  the  financial  field,  the  student  must  consider  a  number  of 
factors. First, how many classes are needed to reach the desired level of skill? Second, what school or program 
will  be  providing  these  classes?  Third,  will  the  student  be  required  to  purchase  any  additional  hardware  or 
software? And finally, do the computer courses qualify to be paid for partially or completely by an employer or 
by some other agency? By considering these factors, students should have a rough idea of the expenses they 
may face in pursuing their education (Computercourseguide). 
 
When you are planning to establish a new e‐learning program, you must take into account not only fixed but 
also  variable  costs.  In  connection  with  their  knowledge  and  estimate  of  the  number  of  students  we  can 
calculate the price for completing various areas of the entire course, which students can study as needed. As 
we  have  seen,  break‐even  analysis  can  provide  some  useful  insights  to  the  important  relationship  between 
fixed costs, variable costs and the volume of activity. It does, however, have it weaknesses. In marginal analysis 
we concern ourselves just with costs and revenues that vary with the decision and so this usually means that 
fixed costs are ignored. This is because marginal analysis is usually applied to minor alternations in the level of 
activity, so it tends to be true that the variable cost per unit will be equal to the marginal cost, which is the 
additional cost of producing one more unit of output. 
 
During  the  study  year,  it  is  necessary  to  monitor  the  students'  interest  and,  if  necessary,  make  needed 
adjustments. 

Acknowledgements 
This  paper  is  written  with  financial  support  from  specific  university  research  funds  of  the  Czech  Republic 
Ministry of Education, Youth and Sport allocated to the University of Hradec Králové Faculty of Informatics and 
management, project no. 2111/2014. 
 

518
 
Libuše Svobodová 

References 
Atrill, Peter. McLaney Eddie. (2007) “Management Accounting for Decision Makers”. Fifth edition, London: Prentice Hall, 
506 p., ISBN 978‐0‐273‐17044‐8 
C. Morse Dale, Zimmerman L. Jerold. (1997) “Managerial accounting”. United States of America: Irwin McGraw‐Hill, 619 p., 
ISBN 0‐256‐18955‐2 
Černá, M. and Svobodová, L. (2013) “Social Media Landscape”, Efficiency and responsibility in education 2013 : 
proceedings, Praha: Česká zemědělská univerzita, pp. 80 – 86, ISBN 978‐80‐213‐2378‐0 
Frydrychová, Klímová, B. and Poulová, P. “ICT and Students’ Learning Styles”. AWER Procedia information technology and 
computer science, pp 142 – 147, ISSN 2147‐5105 
Klímová, B. and Poulová, P. (2011) “Tutor as an important e‐learning support“,  Procedia  Computer Science, 1st World 
Conference on Information Technology (WCIT2010), Bahcesehir University,  Istanbul, Turkey, Vol 3, October. Book 
Editor(s): Karahoca, A. and Kanbul, S.  
Poulová, P. and Černá, M. (2011) “eLearning Demands from the Perspective of Students and their Attitudes towards It”. In 
EDUCON 2011: IEEE second annual global engineering education conference. Piscataway: IEEE. 2011. ISBN 978‐1‐
61284‐641‐5 
Poulová, P., Šrámková, H. and Černá, M. (2004) “Support of students on Faculty of Informatics and Management”. 
Supporting the Learner in Distance Education and E‐Learning. str. 448‐454. Oldenburg, Bibliotheks und 
Informationssystem der Carl von Ossietzky Universitat. ISBN 3‐8142‐0902‐8. 
Svobodová, L. (2014) “Investment games and social applications”. INTED2014 Proceedings: 8th International Technology, 
Education and Development Conference, Valencia: Spain, pp. 4203‐4211, ISBN 978‐84‐616‐8412‐
0http://library.iated.org/publications/INTED2014 
Svobodová, L. (2011) “Constructivism and e‐learning in the business theory”, EDUCON 2011: IEEE second annual global 
engineering education conference, IEEE, US Piscataway 
Šimonová, I. and Poulová, P. (2013) “E‐application for Individualized e‐Learning”, ICETA 2013 : proceedings. IEEE: 
Piscataway, pp. 351 – 354, ISBN 978‐1‐4799‐2161‐4 
The National Strategy for Financial Education 2010. Ministry of finance. 
Financial literacy in the Czech Republic. URL: 
http://www.cnb.cz/miranda2/export/sites/www.cnb.cz/cs/spotrebitel/financni_gramotnost/mereni_fg_tk_2010121
3/financni_gramotnost_20101213_stemmark.pdf 
Atkinson, A. and F. Messy (2012), “Measuring Financial Literacy: Results of the OECD / International Network on Financial 
Education (INFE) Pilot Study”, OECD Working Papers on Finance, Insurance and Private Pensions, No. 15, OECD 
Publishing. http://dx.doi.org/10.1787/5k9csfs90fr4‐en 
Financial literacy in the Czech Republic. Czechs and financial literacy? Worse is the only Mexico and Slovakia ... URL: 
http://www.investujeme.cz/cesi‐a‐financni‐gramotnost‐horsi‐je‐jen‐mexiko‐a‐slovensko/ ‐ 
Knowledge of Czechs in insurance are below average. URL: 
http://www.cap.cz/ItemF.aspx?od=10&list=DOKUMENTY_01&view=pro web tiskové zprávy 
Financial literacy Czechs is low. URL: http://www.uspory.cz/clanky/novinky/zivotni‐pojisteni/financni‐gramotnost‐cechu‐je‐
nizka http://www.computercourseguide.com/determining‐financial‐costs.html 

519
E‐Learning Advantages and Disadvantages Through an 
Experimentation  
Razika Tahi1, Farida Bouarab‐Dahmani2 and Tayeb Bouazid3 
1
Electrification of Industrial Enterprises Laboratory, Department Of Economics, M 'Hamed 
Bougara University of Boumerdes, Algeria 
2
Computer Science Department, Fgei Faculty, University Of Tizi‐Ouzou, Algeria 
3
Department of English University Of M’sila, Algeria 
raztahi@yahoo.fr 
farida.bd2011@yahoo.fr 
tbouazid@yahoo.fr 
 
Abstract:  The  progressive  introduction  of  the  License‐Master‐Doctorat  system  in  Algeria  has  started  in  2003.  This  very 
system requires qualitative enhancements and changes regarding education, research and evaluation. In order to support 
the teacher in his pedagogic and scientific activities, the Ministry of Higher Education has initiated the Distance Learning 
National  Project  (DLNP)  which  aims  at  integrating  Information  and  Communication  Technologies  in  Education  (ICTE) 
through  both  videoconference  and  e‐learning.  Substantial  investments  have  enabled  universities  to  acquire  high‐
performance hardware. As for the human support, technical and pedagogic trainings have been provided, the context in 
which we have benefited from several trainings in e‐learning. Insofar as the integration of ICTE is an iterative process, in 
perpetual  development,  that  gets  better  according  to  its  evolution,  a  decade  after  launching  this  DLNP,  what  about  the 
practice? Was there any generalization of e‐learning in the universities? Were the teachers ready for this change? Is this 
change  adapted  and  adaptable  to  the  socio‐economic  environment  of  the  Algerian  university?  How  to  generalize  its 
practice to adapt it to our specific needs? It is to these questions that we will attempt to give answers in this paper using 
data from an experiment about an e‐learning training on information management. We followed the principle of iterative 
and incremental development approach which is based on the evolution of the training design in stages (pre‐project study, 
contents  design,  educational  scenarios  development,  tests  and  evaluation  of  the  training).  The  experimentation  has 
underlined  strong  points  (tutorial  system,  courses  structuring  and  presenting,  activities,  adequacy  between  the  training 
content  and  its  objective)  as  well  as  weak  ones  (lack  of  learning  autonomy  for  learners  and  bad  time  management, 
bureaucratic and technical problems). A critical analysis of this experimentation led us to make some concrete proposals 
for  a  better  integration  of  ICTE.  As  for  the  potential  human  resource  (especially  students,  teachers  and  administrative 
managers), it’s necessary to make them aware, to inform and train them yet always by assisting them. From the technical 
standpoint, many initiatives are already under way (fit out all the classrooms with video projectors, some classrooms have 
computers for each student), whereas training teachers, especially for the collaborative work, is the main aspect to take 
into account. Insofar as the e‐learning trainings don’t fit our socio‐cultural environment, they could be replaced by cross 
trainings such as the blended learning and thus secure a return on DLNP investments.  
 
Keywords: pedagogical scenario, e‐learning, information and communication technology for education, socio‐
constructivism, pedagogical engineering 

1. Introduction  
The  subject  of  this  paper  is a  feedback  on  training  in  e‐learning,    entitled  "Learn  to understand  and  analyze 
information"  which can  help  students better  understand  and  analyze information.   For  the  development  of 
this  training,  we  followed  the  various  phases  of  an  instructional  design  model  starting  with  a  preliminary 
analysis  of  the  project  (requirements  analysis,  idea  mobilizing,  target  population  and  broadcast  media)  and 
ending with a testing device (testing and evaluation), through an analysis of training content, the development 
of pedagogical scenarios and design of multimedia.  
 
This experiment enabled the observation of existing constraints on the implementation of such an e‐learning 
project by highlighting the difficulties that are often lacking a theoretical model. We cannot say that training in 
e‐learning  mode  provides  better  results  than  classroom  training,  however,  an  assessment  will  highlight  the 
strengths and weaknesses of this experiment.  
 
We  organize  our  article  in  five  parts.  The  first  one  deals  with  the  overall  identification  of  the  training.  The 
following  three  parts  match  the  three  periods  of  the  training  (before,  during  and  after).  The  last  one  is 
dedicated to the discussion.  

520
 
Razika Tahi, Farida Bouarab‐Dahmani and Tayeb Bouazid 
 
2. Overall identification of the training 
This distance learning has been designed to take place over fifteen days with a full‐face combination of a day 
and a half to become familiar with the tools used on the platform. The learning objective is to learn how to 
acquire  and  develop  reflexes  when  facing  critical  analysis  of  information,  and  consequently  analyze 
information with scientific objectivity. Something which is, particularly, important for economist and managers 
who often use encrypted information for decision making reflexes.  
 
The development of a multimedia learning environment must be part of a larger project.  What we propose is 
part  of  the  distance  learning  project  developed  by  the  Ministry  of  Higher  Education  (MHE)  which  began  in 
2003.  
 
The expected benefits of this training project, are multiple from a qualitative and quantitative  point of view 
for students, teachers and the institution. Chart 1 below synthesizes all of these benefits. 
Table 1: Summary of expected benefits for students, teachers and the institution  
Benefits / students  Benefits / teachers  Benefits / institution 
Getting started with the  Use of new teaching practices that  Efficient use of hardware that 
student's own training that will  suit better the socio‐economic  is currently underutilized. 
enable him to learn how to  context.  Creation of digital content. 
learn.  Providing a methodological  Establishment of resource 
Mastery of the process of  contribution and support to learners  banks by grouping on CDROM 
finding reliable information.  through better management and  of all the tools needed for 
Saving time in the analysis of  monitoring of individual paths  training. 
information.  (learning platform integrating the  Setting up a server or Internet 
Best performance in students’  centralized monitoring of course, use  Intra gathering all classified 
scientific synthesis works.  of assessment software, etc.).  and listed resources.. 
Students’ awareness of the  Introduction of ICT in university  Specific benefits to the 
media power, to use the  education with a new experience  institution in terms of 
information with caution.  that facilitates the sharing and  reducing the cost of training 
Access to training that uses ICT,  exchange of educational materials  its students by integrating ICT 
and improving the level of  among teachers.  across the organization for 
computer literacy tool.  Improving classical education by  medium and long term 
Teaching students collaborative  making the best use of time and  distance learning. 
work.  providing content that meets the   
Autonomy due to users’ flexible  expectations of learners. 
organization involving 
pedagogical self‐monitoring. 

3. Before the training (preparation) 
First  of  all,  we  start  by  listing  the  tasks  we’ve  done  before  the  training,  assuming  the  role  of  the  designer. 
We’ve  drawn  up  and  designed  many  documents  among  which  a  detailed  specification,  a  presentation 
brochure  of  the  training,  a  pretest  for  students  selection,  learning  activities  among  which  a  multiple  choice 
question paper, a series of exercises, two situational problems and a course divided into three parts. 
 
This course has been designed according to the assigned training objectives.  It is an  audiovisual production 
that  has  already  been  tested  face‐to‐face  with  a  computer  for  each  student.  Structuring  mediation  and 
researchers in cognitive psychology focusing on the benefits of ICT on learning, memorizing and understanding 
demonstrated that we keep in mind 10% of what we read, 20% of what we hear, 30% of what we see, 50% of 
what we see and hear, 80% of what we say and 90% of what we do. This course is presented as scripta‐audio‐
iconic,  learners  will  be  able  to  keep  in  mind  after  a  first  viewing  50%,  even  60%  of  this  presentation,  a 
significant percentage compared to 10% remembered during a text reading.  
 
After the drawing up of these documents, we had to put them on‐line so we assumed the coordinator’s profile. 
 
The multiplication of possible technologies and arising choices are a major challenge and one of the greatest 
opportunities for distance learning at the same time. For our project we chose the Univ‐ct learning platform, 

521
 
Razika Tahi, Farida Bouarab‐Dahmani and Tayeb Bouazid 

and the Moodle platform for filing the audio course, a glossary and a Multiple Choice Questionnaire (MCQ). 
Our  strategies  and  scenarios  are  based  on  the  many  advantages  offered  by  the  platform  Univ‐R  ct  .  It  is 
suitable  platform  for  collaborative  learning  and  social  constructivist  model,  strengthened  by  the  variety  of 
collaboration  tools.  We  were  compelled  to  learn  how  to  use  these  two  platforms  and  it  required  too  much 
time. So as to optimize time, we’ve drawn up a detailed schedule of the training through a diagram of activities 
that shows all the tasks to be done either by the learners or the teachers and a specifications chart as well. 
Figure 1 presents the diagram of the first two activities. 

 
Figure 1: Activities diagram (activities 1 & 2) 
The  learners’  selection  and  registration  happened  during  this  stage  through  a  pretest  which  was  a 
questionnaire  to  be  filled  by  candidates.  This  questionnaire  was  divided  into  two  parts.  The  first  one  was  a 
multiple choice question paper (MCQ) thought up to assess the candidates’ skills to read and comment a piece 

522
 
Razika Tahi, Farida Bouarab‐Dahmani and Tayeb Bouazid 
 
of  information.  The  second  part  of  the  questionnaire  was  dedicated  to  candidates’  information  (computing 
level of knowledge, working methodology, available time for training, etc.) to adapt the training to their needs. 
We’ve registered 10 students, from the Algerian Hight School of Business (ESAA) who we’ve chosen among 30 
candidates, and 4 teachers from the university who, in addition to be interested in the training subject, wanted 
to learn how to use a learning platform.  
 
As it was scheduled a face‐to‐face of one day to enable learners to take control of the platform, we’ve visited 
where  it  was  planned  to  take  place.  It  is  a  room  in  the  Center  of  Networks  and  Information  and 
Communication System (CRSIC) where material conditions fit to this kind of face‐to‐face. We also made sure 
that it was free for our face‐to‐face. 

4. During the training (experimentation) 
We  will  briefly  present  the  first  course  of  the  face‐to‐face  day  for  the  handling  of  the  platform,  then  the 
distancial procedure.  
 
For the e‐learning face‐to‐face, we did three for various reasons, but none has achieved its objective, namely 
the  handling  of  the  learning platform.    As  two  different populations  were  concerned by  our  training  (UMBB 
teachers and AHSB students), we initially opted for two face‐to‐face (a face‐to‐face‐for each population). The 
first one for UMBB, and the other for the AHSB where the communication officer assured us that all facilities 
were available.   
 
For the first UMBB face‐to‐face, material conditions were excellent, learners (teachers) were very motivated, 
but  a  bureaucratic  problem  that  has  arisen  on  the  same  face‐to‐face  day,  prevented  us  achieving  for  we’ve 
been prevented from the access to CNISC room. Concerning the AHSB students face‐to‐face, we encountered 
connection problems to enter the platform (due to port 1500 which was closed for security reasons). We have 
presented  the  platform  and  the  objectives  of  the  training  on  slides,  but  none  of  the  activities  in  the  PS  has 
been done.  A third face‐to‐face took place at the UMBB where we could use the CNSIC hardware, but there 
was no internet connection throughout the day. Due to these problems we sent tutorials to students so they 
can become familiar with the learning tools, but it was obviously not enough.  
 
For  training,  we  had  planned  four  Synchronous  Meetings  (SM)  that  actually  took  place,  but  not  without 
difficulty.  During the first SM where learners were invited by e‐mail, only six of the fourteen learners‐ learners 
enrolled on the platform (three of the four UMBB teachers initially enrolled have withdrawn after face‐to‐face) 
were  present.  The  agenda  of  the  meeting  had  to  be  modified  to  suit  to  the  situation  where  the  majority  of 
learners had difficulties to use the platform tools. After this meeting, different absent learners were contacted 
by  phone  to  confirm  or  decline  their  participation  in  the  training.  Among  the  eight  missing  learners,  four  of 
them informed me that they had problems to connect to internet at a late in the evening so they decided to 
quit.  Three  students  from  the  AHSB  have  withdrawn  at  the  last  moment  because  they  had  received 
convocation  for  an  internship,  so  they  could  not  take  the  training.    From  fourteen  registered  testers  on  the 
platform, the experiment was reduced to a group of six students; two of them were unable to complete the 
training for personal reasons.  
 
Insofar  as  the  training  was  only  at  its  beginning  we  tried  to  'recruit'  other  emergency  testers  from  our 
environment  (especially  UMBB  colleagues)  by  heightening  their  awareness  on  the  importance  of  ICT  in 
education.  The timetable originally scheduled for this seminar has slightly been changed, but we could catch 
up  thanks  to  both  on  the  part  of  learners  and  the  tutor  big  efforts.  Thus,  during  the  second  SM,  the 
composition of the group of testers has been modified, consisting of four students from the AHSB, three UMBB 
teachers  and  a  retired  person  from  the  hydrocarbons  sector.  The  composition  lasted  until  the  end  of  the 
training. The following steps of the SM schedule have been observed, but they were often disturbed by many 
connection problems.  
 
The main points of the schedule were fairly well respected by learners. Whereas the team members meetings 
has not been respected. There was no team meeting, although this point has been reminded many times by 
the  tutor  through  emails  that  guided  them  to  prepare  for  meeting.  The  interactivity  between  learners 
happened  during  this  training  essentially  through  forum  or  e‐mail  or  sometimes  by  phone.  Filing  work 
deadlines  were  more  or  less  respected.   Some  found  it difficult  to hand  in  the  work  on  the platform,  hence 

523
 
Razika Tahi, Farida Bouarab‐Dahmani and Tayeb Bouazid 

slight delays that have not really disrupted the training. Learners the agenda of the last synchronous meeting, 
showed  both  strengths  and  weaknesses  of  the  training  and  proposals  were  made  by  learners.  Given  the 
importance of these two points, an evaluation grid to be completed and returned with concrete proposals was 
sent to learners to improve such training in the future. 

5. After the training (results)  
We  conducted  a  double  assessment,  relative  to  the  content  of  training  (through  MCQ)  and  the  other  with 
respect  to  the  organizational,  technical  and  pedagogical  aspects  of  training  (through  an  evaluation  grid 
distributed to learners).  

5.1 Evaluation results of training content.  
The choice of evaluation this training was quite difficult insofar as a comparison between what was planned in 
the  scenario  of  specifications  (SS),  and  what  has  been  done  highlights  a  relatively  large  gap,  mainly  due  to 
random  factors  that  have  forced  us  to  make  impromptu  changes  to  fit  the  situation.    Thus  we  chose  an 
objective  assessment  so  as  not  to  compare,  the  progress  of  the  training  compared  to  what  was  originally 
planned in the schedule, but to compare the level of learners before training and the level reached after the 
training.  
 
We present in Figure 2 the results of pre‐test and post‐test, and the duration of time that learners spent on 
the learning platform.  

 
Figure 2: Results 
The  gap  40  between  learners’  level  of  knowledge  before  training  (red)  and  after  training  (in  green)  is  quite 
significant.  
 
As for number of hours spent by learners on the platform, we noticed a high turnout.  During the first ten days 
of  training,  the  students  were  on  vacation  AHSB  (winter).  When  they  return  to  classes,  their  access  to  the 
platform decreased significantly. The learner has spent more hours on the platform.  

5.2 Results of the overall evaluation of training and learning platforms 
We present the results obtained through the following Table 2. 
 
 
 
 

524
 
Razika Tahi, Farida Bouarab‐Dahmani and Tayeb Bouazid 
 
Table 2: Evaluation results of training learners  
Strengths : ☺  Weaknesses  :   
Technical aspects 
Pleasant ergonomics (for Univ‐Rct only)  Too frequent internet logging off. 
Permanent Technical Support of the tutor  Power failure (especially in Boumerdes) 
Access to Moodle  Problems accessing Univ‐Rct 
Adequate computer equipment to CNISC  Under‐utilization of tools UnivRct / Moodle 
Difficulties in orientation in space platforms 

Organizational aspects 
Timeliness of training according to the SS  Very bad‐face‐to‐face 
No drop during training  Lack of cooperation from UMBB staff 
Good attendance of learners and tutor  The UMBB learners and those of the AHSB have 
Record of the tutor feedback in a very short time  never met 
after the submission of assignments  Monitoring dashboard not respected 

Pedagogical aspects 
Adequacy of training content with its objectives  Lack of exchange on the platform between 
Tutor’s permanent availability  learners 
PS topical subjects  Too short duration of the course, resulting in a 
Usefulness of resources to treat PS  very intense pace of work 
Tutor’s pedagogic, behavioral and didactic  Not enough collaboration 
competence  Low level in French language (especially for UMBB 
students) 

The results of this assessment are derived from counting questionnaires completed by students and shown in 
Table 2. It can be noticed that there were almost as many weaknesses as strengths in this training.  

6. Discussion   
The results obtained during the post‐test are more positive. They show that the objective of the training which 
was to develop a critical approach towards information and to analyze information with scientific objectivity 
has been achieved. The implementation of this training was long and difficult, the results may be positive, but 
we  obtain  in  classical  trainings  similar  results,  with  much  less  investments  either  from  learners  or  from 
teaching and technical staff. Regarding the use of the platform, according to statistics from Univ‐Rct, only the 
cat has been daily used and is still in very poor technical conditions.  But was it the right tool?  It seems not 
insofar as this tool was not suitable to the context of our technological infrastructure.  It has been also noticed 
in  the  SM  group  where  nearly  half  the  time,  that  learners  and  even  the  tutor  were  disconnected  from  the 
platform during periods of time more or less long (a few minutes to over an hour).  
 
The  integration  of  ICT  in  education  requires  at  least  the  following  three  conditions:  having  a  functioning 
computer, mastering computer skills, and adapting their teaching strategy. The absence or only the failure of 
one  of  these  three  points  could  compromise  the  rational  integration  of  ICT.  Have  these  three  essential 

525
 
Razika Tahi, Farida Bouarab‐Dahmani and Tayeb Bouazid 

elements to the success of the integration of ICT in teaching conditions been respected? It is clear, that was 
not the case.  
Computer  equipment.  Although  huge  investments  have  been  made  by  the  Guardianship  universities,  it 
was  not  enough.  Indeed  as  we  have  seen  human  problems  (bureaucratic)  or  hardware  (no  internet 
connection) have seriously disrupted training.  
Mastery  of  computers.  Some  learners  mastered  this  tool  very  well,  in  comparison  to  others  who  had 
difficulties  for  essential  training  manipulations  which  required  a  greater  investment  of  work  for  some 
learner and the tutor.  
Teaching  strategy  to  adopt.  In  this  course,  we  had  to  change  teaching  strategy.  We  went  from  an 
expository strategy (rules, principles, concepts, etc.) to a problem‐solving strategy (PS), more compatible 
with  the  use  of  ICT  in  tutoring  as  it  favors  taking  initiative  of  the  learner  to  solve  problems.    In  the 
competency‐based  approach  (using  PS)  some  learners’  skills  are  necessary,  particularly  pedagogical, 
scientific  and  organizational  autonomy.  He  must  know  how  to  collaborate,  communicate,  manage  time 
and  sometimes  fend  for  himself  in  complex  situations.  However,  from  an  early  age  in  the  traditional 
education  system,  the  student  was  "Formatted"  to  be  taught  rather  than  to  learn.  Thus,  this  new 
approach work by problem situations has a little bit "confused" learners at the beginning of training. No 
collaboration  on  the  platform  has  been  realized.  If  the  collaboration  and  communication  are  frequently 
cited  as  value‐added  processes,  their  implementation  remains  difficult,  especially  if  the  number  of 
students in a group is high.  
7. Conclusion  
The  experimentation  has  enabled  us  to  underline  strong  points  (tutorial  system,  courses  structuring  and 
presenting, activities, adequacy between the training content and its objective) as well as weak ones (lack of 
learning autonomy for learners and bad time management, bureaucratic and technical problems). In addition 
to the learning tools that are different compared to a classical face‐to‐face training, it was necessary to change 
the  pedagogic  method  (especially  the  cognitive  approach)  since  we  can’t  use  new  tools  and  keep  the  same 
learning  reflexes.  A  critical  analysis  of  this  experimentation  led  us  to  make  some  concrete  proposals  for  a 
better  integration  of  ICTE.  Concerning  the  positive  points,  they  should  be  perpetuated  and  above  all 
generalized. As for the potential human resource (especially students, teachers and administrative managers), 
it’s  necessary  to  make  them  aware,  to  inform  and  train  them,  yet  by  assisting  them.  Teachers’  training  is  a 
fundamental  element  for  the  ICTE  integration.  From  the  technical  standpoint,  many  initiatives  are  already 
under  way  (fit  out  all  the  classrooms  with  video  projectors,  more  and  more  classrooms  have  computers  for 
each  student,  etc.),  whereas  involving  teachers  and  administrators,  especially  for  the  collaborative  and 
cooperative work, is the main aspect to take into account. The integration of ICTE is not an implementation 
that  could  be  done  by  virtue  of  a  mere  implementing  decree.  It  is  actually  a  long  process  that  requires  an 
adaptation time and several changes to enable a progressive adaptation of these tools to the situation. It is too 
long that the use of these new tools involves the change of the pedagogic method as well, hence the relevance 
of this kind of experimentation that helps us considering in practice the changes to be carried out progressively.  
References  
Akbal, M. (1997), When Communication Opposed To Information, Editions Dahleb, Algiers.  
Akkari, A. And Payet, J.P. (2010), Transformations Des Systèmes Éducatifs Dans Les Pays Du Sud, Editeur  De Boeck 
Supérieur, Bruxelles. 
Bihouee, P. And Colliaux, A. (2011), Enseigner Différemment Avec Les Tice, Editions D’organisation, Eyrolles.  
Boly, V.(2009), Engineering Innovation, Edition Hermès‐Lavoisier, France.  
Delaby,A. (2008), Créer Un Cours En Ligne Editions D’organisation, Eyrolles. 
Donnay, J. And Bru, M. (2002), Research, Practice And Knowledge In Education, Collection   : Perspectives On Education 
And Training, Editions De Boeck Université, Brussels.  
Jacquinot, G. And Fichez, E. (2008), The University And Ict. Chronicle Of An Announced Innovation, Editions De Boeck 
Université, Brussels.  
Jonnaert, P. (2009), Compétences Et Socioconstructivisme. Un Cadre Théorique, Editeur De Boeck Supérieur, Bruxelles. 
Kiyindou,A. (2009), Fractures, Mutations, Fragmentations : De La Diversité Des Cultures Numériques Hermes Science 
Lavoisier, France.  
Raucent, B. And Verzat, C. (2010), Accompagner Des Étudiants. Quels Rôles Pour L’enseignant ? Quels Dispositifs ? Quelles 
Mises En Œuvre ? Editeur De Boeck Supérieur, Bruxelles. 
Robert, P. (2009),  Une Théorie Sociétale Des Tic : Penser Les Tic Entre Approche Critique Et Modélisation Conceptuelle, 
Edition Hermès‐Lavoisier, France. 

526
OCRA ‐ Authentic Mobile Application for Enhancing the Value of 
Mobile Learning in Organic Chemistry 
Othman Talib1, Azraai Othman2 and Tengku Putri Norishah Tengku Shariman3 
1, 2
Faculty of Educational Studies, Universiti Putra Malaysia, Serdang, Malaysia 
3
Faculty of Creative Multimedia, Multimedia University, Cyberjaya, Malaysia 
otalib@upm.edu.my 
azraaiothman@yahoo.com 
tgputri.norishah@gmail.com 
 
Abstract:  Mobile  learning  has  now  become  a  new  phenomenon  in  education  as  most  mobile  devices,  especially 
smartphones  and  tablets,  can  run  user‐friendly  mobile  applications.  Moreover,  most  mobile  devices  are  affordable  and 
equipped with technical specifications that enable the download of simple mobile applications to enhance learning.  This 
paper discusses the application  of a prototype mobile application, known as the Organic Chemistry Reaction Application 
(OCRA), which has been designed to run on any mobile devices with touch screen commands. The OCRA is a unique mobile 
application that allows its users to create their own organic molecules using hydrogen, carbon, oxygen, and halogen atoms. 
In OCRA, the users are able to explicitly form and break chemical bond between atoms by sliding their fingers to move the 
electrons  or  atom,  and  predict  logically  the  mechanics  of  three  fundamental  organic  mechanism  reactions  ‐  addition, 
substitution,  and  elimination.  Users  can  use  the  touch  screen  feature  to  demonstrate  the  organic  reaction  mechanism 
explicitly through an electron moving technique, which is used to conceptually visualize the mechanistic steps in organic 
reaction mechanism. This enables the users to understand the macroscopic and microscopic concepts of organic reaction 
mechanism.  Besides,  the  OCRA  is  a  game‐like  mobile  application  with  the  objective  of  acquiring  correct  answers  by 
achieving specific goals. It uses a touch screen feature to demonstrate the organic reaction mechanism explicitly, while the 
electron moving technique is employed to conceptually visualize the mechanistic steps in an organic reaction mechanism. 
The  utilization  of  OCRA,  therefore,  is  as  an  alternative  tool  to  learn  and  understand  organic  reaction  mechanism.  This 
prototype is a user controlled tool, which provides convenience and flexibility besides being capable of enhancing a user’s 
confidence in learning organic reaction mechanism. Hence, the OCRA is a practical example of a mobile application that has 
been innovatively designed to enhance the value of e‐learning in the educational context. 
 
Keywords: mobile application, organic chemistry, addition, substitution, elimination, touch screen 

1. Introduction  
The  advent  of  computer  technologies  has  shown  positive  impact  on  learning  in  the  classroom.  Now,  the 
availability and feasibility of mobile gadgets in the context of education, such as mobile phones and computer 
tablets, have brought the technologies from a stand‐alone application in the classroom environment to mobile 
application  in  the  mobile  learning  environment  (Revell  2014),  (Bidin  &  Ziden  2013).  Moreover,  a  mobile 
application can be installed or downloaded easily in almost all mobile devices. A variety of mobile applications, 
such as games, can be downloaded for free from Google Play or Apple store via the Internet, and the same is 
applied  for  learning  mobile  applications.  This  provides  vast  opportunities  for  educators  to  look  for  and  use 
innovative  mobile  applications  in  education  as  an  alternative  approach  to  enhance  students’  learning.  Such 
mobile  applications,  or  better  known  as  “apps”,  have  created  a  new  platform  for  mobile  learning  in  the 
context  of  education.  As  for  most  students  and  the  young  generation,  who  are  surrounded  by  computer 
technologies, mobile applications are not new to them, but what they need is an appropriate model of mobile 
application  contents  (Hardyman,  Bullock,  Brown,  Carter‐Ingram,    &  Stacey  2013)  that  could  be  applied  to 
support their learning. 
 
The  paper  explains  an  overview  of  the  mobile  application  concept  and  discusses  its application  in chemistry 
education.  This  paper  demonstrates  one  innovative  mobile  application  for  teaching  organic  reaction 
mechanism, namely, Organic Chemistry Reaction Application or OCRA.  

2. Mobile application 
Mobile  learning  has  been  recognised  as  a  new  challenge  to  facilitate  learning  through  mobile  devices.  In 
addition,  studies  have  been  conducted  worldwide  to  look  into  the  factors  on  how  to  effectively  use  mobile 
applications  in  both  formal  and  informal  educational  contexts.  Mobile  applications  can  be  understood  as 
learning through mobile devices. Nowadays, mobile devices are portable and easy to handle. Therefore, the 
mobile devices can be used for fixed and formal classroom and/or informal and out of the classroom learning. 

527
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

The  famous  statement for  these  formal  and  informal  environments  is  “learning  anywhere  at  anytime”  using 
mobile  devices  (Bidin,  &  Ziden  2013).  The  accessible  of  learning  materials  at  “anywhere,  anytime”  is  in  line 
with the fact that almost all students own mobile devices, with which they make phone calls, watch videos, 
find information, play games, communicate through social networking applications, and send short messages 
at  real  time.  The  same  principle  has  now  attracted  educators  to  convert  mobile  devices  as  a  formal  and 
informal  learning  devices  by  developing  mobile  applications  to  deliver  subject  content  to  the  students 
“anywhere,  anytime”.  Moreover,  the  mobile  content  should  cater  to  diverse  students  as  enrichment  and 
addition to formal learning, besides emphasizing on the delivery of specific and achievable learning objectives 
in an easy, interactive, and engaging way (Tsoi 2011). Meanwhile, Pollara, in her analysis on eighteen studies, 
has  found  that  a  majority  of  samples  perceived  that  mobile  devices,  such  as  PDAs  and  mobile  phones,  are 
suitable  for  mobile  learning  (Pollara,  &  Broussard  2011).  However,  there  are  questions  that  need  to  be 
answered. Is mobile learning suitable within the mainstream of education? What are the criteria that mobile 
applications should possess to suit the formal educational system?  
 
The mobile applications used in mobile learning are not specific to any kind of subject matter. For example, the 
mobile application that is used in the medical field (Revell 2014) by trainee doctors is the “iDoc”, which acts as 
a library of medical textbooks to get instant information in the workplace. Next, another study examined the 
effectiveness  of  mobile  application  related  to  organic  chemistry  (Tsoi  2011).  This  study  used  iPhone  as  a 
mobile device with touch screen capabilities to evaluate a prototype mobile application on a specific topic of 
“functional  groups”.  One  of  the  aspects  that  should  be  taken  into  consideration  is  “…..the  device  should 
support the objectives of the course and be user‐friendly enough so that the learner engages with the content 
being  supported  by  the  device”  (Tsoi  2011).  However,  there  are  also  arguments  on  the  suitability  of  mobile 
applications  to  replace  classroom  learning,  and  the  limitation  of  certain  subject  content  to  be  delivered  via 
mobile  devices  (Keegan  2005),  as  well  as  the  argument  that  mobile  applications  only  bring  about  short 
excitement  and  engagement  in  learning  (Kinash,  Brand  &  Mathew  2012;  Rogers,  Connelly,  Hazlewood  & 
Tedesco 2010).  
 
Incorporating mobile applications in education has now been widely recognized as an alternative to teach and 
learn  through  dynamic  forms  of  visual  presentations  with  multimedia  capability,  either  in  a  formal  or  an 
informal  education  context.  Mobile  learning  applications  are  supported  by  the  significant  growth  of  mobile 
devices,  which  have  been  repurposed  not  only  for  socialization,  but  also  to  deliver  information  effectively, 
especially  for  the  new  generation  of  students,  who  are  known  as    the  “net‐generation”  or  a  technology‐
focused generation (Samsiah Bidin & Azidah Abu Ziden 2013).  A mobile device empowers students to access 
education content and activities from anywhere, and at anytime through autonomous and individual learning.  
 
To  date,  not  many  educators  have  explored  the  use  of  mobile  applications  seriously  in  the  context  of 
education because there are not many choices of educational mobile applications in the market compared to 
game applications. Bidin and Ziden (2013) have listed two factors which have influenced the tremendous use 
of mobile applications ‐ the features and usability of the devices. Most mobile devices are portable because 
the size is relatively small and light in weight. Hence, users can easily download an application to their mobile 
device as an education platform, and the mobile device can be carried to anywhere and at anytime to access 
educational content.  
 
Among the young generation, learning is considered as an active and continual process that should not only 
occur in a classroom, but as long as the learning materials are accessible at anytime. Moreover, most mobile 
devices are not only affordable, but are also equipped with technical specifications that enable the operation 
of simple yet powerful applications that promote learning. The leading author in digital games, Mark Prensky 
(2007), has suggested that learning could be part of a game application; for example, an educational mobile 
application  can  involve  students  in  an  interactive  gameplay  environment  that  spurs  them  to  achieve  certain 
levels  or  goals  in  an  exciting  and  engaging  way.  Thus,  the  challenge  now  is  for  educators  to  create  realistic, 
authentic, and engaging educational mobile applications that are suitable for particular target groups. 
3. Nature of organic chemistry 
As  an  essential  subject  for  students  who  study  the  Science‐based  academic  programmes,  organic  chemistry 
currently is a prerequisite and compulsory subject for other courses in universities like chemical engineering, 
forestry, food technology, agriculture, medicine, and pharmacy. Wright, Cotner, and Winkel (2009) found that 

528
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

students  who  had  not  completed  the  organic  chemistry  course,  as  a  prerequisite  before  taking  the 
biochemistry course, were more likely to withdraw from their major subjects than those who had completed 
the organic chemistry subject. Meanwhile, Levy (2008) argues that most students regard organic synthesis a 
difficult  topic  to  study  even  though  the  concept  of  organic  synthesis  is  one  of  the  most  crucial  aspects  to 
understand  in  organic  chemistry;  the  nature  of  organic  reaction  mechanisms  involve  dual  understanding  of 
abstract and dynamic concepts.  
 
In learning organic chemistry, students need to understand how to select electrons that should be moved and 
rearrange the atoms or molecules after forming or breaking apart the covalent bonds to yield a final product 
(Lopez, Nandagopal, Shavelson, Szu, & Penn 2013).  All the processes from reactants to products are abstract 
and  dynamic.  Students  find  it  difficult  to  understand  the  organic  reaction  mechanism  phenomena  as  most 
educators have failed to explain and visualize these abstract and dynamic concepts explicitly (Kozma 2003).  As 
a  result,  many  students  have  difficulty  to  visualize  the  organic  reaction  mechanism  at  the  particulate  level.  
This is why many educators look forward to using animations for visualizing and representing the particulate 
levels  of  organic  reaction  mechanism.    As  a  mobile  application,  this  approach  can  be  further  enhanced  for 
students to access these animations as an autonomous and individual learning tool. 
 
A  main  concept  in  organic  synthesis  is  the  mechanism  of  organic  reactions,  which  demonstrates  how  the 
reactants  are  converted  to  products.    Traditional  organic  chemistry  classes  rely  on  textbooks  and  teachers’ 
explanation to understand the topic. Most educators use the “arrow pushing” technique, a widely used tool 
(Berg,  &  Ghosh  2013)  with  the  talk‐and‐chalk  approach  to  present  the  mechanic  aspect  of  organic  reaction 
mechanism  under  investigation.  However,  it  is  difficult  for  this  technique  to  portray  what  actually  happens 
during the organic reaction mechanism. Consequently,   students fail to “see” the organic reaction mechanism 
in the same way as their teachers. As an alternative, students would use direct “memorization”, which they 
believe to be an effective way to understand the basic principles of organic reaction mechanism; however, this 
ignores the fact that they will encounter more complex organic mechanism reactions in the future. 
 
Figure 1 below shows an example of the arrow pushing technique to portray the organic reaction mechanism. 
This example is taken from http://chemwiki.ucdavis.edu/ 

 
Figure 1: Example of “arrow pushing” technique 
Realizing that teaching organic chemistry has always been dependent on talk‐and‐chalk, this paper introduces 
an  alternative  approach  that  integrates  animation  in  a  mobile  application.  This  mobile  application  provides 
opportunity  for  students  to  demonstrate  their  own  step‐by‐step  discrete  sequences  of  organic  reaction 
mechanism.  
 
Since  it  is  challenging  for  teachers  to  facilitate  students  with  authentic  materials  for  teaching  and  learning 
organic reaction mechanism, it is believed that the use of mobile application will provide viable solutions for 
engaging  students  in  a  straight  forward  approach.  To  date,  no  study  has  been  conducted  on  the  use  of  a 
mobile application to enhance students’ comprehension of organic reaction mechanism. Furthermore, there is 
no  literature  currently  available  that  specifically  addresses  the  implementation  of  a  mobile  application  for 
organic chemistry, especially one that optimizes the use of animation to employ abstract and dynamic organic 
reaction mechanism at the particulate level of presentation.  
 
After intensive literature search, most mobile applications found on the internet deal with general chemistry 
contents,  such  as  Sym  MO  (http://comcen.nus.edu.sg/technus/go_mobile/sym‐mo‐chemistry‐app/  )  and 
chemistry apps for Android (http://www.appszoom.com/android_applications/chemistry). One of the mobile 
applications  in  organic  chemistry  is  called  TsoiChem  (Tsoi  2011),  which  emphasizes  only  on  the  topic  of 
“functional  groups”.  However,  none  of  the  mobile  applications  focuses  on  helping  students  to  visualize, 
practice,  and  understand  the  process  of  organic  reaction  mechanism  through  a  dynamic  and  interactive 
format. 

529
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

Therefore, this paper is focused on describing a mobile application that integrates animations and looks into its 
application as a tool to visualize, practice, and understand chemical processes that involve the rearrangement 
of atoms and electrons, as well as the break apart and formation of covalent bonds. It is believed that the use 
of  an  educational  mobile  application  is  a  promising  means  of  fostering  effective  teaching  and  learning  in 
organic reaction mechanism. 

4. Mobile application for organic chemistry reaction   
Organic  chemistry  is  a  core  subject  for  science‐based  courses  starting  from  secondary  school  until  the 
university level. The comprehension of how organic reaction mechanism occurs is crucial in the synthesis of 
new organic molecules. The three most fundamental organic reaction mechanisms are addition reactions (such 
as  electrophilic,  nucleophilic,  and  radical  reactions),  elimination  reactions  (E1  and  E2  reactions),  and 
substitution reactions (SN1 and SN2). In organic reaction mechanism, a single bond between atoms consists of 
two  electrons  that  are  generally  presented  by  one  single  covalent  bond.  Other  electrons,  which  are  not 
involved  in  bonding,  are  usually  shown  as  dots  on  the  atoms,  representing  the  so‐called  free  electrons.  It  is 
crucial for students to understand these three basic concepts of organic reaction mechanism before they can 
learn more advanced topic.  
 
These organic reaction mechanisms directly involve the movement of electrons during the process of forming 
and breaking apart of chemical bonds. The most popular approach of showing these processes to understand 
the  organic  reaction  mechanism  is  called  the  “arrow  pushing”  technique  (Levy  2008).  The  arrow  is  used  to 
show  the  movement  of  a  pair  of  electrons  from  an  electron  rich  location  to  an  electron  poor  location.  The 
arrow pushing technique is used to show the movements of electrons during the forming and the breaking of 
chemical bonds. Using “arrows” to show the movement of electrons is actually an additional “load” during the 
thinking process of students because they cannot actually see what occurs during the process. 
 
Hence,  this  paper  presents  an  educational  mobile  application,  namely  the  Organic  Chemistry  Reaction 
Application  (OCRA),  in  order  to  demonstrate  the  usefulness  and  flexibility  of  the  application  for  learning 
fundamental concepts of organic reaction mechanism. OCRA is not a total game application, but it has a few 
game‐like activities with the objective of acquiring correct answers or achieving a specific goal.   
 
The  OCRA  uses  a  touch  screen  feature  to  demonstrate  the  organic  reaction  mechanism  explicitly,  while  the 
electron moving technique is employed to conceptually visualize the mechanistic steps in an organic reaction 
mechanism.  The  OCRA  allows  its  users  to  form  and  break  apart  a  chemical  bond  between  atoms  by  sliding 
their fingers on the screen to move electrons or atoms, and predict logically the mechanistic steps of the three 
fundamental organic mechanism reactions ‐ addition, substitution, and elimination. This technique enables the 
users to understand the particulate nature of organic reaction mechanism.   
 
OCRA  is  driven  by  simple  and  explicit  content,  although  it  does  include  animations  to  excite  and  stimulate 
users’ thinking.  This mobile application can be used effectively on mobile devices, such as smartphones and 
tablets.  The  touch  screen  feature  in  these  devices  assists  the  users  to  demonstrate  the  organic  reaction 
mechanism  explicitly  via  electron  moving  technique;  the  technique  that  conceptually  visualizes  the 
mechanistic steps in an organic reaction mechanism.  
 
The  prototype  mobile  application discussed  in  this paper  is  a user  controlled  tool,  which  offers  convenience 
and flexibility besides being capable of enhancing a user’s confidence in learning organic reaction mechanism. 
With  the  touch‐screen  feature  in  the  mobile  device,  users  can  practice  to  form  or  break  apart  an  organic 
reaction mechanism without the need for typing or drawing any molecule, atom, electron or even an arrow. 
The utilization of OCRA, therefore, is perceived as an alternative tool to learn and understand organic reaction 
mechanism. As for the millennials, utilizing a mobile application is one of their common daily activities.  
 
The  basic  idea  in  the  development  of  OCRA  is  actually  based  on  the  revised  Bloom’s  taxonomy  model  – 
Remember,  Understand,  Apply,  Analyses,  Evaluate,  and  Create  (Krathwohl  2002).  The  first  step  in  learning 
organic  chemistry  is  to  know  and  remember  how  to  draw  organic  molecules.  Then,  the  students  should 
understand the principles of nucleophile, electrophile, and free radicals. After applying these principles in the 
organic  reaction  mechanism,  the  students  can  analyse  every  movement  of  the  electrons,  including  the 
breaking apart and the formation of covalent bonds, whilst at the same time, they are expected to critically 

530
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

think of the arrangement of the molecules as a possible final product. This critical thinking process by students 
involves the acts of evaluation and creation. Finally, the students can check if they have completed the process 
accurately. Thus, OCRA has the capability to activate users’ learning by facilitating them to create their own 
molecules and organic reaction mechanisms.  

4.1 Interface 
Figure  2  displays  the  interface  of  OCRA.  The  five  basic  atoms  in  organic  chemistry  are  shown  in  different 
colours with their valence electrons, in terms of the Lewis dot structure. Most organic molecules are made up 
from these atoms. The students need to click or tap on the atoms to build a molecule with single, double or 
triple bonds. 
 
At  the  bottom  of  the  screen,  there  is  a  simple  instruction  for  the  users  to  construct  the  twenty  different 
molecules  listed,  before  they  can  proceed  to  try  out  the  twenty  basic  organic  reaction  mechanisms.  The 
exercise starts with the building of H2 molecule. The users can try the next exercise by tapping on the “CLEAR 
ALL”  button,  and  then,  the  ‘Next’  button.  After  completing  the  task,  the  students  can  tap  on  the  “Check” 
button to check their answers. 

 
Figure 2: OCRA interface – no need for keyboard 

4.2 Creating H2 molecule 
The  OCRA  starts  with  a  simple  task  –  creating  a  hydrogen  molecule.  In  order  to  create  an  H2  molecule,  the 
users have to tap twice on “Add” under the H atom, and then, two H atoms will appear on the screen. Next, 
they should move the electron valence from one of the atoms, so that both electrons of each atom are facing 
each other as shown in Figure 3. 

 
Figure 3: Tap and move the atoms and electrons to face each other 
Figure 4 shows that as users move both atoms to approach each other, the electron valence from the atoms 
will attach to form one covalent bond. Finally, the H2 molecule is formed! 

4.3 Creating CH4 molecule 
On the other hand, in order to create the CH4 molecule, the students should tap “Add” to get four H atoms and 
one C atom. Next, they can move the electrons to connect them, and form four covalent bonds, as shown in 
Figures 5 and 6. 
 

531
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

 
Figure 4: The H2 molecule is formed automatically! 

 
Figure 5: Touch “Next” and create a new CH4 molecule 

 
Figure 6: The CH4 molecule is formed 

4.4 Creating C2H4 molecule with double bond 
The  users  can  also  create  a  double  covalent  bond.  A  double  covalent  bond  is  created  when  two  pairs  of 
electrons  are  shared  between  the  carbon  atoms.  Figure  7  shows  two  carbon  atoms  sharing  two  pairs  of 
electrons to achieve a stable molecular structure.  

 
Figure 7: The C2H4 with double bond 

532
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

4.5 Organic reaction, C2H4 + X2 
There are twenty basic organic reaction mechanisms prepared in the OCRA. One of the reactions is between 
ethane and halogen: 
C2H4 + X2   
The  user  needs  to  create  both  molecules  and  predict  the  product  by  moving  the  electrons  and  atoms.  The 
reaction between C2H4 and halogen is shown in Figures 8 and 9 below. The double bond is broken apart to add 
both halogens in an additional organic reaction mechanism. 

 
Figure 8: The reaction is called halogenation 

 
Figure 9: This is an example of addition reaction mechanism 

4.6 Free style mode 
After the completion of all the tasks, a user can use the “Free Mode”, as shown in Table 10, to freely create 
their own molecules and try out any reaction. This flexibility gives unlimited choices to the users and educators 
to prepare their own tasks. 

 
Figure 10: Users can use the “Reaction: Free Mode” to create their own reactions! 
Therefore,  it  is  about  time  to  employ  a  more  flexible  technique  to  demonstrate  the  organic  reaction 
mechanism. The advancement in mobile applications should be exploited to complement the current “pushing 
arrow” technique with more authentic tasks. These authentic tasks are able to demonstrate conceptually the 

533
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

mechanistic  steps  of  organic  reaction  mechanism  through  the  movement  of  electrons  during  the  breaking 
apart and formation of chemical bonds.  
 
Moreover,  the  OCRA  is  a  mobile  application  that  allows  students  to  experience,  in  an  autonomous  and 
interactive way, the technique of predicting their own organic reaction mechanism. Once they have completed 
this task, they can go on to evaluate their performance and understanding. OCRA is an innovative educational 
mobile  application  that  confers  students  the  freedom  to  experiment  and  move  the  electrons  of  atoms  and 
molecules  to  create  a  final  product  of  an  organic  reaction.  As  a  result,  this  mobile  application  is  not  only 
interactive, but also engages students to further improve their learning. 
 
Other than that, the OCRA provides interactive teaching tools for demonstrating all the three organic reaction 
mechanism topics. Hence, OCRA is believed to be a unique example of an educational mobile application that 
could encourage students to practice their understanding of organic reaction mechanism in an effective and 
engaging way when they apply the abstract and dynamic concepts of organic reaction mechanism via mobile 
application. The app allows students to predict logically the products that are produced in any organic reaction 
mechanism.  This  means  the  OCRA  is  not  just  for  “drill  and  feedback”,  but  it  is  more  towards  “participatory 
simulation” as students are expected to independently learn and construct their understanding in an authentic 
environment.  
 
Finally, authentic tasks, as promoted in OCRA, are suitable for secondary to higher education as they project 
the  concept  of  “learning  by  doing”  or  practice‐based  tasks  (Cronje  2014).  The  OCRA  can  be  downloaded  on 
mobile devices as an Android mobile application, and even a web‐based version is also available.  Therefore, 
the  OCRA  is  a  potential  mobile  application  for  the  Millennial  or  “Net‐generation”,  who  often  use  mobile 
applications  to  search  for  information  (Foley  2012)  and  have  the  preference  for  a  learning  process  that  is 
similar to playing a game (Prensky 2005). 
5. OCRA evaluation: The experts’ opinion 
Interviews with Expert1, Expert2 and Expert3 (experienced chemistry teachers and technologies users) were 
conducted to provide comments on how OCRA can be beneficial to students. The interview sessions served to 
provide detailed information about OCRA, if it meets the learning objectives in understanding organic reaction 
mechanism, the user‐friendliness, usability, the advantages and disadvantages of using OCRA.   
 
The interviews which employed a semi‐structured approach began with a brief demonstration on how to use 
the OCRA. The questions asked were (i) Does the application meet the learning objective in understanding the 
basic organic chemical reactions? (ii) Can this mobile application be classified as a 'user‐friendly' learning tool?, 
and  (iii)  What  are  the  advantages  and  disadvantages  of  this  application  in  learning  organic  reaction 
mechanism? 
 
Based on the results from the interviews, all the experts optimised that OCRA is ready as a mobile application 
for mobile learning. For example, Expert2 mentioned clearly that “This (mobile) application meets the need of 
helping students to learn basic organic chemical reactions, especially among students with weak foundation … 
it  uses  more  appealing  visual  and  interactive…  displays  the  symbolic  representation  of  chemical  and 
submicroscopic….”.  This  proclamation  is  supported  by  Expert3,  “this  application  meets  the  minimum 
requirements  in  learning  organic  chemistry,  especially  in  the  beginning  or  introduction  to  organic  chemical 
reactions….”. The results from the interviews indicated that the OCRA should be ready as a mobile application 
in  the  classroom  and  would  be  helpful  for  the  students  to  learn  organic  reaction  mechanism  and  can  be 
blended  in  the  classroom  lesson.  The  experts  interviewed  revealed  that  they  believed  OCRA  can  support 
students to learn organic reaction mechanism. 
 
As  for  the  second  question  regarding  the  “user‐friendliness”  of  OCRA,  the  Expert1  stated  that  the  mobile 
application  needs  to  provide  more  meaningful  feedback  instead  of  just  “well  done”,  whilst  the  first  and  the 
third  experts  requested  for  a  simple  demonstration  video  and  instructions  on  how  to  run  the  mobile 
application.  
 
In response to Question 3 about the advantages of using OCRA as a mobile application, the answers given by 
Expert1,  Expert2  and  Expert3  can be  summarised  that OCRA  provides  the  opportunity  for  students  to  move 

534
 
Othman Talib, Azraai Othman and Tengku Putri Norishah Tengku Shariman 

and  visualise  the  movement  of  electrons  in  an  easy  way  in  sub  microscopic  and  symbolic  levels,  while  the 
forming and breaking of chemical bonds are easily demonstrated. As for the disadvantages, OCRA seems to be 
lacking in feedbacks and it is only suitable for basic organic reaction mechanisms.  

6. Conclusion 
There  is  a  need  for  the  development  of  more  authentic  learning  tools  that  specifically  optimize  the  use  of 
mobile applications to portray abstract and dynamic organic reaction mechanisms at the particulate level. In 
developing the OCRA, the most difficult aspect had been to cope with the more advanced and complex organic 
reaction  mechanism  and  to  measure  the  level  of  students’  comprehension.  This  mobile  application  can  be 
subscribed and it delivers the content to accommodate the variety academic background,  learning styles (Tsoi 
2011), and also enhance the motivational level (Pollara, & Broussard 2011) (Broussard 2011) (Bidin, & Ziden 
2013).  Based  on  the  discussion  above,  it  is  believed  that,  generally,  OCRA  is  an  example  of  innovative 
educational  mobile  application  that  supports  authentic  learning  in  organic  chemistry.  Furthermore,  future 
research will be conducted to study the effectiveness of OCRA for long term understanding and to what extent 
this mobile application is able to answer not only “how”, but also “why” organic reaction mechanism occurs to 
get the desired product.  

References 
Berg, S. & Ghosh, A. (2013). "Six Impossible Mechanisms Before Breakfast: Arrow Pushing as an Instructional Device in 
Inorganic Chemistry". Journal of Chemical Education, Vol 90, No. 11, pp 1446–1451.  
Bidin, S. & Ziden, A. A. (2013). "Adoption and Application of Mobile Learning in the Education Industry". Procedia ‐ Social 
and Behavioral Sciences, Vol 90, pp 720–729.  
Broussard, K. K. (2011). Mobile Technology and Student Learning : What Does Current Research Reveal". International 
Journal of Mobile and Blended Learning, Vol 3, No. 3, pp 34‐42. 
Cronje, J. (2014). "An African Research Agenda for Computers in Education". The Electronic Journal of e‐Learning, Vol 12. 
No. 1, pp 14–28. 
Foley, A. (2012). "Designing a mobile application: The case of iAdvocate". International Journal of Designs for  Learning, Vol 
3, No. 1. pp 31‐44 
Hardyman, W., Bullock, A., Brown, A., Carter‐Ingram, S. & Stacey, M. (2013). "Mobile technology supporting trainee 
doctors’ workplace learning and patient care: an evaluation". BMC medical education, Vol. 13, No. 6. pp 1‐10.  
Keegan, D. (2005). "The Incorporation of Mobile Learning into Mainstream Education and Training". Paper read at at the 
4th World Conference of mLearning, Cape Town, South Africa. 
Kinash, S., Brand, J. & Mathew, T. (2012). "Challenging mobile learning discourse through research : Student perceptions 
of Blackboard Mobile Learn and iPads", Australian Journalof Educational Technology, Vol 28, No. 4,  pp 639–655. 
Kozma, R. (2003). "The material features of multiple representations and their cognitive and social affordances for science 
understanding". Learning and Instruction, Vol 13, pp 205–226. 
Krathwohl, D. R. (2002). "A revision of Bloom’s taxonomy: An overview". Theory into Practice, Vol. 41, No. 4, pp. 212–128. 
Levy, D. E. (2008). Arrow Pushing in Organic Chemistry, Wiley, New Jersey. 
Lopez, E. J., Nandagopal, K., Shavelson, R. J., Szu, E. & Penn, J. (2013). "Self‐regulated learning study strategies and 
academic performance in undergraduate organic chemistry: An investigation examining ethnically diverse students". 
Journal of Research in Science Teaching, Vol. 50, pp 660–676.  
Pollara, P. & Broussard, K. K. (2011). "Student Perceptions of Mobile Learning : A Review of Current Research". Paper read 
at the Society for Information Technology & Teacher Education International Conference, Chesapeake, VA: AACE 
Prensky, M. (2005). “Engage Me Or Enrage Me” What Today’s Learners Demand. Educause Review, Vol. 40, pp 60–65. 
Revell, K. D. (2014). "A Comparison of the Usage of Tablet PC, Lecture Capture, and Online Homework in an Introductory 
Chemistry Course". Journal of Chemical Education, Vol 91, No. 1, pp 48–51.  
Rogers, Y., Connelly, K., Hazlewood, W. & Tedesco, L. (2010). "Enhancing learning: a study of how mobile devices can 
facilitate sense making". Personal & Ubiquitous Computing, Vol 14, No. 2, pp 111–124. 
Tsoi, M. Y. (2011). "TsoiChem : A Mobile Application To Facilitate Student Learning in Organic Chemistry". Paper read at 
the 11th IEEE International Conference on Advanced Learning Technologies, Athens, GA.  
 

535
The Relevancy of Digital Literacy for Malaysian Students for 
Learning With WEB 2.0 Technology 
Tenku Putri Norishah Tenku Shariman1, Othman Talib2 and Nazerin Ibrahim1 
1
Multimedia University, Malaysia 
2
University Putra Malaysia, Malaysia 
tengku.norishah@mmu.edu.my 
otalib@upm.edu.my 
nazerin@mmu.edu.my 
 
Abstract: E‐learning has transitioned from mere retrieval of information to active participation of students who voluntarily 
engage in the learning process. As Riedel (2009) reported, Web 2.0 is about putting the power to learn and create in the 
hands of the students. Before the advent of Web 2.0, e‐learning was primarily used to complement traditional pedagogical 
modes  with  an  online  component,  whereas  web  2.0  technology  introduced  new  modes  of  learning,  enabling  greater 
reflection and discussion among learners as they construct knowledge online (Lau, 2012). Therefore at this stage, the role 
of digital literacy in e‐learning is even more relevant. Digital literacy which refers to the effective and efficient use of web 
2.0 technology to access and use the digital information needed for a variety of online tasks (Coiro, Knoble, Lankshear & 
Leu, 2008) should not be regarded as a separate set of skills, but instead embedded within and across e‐learning activities 
and tasks. Although today’s students have grown up around technology devices and most probably use these devices on a 
daily  basis,  they  may  not  have  necessarily  have  the  digital  literacy  to  appropriately  use  web  2.0  technology  for 
constructivist e‐learning activities and tasks. For this research, questionnaires were distributed among students in several 
universities across Malaysia to identify the digital literacy competencies of students for application in e‐learning. Thus, this 
paper reports the findings of the study which aims to answer the following questions: (1) What are students’ perceptions 
regarding their digital literacy competency? (2) How does digital literacy affect their e‐learning with 2.0 technologies? The 
results revealed that even though students have high confidence in using Web 2.0 technology, they still lacked the digital 
literacy competencies needed to successfully accomplish e‐learning tasks and activities. 
 
Keywords: digital literacy, Web 2.0 technology, e‐learning, technical domain, cognitive domain, social emotional domain  

1. Introduction 
Digital technologies and new media are now prevalent in many aspects of teaching and learning. Consequently 
students  need  to  develop  more  than  just  their  Information  and  Communication  Technology  (ICT)  skills;  they 
need to be aware of the broader context in which these technologies and media function so they will be able 
to apply their ICT skills effectively and efficiently in an increasing digital world. ICT skill is not a factor whether 
or not students are able to be effective e‐learners in universities across Malaysia because ICT has been used as 
a tool and a way to improve the pedagogy of teaching and learning in schools and universities across Malaysia 
since  1996. Furthermore  the  national e‐Learning project,  which  involved  the  creation  of  web presence,  web 
tools that promote collaboration, and web‐based services to students to obtain sought‐after information, was 
launched  in  2000  (MOHE,  2011).  One  of  the  project’s  milestones  was  providing  a  Learning  Management 
System  to  all  public  universities  that  offers  e‐learning  applications  such  as  Communications  (96.2%),  Course 
Delivery (96.2%), Productivity (88.5%), Content Development (80.8%), and Administration (73.1%). However, 
only a few of the universities (65.4%) had LMS features that encourage students’ involvement, such as group 
work  and  portfolio  [15].  Therefore,  it  is  not  surprising  that  only  4.7%  of  students  studying  in  Malaysia’s 
universities indicated that technophobia is one of the problems they faced in adopting e‐learning (M.A. Embi, 
2011).  
 
For the Internet generation university students, known as well as the digital natives (Prensky, 2011), surfing 
the Internet and working on computers is considered second nature in view of the fact that they have never 
known a world without technology or the Internet; they frequently and actively communicate, cooperate, and 
connect  using  technology  in  the  virtual  realm.  One  of  the  technologies  that  they  often  utilise  is  Web  2.0 
applications such as blogs, Instagram, social networking and video sharing sites, among others. Moreover, the 
e‐learning environment has changed to integrate and utilize Web 2.0 elements to create an environment and 
system that supports e‐learning 2.0; an approach of learning that is centred on collaboration and constructive 
learning  activities  mediated  by  a  range  of  Web  2.0  tools  for  exchanging  content  and  sharing  knowledge 
(Riedel,  2009;  M.H.  Zakaria  ,  Watson  and  Edwards,  2012).  Hence,  Web  2.0  tools  should  prompt  students  to 
actively participate in e‐learning activities at their respective universities. 

536
 
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

2. Problem statement 
It  is  undeniable  that  students  are  engaging  actively  with  technology,  however  they  may  not  be  intuitively 
digital literate as conceived by the Internet Generation Theorists. A number of studies (Banwell and Gannon‐
Leary,  2000;  Case,  2002;  Coiro,  Knobel  and  Lankshear,  2008;  Combes,  2007;  Jones,  Ramanau,  Cross  and 
Healing, 2010) have brought up contrary evidence that indicates this generation may not be as adept as has 
been supposed in employing technology as an electronic information resource. Unfortunately, being a digital 
native does not mean having innate digital literacy. Most often students are unable to discern the validity and 
value  of  information  found  online,  or  use  that  information  appropriately;  they  also  have  few  constraints  on 
using digital technologies for sharing purposes like understanding copyright issues. In light of these findings, 
the  present  study  is  significant  to  identify  the  digital  literacy  competencies  of  students  for  application  in  e‐
learning. Today's students need help acquiring these abilities and behaviours. 

2.1 Objectives and research questions 
In order to answer the problem statement, the researcher had developed a few research objectives which are 
to determine: 
ƒ the level of digital literacy competence as perceived by students when they apply web 2.0 technology for 
e‐learning tasks; and 
ƒ the effect of digital literacy on students’ e‐learning tasks with 2.0 technologies  
The research questions built from this research are as follows: 
ƒ What are students’ perceptions regarding their digital literacy competency?  
ƒ How does digital literacy affect their e‐learning with 2.0 technologies?  

3. Review of literature 
Computers and digital technologies have merged the previously known literacy skills, such as writing, reading 
or  numeracy  problem‐solving  with  new  literacy  skills  in  constructing  new  knowledge,  creating  media 
expressions,  and  communicating  with  others,  in  the  context  of  specific  life  situations  in  order  to  enable 
constructive social action; and to reflect upon this process (Passey, 2011). Digital literacy is a concept that has 
arisen  out  of  the  current  lifestyle  and  online  practices  of  the  Internet  Generation,  like  communication  and 
interactions with advanced digital applications and devices. Lankshear and Knobel (2003) have described new 
literacies as new types of knowledge associated with “digitally saturated social practices” (p.11). For example, 
word  processing has become  a  standard  for  writing (instead  of  pen and paper),  emails  and  short messaging 
system has dominated modes of communication, and sites like Facebook, Twitter and Youtube have enabled 
users to share ideas. 
 
Moreover, a digital literate person will adapt to new, emerging technologies faster and pick up new semiotics 
language for communication. According to Martin (2010), a digital literate person has the awareness, attitude 
and  ability  to  appropriately  use  digital  tools  and  facilities  to  identify,  access,  manage,  integrate,  evaluate, 
analyse  and  synthesize  digital  resources,  construct  new  knowledge,  create  media  expressions,  and 
communicate with others. To design a pedagogy suitable for the Web 2.0 environment, educators are advised 
to embed constructivist theory in classroom practices that often comprise four critical conditions: (1) Multi–
construction  of  learning  process/  perspectives,  (2)  Contextual  learning  that  suits  to  learner’s  needs  (3) 
Mediated  learning  tools  (technology)  and  semiotic  tools  (signs),  and  (4)  Social‐dialogical  activity  of  learning 
(Duffy and Cunningham, 1996). Web 2.0 technology supports constructivist learning activities that encourage 
dialogic  discourse  among  students  to  encourage  students  to  look  beyond  their  own  views  and  incorporate 
realistic or authentic contexts for learning. As an example, project based learning with ICT has been applied to 
engage  students  in  classrooms  as  a  means  to  help  students  acquire  knowledge  more  easily  as  they  are  the 
ones who are involved in the process of gathering the information from web‐based resources and presenting 
their ideas on‐line. Consequently, a digitally literate student will be easily adaptable to this constructivist based 
Web 2.0 learning environment because these conditions are believed to match the digital natives’ philosophy 
of  learning,  whereby  they  have  a  preference  to  search  for  authentic  meaning  through  exploration  and 
discussion (Lankshear and Knobel, 2003).  
 

537
  
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

In  light  of  these  theories,  literacy  is  generally  understood  today  as  being  inclusive  of  various  technological, 
cognitive, and social skills that adapt to a “rapid and continuous process of change in the ways in which we 
read, write, view, listen, compose, and communicate information” (Coiro, Knobel, Lankshear and Leu, 2008). 
Hence,  digital  literacy  should  not  be  viewed  from  the  narrow  perspective  of  acquiring  ‘ICT  skills  and 
competencies’, where digital literacy is reduced to knowledge of computer softwares such as MS Excel, Word, 
and  other  similar  softwares  commonly  used  in  universities  for  teaching  and  learning  purposes.  Voogt  and 
Pareja Roblin (2012) argue that digital literacy should not be regarded as a separate set of skills, but instead 
embedded within and across the other 21st century skills and core subjects. Calvani, Fini and Ranieri (2008) 
proposed  a  conceptual  model  to  represent  digital  competence.  As  illustrated  in  Figure  1  below,  digital 
competence is the ability “ to explore and face new technological situations in a flexible way, to analyse, select 
and critically evaluate data and information, to exploit technological potentials to solve problems or to create 
knowledge collaboratively, and finally, to foster awareness of individual responsibility and respect for others” 
(p.161). 

 
Figure 1: Digital competence framework (Calvani et al, 2008) 
Similarly,  at  a  more  specific  level,  Ng  [18]  has  suggested  three  main  domains  of  literacy  that  are  associated 
with digital literacy, which are technical, cognitive and socio‐emotional as shown in Figure 2 below.  

 
Figure 2: Digital literacy model (Ng, 2012) 

 
 
538
 
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

These three (3) intersecting domains involve interaction with digital based resources for decoding, reproducing 
and  creating  data.  For  example,  the  technical  domain  intersects  with  the  cognitive  domain  because  to 
construct  and  reconstruct  knowledge,  it  necessary  to  navigate  through  digital  media,  and  use  online  and 
offline tools to decode and convey meanings in the best sense possible (Ng, 2012). In summarizing the above 
discussion,  being  digitally  literate  requires  the  development  of  technical,  cognitive  and  social  emotional 
competencies.  These  three  competencies  encompass  a  set  of  abilities  necessary  for  creating  content, 
organizing and sharing content, reusing or repurposing content, filtering and selecting content across a variety 
of  digital  platforms,  which  is  known  as  transliteracy.  Other  online  practices  such  as  self‐broadcasting,  and 
social  networking  also  need  to  use  digital  technologies  with  cognitive,  technical  and  social  emotional 
competencies.  Finally,  all  these  tasks  and  practices  require  another  set  digital  literacy  ability  which  protects 
students  online,  like  managing  identity  and  maintaining  privacy  (Wheeler,  2012).  As  Howard  Rheingold 
explained  in  his  book,  NetSmart  (2012),  access  to  technology  is  no  longer  an  educational  problem  in  the 
current  Web  2.0  learning  environment,  but  the  delineation  between  those  who  know  how  and  those  who 
don’t know how to search, sift and discern relevant information is. 

4. Data collection 
This study was exploratory in nature, focusing on a convenience sampling of the final‐year students who are 
pursuing  their  degrees  at  two  universities  in  Malaysia.  A  survey  was  conducted  with  this  group  of  students 
through  a  common  Project  Management  subject  which  is  a  compulsory  subject  for  all  final‐year  students. 
Empirical data were collected through a survey questionnaire. Out of the 785 registered final‐year students, 
420 of them responded to the questionnaire. The general approach employed to design the questionnaire is to 
combine both the pre‐coded and open questions. The pre‐coded parts are used with a number of listed items 
and students are required to tick the boxes most relevant to them. A degree of openness is provided in the 
survey  for  the  students  to  give  their  responses  about  their  thoughts  on  digital  literacy  in  their  own  words 
through  the  open‐ended  questions.  The  students’  perception  was  measured  through  a  list  of  propositions 
listed in the questionnaire in order to collect the relevant information regarding what they perceived as their 
skill  and  confidence  in  using  technologies  for  digital  literacy  purposes,  like  filtering  and  selecting  content, 
socialising  and  communicating,  creating,  organising  and  repurposing  content  as  well  as  digital  identity  and 
digital safety. 
 
The first section of the questionnaire gathers demographic data pertaining to age, gender, nationality, course 
of study and Internet access. The second section is designed to gather information about patterns of ICT and 
Web 2.0 utilisation. The third section contains items that examine the respondents’ digital literacy level. This 
section  contains  18  questions  on  a  four‐point  scale  marked  as:  1  (Basic  competency),  2  (Moderate 
competency), 3 (High competency) and 4 (Expert Competency). The respondents were asked to perceive and 
self‐evaluate  their  digital  literacy  level  along  this  continuum.  The  measurement  sub‐scales  used  to  assess 
digital literacy adhere to the following domains: 
Table 1: Instant digital competence assessment instrument 
Domain  Contents 
Technical  6 items focusing on examining students’ understanding and abilities in using 
computers and the Internet in their daily lives 

Cognitive  6 items related to general cognitive skills, mostly linguistic or logic‐linguistic 
capacities 
Social‐Emotional  6 items related to three subsections focusing on protecting personal data, 
respecting other Net users and being aware of the digital gap 

Scale  scores  were  obtained  by  summing  the  score  for  each  item.  The  maximum  possible  score  that  a 
respondent  could  obtain  was:  4  (point  4)  ×  18  (items)  =  72.  The  minimum  possible  score  that  a  respondent 
could obtain was: 1 (point 1) × 18(items) = 18. The scores from the survey would be used on a scale of 18–72 
to mark the respondent as Basic, Moderate, High or Expert. Table 2 illustrates the three literacy domains and 
the items that indicate competency for each domain.  
 
 
 

539
  
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

Table 2: Level of digital literacy 
Category  Scale 
Basic Competency  18‐30 
Moderate Competency  31‐44 
High Competency  45‐58 
Expert Competency  59‐72 

5. Data analysis 

5.1 Profiles  
The profiles of the respondents were analysed by using the SPSS descriptive analysis function. The outputs are 
tabulated as seen in Table 3. 
Table 3: Demographic characteristics of respondents 
Characteristic  N  % 
Gender     
Male  199  47.4 
Female  221  52.6 
Total  420  100 
Age at survey time     
22‐24  296  70.5 
25‐27  118  28.0 
28‐30  5  1.19 
above 30  0  0.00 
Missing  1  0.24 
Total  420  100 
Nationality     
Malaysian  328  78.1 
Non‐Malaysian  92  21.9 
Total  420  100 
Technologies used to access Internet **     
Mobile phones  194  46.2 
Smartphones  282  67.1 
Tablet  202  48.1 
Lap top with built in  409  97.4 
Wi‐Fi 
Desktop  56  13.3 
IPod/portable music/video devices  35  8.3 
Experience in using Internet technologies**     
Using search engine to locate relevant information for  420  100.0 
academic work 
Using online library catalogue  196  46.7 
Using online learning materials (e‐learning)  385  91.7 
Using social networking websites (e.g. FB)  393  93.6 

 
 
540
 
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

Characteristic  N  % 
Using instant messaging or chat (e.g. WeChat,  377  89.8 
WhatsApp) 

Blogging (e.g. WordPress, BlogSpot)  276  65.7 

Micro‐blogging (e.g. twitter)  278  66.2 
Uploading something onto Internet (video, photos)  374  89.0 
Taking part in an online community, e.g. a “virtual  92  21.9 
world” (e.g. Second Life) 
Playing Online Games such (e.g. World of Warcraft)  263  62.6 
Watching and listening an audio visual content (e.g.  321  76.4 
music, movies) 
Web 2.0 technology Usage     
Passive User(monthly or less)  53  12.6 
Moderate user (weekly)  139  33.1 
Active User (use it daily)  228  54.3 
Total  420  100 

**Respondents may check more than once and all that apply, hence there is no total count for that dimension 
and the count of percentage is based on 420 as 100% for each item/mobile device. 
 
Some  highlights  of  the  demographic  profiles  of  the  respondents  are  as  follows:  Forty  seven  (47.6%)  of  the 
participants in this study were male and fifty two percent (52.6%) were female. Over seventy percent (70.5%) 
of  the  respondents  were  between  22‐24  years  of  age  and  slightly  less  (28%)  were  25‐27.  The  remaining  1% 
were  older  than  28  and  are  not  considered  traditional  students.  All  of  the  students  have  access  and  are 
connected to the Internet especially through laptops or smart phones. Despite being students, without their 
own  income  source, a  large number  of  the  students  own  mobile  devices  from  the  higher  price  range;  as  an 
example  67%  owns  a  smart  phone  and  another  48%  owns  a  tablet.  Therefore,  mobile  devices  are  presently 
considered  a  necessity  for  students  as  a  convenient  way  of  communicating  and  sharing  or  retrieving 
information.  From  their  experience  in  using  Internet  technologies,  we  can  conclude  that  the  majority  of 
students use the Internet for learning (92% use online learning materials provided by their lecturers and 100% 
use  a  search  engine  to  locate  relevant  information  needed  to  complete  academic  tasks  or  assignments), 
communication (94% use social networking sites and another 90% use the instant messaging application), and 
to a lesser extent entertainment (63% play online games and 76% watch and listen to audio‐visual content). 

5.2 Students’ perception regarding digital literacy 
To determine the level of digital literacy competence among technical students, a questionnaire was used to 
measure  the  perception  of  students  regarding  their  digital  literacy  as  they  apply  Web  2.0  technology  for  e‐
learning  tasks.  All  variables  were  analysed  by  descriptive  statistics  (i.e.  frequencies,  means  and  standard 
deviations). To test the reliability, the internal consistency of the skill levels questionnaire was measured using 
Cronbach's alpha coefficient. The alpha for the whole sample was found to be 0.82, indicating a good level of 
item  reliability  (George  and  Mallery,  2003)  that  has  exceeded  the  minimum  alpha  of  0.6  (Hair,  1998).  The 
percentage of competency level for each literacy was compared to the Level of Digital Literacy Competence 
Table  (refer  to  table  2).  All  the  data  collected  were  analyzed  using  the  SPSS  software  and  reported  to 
determine  the  digital  literacy  competency  level  of  Malaysian  students,  as  perceived  by  students  who  are 
studying technical courses at two universities. 
Table 4: Students’ perception of digital literacy level 
Digital Literacy Domain  Mean  Standard Deviation 

Technical     
Technical skills in using ICT for learning online  3.83  0.95 

Technical skills to create artefacts (e.g.  3.30  0.70 

541
  
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

Digital Literacy Domain  Mean  Standard Deviation 

presentations, digital stories, wikis, blogs) 
Navigate the Internet without getting  3.68  0.82 
disoriented 
Manage files in computer and in the cloud  3.56  0.85 
Content creation with multi‐media tools (e.g.  3.12  0.800 
Image editing, video editing, web page 
software) 
Computer maintenance (e.g. fixing virus  3.03  0.89 
problem or solve other technical problems) 
Cognitive     
Awareness of issues related to web‐based  2.23  0.87 
activities e.g. cyber safety, search issues, 
plagiarism 
Evaluation of information sources (reliable,  1.30  0.65 
trustworthy, authentic or credible trustworthy 
or authentic) 
Use advanced search options in search phrases  2.63  0.73 
(AND, OR etc) 
Use search tools that combine multiple fields to  2.57  0.86 
limit the search (e.g. limiting to a date range, or 
to a chosen publication) 
Search by using keywords commonly used in  2.88  0.87 
the discipline 
Filter and select relevant information  3.05  0.80 
Social Emotional     
Awareness of copyright restrictions  2.64  0.96 
Control of privacy, security and access  2.99  0.86 
permissions 
Collaborate with peers on project work and  3.12  0.73 
other learning activities 
Peer assistance over the Internet e.g. through  2.59  0.96 
Skype, Facebook, Blogs 
Practice Netiquette to avoid offending people  2.90  0.98 
Share file legally with others (e.g. using social  3.08  0.70 
bookmarking to organise and share 
information) 
Based on Table 2: Level of Digital Literacy, the digital literacy level of competency among the respondents is 
shown in Table 5 below.  
Table 5: digital literacy level of competency 
  Frequency  Percentage 
Basic competency  32  7.6% 
Moderate  218  52.0% 
competency 
High competency  170  40.5% 
Expert competency  0  0 
Total  420  100 
In concluding the findings, the means for all the competency levels for each respondent were calculated (Table 
4.4) to advance an overall ranking of their digital literacy competency level. The analysis (Table 5) revealed that 
40.5  of  the  respondents  are  in  the  high  competency  category,  while  52%  are  in  the  moderate  proficiency 
category,  and  7.6%  are  in  the  basic  competency  category.  None  of  the  respondents  fell  in  the  expert 
competency category.  
 
Based on the Table 4, according to the perception of students on their digital literacy competency, the overall 
level of digital literacy competency in the technical domain is high among technical students with a mean of 
above 3.00 for all 6 items. However, the mean for the cognitive and social‐emotional domains is considered 
moderate  overall.  Although  these  students  can  be  accorded  the  status  of  being  tech  savvy,  being  highly 
competent in using Web 2.0 technology, they still need to improve on certain digital literacy aspects in order 

 
 
542
 
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

to  successfully  apply  their  Web  2.0  technology  skills  for  learning  purposes.  A  few  of  these  aspects  include 
being able to evaluate the credibility of information sources or assist their peers effectively over the Internet. 
These are instances of the crucial aspects of digital literacy in the cognitive and social emotional domains that 
students need to grasp in order to be successful participants of e‐learning at higher education institutions. 
 
These  findings  indicate  three  aspects  of  digital  literacy,  namely  technical,  cognitive  and  social‐emotional 
competence,  are  needed  by  Malaysian  students  in  order  to  participate  actively  in  Web  2.0  constructivist 
learning activities. Digital literacy is not a purely technical competency, and should not be dissociated from the 
cognitive  and  social‐emotional  aspects  of  literacy  that  are  required  to  enhance  the  accomplishment  of 
students in their academic tasks as they engage with a multiplicity of multimedia and digital technologies to 
“process, interact and use information and communicate in fundamentally different ways than any previous 
generation” (Kingsley, 2010).  

6. Conclusion 
E‐learning  with  the  use  of  Web  2.0  technology  emphasizes  on  creating  a  community  of  scholars  among 
students  since  it  offers  an  assortment  of  tools  that  learners  can  mix  and  match  to  meet  their  individual 
learning style and get support from other participants (Rheingold, 2012) . Web 2.0 technology facilitates the 
individual  students  to  collaborate,  create,  and  share  content  with  other  students  (Lau,  2012).  Therefore,  e‐
learning has progressed from its initial purpose of just delivering course materials to students and focusing on 
one  way  knowledge  transfer  to  a  more  interactive,  student‐centred,  and  collaborative  form  of  knowledge 
transfer.  
 
In  general,  the  study has  ascertained  that Web 2.0  technology  is  already  in  the  hands  of  students, however 
further training and exposure is needed to ensure effective and productive use of ICT and Web 2.0 technology 
for  e‐learning  activities.  This  study  offers  an  insight  about  technical  students’  perceptions  of  their  digital 
literacy  competence;  majority  of  the  students  are  either  in  the  high  competence  or  moderate  competence 
category.  However,  there  is  still  space  for  improvement  in  the  cognitive  and  social  emotional  domains  of 
digital  literacy.  It  is  suggested  that  to  achieve  quality  learning  and  successful  integration  of  Web  2.0,  the 
following factors have to be taken into consideration (Conole and Alevizou, 2010):  
ƒ • Both instructors and students must support student‐centered educational approach.  
ƒ • A pedagogical approach must allow students to contribute to knowledge creation.  
ƒ • The approach must be well structured and understood by both instructors and students. The students 
must not be confused as to what is expected of them, and to what standard.  
ƒ • The processes and students output must be assessed as part of overall course assessment practices.  
In  conclusion,  the  deployment  of  Web  2.0  technology  for  e‐learning  in  higher  education  institutions  is  a 
positive  intervention  to  improve  the  learning  process  of  students.  Therefore,  any  new  effort  in  e‐learning 
implementation  must  try  to  accommodate  to  the  students’  differences  and  needs,  including  their  digital 
literacy  competency  level.  From  her  study,  Ng  (2012)  revealed  that  most  students  were  not  as  concerned 
about  the  technical  aspects  of  unfamiliar  technologies  compared  to  planning  and  preparing  content  and 
integrating  it  with  Web  2.0  to  create  artefacts.  Consequently,  the  process  of  finding  information  and 
multimedia materials to create learning artefacts is of the upmost importance. Digital literacy is an important 
factor  that  facilitates  students  to  improve  their  e‐learning  participation.  Research  in  current  literacy  needs 
should  not  view  digital  literacy  as  a  purely  technical  skill,  or  else  researchers  are  in  a  delusion  that  online 
activities  are  divorced  from  social  and  cultural  concerns  (Conole  and  Alevizou,  2010).  It  is  undeniable  that 
technical  skills  are  an  advantage  in  e‐learning;  nevertheless  this  research  clearly  shows  that  e‐learning  at 
higher  education  institutes  have  other  specific  digital  literacy  requirements  for  their  students,  like  the 
cognitive and social emotional domains, hence higher education institutions should incorporate digital literacy 
in their instruction to enhance their students’ digital literacy competence. 
Acknowledgements 
The authors would like to thank the Ministry of Higher Education (MOHE) for granting an Exploratory Research 
Grant Scheme (ERGS) to undertake the study for a period of two years (August 2012 ‐August 2014). 

543
  
Tenku Putri Norishah Tenku Shariman, Othman Talib and Nazerin Ibrahim 

References  
Banwell, L. and Gannon‐Leary, P. (2000) “JUBILEE: Monitoring User Information Behaviour in the Electronic Age”, OCLC 
Systems and Services, Vol 16 , No. 4, pp. 189 – 193. 
Bennett, S., Maton, K. and Kervin, L. (2008) “The ‘digital natives’ debate: A critical review of the evidence” , British Journal 
of Educational Technology, Vol 39, No. 5, pp. 775–786.  
Calvani, A., Cartelli, A., Fini, A., and Ranieri, M. (2008) “Models and instruments for assessing digital competence at 
school”, Journal of E‐learning and Knowledge Society, Vol 4, No.3, pp. 183‐193. 
Case, D.O. (2002) Looking for Information: A Survey of Research on Information Seeking, Needs and Behavior, Academic 
Press, California. 
Coiro, J., Knobel, M., Lankshear, C. and Leu, D. (Eds). (2008) Handbook of Research on New Literacies, Lawrence Erlbaum 
Associates, New York. 
Combes, B. (2007) “Techno Savvy or just Techno Oriented? How do the ‘Net Generation’ Search for Information?” , Paper 
read ASLAXX BiennialConference: Hearts on Fire, Sharing the Passion, Adelaide, Australia, December. 
Conole, G. and Alevizou, P. (2010) A literature review of the use of Web 2.0 tools in Higher Education. HEA Academy, York, 
UK. 
George, D. and Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference, 4th ed., Allyn & Bacon, 
Boston. 
Hair, J. E., Anderson, R. E., Tatham, R. L. and Black, W. C. (1998) Multivariate Data Analysis, 5th ed., Prentice‐Hall, New 
Jersey. 
Jones, C., Ramanau, R., Cross, S. and Healing, G. (2010) “Net generation or digital natives: is there a distinct generation 
entering university?”, Computer & Education, Vol 54, No.3, pp. 722 ‐732. 
Kingsley, K.V.(2010) “Technology‐Mediated Critical Literacy in K‐12 Contexts: Implications for 21st Century Teacher 
Education”, Journal of Literacy and Technology, Vol 11, No. 3, pp. 2‐39.  
Lankshear, C. and Knobel, M. (2003) New Literacies: Changing Knowledge and Classroom Practice. Open University Press, 
Buckingham, UK. 
Lau, Alwyn. (2012) “Web 2.0 as a Catalyst for Rethinking Teaching & Learning in Tertiary Education”, Paper read at ASCILITE 
2012, Wellington, New Zealand, November. 
Livingstone, S., Bober, M. and Helsper, E.J. (2005) “Active participation or just more information? Young people's take up of 
opportunities to act and interact on the internet”, Information, Communication & Society, Vol. 8, No. 3, pp. 287‐314. 
Martin, A. (2010) “Literacies for the Digital Age”, Digital literacies for learning. Facet, London. 
Mohd. Amin Embi. (2011) “E‐Learning in Malaysian Institutions of Higher Learning: Status, Trends and Challenges”, Keynote 
speech at International Lifelong Learning Conference (ICLLL 2011), Kuala Lumpur, November. 
Mohd. Hafiz, Zakaria, Watson, J. and Edwards, S.L. (2012) “The Adoption of e‐Learning 2.0 in Higher Education by Teachers 
and Students: An Investigation Using Mixed Methods Approach”, International Journal of e‐Education, e‐Business, e‐
Management and e‐Learning, Vol. 2, No. 2, pp. 108 ‐112. 
MOHE. (2011) e‐Learning in Malaysian Higher Education Institutions: Status, Trends, & Challenges, ed. Mohamed Amin 
Embi. MOHE Printing, Kuala Lumpur. 
Ng, W. (2012) “Can we teach digital natives digital literacy?”, Computers & Education, Vol. 59, No.3, pp. 1065– 1078. 
Passey, D. (2011) Pursuing digital literacy in compulsory education. Stergioulas, L. H.and Drenoyianni, H. (eds.). Peter Lang, 
New York, pp. 117‐137.  
Prensky, M. (2001) "Digital Natives, Digital Immigrants Part. 1", On the Horizon, Vol. 9, No. 5, pp. 1 – 6. 
Prensky, M. (2007) “How to teach with technology: Keeping both teachers and students comfortable in an era of 
exponential change”, Emerging Technologies for Learning, Vol. 2, pp. 40 – 46. 
Rheingold, Howard (2012) Net Smart: How to Thrive Online, MIT Press, Boston. 
Riedel, C. (2009) “The Evolution of education: Empowering learners to think, create, share, and do”, [online], 
http://thejournal.com/articles/2009/01/30/the‐evolution‐of‐education‐empowering‐learners‐to‐think‐create‐share‐
and‐do.aspx?sc_lang=en. 
Rodriguez, J. (2011) “Social media use in higher education: Key areas to consider for educators”, Journal of Online Learning 
and Teaching, Vol. 7, No.4, pp. 539‐550. [online], http://jolt.merlot.org/vol7no4/rodriguez_1211.htm 
Rowlands, I., Nicholas, D., Williams, P., Huntington, P., Fieldhouse, M., Gunter, B., Withey, R., Jamali, H.R., Dobrowolski, T., 
and Tenopir, C. (2008) "The Google generation: the information behaviour of the researcher of the future", Aslib 
Proceedings, Vol 60, No.4, pp.290 – 310. 
Voogt, J. and Pareja Roblin, N. (2012) “Teaching and learning in the 21st century. A comparative analysis of international 
frameworks,”  Journal of Curriculum Studies, Vol. 44, No.3, pp. 299 ‐ 321. 
Wheeler, S. (2012) “Digital literacies for engagement in emerging online cultures”, eLC Research Paper Series, No. 5, pp. 14‐
25. 
 

 
 
544
English Language Usage in SNS and Mobile Phones: A Bane or 
Boon? 
Saraswathy Thurairaj, Er Pek Hoon, Swagata Sinha Roy and Pok Wei Fong  
Universiti Tunku Abdul Rahman, Petaling Jaya, Malaysia 
tsaraswathy@utar.edu.my  
erph@utar.edu.my  
swagata@utar.edu.my  
pokwf@utar.edu.my 
 
Abstract:  The  unprecedented  growth  of  technology  in  all  areas  of  education  and  industry  has  greatly  impacted  the 
language learning environment, especially via social networking sites (SNSs). Furthermore, judging from the demographic 
details  of  account  holders,  younger  and  younger  people  are  getting  tech‐savvy  and  jumping  onto  the  social  media 
bandwagon. It is therefore interesting to study how learners use language to communicate. A review of literature shows 
that  several  factors  are  associated  with  language  learning  trends:  motivation,  learning  environment  and  imitation.  This 
paper presents a quantitative study conducted on 236 respondents from private universities in two states in Malaysia. The 
study  aims  to  assess  the  influence  of  the  language  used  in  SNSs  in  students’  everyday  language  usage,  taking  into 
consideration their various levels of English proficiency. The survey questions helped identify linguistic features such as the 
frequency  of  code  switching,  eccentric  spelling  and  leet,  which  expanded  the  research  base.  Amazingly,  although  typed 
communication is becoming ‘shorter’ through the use of acronyms and abbreviations, these young users are totally familiar 
with  the  graphic  symbols  and  other  abbreviations  used  in  such  typed  communication.  That  the  majority  of  respondents 
were  from  the  Chinese  ethnic  group  added  to  the  fact  that  mother  tongue  use  also  played  a  part  in  affecting  their 
proficiency  in  the  English  Language.  The  questionnaires  were  analyzed  via  the  descriptive  statistical  method.  The  data 
obtained showed the heavy usage of short messaging texts by almost all respondents who own a mobile device. The text 
discourses were then analyzed to authenticate research findings as well. In the final analysis, it was found that the constant 
and frequent use of short messaging did not profoundly affect the participants’ English language proficiency. Due to the 
requirements of the universities’ examination papers, it was found that participants consciously avoided language used on 
SNSs for their written examination papers. The explosion in SNSs has actually given rise to a generation of super‐fast finger‐
tapping youngsters who, more often than not, are creating their own meta language, which for this research is an exciting 
opportunity to explore the implications and far‐reaching consequences on their English language execution. This medium‐
scale  survey  was  conducted  at  two  major  locations  as  a  prelude  to  greater  mining  of  data  and  an  even  bigger  research 
opportunity.  In  Malaysia,  where  the  student  generation  is  lapping  up  SNSs  and  mobile  phone  apps  such  as  Whatsapp, 
Viber, Hangouts, Line, WeChat and Tango, this research is beneficial as a starting point for research on the ‘evolution’ of 
the English language in these areas and the extent to which the influence might foster or stunt proficiency in the language. 
This  can  potentially  also  facilitate  the  comparative  analysis  of  how  the  English  lingo  of  students  from  metropolitan  and 
cosmopolitan  or  rural  and  urban  areas  is  controlled  by  their  engagement  in  SNSs.  The  results  of  the  present  study  will 
definitely enrich the corpus of work conducted on the influence of language of social media and encourage further detailed 
research in this area. 
 
Keywords: language usage, linguistic features, mobile phone, and social networking sites 

1. Introduction 
English  is  the  lingua  franca  used  extensively  in  inter‐national  dialogues,  making  the  knowledge  of  English  a 
basic requirement; however, Malaysians seem to have a poor command of the language, with improper use of 
the  language  found  in  daily  conversation.  The  shortcut  lingo  spawned  on  instant  messaging  is  drastically 
deteriorating  students’  vocabulary.  Many  learn  the  language  by  observing  and  imitating  what  is  spoken  and 
written to them. For example, one linguistic feature that evolves out of this shortcut lingo is “leet”.The term 
“leet”  is  derived  from  the  word elite.  Leet is  also  known  as leet or leet  speak.Basically,  it  is  an  alternative 
alphabet for the English language that is mostly used on internet and chatrooms.For example, the leet spelling 
of  the  word  “leet”  is  1337 and l33t.  Hence,  the  leet  alphabet  is  a  specialized  form 
of symbolic writing. Manglish, or ‘mangled English’ which is also frequently used, is a concoction of Malaysian 
English words, or words which are interchangeably used from the Malay, Chinese and Tamil languages. 
 
With  the  growth  of  the  usage  of  shortcut  lingo,  users  cannot  differentiate  between  formal  and  informal 
language  and  are  inclined  to  use  improper  formats  and  sentences  that  stifle  Standard  English.  This 
phenomenon has given rise to Internet slang. This raises the question of its effect on students. For students 
who lack English proficiency, will the use of such slang further deteriorate their English? Or will it affect the 

545
 
Saraswathy Thurairaj et al. 

proficiency level of those already proficient in the language? Students are unable to recognize improper and 
ungrammatical  language  usage  in  these  mediums,  which  can  in  turn  ultimately  affect  their  career  in  the 
corporate  world.  Students  also  have  problems  communicating  in  proper  English  when  they  communicate 
orally or in writing with people, especially with workplace management. The main factors contributing to this 
problem is the cost of receiving good language education and the intrinsic feeling of inferiority of a non‐native 
speaker when conversing with a native speaker. 
 
Mobile  phone  users  can  communicate  with  others  by  using  symbols  or  abbreviated  forms  of  words  and 
sentences in order to save space, time and money (Mphahlele & Mashamaite, 2005). Similar observations can 
be seen regarding the communication‐style of social networking users. The present study aims to investigate 
how Internet slang used on SNSs and mobile phones differ from Standard English and the reasons for Internet 
slang  usage  on  these  social  platforms.  This  research  objective  is  to  investigate  the  variables  that  influence 
English proficiency among the students in Universiti Tunku Abdul Rahman (UTAR). The objectives of the study 
are as follows: 
ƒ To determine the association between language preference and English proficiency 
ƒ To examine how abbreviations and short forms relate to English proficiency; and 
ƒ To investigate the relationship between the usage of SNSs and English proficiency. 

Language preference

H1

Abbreviations and English

short forms proficiency
H2

Usage of SNS
H3
 

Figure 1 Research framework 
Figure 1 shows the relations among the independent and dependent variables. The independent variables are 
language preference, abbreviations and short forms as well as usage of SNS; however, the dependent variable 
is English proficiency of the respondents. Based on this, our hypotheses are: 
Hypothesis 1: There is a relationship between language preference and English proficiency. 
Hypothesis  2:  There  is  a  relationship  between  abbreviations  and  short  forms  and  English 
proficiency 
Hypothesis 3: There is a relationship between usage of social networking sites (SNS) and English 
proficiency. 
This area still remains somewhat under‐researched, particularly in the Malaysian context.This study hopes to 
enrich the knowledge on the study of language usage on SNSs and to motivate other researchers to conduct 
further studies in this area. 

2. Literature review 
Language and communication play a crucial role in information sharing, specifically on the use of information 
technology  in  education.  Tools  and  platforms  such  as  Facebook  enhance  communication  and  human 
interaction  and  can  potentially  be  harnessed  for  language  learning.The  number  of  SNS  users  has  increased 
tremendously over the past five years, especially among teenagers. Many users have created Internet slang to 
communicate and express their thoughts on SNSs and mobile networks.Various researches have shown that 
Facebook impacts all levels of academia and academic settings. In opening up new worlds of learning for both 
teachers  and  students,  Facebook  has  been  found  to  have  the  potential  for  use  in  educational  applications. 
Roblyer  et  al.  (2010)  found  that  Facebook  can  also  become  a  valuable  resource  to  support  students’ 
educational communication and collaboration with faculty, providing a different model of how online tools can 

546
 
Saraswathy Thurairaj et al. 

be utilized in educational contexts. Meanwhile, Cummings (2011) describes how social media impacts higher 
education  through  five  (5)  interconnected  ‘‘literacies’’–attention,  participation,  collaboration,  network 
awareness and critical consumption.  
 
Grosseck (2008) and Muñoz (2009) have found that SNSs like Facebook and Twitter enable students to share 
information (e.g., when a Facebook ‘Group Page’ is created for a class or course subject), to learn about their 
classmates,  to  communicate  with  their  classmates  and  professors,  and  to  post  and  discuss  relevant  class 
information.  In  Twitter,  a  message  is  linked  to  a  course  or  class  blog  that  offers  students  opportunities  to 
discuss various kinds of asynchronous online discourse. Kabilan et al. (2010) found that the students believed 
Facebook  could  be  utilized  as  an  online  environment  to  facilitate  the  learning  of  English  since  it  led  to 
improvement  of  language  skills,  confidence,  motivation  to  communicate  in  English  and  a  positive  attitude 
towards learning English as a second language. The research found that only 8.1% of students disagreed that 
Facebook can be an effective online environment to facilitate their practice of writing in English. In terms of 
reading practice in English, 7.5% of the students claimed that Facebook is not a suitable environment.Hence, 
Kabilan (2010) concluded that language instructors need to integrate Facebook as an educational project with 
pre‐determined learning objectives and outcomes in order for the learning experience to be meaningful. 
 
As professed by Aydin (2012), studies on the educational benefits of social networking focus on specific areas 
such  as  social  learning,  e‐learning,  environmental  learning,  business,  art,  and  chemistry  education.  Social 
networking can be utilized as a social learning resource and space for new literacy practices. Creating a well‐
crafted  social  learning  platform  would  most  likely  require  a  deeply  collaborative  effort  among  technology 
experts, educators, social learning theorists, psychologists, sociologists and students. Md Yunus et al. (2012) 
investigated the advantages and disadvantages of integrating social networking tools into the ESL (English as a 
Second Language) writing classroom and discussed ways to plan related activities. Data collected through an 
online  discussion  board  from  TESL  students  in  a  state  university  in  Malaysia  revealed  that  integrating  social 
networking services in ESL writing classrooms can broaden students’ knowledge, increase their motivation and 
build confidence in learning ESL writing. The main hurdles inintegrating social networking tools into ESL writing 
classes were students’ difficulty in concentrating on the materials when using computers, lacking equipment, 
lacking access to the Internet, and having insufficient time for facilitators to interact with the students.  
 
Internet slang and short message services have been shown to have an impact on the English language. It was 
estimated that 90% of schoolchildren owned a mobile phone, and 96% used text messaging. This shows that 
young people are active ‘texters’ (Plester et al., 2008). Internet slang was invented for the purpose of saving 
keystrokes.  As  typing  is  much  slower  than  speaking,  in  order  to  counter  this  problem,  people  started 
shortening words and creating new words. As for the impact of texting on English proficiency, Craig (2003) and 
David  (2008)  similarly  concluded  that  texting  through  SNSs  in  some  ways  improves  students’  literacy  as  it 
provides more opportunities to engage with the language. Craig (2003) found that it also threatens students’ 
literacy  because  it  creates  undesirable  reading  and  writing  habits  due  to  common  use  of  abbreviations  and 
unusual jargon, thereby damaging students’ ability to employ formal literacy skills. Text messaging is deemed 
to be detrimental to students’ language proficiency since students mix this “text language” with the standard 
language  they  learn  at  school.  Consequently,  students  displayed  numerous  errors  ranging  from  incorrect 
spellings to “ungrammatical” sentence constructions (Mphahlele &Mashamaite, 2005). 
 
Drouin  (2011)  examined  the  frequency  of  text  messaging,  use  of  ‘‘textese’’  and  literacy  skills  (e.g.,  reading 
accuracy,  spelling  and  reading  fluency)  in  a  sample  of  college  students  in  America.  Co‐relational  analyses 
revealed  significant  positive  relationships  between  text  messaging  frequency  and  literacy  skills  (spelling  and 
reading fluency) but significant, negative relationships between textese usage in certain contexts (e.g. emails 
to  professors)  and  literacy  (reading  accuracy).Those  reportedly  using  more  textese  on  SNSs  and  those  using 
more textese in emails to professors had significantly lower reading accuracy scores. Regarding writing skills, 
Drouin  (2011)  also  discussed  the  new  shift  of  writing  instruction  and  pedagogy  that  uses  social  networking 
tools  in  order  to  gain  students’  interest  in  learning  language.Research‐based  best  practices  and  a  sample 
writing assignment were presented to illustrate a new model of composing in an online environment that is 
encouraging  to  teenagers.  Given  that  teenagers  did  not  appear  to  recognize  their  out‐of‐school  writing  as 
‘‘real’’ writing, Drouin (2011) emphasizes that one should be equipped with a variety of mentoring strategies 
and knowledge of different communication modes, which includes social networking and media platforms like 
Facebook. 

547
 
Saraswathy Thurairaj et al. 

Computer‐assisted language learning has been shown to have its disadvantages. Cummings (2011) states that 
computer‐assisted  language  learning  will  never  be  able  to  substitute  for  teachers  because  there  could  be 
issues  of  control  in  administrating  relevant  exercises  in  language  teaching  and  learning.  Nevertheless,  the 
researchers  conceded  that  they  offer  new  opportunities  for  better  language  practice  and  may  significantly 
reform  a  country's  educational  system.  Mphahlele  and  Mashamaite  (2005)  suggest  that  applications  of 
expression tools such as blogs, MySpace, Facebook and Bebo into language learning contexts require further 
investigation by the computer‐assisted language learning community. The use of SNSs in educational contexts 
has not been sufficiently explored despite the prevalence of social networks around the world (Roblyer et al., 
2010). Research should investigate the various uses of Facebook within educational contexts. Kabilan (2010) 
suggests  that  future  research  focus  on  the  meaningfulness  of  Facebook  to  students  '  language  learning 
experiences.  

3. Methods 
There were 236 students from a private university in Malaysia who participated in this study.The respondents 
ere  selected  based  on  convenience  sampling  method.The  responses  were  obtained  from  June  2013  to 
February  2014.  The  questionnaire  was  designed  based  on  various  question  types  such  as  multiple  choice 
questions (MCQ), open‐ended questions, yes/no questions, Likert scale questions (ranging from strongly agree 
to strongly disagree), ranking questions (1being the best/most preferred to 5 being the worst/least preferred), 
and  frequency  questions  (frequently,  occasionally  and  never).The  respondents  answered  questions  on  what 
influences  their  English  proficiency  via  SNSs  and  mobile  phones.  Respondents  had  to  answer  all  the 
questions.However,  only  the  following  questions  were  analyzed  in  this  study,  and  were  grouped  into  three 
independent  variables  based  on  the  objectives  of  this  study.The  full  questionnaire  will  be  provided  upon 
request. 
 
a. The association between language preference and English proficiency. 
Q8.   What language do you prefer to use when you are communicating with your friends at university via 
the SNSs as listed (in the questionnaire)? 
Q18.  Do you use only one language communicating with your friends via SNSs and mobile phone in each 
conversation? 
b. The association between abbreviations and short form and English proficiency 
Q12.  Do  you  use  proper  abbreviations  or  short  forms  when  communicating  with  your  friends  in  UTAR 
through SNSs? 
Q13.   Why  do  you  think  UTAR  students  use  linguistic  features  or  abbreviations  and  short  forms  in  these 
three mediums? 
Q25.   If you use any of the Internet slang below, how frequently do you use it on SNSs? 
Q30.   Using  linguistic  features  such  as  improper  grammar,  abbreviations  and  code‐switching  to 
communicate with your friends will have a negative impact. What do you think about this statement? 
c. The association between the usage of SNSs and English proficiency. 
Q11.  As a student, which do you think is the best media to learn English from? 
Q14.   Do you agree that Facebook, Twitter and mobile phones can enhance your language skills? 
Q17.   Rank the following elements in terms of your preference as the language you use in Facebook, Twitter 
and mobile phone. 
 
The respondents were required to indicate perceptions of their own and friends’ English proficiency: 
Q16.  How do you rate the language your friends use when communicate with you via social network and 
mobile phone? 
Q26.  How would you rate your English proficiency? 
4. Findings and discussion 

4.1 Descriptive statistics 
Table  1  provides  a  summary  of  demographic  information  for  all  respondents,  including  gender,  age,  region, 
education level, owning a mobile phone, and availability of short‐message service (SMS). 
 
Table  1  shows  that  from  the  total  236  respondents,  103  were  male  (43.6%)  and  the  remaining  133  were 
female (56.4%). Female respondents were 12.8% more than male respondents. Additionally, the table showed 

548
 
Saraswathy Thurairaj et al. 

that 99.2% of respondents fall under the category of 15‐24 years old; however, people within the age of 25‐34 
years  were  relatively  low  (i.e.,  only  0.8%).  Among  the  respondents,  68.6%  were  from  the  central  region 
(Selangor) followed by 17.4%, 9.3%, 2.5% and 2.1% from the northern (Perlis, Kedah, Penang, Perak), southern 
(Negeri Sembilan, Malacca, Johor), east coast (Kelantan, Terengganu, Pahang) and west coast regions (Sabah, 
Sarawak) respectively. Among the 236 respondents who owned a mobile phone, 99.2% used the SMS function. 
Only 0.8% of all respondents did not use it. 
Table 1: Respondents’ profile 
Characteristic  Frequency  Percent (%)  Cumulative percent (%) 
Gender       
Male  103  43.6  43.6 
Female  133  56.4  100.0 
Age       
15‐24 years  234  99.2  99.2 
25‐34 years  2  0.8  100.0 
Region       
Northern Region  41  17.4  17.4 
Central Region  162  68.6  86.0 
Southern Region  22  9.3  95.3 
East Coast Region  6  2.5  97.9 
West Coast Region  5  2.1  100.0 
Mobile Phone       
Yes  236  100.0  100.0 
No  0  0  0 
Short‐message service (SMS)       
Yes  234  99.2  99.2 
No  2  0.8  100.0 
 

 
Figure 1: How often do you use these social networking sites? 
Time spent on SNS: 89.8% of respondents logged into the SNSs daily. Only 1.7% of them logged in less than 
twice a week. 
 
The  most  preferred  social  networking  sites:  The  most  preferred  sites  were  Facebook,  Google+  and  Twitter 
which  were  99.2%,  36.4%  and  24.2%  respectively  from  236  respondents.  MySpace  and  LinkedIn  were  the 
least‐used SNSs among the respondents. 

549
 
Saraswathy Thurairaj et al. 

100% 0.85
80%
63.56 75.85
60%
99.15 92.37 96.61 98.31 98.73 100.00
40% No
20% 36.44 24.15 Yes
0% 7.63 3.39 1.69 1.27 0.00

 
Figure 2: Do you use any of the following social networking sites? 

4.2 Inferential statistics 
Table 2: The association between language preference and English proficiency 
Panel A: How do you rate the language of your friends when they communicate with you via social network and 
mobile phone? 
Very 
  Good  Good  Average  Poor  Very Poor  Chi‐square  p 
Q8  English  1.4%  27.2%  64.6%  5.4%  1.4%  5.417  0.712 
Chinese    19.3%  76.1%  4.5%       
Others      100.0%         
Q18  Yes  1.7%  12.1%  81.0%  5.2%    7.594  0.108 
No  .6%  28.1%  65.2%  5.1%  1.1%     
                 
Panel B: How would you rate your English proficiency? 
Q8  English  3.4%  21.1%  62.6%  10.2%  2.7%  14.218*  0.076 
Chinese    9.1%  68.2%  21.6%  1.1%     
Others      100.0%         
Q18  Yes  3.4%  13.8%  75.9%  5.2%  1.7%  7.041  0.134 
No  1.7%  17.4%  61.2%  17.4%  2.2%     
*Significant at   
 
Table 2 illustrates the chi‐square test results for the first objective.The chi‐square tests in the Panel A suggest 
that  perceived  English  proficiency  of  friends  does  not  significantly  associate  with  language  preference 
(  and number of language ( .However, the self‐perception of 
English  proficiency  is  significantly  associated  with  language  preference  ( .Among 
those  who  prefer  to  use  English  when  communicating  with  friends  using  social  networking  sites  indicated 
higher level of confidence on their English proficiency, where 3.4% respondents perceived they are very good 
and 21.1% are good. 
Table 3a: The association between abbreviations and short form and English proficiency 
Panel A: Q16. How do you rate the language of your friends when they communicate with you via social 
network and mobile phone? 
Very  Very 
  Good  Good  Average  Poor  Poor  Chi‐square  p 
Q12  Yes  1.0%  23.2%  70.0%  4.8%  1.0%  1.657  0.799 
No    31.0%  62.1%  6.9%       
Q13a  Yes  .5%  24.4%  69.8%  5.4%    15.994***  0.003 
No  3.2%  22.6%  64.5%  3.2%  6.5%     
Q13b  Yes  1.1%  27.4%  68.4%  3.2%    3.278  0.215 
No  .7%  22.0%  69.5%  6.4%  1.4%     

550
 
Saraswathy Thurairaj et al. 

Panel A: Q16. How do you rate the language of your friends when they communicate with you via social 
network and mobile phone? 
Very  Very 
  Good  Good  Average  Poor  Poor  Chi‐square  p 
Q13c  Yes  1.4%  30.6%  65.3%  1.4%  1.4%  5.474  2.242 
No  .6%  21.3%  70.7%  6.7%  .6%     
Q13d  Yes    39.5%  57.9%  2.6%    6.524  0.163 
No  1.0%  21.2%  71.2%  5.6%  1.0%     
Q30a  Yes  .7%  26.6%  66.4%  4.9%  1.4%  2.665  0.615 
No  1.1%  20.4%  73.1%  5.4%       
Q30b  Yes  1.5%  16.8%  74.5%  6.6%  .7%  11.618**  0.020 
No    34.3%  61.6%  3.0%  1.0%     
Q30c  Yes    28.9%  65.8%  3.9%  1.3%  2.767  0.598 
No  1.3%  21.9%  70.6%  5.6%  .6%     
Q30d  Yes  1.8%  30.6%  61.3%  5.4%  .9%  7.792*  0.099 
No    18.4%  76.0%  4.8%  .8%     
                 
Panel B: Q26 How would you rate your English proficiency? 
Q12  Yes  1.4%  15.5%  66.7%  14.0%  2.4%  6.483  0.166 
No  6.9%  24.1%  51.7%  17.2%       
Q13a  Yes  2.4%  15.6%  65.9%  14.6%  1.5%  5.018  0.285 
No    22.6%  58.1%  12.9%  6.5%     
Q13b  Yes  2.1%  16.8%  61.1%  16.8%  3.2%  1.825  0.768 
No  2.1%  16.3%  67.4%  12.8%  1.4%     
Q13c  Yes  6.9%  23.6%  58.3%  6.9%  4.2%  21.267***  0.000 
No    13.4%  67.7%  17.7%  1.2%     
Q13d  Yes    18.4%  65.8%  13.2%  2.6%  1.17  0.883 
No  2.5%  16.2%  64.6%  14.6%  2.0%     
Q30a  Yes  2.1%  22.4%  59.4%  14.7%  1.4%  10.055**  0.040 
No  2.2%  7.5%  73.1%  14.0%  3.2%     
Q30b  Yes  1.5%  12.4%  68.6%  16.1%  1.5%  6.026  0.197 
No  3.0%  22.2%  59.6%  12.1%  3.0%     
Q30c  Yes  2.6%  23.7%  60.5%  13.2%    6.432  0.169 
No  1.9%  13.1%  66.9%  15.0%  3.1%     
Q30d  Yes  .9%  18.0%  64.0%  15.3%  1.8%  1.993  0.737 
No  3.2%  15.2%  65.6%  13.6%  2.4%     
*Significant at  ; **Significant at  ;***Significant at   
Table 3b: The association between abbreviations and short form and English proficiency 
  Q16    Q26 
Correlation  Correlation 
  coefficient  P‐value    coefficient  P‐value 
Leet  ‐.154**  .018    ‐.006  .932 
New jargons  ‐.030  .649    .096  .143 
Unusual jargons  ‐.100  .125    .014  .836 
Acronyms  ‐.096  .143    ‐.141**  .031 
Shortening of words  ‐.130**  .046    .023  .723 
Code switching  ‐.028  .668    ‐.081  .217 
Misspelling  ‐.152**  .020    ‐.125*  .055 
Letter homophone  ‐.074  .257    ‐.158**  .015 
Letter‐number combinations  ‐.018  .788    ‐.007  .909 
Onomatopoeia  .063  .335    ‐.064  .325 
Malaysian English  .052  .429    .023  .727 
Repetition  .060  .356    ‐.137**  .035 
Capital letter  .090  .169    .042  .518 
Eccentric spelling  .052  .428    .080  .223 

551
 
Saraswathy Thurairaj et al. 

*Significant at  ; **Significant at  ;***Significant at   

 
Table 3a summarizes the chi‐square tests and Table 3b summarizes the spearman correlation coefficients to 
examine the second objective. The results in the Panel A of Table 3a shows that the perceived friends’ English 
proficiency  (Q12)  is  not  associated  with  proper  use  of  abbreviations  or  short  forms 
( .As for the reasons for the students using linguistic features in these three medium, 
the English proficiency is significantly associated with saving typing time (Q13a).Only 0.5% among those who 
use  linguistics  features  for  time  saving  purpose  rated  their  English  proficiency  as  very  good,  as  opposed  to 
6.5%  those  who  do  not  think  that  linguistics  features  are  time  saving  rated  their  English  proficiency  as  very 
poor.  16.8%  among  the  respondents  who  agree  that  using  linguistic  features  such  as  improper  grammar, 
abbreviations and code switching will have negative impact due to the fact that they did not realize that in fact 
the  grammar  is  not  presented  in  a  proper  way  (Q30b)  rated  their  friends  having  good  English  proficiency.In 
contrary,  34.8%  among  those  do  not  think  there  is  negative  impact  of  using  those  linguistics  features  rated 
that their friends have good English proficiency (( .30.6% respondents among those 
agree that the abbreviations are based on own personal patterns thus sometimes it leads to misunderstanding 
of a world or term by one another (Q30d), rated their friends as having good English proficiency; while 18.4% 
among those who disagreed rated their friends as having good English proficiency. 
 
The Panel B of Table 3a relates the use of short forms and abbreviations to self‐rated English proficiency.The 
self‐perceived English proficiency is significant when associated with the reason of using linguistics features to 
amplify  and  emphasize  a  point  ( .  Among  those  who  agree  that  practice 
becomes a habit and affects the use of the English language in many areas as well as in the corporate world, 
22.4% respondents rated themselves as having good English proficiency as opposed to 7.5% among those did 
not agree ( . 
 
Table  3b  depicts  the  correlation  coefficients  between  the  frequency  of  internet  slang  usage  and  English 
proficiency of their friends (Q16) and themselves (Q26).The usage of leet ( , shortening 
of  words  ( ,  and  misspelling  (   are  significantly  negatively 
related  to  their  friends’  English  proficiency.Meanwhile,  the  use  of  acronyms  ( , 
misspelling ( , and repetition (  are negatively related to their 
own self‐rated English proficiency. 
Table 4: The association between usage of SNSs and English proficiency 
  C16    D26 
Correlation  Correlation 
  Coefficient  p‐value    Coefficient  p‐value 
Q11. Newspaper  ‐.064  .329    ‐.008  .908 
Q11. Magazine  ‐.086  .191    .010  .874 
*
Q11. Television programme  ‐.125   .055    .061  .348 
***
Q11. Social networking sites  .240   .000    ‐.011  .861 
Q11. Radio  .088  .177    ‐.002  .979 
Q11. Materials Provided in school  ‐.071  .279    ‐.010  .879 
***
Q14  .305   .000    .017  .793 
Q17. Style/trend  ‐.079  .229    .034  .604 
* **
Q17. Grammar  .122   .062    .168   .010 
**
Q17. Code Switching  ‐.057  .380    ‐.146   .024 
Q17. Smileys  ‐.076  .248    ‐.069  .293 
*
Q17. Spelling  .114   .081    ‐.025  .703 

*Significant at  ; **Significant at  ;***Significant at   

 
Table 4 summarizes the Spearman correlation coefficient to examine the third objective.The first two columns 
illustrate  the  findings  of  the  respondents’  rating  of  their  friends’  English  proficiency.The  respondents’ 
perception  on  the  best  media,  specifically  television  program  (   is  negatively 
related  to  their  friends’  English  proficiency.However,  their  perception  on  social  networking  sites 
( ,  are  positively  related  to  how  they  perceived  their  friends’  English  proficiency. 

552
 
Saraswathy Thurairaj et al. 

This  conclusion  is  further  confirmed  by  the  finding  on  Q14.The  extent  to  which  the  respondents  agree  that 
Facebook, Twitter and mobile phones can enhance their language is positively correlated with their perception 
of their friends’ English proficiency.The more the respondents prioritize grammar ( , and 
spelling ( , the better the respondents rate their friends’ English proficiency. 
 
The  last  two  columns  of  Table  4  report  the  finding  on  their  self‐rated  English  proficiency.The  priority  on 
grammar  is  positively  related  to  self‐rated  English  proficiency  ( ,  while  the  priority  on 
code switching is negatively related to self‐rated English proficiency (  

5. Conclusion 
The results show that most respondents set their own preferred language as a default language in SNS. The 
Chinese language is the most common and preferred among the respondents. This is causing less contact with 
English,  making  it  worse  for  those  who  read  and  speak  English  on  a  daily  basis.  This  negatively  impacts  the 
respondents’ proficiency in the English language. However, the usage of abbreviation and short forms does not 
affect English proficiency. This is because the respondents tend to be aware of the examination requirements, 
the non‐compliance of which would affect their scores. According to Thurairaj et.al. (2012) the users are able 
to switch their minds and apply different sets of words to cater to their purpose and to the occasion. Therefore 
in  formal  writing,  students  consciously  avoid  using  short  forms,  which  does  not  affect  their  English 
proficiency.The usage of SNSs such as Face book, Twitter and mobile phones enhances English proficiency as 
these  SNSs  can  be  accessed  worldwide  and  thus  allow  people  all  over  the  world  to  post  and  share  their 
thoughts, feelings, news and articles. Since these are mostly penned in English, users tend to learn English by 
default, through SNS. 

Acknowledgements 
The researchers would like to extend their gratitude to the respondents who have made this project possible. 
This project is funded by Universiti Tunku Abdul Rahman Research Fund (UTARRF) and for this, the researchers 
are grateful for all financial assistance and support from UTAR. 

References 
Abdul Kadir, Z. & Zubir, Z. (2012). Code‐switching in E‐distance learning education. Paper presented at the International 
Conference on Humanity, History & Society. IPEDR. Vol 34. Singapore: IACSIT Press. 
Abu Bakar, H. (2009). Code‐switching in Kuala Lumpur Malay. Explorations, 9. Retrieved from 
http://scholarspace.manoa.hawaii.edu/bitstream/10125/10712/1/UHM.Explorations.2009.v9.AbuBakr.Rojak.pdf 
Appel, R., &Muysken, P. (2006). Language contact and bilingualism. Amsterdam: Amsterdam University Press. 
Auer, P. (2002). Code‐switching in conversation: Language, interaction and identity. New York, NY: Routledge. 
Aydin, S. (2012). A review of research on Facebook as an educational environment. Education Tech Research Development. 
DOI 10.1007/s11423‐012‐9260‐7. 
Cárdenas‐Claros, M.S., & Isharyanti, N. (2009). Code‐switching and code‐mixing in Internet chatting: Between 'yes,' 'ya,' 
and 'si' ‐ a case study. The JALT CALL Journal, 5. Retrieved from 
http://jaltcall.org/journal/articles/5_3_Cardenas_Abstract.html 
Craig, D. (2003). Instant messaging: The language of youth literacy. The Boothe Prize Essays 2003, 118‐119. 
Cummings, A.B. (2011). An experience with language. ProQuest Dissertations & Theses: Literature & Language, 10. 
Dansieh, S.A. (2008). SMS testing and its potential impacts on students' written. International Journal of English Lingustics, 
223(1), 222‐229. 
Drouin, M.A. (2011). College students’ text messaging, use of textese and literacy skills. Journal of Computer Assisted 
Learning, 27, 67‐75. 
Eller, L.L. (2005). Instant message communication and its Impact upon written language. ProQuest Dissertations & Theses: 
Literature & Language, 13‐16. 
Farina, F. & Liddy, F. (2011). The language of text messaging: “Linguistic ruin” or resources?. The Irish Psychologist. 37(6), 
144‐149. 
Felix, D. (2003). Important of study of English language in globalization era. Retrieved August 1, 2012, from 
http://english.ezinemark.com/important‐of‐study‐of‐english‐language‐in‐globalization‐era.‐31f1ec50b22.html 
Grosseck, G. & Holotescu, C. (2008). Can we use Twitter for educational activities? Paper presented at the 4th International 
Scientific Conference, April 17‐18, Bucharest 
Kabilan, M.K., Ahmad, N. & Zainol Abidin, M.J. (2010). Facebook: An online environment for learning of English in 
institutions of higher education? Internet and Higher Education, 13, 179‐187. 
Md Yunus, M., Salehi, H. & Chen, C. (2012). Integrating social networking tools into ESL writing classroom ‐ Strengths and 
weaknesses. English Language Teaching. Vol. 5, No. 8.  

553
 
Saraswathy Thurairaj et al. 

Mphahlele M.L. & Mashamaite, K. (2005). The impact of short message service (sms) language on language proficiency of 
learners and the sms dictionaries: A challenge for educators and lexicographers. Proceedings of the IADIS 
International Conference Mobile Learning 2005, 161. 
Muñoz, C.L. & Towner, T.L. (2009). Opening facebook: How to use facebook in the college classroom. Paper presented at 
the Society for Information Technology and Teacher Education Conference 2009, Charleston, South Carolina. 
Plester, B., Wood, C. & Bell, V. (2008). Txt msg n school literacy: Does texting and knowledge of text abbreviations 
adversely affect children's literacy attainment? Literacy. 42(3), 137‐144. 
Roblyer, M.D., McDaniel, M., Webb, M., Herman, J. and Witty, J.V. (2010) “Findings on Facebook in higher education: A 
comparison of college faculty and student uses and perceptions of social networking sites”. Internet and Higher 
Education.Vol. 13, pp. 134‐140. 
Tagg, C. (2009). A corpus linguistics study of SMS text messaging. University of Birmingham Research Archive. Retrieved 
July 30, 2012, from http://etheses.bham.ac.uk/253/1/Tagg09PhD.pdf 
Thurairaj, S., Roy, S.S. & Subramaniam, K. (2012). Facebook and Twitter: A platform to engage in a positive learning. 
Proceedings of the International Conference on Application of Information and Communication Technology and 
Statistics in Economy and Education 2012, 157. 
Thurlow, C. (2002). “Generation TXT? The socio‐linguistics of young people’s text messaging” pp. 1‐3. Retrieved July 18, 
2007, from http//extra.Shu.ac.uk/articles/vi/a3/thurlow 2002003‐paper.html 

554
Students’ Learning Preferences and Patterns of Media and 
Information Technology Usage in Higher Education Institution 
Florica Tomos¹, Michael Grosch², Oana Cristina Balan³, Andre Clark¹, Haydn Blackey¹, David 
Turner¹ and Edgar Bennett¹ 
¹University of South Wales, UK 
²Karlsruher Institute for Technology, Germany 
³Cardiff University, Wales, UK 
florica.tomos@southwales.ac.uk 
Michael.grosch@kit.edu 
oc.balan@live.com 
Haydn.blackey@southwales.ac.uk 
Andre.Clark@southwales.ac.uk 
David.turner@southwales.ac.uk 
Bennnett_edgar@yahoo.com 
 
Abstract: Within the context of technological change and globalisation, virtual universities are facing two challenges: the 
demand of designing educational technologies and the willingness to accept the trend in students’ learning preferences for 
new emerging technologies.Furthermore, the expansion of websites era, which comprises the development of web 2.0 and 
web 3.0, enables a shift from users’ participation to users’ collaboration. Therefore, virtual universities need to consider 
not only students’ learning outcomes but also their preferences and satisfaction with emerging technologies, in the context 
of  the  web  era.  This  paper  will  explore  the  learning  behaviour,  the  frequency  of  technology  usage  for  studies  and  the 
satisfaction  with  the  use  of  media  and  information  technologies.  In  order  to  investigate  this,  a  representative  empirical 
survey was conducted in a HEI in Wales, using a structured questionnaire with 143 questions. A non probability sample of 
students  was  asked  questions  regarding  media,  technology  use  for  learning  as  well  as  students’  preferences  and 
satisfaction with technology. Statistical analysis of the data will include analysis of variances and means values, as well as 
ranking the media services. The preliminary results showed that Facebook, Google and instant messenger were the most 
used  by  students.  The  findings  will  help  to  improve  the  understanding  of  media  and  information  usage  patterns  by 
students. The results of the survey will support previous research on new emerging technologies.Additionally, as part of an 
international research project conducted throughout Europe and Asia, this paper will help the validation of a theoretical 
model on media acceptance. 
 
Keywords: virtual university, media technology, media acceptance, students’ learning preferences 

1. Introduction 
The  aim  of  this  study  is  to  investigate  students’  learning  preferences  and  patterns  of  media  technology  and 
information usage in Higher Education Institution (HEI) and to further previous research in this field (Grosch, 
2011; Grosch and Philips, 2012; Tomos et al., 2012; Tomos et al., 2013).The target audience for this research is 
made  of  educators,  HEIs,  lecturers,  researchers  and  policy  makers.The  objectives  of  the  research  are  as 
follows: 
ƒ To find out students’ learning behaviour, preferences and patterns of media technology and information 
usage in HEI; 
ƒ To discover trends in students’ learning preferences for new emerging technologies; 
ƒ To help the validation of a theoretical model on media acceptance, the Media Acceptance Model (MAM). 
As the world is facing a technological revolution, Barassi and Treré (2012) acknowledge that the websites era is 
part of this global event.According to Barassi and Treré (2012) besides the increase in social networking and 
global communication technologies, the new era of web 3.0 will be characterised by collaboration between the 
users.Therefore,  an  emphasis  has  to  be  placed  upon  the  academic  research  into  students’  preferences  and 
patterns of media technology and information usage in HEI.This study will undertake a research into a HEI in 
order  to  discover  trends  in  students’  learning  behaviour  and  their  preferences  for  new  media 
technologies.Additionally,the research will support and help the validation of the theory model ‘Information 
Systems Acceptance’ (Grosch, 2011) and will evaluate the contextual role for students’ learning behaviour and 
preferences  for  new  emerging  technologies.The  content  of  this  study  will  consist  of  five  sections.The  first 
section will provide an overview.The second section will introduce the virtual university, as the main creator of 

555
 
Florica Tomos et al. 

knowledge  and  the  main  trends  in  students’  learning  behaviour  and  learning  preferences  for  new  emerging 
technologies.These  subsections  will  be  followed  by  a  perspective  on  the  paradigm  shift  from  users’ 
participation  to  users’  collaboration  and  the  theory  model  called  Information  Systems  Acceptance.  Section 
three  of  this  academic  research  paper  will  describe  the  research  methodology  employed  within  the  study. 
Section four will present the findings and data analysis. Finally, section five will formulate the conclusions and 
recommendations, as well as the contributions to knowledge and the limitations of this study. 

2. Virtual university 
According to Cornford and Pollock (2003), in the last decade there were both an increasing demand for higher 
education and a crisis within the higher educational system.Consequently, researchers (Cornford and Pollock, 
2003) regarded new emerging technologies as a technique for solving the crisis, as well as a means of response 
and survival.It was suggested by Cornford and Pollock (2003) that online or virtual university became visible as 
a  new  type  of  university.In  other  words,  virtual  university  can  be  defined  as  a  projection  of  the  traditional 
university  into  the  future,  by  using  new  information  and  communication  technologies,  with  undoubted 
consequences  for  teaching  and  learning.Further,  technological  revolution  changes  the  way  knowledge  is 
created  and  transmitted.Thus,  the  main  creators  of  knowledge  –  universities  –  have  to  adapt  to  the  change 
imposed by the presence of new emerging technologies and the software designers.The main characteristics 
of  the  new  era  technology,  generated  by  the  computer‐based  technologies,  are  the  following:  networking, 
multi  channels  of  information,  new  ways  of  conveyance  of  information,  synchronous  and  asynchronous 
interaction  between  users  or  participants  (Odin,  2004).Moreover,  it  seems  that  the  new  technological 
revolution not only requires the adjustment of teaching and learning practices to students’ learning behaviour 
and  their  technological  preferences,  but  also  supports  Vygotsky’  s  (1978)  cognitivist  theory  of 
learning.According to Odin (2004) new technologies facilitate communication in real time and the launch of an 
interactive  learning  community.  Odin  (2004)  argued  that  the  virtual  university  is  projecting  a  new  student 
learning  perspective,  based  on:  collaboration  (Barassi  and  Treré,  2012),  interdisciplinary  and  intercultural 
approach  to  learning.Further  research  conducted  by  Salmon  (2011)  supports  this  view.Thus,  Salmon  (2011) 
also  emphasises  the  idea  of  time  and  space,  and  states  that  due  to  the  presence  of  virtual  learning 
environments  (VLEs),  students  can  learn  by  asynchronous  and  synchronous  interactions  within  the 
virtual/online  classrooms,  regardless  of  time  and  space.  This  author  also  suggests  that  new  emerging 
technologies  nurture  and  determine  students’  learning  behaviour  and  learning  preferences.Hence,  the 
importance  to  find  out  students’  learning  preferences  for  new  emerging  technologies.  By  contrary,  Walker 
(2006) claimed that it is the pedagogy that ‘shapes’ students’ profile as learners.Whilst other authors such as 
Robins and Webster (2002) describe ‘virtual university’ as embedding both global and technological changes.In 
other  word,  it  is  the  global  and  technological  changes  that  affect  students’  learning  behaviour  and 
preferences.Finally, it was argued by Crook (2002) that it is the process of virtualization within the university 
environment,  which  commands  an  increase  in  the  quality  of  student  learning  experience  and  as  a 
consequence,  the  emergence  of  knowing  students’  learning  outcome  and  student’s  voice.  Furthermore,  the 
globalization impacts upon human circumstances, upon HEIs and their teaching function as well as upon their 
commercial  function  in  competing  with  other  universities  to  ‘capture’  a  segment  of  the  global  student 
population (Wagner, 2004). 

2.1 Trends in students’ learning behaviour and learning preferences for new emerging 
technologies 
In  order  to  meet  students’  learning  preferences  for  new  emerging  technologies,  lecturers  and  educators  in 
general, need to conform to the new technological trends in education, and incorporate the technology into 
their teaching (Marsh and Villar, 2012).However, as stated by Marsh and Villar (2012), the level of students’ 
digital capabilities are heterogeneous.It infers that, there is a correlation between students’ digital capabilities 
and  their  learning  behaviour  and  learning  preferences  for  particular  emerging  technologies.For  this  reason, 
there is a need to find out students’ preferences and patterns of media technology and information usage in 
HEI. This will  help to elucidate the research problem under consideration and will assist virtual university to 
adjust  accordingly  to  the  trend  in  students’  learning  preferences  with  new  emerging  technologies  and  their 
digital capabilities. 
 
Research  conducted  by  Han  (2013)  demonstrated  that,  an  increase  in  social  interaction  leads  to  increase  in 
student learning.According to the results of the research (Han, 2013) it seems that students used social media, 
such as e‐Blog and e‐Education platform, not only to search for information and gain knowledge, but also to 

556
 
Florica Tomos et al. 

produce  and  share  information.Consequently,  it  infers  that  students  had  an  active  and  participative  role  in 
producing information and knowledge, and as a result, they constructed learning.Furthermore, the majority of 
students owned a desktop, a laptop and Smartphone, whilst a third of students from the sample, were active 
participants on the Facebook, the most popular technology used for learning and communication.Additionally, 
it appears that the popularity of Facebook is a consequence of their ‘habit’ to build and update information 
regarding  their  social  profile  within  the  network.Nevertheless,  in  view  to  enhance  students’  learning,  Han 
(2013)  focused  on  students’  learning  behaviour  with  new  emerging  technologies,  and  emphasised  the 
importance for educators to ascertain how students learn efficiently with social media technologies.A further 
survey carried out by Opgenhaffen and d’Haenens (2012) indicated a relationship between the pattern usage 
of  online  news  media  and  students’  learning  outcome.Furthermore,  they  conveyed  a  second  relationship, 
between student’s control over learning content and the learning outcome.Nevertheless, a more recent study 
(Yang, Brown and Braun, 2014) suggested that the patterns of media usage might be determined by students’ 
gender and context (geographical distance). 
 
To find student media usage behaviour, more research was developed by Grosch and Philips (2012) in HEI in 
Thailand and compared to the results from a survey conducted in HEI in Germany.The results showed that web 
2.0 media (Google, Instant Messenger and You tube) were used for learning, by the majority of students from 
the  representative  sample.Further,  students  showed  preferences  especially  for  the  following:  Google,  web 
search, as well as handouts prepared by the teachers, and online dictionaries, together with a few more media 
services.However,  the  results  of  this  research  emphasised  the  students’  preferences  for  easy  to  use  media 
instead of e‐learning services which requested high level effort.Very important, the study found an impact of 
the country’ s culture upon the adopted style of teaching, but no cultural differences within the usage of global 
media.A  second  research  conducted  by  Grosch  (2011)  was  aimed  to  develop  and  test  a  Theory  Model  for 
Information  Technology  Systems  Acceptance  in  higher  education,  and  ensure  high  quality  of  information 
systems, such as: library catalogues, student service portals, learning platforms, etc.Grosch (2011) conducted 
13  surveys  across  countries.The  present  study  supports  Grosch’s  (2011)  research  and  helps  to  validate  the 
theoretical  model  regarding  information  system  acceptance  (usage  satisfaction  and  usage  frequency).It  was 
argued that, although e‐learning tools are a flexible type of learning and it seems to be fundamental for HEIs in 
Europe,  there  is  a  lack  of  research  on  internet  based  e‐learning  tools  in  HEIs  (Martínez  –  Torres  et  al., 
2008).Consequently, Martínez – Torres et al. (2008) created the Technology Acceptance Model (TAM) aimed 
to prove a relationship between the quality of usage of web‐based tools and students’ learning behaviour. The 
study  is  a  hypotheses  tested  approach  that  demonstrated  the  possibility  of  a  relationship  between 
interactivity,  student control  over  a  few e‐learning tools and the acceptance  of the  e‐learning.The proposed 
model discovered that 31.8% of the variance in student learning behaviour was recognised as a consequence 
of student’s perceived acceptance due to usefulness of the e‐learning tool. Furthermore, in Martínez – Torres 
et  al.  (2008)  opinion,  there  was  a  shift  towards  the  new  paradigm  called  ‘lifelong  learning’  characterised  by 
learning‐centred  principle,  with  its  specific  –  web‐based  e‐learning  tools.  Other  authors  (Saphran,  2008) 
adopted  a  before  and  after research design  and conducted  both  an  online  survey  with  255  participants  and 
case  studies  research  approach,  to  investigate  whether  the  web  technologies  (e‐learning)  support 
collaborative  learning.A  very  interesting  result  was  discovered  within  Saphran’s  (2008)  research,  which 
otherwise supports previous studies mentioned above – that Facebook was used by 74.12% of the students 
from the surveyed sample.The last studies mentioned to support this research are Oliver and Goerke (2008) 
and Ramnarine‐Rieks, McKnight and Small (2011). Oliver and Goerke (2011) investigated students’ behaviour 
when  adopting  handheld  devices  and  web  2.0  to  help  learning.The  results  of  this  research  distinguish  from 
others  by  highlighting  the  existence  of  different  levels  of  interest  corresponding  to  different  geographical 
areas.Finally, the last study in discussion, carried by Ramnarine‐Rieks, McKnight and Small (2011) supports the 
idea of collaborative learning with the help of learning technologies. 

2.2 Theory model – information systems acceptance  
Having these questions in mind, a survey questionnaire was developed. As there was no existing theory model 
applicable  to  measure  and  compare  the  acceptance  of  various  media  services  a  new  model,  the  Media 
Acceptance Model (MAM) was developed by the author (Grosch, 2011), including a media typology. It is easy 
to  apply  and  especially  useful  when  it  comes  to  comparing  many  media  services.  In  this  model,  media  are 
understood as technologies supporting and extending human communication. Getting information is regarded 
as  a  unidirectional  form  of  a  communication  process.  Hence,  information  services  are  also  understood  as 
media  services.  Regarding  digital  media,  this  definition  includes  software  as  well  as  hardware.  Media 

557
 
Florica Tomos et al. 

acceptance is considered to be a special form of technology acceptance. It is seen as an indicator of the quality 
of a medium from the subjective (here: the student’s) point of view. From that perspective media quality can 
be  evaluated  by  measuring  the  acceptance  of  the  media  services.  As  there  is  no  such  thing  as  an  overall  or 
general  media  acceptance,  but  only  the  acceptance  of  certain  media  services,  the  acceptance  of  53  media 
services was empirically operationalized by measuring their usage frequency and usage satisfaction. Later on, 
both categories were merged into an acceptance variable by creating the mean value of usage frequency and 
satisfaction.  Therefore,  media  acceptance  has  to  be  understood  in  the  way  it  was  measured  and  the 
interpretation of the results is also limited to this understanding. 

 
Figure 1: Theory model, Grosch (2011) 

3. Research methodology  
This is a cross‐sectional study (Kumar, 2005), aimed to find out students’ learning preferences and patterns of 
media  technology  and  information  usage  in  HEI.The  study  used  the  quantitative  research  method  with  a 
structured  Questionnaire  as  the  main  data  collection  method.  The  Questionnaire  was  designed  by  Grosch 
(2011) for a research conducted throughout Europe and Asia. It contains a total of 143 items. It measures the 
usage  frequency  and  satisfaction  of  53  media  services,  among  them  information  services  (Google,  Google 
Books,  library  catalogues,  printed  books,  eBooks,  printed  journals,  e‐journals,  Wikipedia,  open  educational 
resources  and  bibliographic  software)  communication  services  (internal  and  external  e‐mail,  Twitter, 
Facebook)  e‐learning‐services  (learning  platforms,  wikis)  and  media  hardware  (Wi‐Fi,  notebook,  desktop 
computer,  smartphone).  Other  variables  are  also  evaluated,  such  as:  the  learning  behaviour,  media  usage 
during free time, media related skills, education biography and socio‐demographic factors. 
 
The  study  population  was  the  student  population  in  a  HEI  in  Wales,  the  United  Kingdom.The  sampling 
technique was probability random simple sampling and the size of the sample was 140 participants (Kumar, 
2005).The data was collected, coded and analysed by using SPSS as software package.There were considered 
ethical  issues  in  data  collection,  by  asking  the  consent  and  permission  from  the  participants  and  by 
maintaining confidentiality (Kumar, 2005). The self‐completing questionnaires were delivered at the university 
library  at  Higher  Education  Institution,  Wales,  the  UK,  in  March  2013.  They  were  handed  over  to  the 
respondents  and  collected  20‐30  minutes  later,  using  probability  random  simple  sampling  technique.  The 
questionnaire  was  given  to  140  students,  four  questionnaires  were  cancelled,  three  questionnaires  not 
returned. Hence, 133 valid questionnaires were left. 
 
Beginning  with  a  first  survey  carried  out  at  the  German  Karlsruhe  Institute  of  Technology  (KIT)  in  2009, 
currently (June 2014) a total of 25 surveys at 20 institutions of higher education in six countries were carried 
out. Ten more surveys are in the planning phase and will be conducted in 2014/15. In the long run, a global 
online survey will be established and the questionnaire will be available in twelve languages (currently five). 
The  survey  is  internationally  standardized  and  therefore  can  be  used  by  any  institution  of  Higher  Education 
worldwide.  

4. Findings and data analysis 
This  section  will  provide  an  overview  with  the  ranking  of  all  surveyed  media  services,  usage  frequency  and 
satisfaction for studying with all 53 surveyed services. Together with the finding analysis for this study, there 
will be a comparison relating the media usage results for studying, with the media usage results during free 

558
 
Florica Tomos et al. 

time  and  also,  with  the  media  usage  of  students  from  other  countries  and  universities  that  were  surveyed 
during  a  wide  research  project  across  countries.  The  following  table  gives  an  overview  of  all  media  services 
that were surveyed: 
Table  1:  Frequency  and  satisfaction  ranking  of  the  surveyed  media  and  IT  services;  Mfrequency:  0=never  – 
4=very often; Msatisfaction: 0=very unsatisfied – 4= very satisfied 
  Frequency  Satisfaction 
Rank  M  SD  Rank  M  SD 
Internet connection at home  1  3.49  1.105  1  3.47  .880 
Google Search  2  3.47  1.025  3  3.24  1.050 
University e‐mail account  3  3.12  1.236  12  3.01  1.166 
Wireless connection (wi‐fi, WLAN) on campus  4  3.12  1.197  6  3.14  1.069 
Wordprocessing  5  2.98  1.325  5  3.15  1.090 
University website  6  2.89  1.221  9  3.05  1.003 
E‐learning platform (Moodle, Blackboard)  7  2.78  1.299  20  2.88  1.142 
Computer labs on campus  8  2.78  1.265  4  3.15  .947 
Online slides (PowerPoint, Keynote) from teacher  9  2.70  1.351  14  2.93  1.135 
Notebook computer/Netbook  10  2.70  1.604  7  3.10  1.180 
E‐mail account not from university (MSN, Yahoo, Gmail)  11  2.66  1.481  23  2.83  1.324 
Online lecture notes and journals from teacher  12  2.65  1.302  18  2.88  1.168 
Online services of the university/faculty library  13  2.62  1.284  13  3.01  1.043 
E‐Books (pdf or other format)  14  2.62  1.404  11  3.02  2.074 
Google Books  15  2.58  1.509  10  3.03  1.127 
Desktop PC  16  2.53  1.516  2  3.31  1.019 
Mobile Internet connection (with notebook, tablet or mobile phone)  17  2.52  1.532  8  3.09  1.207 
Printed handouts from teacher  18  2.50  1.335  15  2.93  1.139 
Printed books  19  2.50  1.277  19  2.88  1.168 
Online dictionary  20  2.40  1.389  25  2.81  1.229 
Web portal for online student web services  21  2.37  1.412  24  2.82  1.050 
Working with own notebook on campus  22  2.35  1.596  16  2.88  1.217 
Wikipedia  23  2.34  1.461  32  2.56  1.338 
E‐version journals  24  2.33  1.465  29  2.68  1.274 
Print‐version journals  25  2.06  1.456  27  2.73  1.210 
Facebook  26  2.01  1.640  37  2.44  1.474 
Online materials from other universities  27  1.98  1.463  17  2.88  1.025 
Mobile phone (smartphone, iPhone)  28  1.98  1.570  21  2.84  1.306 
Online services of other libraries (not own university)  29  1.90  1.537  31  2.63  1.278 
Dictionary software installed on your computer  30  1.90  1.614  26  2.74  1.218 
Video sharing websites (YouTube)  31  1.88  1.582  30  2.65  1.330 
Presentation software  32  1.84  1.532  33  2.52  1.349 
Learning software  33  1.83  1.526  28  2.72  1.112 
Google+  34  1.61  1.659  36  2.46  1.486 
Interactive online tests/self tests  35  1.50  1.470  34  2.52  1.345 
Tablet computer (iPad, Galaxy Tab, Zoom)  36  1.50  1.754  22  2.84  1.419 
Online exams  37  1.46  1.516  35  2.48  1.405 
Newsgroups, Internet forums  38  1.44  1.412  40  2.38  1.467 

559
 
Florica Tomos et al. 

  Frequency  Satisfaction 
Rank  M  SD  Rank  M  SD 
Wikis with active participation as part of the class  39  1.34  1.357  47  2.10  1.453 
E‐learning as part of the class  40  1.31  1.489  38  2.42  1.415 
Instant messenger (MSN Messenger, Yahoo Messenger, Skype)  41  1.23  1.415  44  2.26  1.482 
Recorded lectures (audio, video)  42  1.19  1.502  41  2.33  1.425 
Social bookmarking (Delicious)  43  1.16  1.455  42  2.32  1.426 
Bibliographic software (Endnote, Zotero)  44  1.15  1.441  43  2.32  1.373 
Mobile apps for learning  45  1.12  1.347  49  1.99  1.363 
Virtual class in real time (virtual lectures, web conferences)  46  .98  1.375  45  2.21  1.456 
Virtual class in non‐real time (web seminars)  47  .98  1.332  46  2.17  1.464 
Twitter  48  .97  1.366  53  1.85  1.444 
Other social networks (LinkedIn)  49  .86  1.230  48  2.01  1.450 
Augmented Reality applications (Geotagging in Google Earth)  50  .73  1.226  51  1.89  1.805 
E‐book reader (Kindle, Nook, Sony Reader)  51  .67  1.251  39  2.39  1.563 
Gesture computing (Kinetics XBox, Nintendo Wii, iPhone interface)  52  .60  1.115  52  1.86  1.465 
Game‐based learning (stock simulation)  53  .56  1.017  50  1.95  1.495 

In the table above, the different media types are used with different frequency and satisfaction. The internet 
connection at home is the most often used service for studying. Other most intensely used media types are IT 
services  (Wi‐Fi,  computer  labs  etc.)  and  online  information  media  (teachers’  online  notes,  e‐books  etc.). 
Classical  e‐learning  services  are  used  only  on  an  average  to  low  level.Also  social  media,  though  often  used 
during free time are not often used for studying: 
Table 2: Usage of social media during free time vs. for studying; M: 0=never – 4=very often 
  During free time  For studying 
M  SD  M  SD 
Facebook  3.15  1.171  2.01  1.64 
Video sharing websites (YouTube)  2.87  1.232  1.88  1.582 

Google+  2.07  1.742  1.61  1.659 

Facebook is used often during free time but just averagely for studying. Also the other social media services 
show a lower usage frequency for studying than during free time. Especially the new services that are intensely 
discussed  on  conferences  and  in  journals,  such  as  virtual  learning  scenarios,  (virtual  lectures,  MOOCs  etc.), 
augmented reality applications, gesture computing (Kinetics XBox, Nintendo Wii, iPhone interface) and game‐
based learning are used only very little and also with low satisfaction. Especially complex scenarios to create a 
virtual university (virtual lectures etc.) are used little and with low satisfaction. 
 
University  e‐Mail  and  other  university  internal  services,  such  as  Wireless  connection  (wi‐fi)  on  campus, 
university  website,  learning  platforms,  computer  labs  are  used  more  often  than  in  the  other  surveyed 
countries and universities. However, at the same time these services are used with relatively low satisfaction. 
Nevertheless,  there  are  also  services  which  are  used  on  a  lower  level  than  their  satisfaction  values,  such  as 
tablet computers and mobile phones. 
 
Compared to the other surveys carried out by Grosch and partners from 20 universities in six countries (Gidion, 
Capretz,  Grosch  &  Meadows,  2013;  Grosch,  2012a;  Grosch,  2012b;  Grosch  &  Philips,  2012;  Grosch,  Berger, 
Gidion  &  Romeo,  2012;  Grosch  &  Gidion,  2012;  Grosch,  2013;  Rodrigo,  Grosch  &  Andres,  2013)  some 
commonalities as well as differences occur. The long term surveys discovered that digital text media are the 
most important media types for studying in higher education. This could be confirmed during this survey: e‐
books, google books and online notes of the teacher are already used more often than the traditional printed 
text book.As a general feature, the results of this survey, confirm the result of the other surveys. 

560
 
Florica Tomos et al. 

5. Conclusion and recommendations 
Although  the  findings  highlighted  that  some  of  the  university’s  services,  such  as  internal  e‐Mail,  wireless 
connection on campus, university website, learning platforms and computer labs are used more often than in 
other  countries,  however,  they  are  used  with  relatively  low  satisfaction  values.  This  fact  leads  to  the 
conclusion  that  students  are  encouraged  by  the  university  to  use  these  services.As  a  consequence,  further 
research  should  be  conducted  on  methods  of  increasing  satisfaction  level.Equally  important,  will  be  to 
endeavour  and  maintain  the  high  frequency  of  media  usage.  Therefore,  future  research  should  be  also 
conducted  on  techniques  of  enhancing  service  quality  and  recommendations  can  be  given  to  other  HEIs  to 
improve their IT infrastructure.Furthermore, the improvement of these services could lead to a better overall 
learning environment. 
 
Although  the  social  media  like  Facebook  or  YouTube  are  used  often  during  the  free  time,  they  are  used 
significantly  less  for  studying.Consequently,  their  potential  for  learning  has  to  be  reflected  critically  on  the 
background of this effect. The fact that students are intensely using social media during the free time does not 
necessarily mean that these services have the same potential for studying. Further, if HEIs want to implement 
social and collaborative media services into the learning environment of their students, they have to actively 
promote these efforts and survey and evaluate the success of the implementation.Other results, such as the 
success of digital text media hint to more potential in other areas, e.g. supporting self‐controlled learning by 
providing good information infrastructure for students. Also mobile technologies seem to have a high potential 
that has not unfolded yet. The same interpretation can be considered for the virtual university scenarios like 
virtual lectures etc. 
 
There are certain limitations regarding the interpretation of the results. Due to the small size of the sample, it 
cannot be regarded to be representative. Comparisons between subgroups also could not be carried out, as 
well  as  multivariate  analysis.  However,  there  were  a  total  number  of  around  15,000  surveyed  students, 
belonging  to  samples  collected  at  other  universities  and  countries.As  the  results  of  this  study,  confirm  the 
results  of  an  extensive  research  project,  it  can  be  assumed  that  the  results  of  this  project  are  valid  and 
reliable.This study will further the previous studies conducted by Tomos et al. (2012; 2013) and will be part of 
a  larger  research  project  started  by  Grosch  (2011).Therefore,  by  extending  the  work  of  others  and  helping 
other research to validate a theory model, as well as by clarifying existing issues in the research field (Grosch, 
2011), this study will be a contribution to knowledge (Trafford and Leshem, 2008).  
References 
Barassi, V. and Treré, E. (2012) “Does Web 3.0 come after Web 2.0? Deconstructing theoretical assumptions through 
practice”, New Media and Society, Vol 14, No. 1, pp. 1269‐1286. 
Cornford, J. and Pollock, N. (2003) Putting the University Online, Buckingham: SRHE and Open University Press. 
Crook, C. (2002) “The Virtual University: The Learner’s Perspective”, in Robins, K. and Webster, F. (eds.) The Virtual 
University? Oxford: Oxford University Press, pp. 105‐126. 
Gidion, G., Capretz, L.; Grosch, M., Meadows, K. (2013) Media Usage Survey: How En‐gineering Instructors and Students 
Use Media. Proceedings of the Canadian Engineering Education Association Conference‐ École Polytechnique de 
Montréal June 2013. 
Grosch, M. (2013) Media Use in Higher Education from a Cross‐National Perspective, Electronic Journal of e‐Learning EJEL, 
Vol. 11 Issue: 3. 
Grosch, M. (2012a) About Students’ Use of Web 2.0 and Mobile Computers for Learning Results of a Survey at King 
Mongkut’s University of Technology Thonburi, Thailand, International Journal of Wireless Information Networks & 
Business information System, Vol. 5, Issue: September / October, 2012 (77‐90). 
Grosch, M. (2012b) Media Use for Learning by Students in Higher Education: An International Empirical Survey, 
Proceedings of 1st International Conference on Open and Distance Learning, Manila: Open University of the 
Philippines, http://icodel.org/icodel/grosh.html  
M. Grosch, R. Berger, G. Gidion & M. Romeo (2012) Which Media Services do Students Use in Fact? Results of an 
International Survey, Proceedings of 5th International Conference of Education, Research and Innovation, Madrid, 
19th ‐21st of November 2012, (0627‐0637) 
Grosch, M. & Gidion, G. (2012) Media Use for Learning by Students in Higher Education An International Empirical Survey, 
in Proceedings of World Conference on E‐Learning in Corporate, Government, Healthcare, and Higher Education 
2012, pp. 1805‐1812. Chesapeake, VA: AACE. 
Grosch, M. (2011) Designing and testing a theory model for IT systems acceptance in Tertiary Education, in Sandhu, P. and 
Delcore, D (eds.) International proceedings of PSRC pp. 335‐338, Chonburi: Planetary Scientific Research Centre. 

561
 
Florica Tomos et al. 

Grosch, M. and Philips, B. (2012) “Media Usage by Thai International Students – An Empirical Survey”, 3rd International 
Conference on e‐Education, e‐Business, e‐Management and e‐Learning, IPEDR Vol 27, IACSIT Press Singapore, pp. 64‐
68. 
Han, C. (2013) ‘Learning through Social Media: Insight, Information and Interaction’, Media Education Research Journal, Vol 
3, No. 2, pp. 67‐76. 
Hanna, D.E. (2000) “Emerging Approach to Learning in Collegiate Classroom”, in Hanna and Associates (eds.) Higher 
Education in an Era for Digital Competitors, Madison: Atwood Publishing, pp. 45‐71. 
nd
Kumar, R. (2005) Research Methodology, 2  ed. London: Sage Publications Limited. 
Marsh, E. and Villar, M.E. (2012) ‘The Role of Demographics and Confidence in Digital Divide’, Media Education Research 
Journal, Vol 3, No. 1, pp. 63‐79. 
Martínez‐Torres, M.R., Toral Marín, S.L., Barrero Garcia, F., Gallardo Vázquez, S., Arias Olivia, M. and Torres, T. (2008) ‘A 
technological acceptance of e‐learning tools used in practical and laboratory teaching, according to the European 
higher education area’, Behaviour and Information Technology, Vol 27, No. 6, pp. 495‐505. 
Odin, J.K. (2004) ‘New Technologies and the Reconstitution of the University’, in Odin, J.K. and Manicas, P.T. (eds.) 
Globalisation and Higher Education. USA: University of Hawai’i Press, pp. 147‐167. 
Oliver, B. and Goerke, V. (2008) ‘Undergraduate students’ adoption of handheld devices and Web 2.0 applications to 
supplement formal learning experiences: Case studies inAustralia, Ethiopia and Malaysia’, International Journal of 
Education and Development using Information and Communication Technology, Vol 4, Issue 3, pp. 78‐94. 
Opgenhaffen, M. and d’Haenens, L. (2012) ‘Heterogeneity within homogeneity: Impact of online skills on the use of online 
news media and interactive news features’, Communications. The European Journal of Communication Research. 
Special Issue: Public Voice and Mediated Participation, Vol 37, No. 3, pp. 297‐316. 
Ramnarine‐Rieks, A.U., McKnight, L.W. and Small, R.V. (2011) ‘Collaborative Learning through Wireless Grids’. Proceedings 
th
of the 44  Hawaii International Conference on System Sciences, IEEE, pp. 1‐10. 
Robins, K. and Webster, F. (2002) “Virtual University”, in Robins, K. and Webster, F. (eds.) The Virtual University? Oxford: 
Oxford University Press, pp. 3‐20. 
Rodrigo, M. M. T., Grosch, M. & Andres, J. M. (2013). Media usage by Filipino students – An empirical study. Proceedings of 
the International Conference on Computers in Educa‐tion 2013 (to appear). 
Safran, C. (2008) ‘Blogging in Higher Education Programming Lectures: An Empirical Study’, MindTrek’08, Proceedings of 
th
the 12  International Conference on Entertainment and Media in the Ubiquitous Era. October 7‐9, Tampere, Finland, 
pp. 131‐135. 
Salmon, G. (2011) E‐moderating. The Key to Teaching and Learning Online. Abingdon: Routledge. 
Wagner, P. (2004) ‘Higher Education in an Era of Globalization: What is at Stake?’, in Odin, J. K. and Manicas, P. T. (eds.) 
Globalisation and Higher Education. USA: University of Hawai’i Press, pp. 7‐24. 
Vygotsky, L.S. (1978) "Mind in society: The development of higher psychological processes”, Harvard University Press, 
Cambridge. 
Tomos, F., Price, T., Blackey, H., Jones, W.P., and Miller, C.J. (2012) “Technology Enhanced Learning at the University of 
th
Glamorgan with a focus on Students’ Mobile Technologies”, Proceedings of the 11  European Conference on e‐
learning, Netherland, ECEL October 2012, pp. 601‐610. 
Tomos, F., Mozelius, P., Shabalina, O., Balan, O., Malliarakis, C., Miller, C.J., Turner, D. and Jones, W.P.(2013) “An 
International Approach to Creative Pedagogy and Students’ Preferences of Interactive Media”, Proceedings of the 
12th European Conference on e‐learning, Nice, France, ECEL, October 2013. 
Trafford, V. and Leshem, S. (2008) Stepping Stones to Achieving your Doctorate. Berkshire, England: Open University Press, 
McGraw‐Hill Education. 
Walker, M. (2006) Higher Education Pedagogies. England, Berkshire: Open University Press, McGraw‐Hill Education. 
Yang, C‐c, Brown, B.B. and Braun, M.T. (2014) ‘From Facebook to cell calls: Layers of electronic intimacy in college students’ 
interpersonal relationships’, New Media and Society, Vol 16, No. 1, pp. 5‐24.  

562
Ellipsis Marks in Interaction on Discussion Forums: The Case of 
Czech Pre‐intermediate EFL Learners 
František Tůma 
Institute for Research in School Education, Faculty of Education, Masaryk University, Brno, 
Czech Republic 
tuma@ped.muni.cz 
 
Abstract:  The  aim  of  this  paper  is  to  introduce  selected  results  of  an  analysis  of  pre‐intermediate  English  as  a  foreign 
language (EFL) learners’ interaction on asynchronous discussion forums. The findings are based on a learner corpus (299 
postings  within  8  discussion  threads)  compiled  from  two  discussion  tasks  which  were  a  part  of  a  blended  learning  EFL 
course. The participants were Czech university students in the EFL course. Their proficiency in English was slightly below 
the fully developed CEFR A2 level. Conversation analysis (CA) was conducted on the corpus. The inductive and emic nature 
of CA made it possible to uncover some specific mechanisms underlying the learners’ interaction on the forum. The results 
presented in this paper are related to non‐verbal aspects of the learners’ interaction on the forum, particularly to the use 
of  ellipsis  marks  (i.e.  multiple  dots).  It  was  discovered  that  ellipsis  marks  were  used  for  listing,  transition,  personal 
evaluation, referring to the previous posting and asking for response when taking leave, thus ranging from non‐interactive 
uses functioning on a sentence level to highly interactive uses which co‐constructed exchanges on the forum. One of the 
most interesting findings is that when used at the end of a posting which included (explicitly or implicitly) a question or a 
request for answer, the posting was always replied to. On the other hand, when ellipsis marks were used at the end of a 
posting  presenting  one’s  opinion,  the  posting  was  never  replied  to.  We  interpret  the  latter  use  of  ellipsis  marks  as 
completing  the  evaluation.  The  findings  are  related  to  other  research  findings  and  it  is  concluded  that  interaction  on  a 
discussion  forum  presents  a  specific  platform,  differing  from  speech  or  writing.  The  relevance  of  the  paper  to  foreign 
language teaching and ICT in education lies in the outcomes of the analysis, i.e. the description of different uses of ellipsis 
marks in online interaction. The findings cast light on the nature of learner‐learner interaction in a foreign language and on 
the  ways  of  their  utilizing  ellipsis  marks  to  express  a  wide  range  of  meanings.  More  generally,  this  paper  discusses  how 
ellipsis  marks  helped  the  learners’  reach  mutual  understanding,  i.e.  intersubjectivity.  Thus  the  paper  contributes  to  the 
theoretical grasp of online learner‐learner interaction in English as a foreign language.  
 
Keywords: interaction, computer‐mediated communication, conversation analysis, ellipsis marks, discussion forum, English 
as a foreign language 

1. Introduction 
This  study  presents  selected  results  from  a  larger  research  project  whose  main  aim  was  to  investigate  the 
learning and use of English as a foreign language in a group of pre‐intermediate students in a blended learning 
course  (e.g.  Tůma  2010,  2012).  Based  on  the  texts  produced  by  students  interacting  on  asynchronous 
discussion forums, a learner corpus was compiled. Since it seemed that some of the analyses, grounded in the 
cognitive  SLA  (second  language  acquisition)  framework,  resulted  in  inconclusive  results,  a  more  social  SLA 
orientation was adopted in subsequent analyses in order to capture the nature of learner‐learner interaction. 
Using  conversation  analysis,  we  described  some  of  the  underlying  mechanisms  regarding  interaction  in  one 
discussion  thread  (Tůma  2013).  In  this  study  we  present  the  results  of  an  extended  analysis  capturing  the 
whole corpus (i.e. eight discussion threads) and concentrate on the use of ellipsis marks as one of the aspects 
of non‐verbal interactional means, which the previous study (Tůma 2013) did not address. 
 
The structure of this study is the following. First, we briefly review studies on interaction on discussion forums. 
Second,  we  introduce  the  methodological  background  to  researching  interaction  by  means  of  conversation 
analysis.  Third,  we  introduce  the  context  for  the  study.  Fourth,  we  present  selected  outcomes  of  the 
conversation analysis and discuss them.  

2. Interaction on discussion forums 
The shared activity and mutual influence among learners constitutes a fundamental part of the teaching and 
learning processes both in in‐class teaching and online. Due to the grounding of the research presented in this 
study in dialogism (and relatedly in conversation analysis, see below) we prefer the term interaction to other 
terms  such  as  communication  or  discourse,  which  seem  to  imply  other  theoretical  and  epistemological 
positions.  We  understand  the  term  interaction  in  line  with  its  etymology,  i.e.  comprising  the 
adverb/preposition  inter  (between,  among)  and  noun  action  borrowed  from  Latin  actio  (performing,  doing), 
thus referring to the mutual influencing among participants. 

563
 
František Tůma 

We agree with Crystal (2011, p. 21) in that language used in online interaction “is identical to neither speech 
nor  writing,  but  selectively  and  adaptively  displays  properties  of  both”.  Furthermore,  different  modes  of 
delivery seem to differ in a number of features (Crystal 2011). It is therefore vital that (not only) educational 
research describe and understand the nature of online interaction. 
 
Interaction in online settings has been studied from a number of perspectives, including quantitative linguistic 
approaches and conversation analysis. In the following paragraphs we outline some of the studies conducted 
in these traditions as well as authoritative accounts of the nature of online interaction. 
 
Although  the  features  of  online  interaction  include  the  discourse,  syntactic,  lexical  and  morphological  levels 
(for  an  overview,  see  Herring  2012),  we  focus  mainly  on  typography.  In  online  interaction  generally, 
participants  use  a  number  of  non‐alphabetic  symbols,  non‐standard  capitalization,  emoticons,  drawings 
composed  of  keyboard  characters  and  multiple  punctuation  (Herring  2012).  Vandergriff  (2013)  used  a 
microanalytic approach to study how multiple punctuation, lexical surrogates (e.g. “hmmm”) and emoticons 
were  used  by  a  group  of  advanced  learners  of  German.  Emoticons  have  been  studied  extensively  (for  an 
overview, see Dresner & Herring 2010) and letter repetitions were studied, for example, by Kalman and Gergle 
(2014), who quantitatively approached a corpus of emails written within a US‐based company. As far as ellipsis 
marks  and  blank  turns  are  concerned,  Ong  (2011)  analyzed  how  16–17  year  old  Singaporean  students  used 
these features in a quasisynchronous chat. 
 
As far as research on interaction on discussion forums is concerned, there exist a number of studies adopting 
conversation analysis (e.g. Stommel & Meijman 2011) to study online interaction more generally. Conversation 
analysis has also been employed to study specific aspects of online interaction (e.g. Ong 2011). 
 
This  study  builds  on  the  author’s  previous  work  (mainly  Tůma  2013)  in  which  one  discussion  thread  was 
analyzed  to  reveal  establishing  the  types  of  exchanges,  the  participants‘  dealing  with  redundant  and  late 
messages,  the  ways  of  using  emoticons  and  the  participants‘  (re)orientation  towards  the  learning  task.  A 
follow up analysis was aimed at more in‐depth exploration of the way specific typographic features were used 
in the discussions. In the present study we focus on ellipsis marks. 
 
For  the  purposes  of  our  research,  we  adopt  dialogism  as  an  epistemological  framework  and  conversation 
analysis presents an analytic tool.  
3. Dialogism and conversation analysis 
Linell (1998) introduces dialogism along with monologism, in whose opposition dialogism can be understood. 
Relatedly, Marková (1982) speaks of the Cartesian and Hegelian frameworks.  
 
Whereas  in  monologism  the  individual  is  viewed  as  an  analytical  unit,  dialogism  presupposes  actions  and 
interactions in their contexts as analytical units (Linell 1998, p. 7). In monologism, cognitive functioning is often 
viewed  through  the  computational  metaphor,  which  implies  one‐way  understanding  of  communication.  The 
speaker  (sender)  produces  an  utterance  to  be  decoded  by  the  listener  (receiver),  which  presupposes  the 
passive role of the listener (Marková 1982, pp. 60–79; Rommetveit 1988). However, in dialogism interaction is 
understood  as  the  mutual  reaching  of  higher  intersubjectivity,  which  implies  active  roles  of  the  participants 
(Marková 1982, pp. 140–183). It follows that each utterance presupposes a partner to whom it is addressed 
(Vološinov 1973, p. 85).  
 
In monologism, interaction is viewed as information transfer from the sender to the receiver. Thus interaction 
becomes “largely an epiphenomenon, reduceable to sequences of individual actions” (Linell 1998, pp. 23–24). 
On  the  other  hand,  dialogism  views  interaction  as  a  collective  process  in  which  the  participants  mutually 
influence  each  other  and  in  which  any  utterance  “makes  response  to  something  and  is  calculated  to  be 
responded to in turn” (Vološinov 1973, p. 72).  
 
From  the  above  positions  it  follows  that  context  of  interaction  is  viewed  in  different  ways  in  the  two 
frameworks.  Whereas  in  monologism  one  can  decontextualize  utterances  (Rommetveit  1988),  in  dialogism 
context plays an important role (Vološinov 1973, pp. 85–93). Context in dialogism can comprise the previous 
utterances and the situatedness of utterances. It should also be stressed that context in dialogism is viewed 

564
 
František Tůma 

dynamically: on the one hand, the aspects of context are pre‐structured, on the other hand they are re‐newed 
and re‐constructed during interaction (Linell 1998, pp. 127–158).  
 
As far as the nature of language is concerned, dialogism generally views language as a form of social action, 
which is also relevant to conversation analysis (Schegloff et al. 2002, pp. 4–6), in which interaction realized by 
means of language is referred to as “talk‐in‐interaction” or “institutional talk” (Drew & Heritage 1992).  
 
It  should  be  pointed  out  that  the  dividing  line  between  ordinary  talk‐in‐interaction  and  institutional  talk  is 
rather  blurred  (Drew  &  Heritage  1992,  p.  21).  In  the  context  of  this  study,  the  institutional  character  of  the 
interaction  under  investigation  was  in  that  the  participants  used  English  to  interact  despite  their  shared 
mother  tongue  (Czech)  and  also  in  that  they  contributed  to  the  discussion  forum  as  a  part  of  the  course 
assessment. The way the task was designed (see below) also shaped the interaction. 
 
Conversation  analysis  (henceforth  CA)  was  employed  in  this  research  as  the  main  analytic  tool.  CA  aims  at 
understanding  social  order  through  analysis  of  talk‐in‐interaction,  building  on  ethnomethodology,  which  is 
compatible with dialogism as discussed above. 
 
The  underlying  assumption  is  that  talk‐in‐interaction  is  important  in  social  life  in  terms  of  both  everyday 
concerns  and  society  at  large  (ten  Have  2007,  p.  10).  Relatedly,  CA  deals  with  naturally  occurring  talk‐in‐
interaction, which is the object of analysis. Other defining positions of CA include the emic (i.e. participants’) 
orientation  (ten  Have  2007,  pp.  34–35),  the  views  that  “talk‐in‐interaction  is  systematically  organized  and 
deeply ordered” and that “the production of talk‐in‐interaction is methodic” (Hutchby & Wooffitt 1998, p. 23; 
see also Seedhouse 2004, pp. 14–16).  
 
CA  can  be  characterized  as  an  inductive  and  data‐driven  analysis.  The  analytic procedure  can be  outlined  in 
three steps. First, the analyst starts by identifying relevant phenomena and related passages, which is often 
referred  to  as  “unmotivated  looking”  (ten  Have  2007,  pp.  120–121;  Seedhouse  2004,  p.  38).  Second,  the 
analyst carries out a micro‐analysis of the passage in which the phenomenon of interest occurred. As a result, 
a  provisional  analytic  scheme  is  formulated.  It  should  be  pointed  out  that  the  participants’,  i.e.  emic, 
perspective is adopted; mechanistic treatment of the data is generally rejected in CA (Schegloff et al. 2002, p. 
18). Third, other instances are to be found in the corpus in order to refine the provisional analytic scheme. This 
can be achieved by locating similar cases or deviant cases (ten Have 2007, pp. 147, 153). Steps 2 and 3 require 
a systematic and thorough analysis (ten Have 2007, p. 162).  
 
The  findings  are  generated  by  the  refining  of  the  provisional  analytic  scheme.  Starting  in  a  unique 
(micro)context, similarities are sought with other instances, thus working with a more abstract contextual level 
(Schegloff  1987;  Seedhouse  2004,  pp.  208–215).  The  robustness  of  the  analysis  can  be  achieved  by 
comprehensive data treatment, which covers all the relevant data in the corpus (ten Have 2007, pp. 147–149).  
 
It should be emphasized that CA does not aim at empirical quantitative or statistical generalizations (ten Have 
2007,  p.  149).  Instead,  CA  aims  at  “theoretical  grasp  of  interactions’  underlying  ‘rules’  and  ‘principles’”  (ten 
Have 2007, p. 150; see also Seedhouse 2004, pp. 253–261), which can be achieved through analytic induction 
as we described above. 
4. Context for the study 
In this study build on our previous research conducted in an EFL course taught at a regional public university in 
the Czech Republic in the academic year 2010/11. The target level of the course was the CEFR (2001) A2 level 
and within the online component of a blended learning course, a set of online discussion tasks was conducted. 
A  learner  corpus  was  compiled  from  the  forum  threads,  which  comprised  the  core  of  the  online  discussion 
tasks.  The  discussions  were  realized  by  means  of  Moodle  discussion  forums  within  the  course  in  which  the 
students had enrolled.  
 
The  corpus  comprises  eight  discussion  threads:  four  from  the  beginning  of  the  semester  and  four  from  the 
end. In the first discussion the students were asked to introduce themselves, find things in common, choose a 
name for their group and elect a group leader, whereas in the final discussion the students introduced their 
plans for summer holidays and were asked to find some plans that they had in common. The discussions lasted 

 
 
565
 
František Tůma 

for 12–14 days each and the students were asked to follow the discussions and contribute from their homes at 
least  three  times  per  week.    There  were  five  persons  in  each  group  and  each  group  was  dedicated  a  single 
discussion thread. In total, the corpus encompasses 13,622 words in 299 postings (for more information on the 
design of the online discussion tasks, see e.g. Tůma 2010, 2012). 

5. Research findings 
In this section we present the findings related to the use of series of dots, which can be referred to as a row of 
full stops or ellipsis marks. Typically, there were three dots, but two, four or five dots also occurred in a chunk. 
Altogether  there  were  67  occurrences  of  ellipsis  marks.  In  seven  occurrences,  ellipsis  marks  were  used  in 
combination  with  emoticons  (e.g.  “...  :‐)”)  or  in  combination  with  onomatopoeic  expressions  (“wow...  :‐)”, 
“....hehe”), in which the interpretation seems to be a complex one and influenced by the other element typical 
of this type of interaction. We therefore concentrate mainly on the uses of ellipsis marks as such. 
 
The analysis showed that the uses of ellipsis marks can be situated on a continuum. One end of the continuum 
presents the use of ellipsis marks for listing, thus functioning at the sentence level, while the other end of the 
continuum  is  an  interactive  use  of  ellipsis  marks,  thus  functioning  at  the  discourse  level.  We  discuss  the 
findings and illustrate them by examples. It should be pointed out that the extracts are presented in the form 
that they occurred on the forum, i.e. we did not correct or modify the extracts except changing student names 
for the sake of protecting their anonymity. For the purposes of this study we shortened some of the messages, 
which is indicated by [...]. 

5.1 Ellipsis marks as listing 
One of the least interactive uses of ellipsis was that of listing, whose examples are shown below.  Since this use 
of  ellipsis  marks  does  not  seem  to  go  beyond  the  sentence  level,  we  only  present  relevant  passages.  The 
students used ellipsis marks at the end of a list (1) or a question (2). In (3) ellipsis is accompanied by “etc” and 
in (4) ellipsis is situated in front of the last object.  
(1)  […] my favourite serials are HIMYM, Big bang theory, Dexter, Top Gear, The Simpsons,...  
(2) And what movies do you like most? Comedy, horror, thriller ,....? 
(3) […] My hobbies are sport and music. I like skiing, swimming, skating, playing volleyball,...etc 
(4) […] I will sell my ceramics, earrings, pictures...and honey drink (mead) :‐) […] 
With the exception of (4), the dots could be substituted for “and so on” or “etc”. In (3) the actual presence of 
“etc” seems to emphasize the potential length of the list (this use of ellipsis marks occurred only once in the 
corpus),  whereas  in (4)  the presence  of  the  final  object seems  to  be  of  importance, perhaps  because  of  the 
playful  use  of  the  word  “mead”,  which  is  similar  to  the  Czech  word  for  honey  (i.e.  “med”,  which  does  not 
denote the alcoholic drink made from honey). This middle use of ellipsis marks occurred only once and seems 
to  be  a  borderline  case  between  the  use  of  ellipsis  marks  for  listing  and  transition,  since  the  dots  may  well 
stand  for  other  objects,  or  solely  indicate  transition  to  an  object  of  a  different  kind  or,  perhaps,  a  dramatic 
pause. 

5.2 Ellipsis marks as transition  
Multiple  dots  were  also  used  as  transition  between  different  ideas,  thus  functioning  on  an  above‐sentence 
level. As discussed above, (4) could function as transition as well as listing. In (5) ellipsis connects the idea that 
the situation was easy to solve and the actual solution that Suzan becomes the leader of group C and that the 
participant is proud of Suzan. In (6), the dots link the apology with a reason. In (7) the ellipsis marks connect 
the problem that the group members were unable to find plans that they all had in common and what follows 
seems to be a request for a solution. In (8) a number of ideas are connected. The writer first shows empathy 
and understanding which she connects to her problem (she was assigned a non‐standard bed at the student 
dormitories). This is linked to her personal feelings about the situation. Finally comes the coda. 
(5) Suzan, you can see nobody responded to you, so everything is up to you. 
It's easy... You are C leader and I'm pride of you ;‐). […] 
(6) […] I am sorry, that I am writing now..I was in Austria […] 

566
 
František Tůma 

(7) […] I think it will be hard to find the plans that we have in common for the holidays. How I 
look, most often have something to do only some of the group and the rest is different.. 
What are we doing with it? 
(8) Oh, I understand you... :‐) I am from Moravia and I slept in additional bed 8 months... I was 
horrible... But I lasted out to the end :‐) […] 
It should be pointed out that the uses of multiple dots followed by a line break as exemplified in (7) were very 
frequent  in  the  corpus,  often  resulting  in  a  question,  conclusion  or  another  idea.  Whereas  in  (5)  the  use  of 
ellipsis marks seems to be replaceable by colon, in (6) and (7) conjunctions expressing cause and effect can be 
used,  and  in  (8)  more  complex  expressions  seems  to  be  needed  to  convey  a  similar  meaning  (e.g.  the  first 
series of dots can mean “because I had the same problem”). It can be concluded that the dots can represent a 
number of relationships between the elements that they connect. Apart from that, the use of the dots seems 
to complete the authors’ argumentation.  

5.3 Ellipsis marks in personal evaluation 
The third use of multiple dots is related to evaluating the previous content. In (9) the writer is responding to a 
question related to the tragic flood in a number of towns (including Chrastava) in the country, while in (10) the 
writer is responding to another message expressing a dream of going to Australia and New Zealand. 
(9) Yes, my parents had in Chrastava flood,but now everything is fine. They had water up to the 
thighs at home and two meters of the house,but they were doing well. Some people lost all their 
goods..... 
(10) Once I would like to visit New Zealand too, my cousin was there 1 year and it was wonderful.. 
What these and other two messages in the corpus have in common is that the dots occur at the very end of 
the  message.  Our  interpretation  is  that  in  these  messages  the  authors  intended  to  evaluate  the  message 
content, that is in (9) the author seems to be expressing the her parents were luckier than others, who lost all 
their  properties,  and  in  (10)  the  author  appears  to  be  agreeing  that  going  to  New  Zealand  is  a  good  idea. 
Interestingly, all of the four messages of this kind were not replied to. This leads us to the conclusion that the 
scope  of  the  ellipsis  marks  at  the  end  did  not  go  beyond  the  actual  message.  However,  having  read  the 
postings,  one  tends  to  start  considering  or  evaluating  the  situation  as  well.  As  compared  the  previously 
introduced uses, this use of ellipsis marks seems to be more interactive and dialogic. 

5.4 Ellipsis marks for referring to the previous posting 
There  was  one  occurrence  of  ellipsis  marks  referring  to  the  previous  posting,  in  which  the  participant 
introduced himself and mentioned that he was enrolled in the study programme Leisure time pedagogy. The 
dots used in (11) refer his message asking the author additional questions. 
(11) ...and what about you and our pedagogy of leisure time?Do you like it? 
Used this way, the dots seem to substitute for the name of the addressee, and possibly a greeting and/or an 
explicit reference to his being enrolled in the same programme. This interpretation can be supported by the 
fact that (11) was responded to by the addressee. 

5.5 Ellipsis marks as a part of asking for response when taking leave 
The last and most interactive use of dots was that at the end of a message as shown in (12), in the forms such 
as “Thanks for your answer …” or “Bye, bye ...”.  
(12)   Suzy:  Hi Tom, 
I thought, you will be teacher. Or you study Sports Management? I don't now... 
Tom:   Hi Suzy, 
I won't be a teacher, I study a sports management. I would like to be a maneger. [...] 
What  is  striking  is  the  fact  that  all  of  these  uses  of  ellipsis  marks  were  successful  in  that  the  addressees 
(concrete individuals or any members of the group) always responded. It seems that the dots contributed to 
the construction of adjacency pairs in the forum exchanges. Of course, there were other question‐and‐answer 
exchanges without using ellipsis marks at the end of the first pair part, yet there were a number of occurrences 

 
 
567
 
František Tůma 

of  unanswered  messages.  It  is  beyond  the  scope  of  this  study  to discuss  the  factors  that  contributed  to  the 
successful  realization  of  question‐and‐answer  pairs  (this  issue  is  partly  addressed  in  Tůma  2013).  We  can 
conclude here that the use of ellipsis marks at the end of the first pair part seemed to complement the floor‐
shifting function of an utterance, i.e. nominating the other participant to contribute. 

6. Discussion of findings and conclusions 
As  suggested  in  various  parts  of  the  presentation  of  results,  it  seems  that  there  is  a  wide  range  of  uses  of 
ellipsis  in  pre‐intermediate  English  learners’  interaction  on  discussion  forum.  Some  of  the  uses,  such  as 
example (4), can be mapped onto the equivalents in speech (e.g. pause) and others, such as example (1) are 
consistent  with  writing.  However,  there  were  a  number  of  other  and  specific  uses  of  dots  which  cannot  be 
attributed  to  speech  or  writing.  Especially  asking  for  response  when  taking  leave  seems  to  be  typical  of 
discussion forums. This supports Crystal’s view that online interaction “is more than an aggregate of spoken 
and written features” (Crystal 2011, p. 21). 
 
As far as the body of existing research is concerned, our findings are in accord with Ong (2011, p. 227) in that 
ellipsis marks do not function only as punctuation marks, but they can carry a number of pragmatic meanings 
in  different  context  and  sequences.  However,  since  Ong’s  (2011)  study  was  conducted  in  quasisynchronous 
chat and focused on blank turns and ellipsis marks‐only turns, the only overlap is in that both blank turns in 
quasisynchronous chat as well as ellipsis marks at the end of forum posting seemed to facilitate interaction. On 
the other hand, Ong (2011, p. 225) presented instances of more than ten dots in a row, while in our corpus the 
longest stretch of ellipsis marks was five dots long.  
 
As far as use of dots at the end of an utterance is concerned, Vandergriff (2013, p. 5) holds that this marks the 
status  of  the  turn  as  “unfinished”  or  “open”.  Similarly  to  Ong  (2011),  her  study  was  conducted  in 
(quasi)synchronous settings, which is not fully compatible with asynchronous discussion forums. According to 
our  findings  the  occurrence  of  ellipsis  marks  at  the  end  of  the  posting  can,  similarly  to  Vandergriff’s 
interpretation (2013, p. 5), mark “the sequence as ‘to be continued’ and thus provides a space for expansion 
(perhaps akin to dialogic expansion [...])”. However, in our data we also found ellipsis marks in final positions 
whose  function  was  to  evaluate  the  posting  and  did  not  elicit  response  (see  section  5.3).  The  difference 
between Vandergriff’s (2013) and this study is in that her class were a group of advanced learners of German, 
whereas the participants in this study were pre‐intermediate EFL learners. It can be assumed that the use of 
ellipsis marks for evaluation (see section 5.3) did not elicit any response due to the limited range of language 
functions  that  the  participants  were  able  to  convey.  Indeed,  showing  empathy  and  support  may  require  a 
relatively high level of proficiency (see CEFR 2001), especially without physical co‐presence. In that case the 
evaluative  nature  of  this  use  of  dots  would  need  reconsidering.  However,  the  four  messages  analyzed  in 
section  5.3  were  different  from  those  discussed  in  section  5.5,  since  they  did  not  include  an  explicit  (or 
implicit) a request for response caused by the lack of knowledge or agreement, which justifies the existence of 
a specific category. 
 
As far as interaction on asynchronous forum is concerned, Stommel and Meijman (2011, p. 21) found that the 
use of ellipsis marks can signal hesitation and add that “it seems as if the dots are there for the readers to fill in 
what the writer has meant”, which supports the number of interpretations that we afforded in sections 5.1–
5.5. 
 
As  far  as  the  limitations  of  this  study  are  concerned,  it  should  be  pointed  out  that  the  method  (CA)  and 
theoretical and epistemological positions (dialogism) adopted in this study imply that interaction was the main 
focus. We therefore did not attempt to assign the frequencies of using ellipsis marks to individual students, 
which would require different (rather monologist) positions. Apart from that, it should be pointed out that we 
did not present the findings related to the absence of ellipsis marks in contexts similar to those in which ellipsis 
marks  were  used.  Although  in  Tůma  (2013)  we  analyzed  instances  of  missing  responses  (i.e.  incomplete 
question‐and‐answer  pairs),  the  focus  of  this  study  and  the  space  available  did  not  allow  us  to  discuss  the 
(missing) uses of ellipsis marks in more detail from this perspective. 
 
The findings seem to reflect not only the social actions, but also the participants’ mutual understanding of the 
social actions. These organizations comprise a component of “the architecture of intersubjectivity” (Seedhouse 
2004, p. 237), whose part is also the use of ellipsis marks. Thus the project outcomes can also contribute to our 

568
 
František Tůma 

understanding  of  how  the  interactional  mechanisms  facilitate  intersubjectivity  in  interacting  in  a  foreign 
language, which is in line with what social SLA proposed by Firth and Wagner (2007).  
 
As far as the relevance of the findings to foreign language teaching is concerned, the findings support the view 
that the nature of online interaction is different from both written and spoken modes. Moreover, the learners 
in this study seemed to utilize ellipsis marks in a number of different ways to express different meanings. This 
should  be  acknowledged  when  dealing  with  online  discourse  in  foreign  language  teaching  –  not  only  when 
reading texts, but also when the learners are expected to interact online. In relation to the outcomes of CA, 
ten Have (2007, p. 11) holds that “the core phenomena have been identified, but they can be explored further 
and there exists an enormous variety of settings, conditions, and languages for which the local organization of 
talk‐in‐interactions can be fruitfully studied”.  In line with this, this study hopes to contribute to the body of 
research  on  online  interaction  by  revealing  some  of  the  mechanisms  underlying  learner‐learner  online 
interaction in a foreign language. 

Acknowledgements 
This  study  was  supported  by  the  project  “Employment  of  Newly  Graduated  Doctors  of  Science  for  Scientific 
Excellence“ (CZ.1.07/2.3.00/30.0009). 

References 
Common European framework of reference for languages: Learning, teaching, assessment (2001) Council of Europe. 
Crystal, D. (2011) Internet linguistics: A student guide, Routledge, Oxon. 
Dresner, E and Herring, S.C. (2010) “Functions of the nonverbal in CMC: Emoticons and illocutionary force“, 
Communication Theory, Vol 20, No. 3, pp 249–268. 
Drew, P. and Heritage, J. (1992) “Analyzing talk at work: An introduction“, in P. Drew and J. Heritage (eds), Talk at work. 
Interaction in institutional settings, Cambridge University Press, Cambridge, pp 3–65. 
Firth, A. and Wagner, J. (2007) “Second/Foreign language learning as a social accomplishment: Elaborations on a 
reconceptualized SLA“, The Modern Language Journal, Vol 91, pp 800–819. 
Ten Have, P. (2007) Doing Conversation Analysis, SAGE Publications, London. 
Herring, S.C. (2012), “Grammar and electronic communication“, in C.A. Chapelle (ed.), Encyclopedia of applied linguistics, 
Wiley‐Blackwell. 
Hutchby, I. and Wooffitt, R. (1998) Conversation analysis, Polity Press, Blackwell Publishers, Cambridge. 
Kalman, Y.M. and Gergle, D. (2014) “Letter repetitions in computer‐mediated communication: A unique link between 
spoken and online language“, Computers in Human Behavior, Vol 34, pp 187–193. 
Linell, P. (1998) Approaching dialogue. Talk, interaction and contexts in dialogical perspectives, John Benjamins Publishing 
Company, Amsterdam. 
Marková, I. (1982) Paradimgs, thought, and language, John Wiley & Sons, Chichester. 
Ong, K.K.W. (2011) “Disagreement, confusion, disapproval, turn elicitation and floor holding: Actions as accomplished by 
ellipsis marks‐only turns and blank turns in quasisynchronous chats“, Discourse Studies, Vol 13, No. 2, pp 211–234. 
Rommetveit, R. (1988) “On human beings, computers, and representational‐computational versus hermeneutic‐dialogical 
approaches to human cognition and communication“, in H. Sinding‐Larsen (ed.), Artificial intelligence and language. 
Old questions in a new key, Tano, Oslo, pp 47–76. 
Schegloff, E.A. (1987) “Between micro and macro: Contexts and other connections“, in J.C. Alexander, B. Giesen, R. Münch 
and N.J. Smelser (eds), The micro‐macro link, University of California Press, Berkeley, Los Angeles, pp 207–234. 
Schegloff, E.A., Koshik, I., Jacoby, S. and Olsher, D. (2002) “Conversation analysis and applied linguistics“, Annual Review of 
Applied Linguistics, Vol 22, pp 3–31. 
Seedhouse, P. (2004) The interactional architecture of the language classroom: A conversation analysis perspective, 
Blackwell Publishing, University of Michigan. 
Stommel, W. and Meijman, F.J. (2011), “The use of conversation analysis to study social accessibility of an online support 
group on eating disorders“, Global health promotion, Vol 18, No. 2, pp 18–26. 
Tůma, F. (2010) “Methodological considerations in developing online communication skills in English language courses“, in 
P. Escudeiro (ed.), Proceedings of the 9th European Conference on e‐Learning, Academic Conferences Ltd., Porto, pp 
769–776. 
Tůma, F.  (2012) “Developing communicative competence through online discussion tasks: Computer mediated 
communication and the skill of writing“, Unpublished dissertation, Faculty of Arts, Charles University, Praha. 
Tůma, F. (2013) “EFL learners’ interaction in online discussion tasks: A conversation analysis perspective“, ACC Journal, Vol 
19, No. 3, pp 159–170. 
Vandergriff, I (2013) “Emotive communication online: A contextual analysis of computer‐mediated communication (CMC) 
cues“, Journal of Pragmatics, Vol 51, pp 1–12. 
Vološinov, V.N. (1973) Marxism and the philosophy of language, Seminar Press, New York. 

 
 
569
Distance Learning in Amazon Region: Tackling Rhetorical Situations 
in the Communication Context of E‐TEC IFPA 
Márcio Wariss Monteiro 
Federal Institute for Education, Science and Technology of Pará (IFPA), Belém‐PA, Brazil 
marcio.wariss@ifpa.edu.br 
 
Abstract:  Considering  adequate  communication  with  stakeholders  as  a  crucial  factor  of  e‐learning  acceptance, 
implementation  and  development,  this  paper  is  aimed  at  better  understanding  and  analyzing  actual  problems  involving 
communicative practices in distance learning and how to tackle those situations where it emerges an exigency to change 
beliefs  and  attitudes  by  means  of  argumentative  discourse,  namely  rhetorical  situations  according  to  L.  Bitzer’s  classic 
definition. Analyzing the case of e‐Tec Brazil Network, a Brazilian governmental distance learning program carried out by 
IFPA  in  the  Amazon  region,  this  paper  presents  a  model  intended  to  guide  the  identification  of  institutionalized  and 
interpersonal  aspects  of  a  social  communication  context.  By  distinguishing  these  two  constituent  dimensions  of  any 
communication context, this model sheds light on the relation between those components which may affect the success of 
communication within a distance learning program. In the context of the distance learning program in question, a lack of 
interactions  between  teachers,  tutors  and  students  can  be  partially  resolved  by  an  adequate  discourse  capable  of 
constraining  decisions  to  bring  about  significant  modifications  on  the  situation.  The  model  of  communication  context 
presented  here  is  also  helpful  to  elicit  rhetorical  exigencies,  audiences  and  constraints  that  should  be  taken  into 
consideration in order to construct argumentative responsive discourses. 
 
Keywords: rhetorical situation, social communication context, distance learning, online communicative practices, 
argumentation 

1. Introduction 
This paper was motivated by an actual necessity of tackling a communication problem observed in the context 
of  a  Brazilian  distance  learning  Program  for  which  I  had  just  been  invited  to  coordinate.  After  a  few  days 
leading the program, I noticed a lack of interactions between teachers, tutors and students directly involved in 
the courses.  
 
Knowing  that  instructor‐student  interactions  is  a  fundamental  aspect  for  distance  learning  implementation, 
acceptance and development (Holmberg 1989; Pirilä & Yli‐Luoma 2007; Selim 2007; Nehme 2010; Riaz, Riaz & 
Hussain 2011), I decided to analyze the situation in order to search for solutions immediately. After discovering 
breakdowns in the technological infrastructure of some Program’s telecenters and realizing that it would not 
be  possible  to  change  it  easily,  I  focused  on  situations  that  could  mitigate  the  problem,  namely  change  in 
beliefs  and  attitudes  concerning  e‐learning.  Actually,  e‐learning  implementation  does  not  relies  only  on 
technological solution, but on social and behavioural contexts (Tarhini, Hone & Liu 2013). 
 
In  this  way,  this  paper  is  aimed  at  better  understand  and  analyze  actual  problems  involving  communicative 
practices in distance learning and how to tackle those situations where it emerges the necessity of changing 
beliefs and attitudes by means of discourse. 
 
The  model  of  communication  context  suggested  by  Rigotti  &  Rocci  (2006)  and  the  conception  of  rhetorical 
situation  as  defended  by  Bitzer  (1968)  will  be  combined  in  order  to  support  the  analysis  of  the  problematic 
situation  at  issue.  Thus,  after  an  outline  of  the  Brazilian  distance  learning  Program  in  question  and  the 
presentation of Bitzer’s theory and Rigotti & Rocci’s model, both approaches will be combined in order to map 
the  actual  communication  context  where  emerges  the  lack  of  interactions  to  be  tackled  and  to  elicit  those 
relevant elements that should be taken into account to solve the problem. 
 
The approach we propose in this paper might help people in charge of e‐learning programs/courses to map 
the  complex  social  communication  context  of  their  programs  considering  both  institutionalized  and 
interpersonal aspects involved in communicative practices occurring in their programs/courses. 
2. The E‐TEC IFPA program: A brief presentation 
E‐TEC  Brazil  Network  is  a  governmental  program  promoted  by  the  Brazilian  Ministry  of  Education  aimed  at 
subsidizing the development of technological and professional education by means of distance learning. The 

570
 
Márcio Wariss Monteiro 

program is intended to expand and democratize professional education by offering technical courses especially 
for those people living in the countryside or in the outskirts of major metropolitan areas. Actually, the ultimate 
purpose of the program is the economic and social development of these marginal areas. 
 
E‐TEC Brazil Network covers all the 26 Brazilian states and the Federal District supporting the implementation 
of approximately 257 courses in 841 E‐TEC telecenters in partnership with 49 educational institutions. One of 
these partner institutions is the Federal Institute for Education, Science and Technology of Pará (IFPA), which 
serves  about  1,500  students  enrolled  in  6  courses  offered  in  10  E‐TEC  telecenters.  This  partnership  will  be 
called E‐TEC IFPA henceforth. 
 
IFPA acts in the state of Pará, situated in the North Region of Brazil, an area notably marked by unfavorable 
socioeconomic  conditions  and  poor  technological  infrastructure.  Moreover,  the  state  of  Pará  is  part  of  the 
wide and peculiar Amazon Region. In this context, therefore, distance learning is extremely challenging due to 
factors like scarce access to technologies (computers, mobile devices, software, Internet etc.), telecenters with 
limited and deficient bandwidth, distance between E‐TEC IFPA Central Office and telecenters, lack of adequate 
transportation systems to visit some telecenters and deliver material to be used in the courses (equipments, 
books, DVD etc.), low educational level of students from countryside enrolled in the program and so forth. 
 
Even though E‐TEC Brazil Network is meant to be a distance learning program, the model implemented by IFPA 
is  more  likely  a  blended  learning  because  in  general  all  the  courses  are  composed  by  80%  of  computer‐
mediated  activities  on  Moodle  (video  lessons,  assignments,  emails,  forums,  chats  etc.)  and  20%  of  local 
activities  at  telecenters.  It  is  worth  emphasizing  that  IFPA  is  an  institute  mainly  devoted  to  professional 
education  and  the  specific  necessities  of  the  courses  offered  –  namely  Informatics,  Metallurgy,  Urban 
Sanitation, Fishing, Aquaculture and Tourism – require spending some time and efforts in practical/laboratory 
classes led by teachers or tutors at telecenters. 
 
Taking  into  account  these  circumstantial  conditions,  especially  the  lack  of  a  satisfactory  technological 
infrastructure, it is natural to expect that communications problems occur during the courses. They do exist. 
However, online interactions between participants in the context of E‐TEC IFPA are not only hampered by this 
infrastructural  condition.  There  are  also  problems  in  the  communication  between  teachers,  tutors  and 
students  arising  from  aspects  not  concerned  to  technological  matters.  Some  of  them,  we  will  see,  can  be 
considered rhetorical situations according to Bitzer’s (1968) classic definition, i.e., situations where it emerges 
an exigency to change beliefs and attitudes by means of discourse. This kind of situation is what really interest 
to this paper. 
3. Bitzer’s rhetorical situation 
Taking into account that rhetoric is a way of producing effective changes in reality through the mediation of 
discourse, Bitzer (1968, p. 6) says: 
Rhetorical  situation  may  be  defined  as  a  complex  of  persons,  events,  objects,  and  relations 
presenting  an  actual  or  potential  exigence  which  can  be  completely  or  partially  removed  if 
discourse,  introduced  into  the  situation,  can  so  constrain  human  decision  or  action  as  to  bring 
about the significant modification of the exigence. 
Bitzer  remarks  that  any  rhetorical  situation  is  a  kind  of  invitation  to  a  response.  Thus,  he  argues  rhetoric  is 
situational, i.e., a rhetoric discourse arises as a response to a given situation which, according to the rhetor, 
must  be  changed.  In  other  words,  the  situation  calls  the  discourse  into  existence  and  gives  its  rhetorical 
significance: “[…] so controlling is the situation that we should consider it the very ground of rhetoric activity 
[…]” (ibid., p. 5). 
 
According to Bitzer, prior to the creation and presentation of discourse, any rhetorical situation is constituted 
by three elements: exigence, audience and constraints. 
 
“Any exigence is an imperfection marked by urgency; it is a defect, an obstacle, something waiting to be done, 
a thing which is other than it should be.” (Bitzer 1968, p. 6). However, an exigence is not rhetorical if cannot be 
changed (e. g. death or natural disasters) or can be modified by means other than discourse. 
 

571
 
Márcio Wariss Monteiro 

Once  rhetorical  situations  demand  discourses  intended  to  modify  reality  by  influencing  people  to  change 
beliefs  and/or  attitudes,  it  is  expected  an  audience  to  be  addressed.  Hence,  the  audience  of  a  rhetorical 
discourse  corresponds  to  “those  persons  who  are  capable  of  being  influenced  by  discourse  and  of  being 
mediators of change”. (ibid., p. 8). 
 
Finally, constraints are the third constituent of a rhetorical situation. Bitzer says that persons, events, objects, 
and relations have the power to constraint decisions and actions needed to modify a given exigence. He gives 
examples of standard sources of constraints: beliefs, attitudes, documents, facts, traditions, images, interests, 
motives and the like (ibid. p. 8). 
 
Bitzer  emphasizes  that  a  rhetorical  situation  invites  not  only  any  response,  but  a  fitting  response  whose 
elements (theme, matter, purpose, style) are usually prescribed by the situation itself (ibid., p. 10‐11). Also, he 
argues that there is a “propitious moment” to put forward a fitting response. The rhetor, therefore, needs to 
look carefully at a given situation in order to grasp its very exigence and choose the fitting audience, be aware 
of  relevant  constraints  involved  in  the  rhetorical  situation  under  analysis,  and  must  stay  alert,  otherwise  he 
loses the right moment and the situation may decay or become even more complicated (ibid., p.  13). 
 
Observing the complex implementation and development of E‐TEC IFPA courses, the lack of online interaction 
between teachers, tutors and students may be the main setback noticed in the context of E‐TEC IFPA. This is a 
very  complex problem  involving  shortcomings  related  to  the  poor  and defective  technological  infrastructure 
found  in  rural  areas  of  Amazon  Region.  Such  exigence,  however,  cannot  be  said  rhetorical  once  it  is  not 
possible to change it by means of discourse. On the other hand, investigating this communication problem, it 
emerges  exigences  that  could  be  affected  by  discourse,  like  misconception  about  distance  learning  and 
disinterest in implementing chats and forums as well as participating in them. 
 
Considering  adequate  communication  between  stakeholders  as  a  crucial  factor  for  the  success  of  distance 
learning – both in terms of motivation/persistence (Holmberg 1989; Simpson 2004; Tello 2007; Nehme 2010) 
and learning outcomes (Pirilä & Yli‐Luoma 2007) –, Rigotti and Rocci’s communication context model will help 
us to identify and relate relevant institutionalized and interpersonal factors that should be observed in order 
to tackle those rhetorical exigencies related to scarce interactions between participants of E‐TEC IFPA. 
4. Rigotti and Rocci’s social communication context model 
Rigotti & Rocci (2006) propose a model of  social context of communication intended to help understanding, 
constructing and evaluating communicative events. The model is founded on an interdisciplinary perspective 
highlighting that “communication context not only constitutes an essential factor in the process of production 
and interpretation of speech acts, but also is integral to the constitution of meaning itself” (ibid., p. 157). In 
other words, without considering the context in which communicative processes take place, it would be much 
more  difficult  –  actually  impossible  in  some  cases  –  to  have  success  in  communicating  or  get  a  satisfactory 
comprehension of communicative events. 
 
The authors advert, however, the model “is not aimed at including every kind of information that can enter the 
common ground, nor every kind of dimension that can be relevant for interpreting utterances”. For instance, 
material  situations  and  temporal‐spatial  coordinates  of  communication  events  do  not  figure  in  the  model 
(ibid., p. 170). 
 
Rigotti and Rocci synthesize a context of communication in the following graphical representation: 

572
 
Márcio Wariss Monteiro 

 
Figure 1: The communication context (Rigotti & Rocci 2006) 
Figure 1 shows two dimensions that must be taken into account to a better comprehension of communicative 
events: the institutionalized and the interpersonal dimensions 
 
The  institutionalized  dimension  is  essentially  characterized  by  the  notion  of  activity  types,  which  was 
introduced  by  Levinson  (1992,  p.  69)  as  “a  fuzzy  category  whose  focal‐members  are  goal‐defined,  socially 
constituted, bounded, events with constraints on participants, setting and so on, but above all on the kinds of 
allowable  contributions”.  In  Rigotti  and  Rocci’s  model,  in  turn,  activity  types  are  the  result  of  the 
implementation of interactions schemes within interaction fields. 
 
Interaction field is the actual social reality where communicative practices take place. It is defined by specific 
hierarchically organized shared goals which generate social roles and define the mutual commitments of them 
(Rigotti & Rocci 2006, p. 172). 
 
Interaction schemes, in turn, can be understood as “culturally shared recipes for interactions”, i.e., schemes of 
those communicative practices which structure and organize a given interaction field (ibid., p. 173). 
The actual context of communication arises exactly from this intertwined relation between interaction scheme 
and interaction field: 
In order to obtain an actual context I need to map an interaction scheme onto an interaction field 
where  real  commitments  are  present.  To  do  so  the  roles  of  the  interaction  scheme  need  to  be 
made to correspond to compatible roles in the interaction field. (Rigotti & Rocci 2006, p. 173). 
In the model, Rigotti and Rocci also show that “The implementation of interaction schemes within interaction 
fields generates a network of roles that are linked to each other through corresponding communication flows” 
(ibid.,  p. 174).  According  to  them,  communication  flows  can  be  understood  as  “the  repeated,  stable 
occurrence of an interaction scheme between certain roles in an interaction field” (ibid., p. 174). 
 
Rigotti  and  Rocci’s  model  points  out  that  institutionalized  roles  are  implemented  by  individual  or  collective 
subjects having their own interests, desires and goals, which may be aligned or not with institutional interests 
and  goals.  Conflicts  between  individual  and  institutional  interests  and  goals  give  rise  to  cases  of  “agency 
relationship”  in  which  the  subjective  dimension  generally  tends  to  have  priority  over  the  institutional  one 
(ibid., p. 74). Indeed, since individuals normally act in different interaction fields and belong to varied cultural 
communities  (nation,  religion,  language  etc.),  the  subjective  dimension  always  exceeds  the  institutionalized 
role played by them in a given interaction field. 

573
 
Márcio Wariss Monteiro 

In this way, Rigotti and Rocci underline the attention that must be paid to the interpersonal dimension of a 
context  of  communication.  They  remark  that  personal  and  communal  aspects  should  be  taken  into 
consideration  to  better  understand  this  interpersonal  dimension.  The  personal  aspects  are  related  to 
interpersonal  relationships  between  individuals  who  play  institutionalized  roles,  their  common  experiences 
and shared stories. The communal aspects, in turn, concerns the proper culture of the interaction field, with 
their myths, rites and models (Cantoni 2004). 

5. Rhetorical situations in the communication context of E‐TEC IFPA 
After  presenting  Rigotti  and  Rocci’s  model  of  social  communication  context  and  Bitzer’s  conception  of 
rhetorical situation, we propose to combine both theories in order to shed light on an actual communication 
problem in the context of E‐TEC IFPA, namely the lack of interactions between teachers, tutors and students. 
 
Regarding the specific situation to be analyzed, Rigotti and Rocci’s model allows to map the complex context of 
the Program and to identify relevant elements to compose argumentative discourse intended to change the 
situation at issue. 
 
According to Rigotti and Rocci’s model, in order to deal with this rhetorical situation concerning E‐TEC IFPA, a 
rhetor  should  be  aware  of  the  intertwined  social  reality  corresponding  to  the  institutionalized  partnership 
between  E‐TEC  Brazil  Network  and  IFPA,  and  also  of  personal  relationships  between  people  involved  in  the 
Program and their cultural background. 
 
Considering E‐TEC IFPA as an interaction field, its main shared goal is to offer and develop technological and 
professional  education  by  means  of  distance  learning.  In  this  way,  some  social  roles  (content  producer, 
teacher, tutor, coordinator and so forth) were created specifically to achieve this goal. These social roles and 
their  respective  commitments  are  legally  established  on  documents  of  the  Brazilian  Ministry  of  Education 
listing a series of tasks, attributions, rights and duties that must be observed for the adequate implementation 
of the Program. Furthermore, students enrolled in the Program also have their rights and duties established by 
IFPA, the educational institution to which they are directly associated. 
 
Regarding  interaction  schemes,  there  are  schemes  arranging  interactions  intended  to  manage  and  organize 
the  Program  strategically,  like  consulting,  deliberation,  problem‐solving,  mediation  and  so  forth.  However, 
what  really  interest  to  this  paper  are  those  schemes  structuring  interactions  which  are  supposed  to  involve 
teachers, tutors and students. Since we have the institutionalized roles of teacher and tutor, it is important to 
note that teaching and tutoring are different interaction schemes, even if both roles are meant to be involved 
in interactions with students. This means that it may be necessary to address different discourses to teachers 
and tutors in order to change the lack of interactions we are dealing with. 
 
In E‐TEC IFPA, the most frequent communication flows should be those related to teaching and tutoring, which 
encompass online synchronous and asynchronous practices (video lesson, web conference, email, forum, chat 
etc.) as well as local practices (laboratory and practical classes). These recurrent interaction schemes “select” 
the  communication  roles  (participants)  of  those  practices.  For  instance,  video  lessons  followed  by  web 
conferences  or  chats  are  communicative  practices  supposed  to  involve  teachers  and  students,  as  well  as 
tutorial  forums  and  chats  are  supposed  to  involve  tutors  and  students.  Conversely,  in  practice  these 
communication tools are not used as they should be. 
 
As  said  before,  E‐TEC  IFPA  is  more  likely  a  blended  learning.  For  each  course/subject,  there  are  80%  of 
computer‐mediated  activities  on  Moodle  and  20%  of  local  activities  at  telecenters.  In  reality,  the  80%  of 
computer‐mediated activities can be considered ineffective most of the time. Students usually access Moodle 
at the beginning of each course/subject to download the material they have to study (texts, exercises, videos 
etc.),  which  remain  available  for  3  or  4  weeks.  After  that,  they  normally  access  it  again  only  to  post  those 
compulsory assignments. The fact is for the great majority of the students, what really interest is the 20% of 
local activities at telecenters, when they have more opportunities to talk with teachers/tutors. This is because 
tools  like  forum  and  chats  are  rarely  used  in  order  to  establish  communication  with  students.  Since  these 
communicative  practices  are  not  promoted  regularly,  students  have  no  reason  and  motivation  to  access 
Moodle  frequently  (Pirilä  &  Yli‐Luoma  2007).  In  sum,  Moodle  becomes  a  mere  repository  of  files  to  be 

574
 
Márcio Wariss Monteiro 

downloaded. This is a typical example of “conservative innovation” according to Cysneiros (1999), i.e., the use 
of new technologies without implementing new methods to teach and learn. 
 
To  grasp  the  entire  complexity  of  the  E‐TEC  IFPA  communication  context  it  is  not  sufficient  to  look  at  the 
institutionalized dimension. Relationships and stories involving people playing institutionalized roles should be 
taken  into  account  too.  Actually,  subjective  factors  involved  in  communicative  practices  are  really  relevant 
especially  because  “Such  stories  may  also  turn  out  to  influence  the  institutional  dimension”  (Rigotti  &  Rocci 
2006, p. 174). 
 
Interpersonal aspects are more difficult to grasp because in general they are not explicit. In this way, in order 
to  elicit  relevant  elements  from  the  interpersonal  dimension  of  the  E‐TEC  IFPA  communication  context  we 
asked teachers, tutors about the lack of online interactions on Moodle, especially those via chats and forums. 
 
Knowing  that  one  of  the  most  critical  success  factors  for  e‐learning  acceptance  and  implementation  is 
instructor’s  attitude  towards  interactive  learning  and  teaching  via  online  technologies  (Freedman,  Tello  & 
Lewis 2003; Selim 2007), we asked teachers and tutors why they were not planning and implementing online 
activities on Moodle like chats and forums to interact with students. 
 
The most frequent answers from teachers are: a) problems with technological infrastructure in telecenters do 
not  allow  students  to  participate  in  synchronous  activities  like  chats  and  web conferences; b)  inexistence  of 
documents or instructions defining that they do have to use these online educational resources (chat, forum 
etc.) in the development of the courses; c) the engagement of students is inexpressive in terms of quantity and 
quality when chats and forums are proposed; d) the communication with students via forum and chats are not 
teachers’ attribution of teachers, but of tutors. 
 
Tutors, in turn, rapidly dodged the question by saying that their profile on Moodle does not allow to create 
chats and forums hence such resources should be implemented by teachers. Furthermore, according to tutors, 
problems with technological infrastructure in telecenters like interruptions of internet access hinder the use of 
these online tools. 
 
Finally, asking students why they do not effectively interact with teachers and tutors participating in chats and 
forums,  they  mentioned:  a)  prolonged  interruptions  of  internet  signal;  b)  many  of  them  cannot  go  to  a 
telecenter frequently; c) many of them revealed a deliberate refusal to engage in online interactions, instead 
they prefer to ask questions and clear doubts while attending face‐to‐face classes at telecenters; d) there is no 
motivation  to  participate  specially  in  online  forums  since  teachers  and  tutors  rarely  give  feedback  for 
questions, doubts and assignments. 
 
First  of  all,  taking  into  account  what  is  said  by  actual  subjects  playing  communication  roles  involved  in  the 
interactions schemes of teaching and tutoring, we can say that problems with the technological infrastructure 
are at the base level of a hierarchy of communication barriers in distance education: nothing else matters if 
communication cannot be established (Berge 2013). For what we propose in this paper, this situation will not 
be considered since it is not rhetorical. Furthermore, these problems do not really prevent the development of 
the  courses.  What  really  is  at  issue  is  the  fact  that  the  lack  of  online  interactions  persist  even  if  the 
technological infrastructure is functional. 
 
The actual rhetorical exigences to be tackled are those related to beliefs and attitudes of teachers, tutors and 
students  which  impact  on the  acceptance  (Selim 2007; Kim  2008)  and  the  effectiveness  of  distance  learning 
(Webster  &  Hackley  1997;  Kensky  2003).  According  to  what  they  said,  the  lack  of  interactions  is  a  situation 
which entails at least: a) no interest in implementing and participate in chat and forums; confusion on roles of 
teachers and tutors; and misconception about distance learning. 
 
In  order  to  solve  the  lack  of  interest  in  creating  chats  and  forums,  an  argumentative  discourse  should  be 
addressed  to  teachers.  They  are  the  fitting  audience  of  this  situation  since  teachers  are  responsible  for 
planning  their  courses/subjects  according  to  ministerial  documents  defining  E‐TEC  social  roles  and  outlining 
their attributions, rights, duties. Bitzer (1968) do not talk about a fitting rhetor for a given rhetorical situation 
but  we  can  say  that  Course  Coordinators  and  the  Program  Coordinator  are  those  capable  of  constraint 
teachers’  actions  towards  the  implementation  of  chats  and  forums  in  E‐TEC  IFPA  courses.  Besides  the 

575
 
Márcio Wariss Monteiro 

coordinators,  the  mentioned  ministerial  documents,  and  teachers’  working  contracts  are  constraints  to  be 
taken  into  consideration  in  order  to  modify  the  situation.  In  addition,  successful  experiences  of  a  few  E‐TEC 
IFPA  teachers  in  adopting  these  online  interaction  tools  should  be  used  as  arguments  to  change  reluctant 
teachers’ beliefs and attitudes. Certainly, there are also lots of arguments from different points of view in the 
extensive  research  and  literature  showing  the  importance  of  such  online  interaction  resources  to  distance 
learning. 
 
The confusion on roles of teacher and tutor is undoubtedly an exigence which arises from the interpersonal 
dimension of E‐TEC IFPA communication context. Broadly, in the context of the Program, tutors are meant to 
help teachers in the development of the courses. In practice, however, many tutors become the very teachers 
of  the  courses  because  actual  teachers  usually  and  conveniently  delegate  their  work  to  tutors.  In  this  case, 
shared experiences and relationships influences the institutionalized dimension in a way that shared goals and 
mutual commitments of an interaction field could be at risk – it is a typical case of agency relationship. In order 
to solve this confusion, the Program Coordinator should address a discourse to both teachers and tutors based 
on what is established on those ministerial documents concerning rights, duties and attributions of social roles 
created to support the Program ‐ legal established penalties could be also considered if necessary. 
 
Finally, students’ answers and attitudes show there is a shared misconceived idea of distance learning in the 
communal common ground (Clark 1996) of E‐TEC IFPA community. Actually, what we observe is that students 
are  not  really  conscious  of  this  way  of  teaching  and  learning.  They  are  enrolled  in  E‐TEC  IFPA  courses  just 
because  there  is  no  other possibility  to  attend  a  “traditional”  on‐site course  where  they  live.  Thus,  first  and 
foremost  it  is necessary  to construct  a discourse  capable of  leading  them  to  understand  the nature and the 
characteristics  of  distance  learning.  Without  a  clear  idea  of  distance  learning  will  be  difficult  to  students  to 
really accept and engage in the courses (Dabaj & İşman 2004; Riaz, Riaz & Hussain 2011). Here, explanatory, 
motivational and argumentative discourses from multiple rhetors – coordinators, teachers and tutors – may be 
the  better  strategy  to  change  students’  beliefs  and  attitudes  concerning  distance  learning.  Moreover,  one 
should not forget that E‐TEC IFPA students’ acceptance of distance learning also relies on the solution of the 
two other situations mentioned above. 

6. Concluding remarks 
What we have proposed in this paper is an approach aimed at better understanding and analyzing rhetorical 
situations with the help of a model of communication context. 
 
This is a first attempt to combine Bitzer’s conception of rhetorical situation and Rigotti and Rocci’s model of 
social communication context. Putting them together seems to be insightful to better analyzing those kinds of 
situations  involving  communication  problems  which  can  be  changed  by  means  of  rhetorical  discourse. 
Undoubtedly,  it  will  be  necessary  some  more  work  in  order  to  refine  and  enrich  this  approach  in  a  more 
systematic way. 
 
In  this  paper  we  proposed  to  deal  with  the  lack  of  online/instructional  interactions  observed  in  E‐TEC  IFPA 
communication context. We found three main exigencies to be tackled in order to solve this communication 
problem: a) no interest of teachers in implementing and participate in chat and forums; confusion on roles of 
teachers and tutors; and a shared misconceived idea about distance learning. For selecting fitting audiences 
and relevant constraints, Rigotti and Rocci’s model revealed to be a handy tool. 
 
It remains to be proposed a method to construct argumentative discourses based on the presented approach, 
which  reveals  its  usefulness  in  eliciting  relevant  institutionalized  and  interpersonal  elements  that  a  rhetor 
should  be  aware  of  in  order  to  construct  an  adequate  responsive  discourse  intended  to  change  beliefs  and 
attitudes. 

Acknowledgements 
I would like to thank the Instituto Federal de Educação, Ciência e Tecnologia do Pará (IFPA), more specifically 
its Pró‐reitoria de Pesquisa e Pós‐graduação (PROPPG) for giving me opportunity to present this paper. 

576
 
Márcio Wariss Monteiro 

References 
Berge, Z.L. (2013) “Barriers to Communication in Distance Education”, Turkish Online Journal of Distance Education‐TOJDE, 
Vol 14, No. 1, Article 31. 
Bitzer, L. (1968) “The Rhetorical Situation”, Philosophy and Rhetoric, Pennsylvania State University, Penn State, pp 1‐14. 
Cantoni, L. (2004) “La Comunicazione Interna fra Miti, Riti e Modelli: Un Approccio Formativo”, FOR ‐ Rivista per la 
formazione, pp 49‐53. 
Clark, H.H. (1996) Using Language, Cambridge, Cambridge University Press. 
Cysneiros, P.G. (1999) “Novas Tecnologias na Sala de Aula: Melhoria do Ensino ou Inovação Conservadora?”, Informática 
Educativa, UNIANDES ‐ LIDIE, Vol 12, No. 1, pp 11‐24. 
Dabaj, F. and İşman, A. 2004 “Communication Barriers in Distance Education: ‘Text‐Based Internet‐Enabled Online 
Courses’”, International Journal of Instructional Technology & Distance Learning, Vol 5, No. 2, February, pp 17‐36. 
Freedman, S.C., Tello, S.F. and Lewis, D. (2003) “Strategies for improving instructor‐student communication in online 
education”. In F. Albalooshi (ed.), Virtual Education: Cases in Learning & Teaching Technologies, IRM Press, Hershey, 
pp 156‐168. 
Holmberg, B. (1989). Theory and Practice of Distance Education. New York: Routledge. 
Kenski, V.M. (2003) Tecnologias e Ensino Presencial e a Distância, Papirus Editora, Campinas. 
Kim, Mi‐Ryang. 2008. “Factors Influencing the Acceptance of e‐Learning Courses for Mainstream Faculty in Higher 
Institutions”, International Journal of Instructional Technology & Distance Learning, Vol 5, No. 2, February, pp 29‐44. 
Levinson, S.C. (1992) “Activity Types and Language”. In Talk at work, P. Drew and J. Heritage (eds.), Cambridge University 
Press, Cambridge, pp 66‐100. 
McPherson, M.A., Nunes, J.M. and Zafeiriou, G. (2003) “New Tutoring Skills for Online Learning: Are e‐Tutors adequately 
prepared for e‐learning delivery?”, Paper presented at the The Quality Dialogue, Integrating Quality Cultures in 
Flexible, Distance and e‐learning, Rodos Palace Hotel, Rhodes. 
Nehme, M. (2010) “E‐Learning and Students’ Motivation”, Legal Education Review, Vol 20, pp 223‐239. 
Pirilä, K. and Yli‐Luoma, P. (2007) Learning Outcomes, Interaction and Motivation in E‐learning. In T. Bastiaens and S. 
Carliner (Eds.), Proceedings of World Conference on E‐Learning in Corporate, Government, Healthcare, and Higher 
Education, Chesapeake‐VA, AACE, pp. 6460‐6467. 
Riaz, A.; Riaz, A. and Hussain, M. (2011) “Students’ Acceptance and Commitment to E‐Learning: Evidence from Pakistan”, 
Journal of Educational and Social Research, Vol 1, No. 5, December, pp 21‐30. 
Rigotti, E. and Rocci, A. (2006) “Towards a Definition of Communication Context”, Communication Sciences as a 
Multidisciplinary Enterprise, M. Colombetti (ed.), Special Issue of Studies in Communication Science, pp 155‐180. 
Selim, H.M. (2007) “Critical Success Factors for e‐learning Acceptance: Confirmatory Factor Models”. Computers and 
Education, Vol 49, pp 396‐413. 
Simpson, O. (2004) The Impact on Retention of Interventions to Support Distance Learning Students, Open Learning, Vol 
19, No. 1, February, pp 79‐95. 
Tarhini, A., Hone, K and Liu, Xx (2013) “Factors Affecting Students’ Acceptance of e‐Learning Environments in Developing 
Countries: A Structural Equation Modeling Approach”, International Journal of Information and Education 
Technology, Vol 3, No. 1, February, pp 54‐59. 
Tello, S.F. (2007) “An Analysis of Student Persistence in Online Education”. International Journal of Information and 
Communication Technology Education, Vol 3, No. 3, edited by L. A. Tomei, pp 47‐62, 
Webster, J. and Hackley, P. (1997) “Teaching Effectiveness in Technology‐Mediated Distance Learning”, Academy of 
Management Journal, Vol 40, No. 6, pp 1282–1309. 
Willis, B. (1994) Enhancing Faculty Effectiveness in Distance Education. In B. Willis (ed.), Distance Education: Strategies and 
Tools. Englewood CliVs, NJ, Educational Technology Publications, Inc. 
 

577
Continuous Competence Development Model for Teacher Teams: 
The IT‐Pedagogical Think Tank for Teacher Teams (ITP4T) in Global 
Classrooms  
Charlotte Lærke Weitze 
ResearchLab: IT and Learning Design, Aalborg University, Denmark and VUC Storstrøm, 
Denmark 
cw@learning.aau.dk  
 
Abstract: This paper presents the development of the IT‐Pedagogical Think Tank for Teacher Teams (ITP4T), a continuous 
competence development model. The model was co‐designed following a design‐based research approach with teachers 
from VUC Storstrøm’s (VUC) Global Classroom (GC), an innovative hybrid synchronous videoconference concept (Weitze & 
Ørngreen 2014). The ITP4T model responds to the needs and challenges that the teachers and the organization in VUC’s GC 
are experiencing in the new technological teaching environment. Ultimately, it aims to create a new practise for teachers, 
enabling them to create their own continuous competence development. This article describes how and why the different 
components of the model were developed in response to the teachers’ challenges. Such challenges included lack of time, 
competence  and  support  from  the  educational  organisation  to  innovate  learning  design  to  correspond  to  the  new 
technological  learning  environment.  Using  this model  at  a  weekly  two‐hour  meeting,  we focused  on  creating motivating 
and engaging learning designs for the students, while gathering qualitative data in the process. This research found that it 
is possible to establish an agile ongoing practice enabling the teacher team to reflect, innovate and create. The model also 
provided  teachers  with  thinking  and  acting  technologies  enabling  change  and  the  opportunity  to  anchor  knowledge  and 
locate new solutions for the frequent IT‐pedagogical issues on a theoretical and practical level; this process empowered, 
engaged and motivated their daily working life.  
 
Keywords: pedagogical innovation, reflective learning, ICT integration, competence development in teams, organisational 
development with teams, developing and anchoring knowledge in the educational organisation 

1. Introduction 
This  paper  presents  a  new  continuous  competence  development  model:  the  IT  Pedagogical  Think  Tank  for 
Teacher  Teams  (ITP4T).  To  develop  this  model,  we  used  the  design‐based  research  method  (DBR)  with  the 
teachers as co‐designers, focusing on how to create innovative and motivating learning designs for teachers 
and students in a hybrid synchronous video‐mediated teaching context. 

1.1 Purpose of the ITP4T model  
The purpose of the ITP4T model is to provide teachers and educational organizations with a new practice and 
reflective  tool  that  enables  them  to  create  pedagogical  innovation  in  an  ongoing  and  structured  way,  thus 
creating  new  sustainable  designs  for  learning.  The  model  responds  to  the  needs  and  challenges  met  by 
teachers  in  Global  Classroom  (GC).  These  teachers  have  to  become  pedagogical  innovators,  adopting  new 
educational  technology  and  changing  learning  designs  accordingly  (Collins  &  Halverson  2010;  Weitze  & 
Ørngreen  2014).  As  students  are  the  end‐users,  ITP4T  seeks  to  create  qualified  and  motivating  learning 
opportunities  (Hutters  et  al.  2013).  ITP4T  aims  at  providing  a  chance  for  competence  development  in  the 
teachers’ busy lives, using their daily problems as starting point and with team support in their close teaching 
environment (Dede et al. 2009).  

1.2 Case  
The  case  organization,  VUC  Storstrøm,  an  adult  learning  centre  in  Denmark,  is  applying  the  concept  Global 
Classroom  (GC).  GC  is  a  full‐time  upper  secondary  general  education  program  lasting  two  year  based  on  a 
hybrid synchronous virtual and campus‐based videoconference concept. In GC, adult students daily can choose 
freely  between  participating  in  class  from  campus  or  from  home;  in  this  sense,  the  GC  concept  aims  at 
breaking  down  the  walls  of  the  classroom.  The  aim  of  creating  this  flexible  class  is  to  offer  a  learning 
environment  that  responds  to  the  need  of  adult  learners,  enabling  them  to  complete  their  education  while 
fitting  it  into  family  and  working  life.  Earlier  research  has  found  that  many  students  find  this  flexible  form 
relevant  and  motivating  in  spite  of  challenges  in  the  learning  design  and  occasional  technical  difficulties 
(Weitze  &  Ørngreen  2014).  The  teachers  combine  traditional  classroom‐based  teaching  techniques  with 
synchronous online teaching. This is due to that some of the students attend class via videoconference from 

578
 
Charlotte Lærke Weitze 

home, and are represented via video and sound on a screen in the classroom (Figure 1a and 1b). The teachers 
thus prepare their daily learning design without knowing how many students will be physically present in the 
classroom and how many will be attending online.   

 
(a) 

 
(b) 
Figure 1: The global classroom (GC) set‐up 

1.3 Problem area  
This section (1.3) seeks to provide an understanding of the background for this project, the development of an 
innovative team model (ITP4T). It begins by describing aspects of how the GC educational environment differs 
from a traditional environment before outlining some of the challenges that GC teachers face. 
 
GC  teachers  are  exploring  new  territory  when  teaching  in  this  synchronous  hybrid  environment.  To  a  great 
extent,  teachers  can  use  traditional  learning  design  encompassing  teacher  lectures,  student  presentations, 
class discussions, group‐work and off‐line assignments. However, the teachers express that engagement and 
motivation  factors  can  be  challenging;  for  example,  it  can  be  difficult  to  activate  the  students  at  home  and 
carry out a class discussion on equal terms for all students. This paper deals with these problematic aspects of 
GC teaching, aspects that call for pedagogical innovation.  The teachers’ statements show they are mentally 
taking  the  physical  environment  into  consideration  as  a  starting  point  when  planning  the  learning  design. 
Though this approach may have many advantages, the quality of the facilitated learning processes might also 
benefit from using online teaching strategies (Laurrilard 2012; Beetham & Sharpe 2013; Harasim 2011;  Bender 
2003; Spector et al. 2008).  
 
To establish a well‐functioning learning environment, the aim of this videoconference system is to make the 
artefact  (the  videoconference  system)  a  transparent  detail  in  the  interaction  between  the  teacher  and  the 
students;  in  other  words,  the  technology  ideally  disappears  from  the  teachers’  and  students’  immediate 
attention during the interaction process (Dourish 2004). However, this transparency experience disappears the 

579
 
Charlotte Lærke Weitze 

moment technical problems occur. In fact, the smallest technical flaw may eliminate the system’s “invisibility”. 
For  instance,  if  the  sound  is  unclear  during  a  classroom  discussion,  the  result  will  be  a  disturbance  in  the 
learning environment. In the GC learning environment, it is also relevant to consider the physical body. When 
learning  in  a  traditional  brick‐and‐mortar  classroom,  we  seldom  are  conscious  of  our  body,  apart  from  in 
subjects like sports and art. Thus, our body can be regarded as transparent, so long as it is functioning well; it 
immediately engages with the space and objects in its proximity, and normally our postures and movements 
occur  without  the  need  for  conscious  reflection.  In  other  words,  this  feeling  of  bodily‐transparency  lets  us 
experience our body as being in the world and not separate from it (Dolezal 2009). When learning through the 
videoconference interface, the students at home are presented in the classroom via picture and sound, and 
the student at home can see and hear representations of the students and the teacher from campus. However, 
in the interaction with the classroom, the transparency of the body is broken because the students cannot act 
with  their  bodies  in  the  classroom  from  home.  For  example,  if  the  teacher  hands  out  a  paper  in  class,  the 
students at home cannot feel and grab the paper. These different phenomena of broken transparency in GC 
call for attention and innovative learning designs.  
 
In one of the many variations of blended and hybrid learning, the students work together in class, and then 
continue working asynchronously in a debate forum from home; in other variations all students work at home 
and  interact  through  videoconference  settings  like  Adobe  Connect,  or  they  work  asynchronously  through 
different interactive educational technologies. In these learning designs, all the students are in the same kind 
of “room or mode”. However, in GC, the students are in two different rooms or modes at the same time, partly 
in class and partly at home. Some teachers have noted that when they focus their attention on the students at 
home,  the  students  on  campus  start  talking  about  other  things.  Similarly,  during  on‐campus  debates,  the 
students at home tend to remain passive. As one teacher put it, “If I just had to teach an online class, I think it 
would be easier”. This situation calls for new strategies providing the students with equal working conditions, 
for  example,  through  the  use  of  interactive  educational  technologies  “inside”  GC.  There  also  have  been 
challenges regarding the management and the teachers’ shared understanding of what it takes to implement 
this new teaching concept (GC). Such issues may leave the teachers with a feeling of being victimized, since 
they  find  it  difficult  to  find  the  time  to  learn  and  implement  the  needed  pedagogical  competence  to  create 
innovative learning designs. 

1.4 Research area: Development of a pedagogical innovative practice 
When analysing the above problem, one might interpret that the situation requires educational institutions to 
provide  a  space  for  teachers  to  experiment  with  and  develop  new  GC  learning  concepts.  Therefore,  this 
project  proposes  a  new  kind  of  practice  to  enable  pedagogical  innovation  based  on  the  following  aims:  1) 
Experimenting  and  co‐designing  with  GC  teachers  through  DBR  to  create  a  new  continuous  pedagogical 
innovative practice in the organisation based on teacher preferences; 2) working on theoretical and practical 
levels  in  this  development  phase,  discussing  and  implementing  the  results  in  the  process;  3)  developing  an 
agile working practice that enables the teachers to change teaching strategies in relation to current demands, 
new  issues  and  the  organization's  strategies;  and  4)  providing  a  structured,  reflective  and  pedagogically 
innovative way to experiment and find solutions that will empower the educational institution to move quickly 
in new directions, through the teachers’ professional knowledge.  

2. Research objective and methodology 
The ITP4T model was developed as part of a PhD project researching the following question: “What elements, 
methods,  processes  and  practices  can  contribute  to  the  creation  of  reflected,  innovative  and  motivating 
learning designs, for teachers and students in a hybrid synchronous video mediated teaching context, with a 
focus on how to create motivating learning for the students?” The teachers in GC participate in mapping and 
solving their own problems while developing innovative learning designs that involve digital technology. The 
research  was  conducted  as  a  combined  DBR  and  action  research  (AR)  study,  using  the  best  and  most 
meaningful approaches from both (Majgaard, Misfeldt and Nielsen 2011; Susman and Evered 1978). After the 
diagnosis and action‐planning phases (Weitze, Ørngreen 2014), the research proceeds to step four and five in 
AR: taking action and evaluating (Susman & Evered 1978). Qualitative methods were used to investigate how 
the  AR  and  DBR  competence  development  experiments  answered  the  research  question.  The  data  included 
field  notes,  audio  and  videotaped  utterances,  and  observations  from  the  described  workshops  and  informal 
meetings (table 1). 
 

580
 
Charlotte Lærke Weitze 

The  sub‐questions  for  this  part  of  the  research  process  then  becomes:  Which  elements,  practices  and 
processes  are  essential  in  the  following  circumstances:  1)  when  creating  a  practice  where  change  and 
anchoring  can  take  place  in  the  organization,  2)  when  teachers  are  seeking  to  become  initiators  and 
developers  of  their  own  visions  and  innovative  teaching  practices,  3)  when  creating  tools  and  methods  for 
innovating the teaching practice due to the continuous changes in educational technology, 4) when creating an 
organizational  tool  that  enables  continuous  competence  development  in  a  sustainable  form,  thus  giving 
teachers opportunities to participate in their daily visionary leadership, and 5) when attempting to move from 
a feeling of being victimized to being empowered teachers in GC. 
Table 1: The material from the research process 

 
3. Theoretical frame for the research and development of the ITP4T 
This  section  will  outline  theory  relevant  to  the  current  case  for  developing  a  continuous  competence 
development model for teacher teams. 

3.1 Pedagogical innovation 
The  use  of  educational  IT  is  not  new;  however,  the  pace  of  new  technologies  and  their  educational 
applications  continuously  calls  on  teachers  to  develop  new  skills.  When  teaching,  the  teacher  is  preserving 
culture  in  the  sense  that  he  or  she  embodies  an  educational  system  that  delivers  value  according  to  the 
current  rules  and  regulations  of  the  society  and  educational  institution.  At  the  same  time,  however,  the 
teacher  continuously  changes  pedagogies  to  encompass  new  needs  and  regulations.  Implementation  of 
educational IT often is initiated by the project management in the educational institution in order to leverage 
better  and  more  inspiring  learning.  However,  the  implementation  of  IT  can  be  a  challenge  for  the  teachers 
because  they  need  time  to  experiment.  This  need  can  be  approached  from  two  angles:  1)  investigating  the 
current learning design in terms of how IT can contribute or 2) considering technology and experimenting with 
the learning design that can be generated from the new technological possibilities.  
 
Innovation is a debated term but one definition of innovation is “those activities that based on new knowledge, 
are  developing  new  opportunities,  and  in  the  utilization,  generates  added  value”  (Wikipedia,  2014).  In  this 
definition,  innovation  thus  consists  of  ideas  and  creativity,  inspired  and  informed  by  new  knowledge  that 
opens  up  new  opportunities;  perhaps  most  importantly,  the  innovation  process  comes  to  life,  creates  value 
and becomes more than just an idea. In pedagogical innovation, the teachers aim to create innovative learning 
designs with new opportunities that create added value for the students. Research shows that teachers do not 
fully utilize the available pedagogical and academic possibilities provided by IT (EVA, 2012). This fact indicates 
that teachers need to learn to work with IT learning tools, but also that they need support for the process of 
innovation and for the development of innovative thinking (Darsø 2011; Laurillard 2012). What is innovative 
for  one  teacher  might  be  a  traditional  way  of  working  for  another  teacher;  therefore,  the  teachers  benefit 
from working together and learning from each other’s strengths while supporting one another’s weaknesses. 
Working  with  innovation  in  teams  is  a  strength  because  working  in  a  dynamic  community  and  not  solely  as 
individuals  enables  the  construction  of  strong  concepts  that  combine  knowledge  and  non‐knowledge  in 
previously unknown but highly relevant ways (Darsø 2007; 2011). 
 

581
 
Charlotte Lærke Weitze 

Lotte  Darsø  (2011)  has  developed  a  pedagogical  innovation  model  called  the  innovation  diamond  (ID), 
suggesting  which  knowledge  and  social  frameworks  promote  innovation  processes  in  groups.  The  ID  thus 
constitutes  an  analytical  tool  for  the  preparation  and  planning  of  an  innovative  pedagogical  development 
phase. The four areas in the diamond are knowledge, non‐knowledge, conceptualizing and relationships. 

 
Figure 2: The innovation diamond (ID) (Darsø 2011) 
The learning takes place through experience in practice ‐ learning by doing. In essence, if all four corners of the 
diamond are considered, rich conditions will emerge for pedagogical innovation. When working in the model, 
the team starts out with a problem area or area of interest to be approached in the ID (Darsø 2011) and then 
approaches the non‐known area creating new concepts. 

3.2 Reflection and professional development for teachers 
Pedagogical innovation is important when developing competence, but so is reflection (Dewey, 2008). Erling 
Lars  Dale,  professor  in  pedagogy,  distinguishes  between  three  levels  of  competence  for  the  professional 
teacher:  C1,  C2  and  C3  (Dale  1998).  C1:  The  first  competence‐level  is  the  teacher’s  execution  of  the  daily 
teaching  practice  in  class,  with  targeted  learning  and  attention  on  the  activities.  C2:  At  the  second 
competence‐level, the teacher plans. She constructs, analyses and interprets the curriculum, produces training 
material and organizes professional, interdisciplinary and differentiated instruction. She formulates goals and 
evaluates as well as discusses current problems with colleagues. C3: The third competence level is a reflection 
space for the study of learning design theory and for critical reflection, development and research. To become 
a  professional  teacher,  the  educator  must  be  able  to  reflect  and  develop  her  practice  systematically  in 
collaboration with colleagues with the use of professional theory (Dale 1998). For the GC teachers to be more 
professional teachers, it is relevant for them to reflect on the third competence level, C3, in teacher teams. For 
example,  they  obviously  could  be  inspired  by  discussing  online  teacher  development  literature  (Rice  2012; 
Bender 2003) or online virtual teacher courses (Coursera 2014). 
 
It  is  not  a  new  concept  to  work  in  teams  in  order  to  create  ideal  conditions  for  the  teachers  learning  in 
educational institutions. However, research shows that when the teachers work in teams aiming at developing 
the  best  possible  conditions  for  facilitating  student  learning  processes,  they  often  end  up  focusing  on  the 
practical  functionality  of  the  teaching:  the  practical,  disciplinary  and  organizational  aspects.  Also,  teamwork 
among teachers tends to happen in a culture with cosy, family‐like structures, which can make it difficult to 
move  beyond  the  participants'  core  beliefs  and  experiences  (Tingleff  2012).  Therefore,  it  is  important  to 
maintain  a  focus  on  creating  innovative  learning  designs  for  the  students,  going  beyond  the  borders  of  the 
teams’  experiences  and  maintaining  attention  on  working  at  the  third  level  of  competence,  C3,  in  the 
innovative team process (Dale 1998). 
4. Research design 
In fall 2013, three teachers from the GC participated in a competence development project. The project was 
designed as two parallel movements: 1) A series of eight competence development workshops on which the 
teachers  participated  in  reflective  and  pedagogical,  innovative,  competency  development  educational 
workshops to respond to the issues and needs expressed by the GC teachers (Weitze 2014). In the first four 
workshops, the researcher was responsible for leading the workshops. In the last four workshops, the teachers 
took  over  the  competence  development,  while  the  researcher  participated  as  a  facilitator  and  debate 

582
 
Charlotte Lærke Weitze 

contributor.  The  teachers’  presented  their  version  of  the  ITP4T  model  at  a  GC  conference  and  later  were 
examined as ITP4T‐model teachers. In May 2014, two new teacher teams started using the ITP4T‐model as a 
preparation  for  working  in  GC.  2)  The  second  movement  involved  a  participatory  and  iterative  AR/DBR 
research  project.  At  the  workshops,  the  discussions  and  experiences  were  concerned  with  how  to  structure 
the  innovative  reflective  pedagogical  process.  Methods  heavily  were  discussed  and  reflected upon,  using  an 
appreciative  inquiry  approach  (Mejlvig  2012).  Between  the  workshops,  the  researcher  evaluated  the  notes, 
utterances and observations in order to develop and refine the ITP4T model. The researchers’ active way of 
participating in the workshops calls for attention on her role, with a danger of biasing the research, while at 
the same time, making it possible to observe, analyze, bring up relevant theories and share these reflections 
with the teachers in the iterations.  

5. Theoretical and grounded analysis of the empirical data 
The following is an overview of the ITP4T model (figure 3), describing how it was developed as well as some of 
its theoretical foundations.  

 
Figure 3:  IT‐pedagogical think tank for teacher‐teams (ITP4T). Please see description below 
The  goals  and milestones  involve  development,  innovation  and  learning  processes  and  are  illustrated  as  the 
coloured lines and black circles at the bottom of the model in Figure 3. The ITP4T‐model consists of five points: 
A‐E that are carried out, or performed, by the teacher team at the weekly two‐hour meeting, followed by the 
weekly assignment (Figure 3). The development of goals and milestones for the competence development is 
an  important  part  of  the  model.  It  is  also  important  to  develop  a  strategy  for  how  to  integrate  the 
collaboration and knowledge exchange with management; thus, this model also encompasses organisational 
development. The teachers contributed to the model initially by describing their problematic issues (illustrated 
as S in figure 3) by working with the suggested new practices and by experimenting with and reflecting on the 
different  parts  and  iterations  of  the  model.  In  this  manner,  they  qualified  the  model  by  participating  in  the 
design process.    
 
In the following section, each workstation (A‐E) or area of the ITP4T model will be described in terms of the 
following: 1) problem areas; 2) experiments: empirical and theoretical background for experiments, co‐design 
with the teachers, findings in the research process; and 3) summary of the recommendations for each point as 
an analytic result of the research.  
 

583
 
Charlotte Lærke Weitze 

5.1 G & M) Goals and milestones for the competence development (Figure 3: G & M) 
Problem  area:  The  teachers  found  it  difficult  to  be  innovative  and  find  time  in  their  daily  lives  to  develop 
competences for teaching in GC, and to distinguish what the problems actually were in GC (Weitze & Ørngreen 
2014).  The  teachers  acknowledged  that  they  needed  to  train  using  different  interactive  pedagogical 
technologies,  but  also  realized  that  they  had  to  experiment  with  how  they  could  develop  and  use  the 
technology  from  a  pedagogical  angle.  This  experimentation  would  help  them  develop  a  sense  of  how  to 
combine the learning design with technology use in order to enable motivating learning for the students. This 
example shows the necessity of developing a common understanding and sense of how learning design and 
technology are two sides of the same coin; they are two parts of the same practice that cannot be separated. 
They also are deeply individual, needing to be innovated upon over time (Weitze & Ørngreen 2014; Dourish 
2004; Orlikowski 2010). 
 
Experiments  and  findings:  S)  (Figure  3:  S  ‐  the  Starting  point).  In  the  first  workshop,  the  teachers  began 
clarifying  the  problem  area  and  brainstorming  on  what  kind  of  competences  they  wanted  to  develop.  The 
teachers  thus  created  visions  for  the  educational  organization  from  the  outset  with  their  own  relevant 
professional  context.  The  teachers  used  an  online  collaborative  post‐it  tool  for  the  brainstorm  “taking  their 
own  medicine”  by  training  in  the  use  of  interactive  tools  in  the  innovative  processes.  The  brainstorm  was 
inspired  by  discussion  of  learning  designs  (Selander,  2008)  as  well  as  by  the  problems  and  advantages  of 
teaching  in  GC.  The  questions  and  ideas  from  this  brainstorm  was  made  into  a  list  and  documented  in  the 
teachers’  Learning  Management  System  (LMS).  In  the  new  team  (May  2014),  the  issues  were  stored  in  an 
interactive agile project development tool (www.trello.com) that enabled them to prioritize and keep track of 
the goals and milestones they had for the different areas of their competence development.  
 
Recommendations:  By  brainstorming  (S  –  in  figure  3),  developing,  setting  milestones  (figure  3:  G  &  M)  and 
continuously  evaluating  the  problem  areas  and  competence  goals,  the  team  should  become  initiators  and 
developers of their own visions and innovative teaching practices. The model shows four main development 
areas  within  which  the  teachers  are  developing  competence:  1)  themes  from  the  GC,  2)  innovative  learning 
design,  3)  innovative  use  of  educational  technology,  and  4)  professional  theoretical  literature  within  the 
pedagogy and other relevant subject matters (e.g., edu‐blogs, videos, etc.). These divisions are rather artificial 
because the themes are intertwined; however, it can be beneficial to regard them as different entry points to 
the issues. 

5.2 A) Input/presentation of the chosen problem area by the team leader of the day (10 minutes) 
Problem area: Initially, the teachers had problems finding time and being explicit about the problem areas of 
working in GC. They also felt “victimized” by management because they believed they faced large demands, 
lack of support and few possibilities for relevant competence development, though they had participated in 
various  edu‐technological  courses  arranged  by  the  management.  The  teachers  dealt  with  their  issues 
individually, but lacked an established practice that enabled them to discuss, experiment, and gain knowledge 
and competence in cooperation with colleagues. 
 
Experiments  and  findings:  In  the  workshops,  the  teachers  began  by  prioritizing  their  issues.  Following  this 
approach, the teachers took turns being team leader of the day. The team leader researched the problem area, 
made a presentation, unfolded and thematised the problem, added new knowledge and ended with a call for 
debate  and  conceptualization.  By  taking  turns,  the  teachers  could  pick  the  subjects  that  they  found  most 
pressing and relevant. They found it fulfilling to bring their individual issues up for debate. Examples of themes 
were: reflection and pedagogical innovation in teams, knowledge sharing, activation of the students at home, 
discussion of online interactive tools and use of learning games in GC.  
 
Recommendations: The research showed that, though the teachers initially resisted being the “team leader” 
and leading the innovative process, they became positive and empowered by developing and conceptualizing 
their own relevant issues. The theme could be chosen by one of the teachers, by the whole team or by the 
management;  it  is  also  possible  to  have  an  expert  as  team  leader  for  one  or  more  days  to  achieve  new 
competencies. To keep pace when moving through the ITP4T model, the teachers found it important that the 
team leader acted as a facilitating timekeeper. 
 

584
 
Charlotte Lærke Weitze 

5.3 B) Reflection/innovation/discussion: The team is working (one hour) (Figure 3: B) 
This process involved development of new learning design concepts, C3 reflection on general pedagogical and 
theoretical  issues,  conceptualisation  and  experiments  with  new  innovative  learning  designs,  experiments 
involving new educational IT and discussing new organisational regulations and needs. 
 
Problem  area:  The first evaluations (Weitze & Ørngreen 2014) showed that the teachers could benefit from 
theoretical  knowledge  about  innovative  pedagogical  and  reflective  processes,  management  of  innovative 
teams, knowledge development and knowledge sharing in teams. It would also be advantageous for them to 
gain experience in explicit discussions of their own learning design. 
 
Experiments:  With  Darsø’s  (2011)  Innovation  Diamond  (Figure  2)  and  Dale’s  (1998)  C3  third  level  of 
pedagogical  professionalism  as  frameworks,  or  technologies  of  thought,  the  teachers  worked  on  innovating 
and conceptualising their theme of the day.  
 
Recommendations and findings: Within the chosen framework and beginning with well‐planned presentations, 
the  teachers  conducted  highly  innovative  and  qualified  discussions  and  were  able  to  move  quickly  into  new 
directions. Darsø (2011) recommends letting the team members be responsible for the different areas in the 
innovation model (knowing, non‐knowing, conceptualising and relations). The findings indicated that, though 
the  framework  was  a  good  technology  of  thought,  the  team  members  felt  uncomfortable  identifying 
themselves  with  one  specific  area,  but  acknowledged  the  areas  as  relevant  for  moving  forward  in  the 
innovative process. Another finding was that the teachers emphasized the importance of taking responsibility 
for keeping the discussions at the C3 level of competence in order to enable the development of professional 
and qualified concepts; in this way they avoided going into functional discussions about other practical matters. 
They  also  emphasised  the  advantage  of using  the  ID  as  a  conceptual  framework,  guarding  positive  relations 
but also asking provoking questions going beyond the team members’ established experiences and teaching 
norms.  

5.4 C) Evaluation: Lessons learned, considering the short and long‐term goals (10 minutes) 
Experiments  and  recommendations:  (Figure  3:  C)  In  the  evaluation  of  new  concepts,  the  teachers  made 
formative and summative evaluations of the competence goals for 1) the current day, 2) the long term and 3) 
future  aims  and  goals.  The  goals  could  be  for  the  individual  teacher,  the  team  or  the  organization.  The 
teachers found the evaluation important because it constituted their new concepts into a common language 
and supported the team in prioritizing and developing their future goals for competence development. 

5.5 D) Anchoring/documentation/dissemination: (15 minutes) (Figure 3: D) 
Problem  area:  Knowledge  sharing  is  a  difficult  art  in  an  educational  institution,  and  the  teachers  expressed 
that  they  seldom  had  opportunities  for  it  in  their  daily  working  lives.  Elements,  methods,  processes  and 
practices in new educational projects also can be regarded as new organizational knowledge. Research shows 
that  it  is  difficult  to  anchor  projects  when  the  project  period  has  passed  (Henriksen  2011).  Therefore,  it  is 
important  that  the  teachers  have  possibilities  to  exchange  knowledge  among  their  colleagues  in  order  to 
enable development and anchoring of the new project.  
 
Experiments: For the benefit of memorization and common conceptualization of the issues and their solutions, 
knowledge  sharing  took  place  in  a  structured  way on  an  LMS‐platform  that  was  available  to  all  GC teachers 
and the organization. The LMS provided an opportunity for all teachers to participate in creating and using the 
new  knowledge.  Furthermore,  an  official  website  was  created  to  inspire  the  teachers  with  new  learning 
designs  and  technologies.  The  form  of  the  knowledge  sharing  was  discussed  heavily,  both  in  terms  of 
oral/written documentation and dissemination: the group discussed how much to write, in which genre and 
accessibility. The teachers also suggested and discussed verbal dissemination at pedagogical meetings. 
 
Recommendations: When the two new GC teams started, they first asked if there was any written advice on 
positive  experiences  from  GC  learning  designs.  This  anecdote  shows  the  importance  of  disseminating  the 
innovative knowledge within the organization. However, the shape of the documentation and the structure of 
the dissemination remain research areas worth investigating, for both written and verbal modes. The teachers 

585
 
Charlotte Lærke Weitze 

became  accustomed  to  documenting  their  work  from  the  ITP4T  model  and  emphasized  that  it  was  an 
important practice at the end of the workshops. 

5.6 E) “I dare you”: The challenge (15 minutes) (Figure 3) 
Problem area: The teachers could not find time to develop and experiment with new learning designs for the 
GC environment and expressed that they lacked the appropriate knowledge. 
 
Experiments  and  recommendations:  The  meaning  and  purpose  of  the  term  “I  dare  you”  is  to  focus  on  this 
point  while  keeping  a  light  atmosphere:  can  we  challenge  each  other  in  a  way  that  takes  us  beyond  our 
comfort  zone  while  remaining  fun  and  motivating?  The  team  leader  of  the  following  week  agreed  with  the 
team on a fixed assignment for the next week’s meeting as preparation for the next theme. The assignment of 
the week could be: reading new theoretical literature, conducting relevant and motivating experiments with 
the  class,  finding  new  interactive  collaborative  technologies  or  conducting  an  online  discussion  about  the 
subject for next week. Sometimes, this assignment was an experiment with the students and would then be 
experimented on, discussed and elaborated on for more than a week. For the teachers, an important aspect of 
this  assignment  was  the  requirement  to  create  a  product  for  the  next  team  meeting  rather  than  just 
considering  an  issue;  teachers  noted  that this  product  was  a  crucial  point  for  moving  forward.  The teachers 
emphasized that it made a big difference for them. The ITP4T model then started all over again the following 
week, enabling continuous competence development for and by the teachers. (Figure 3: A‐E) 

6. Discussion 
In the discussion following the teacher’s exam in the ITP4T model, the teachers emphasized the importance of 
the management’s willingness to engage in and support this way of working in innovative pedagogical teams. 
The local manager participated for approximately 15 minutes in most workshops, which enabled knowledge 
sharing and motivated the teachers to focus on teamwork during the week. The management’s role should be 
discussed in the educational institution, and if the institution is to benefit from the teachers’ new concepts and 
visions,  it  might  call  for  a  new  distribution  of  leadership  and  initiatives  between  the  management  and  the 
teachers in certain areas. 
 
The model consists of a “list of rules”, but to function, it is important to decide and actually do the new team 
practice, collaborating in the team and personalizing how to work in the model on a weekly basis. The teachers 
were examined in the ITP4T model by making a new workshop with 4 teachers while demonstrating that the 
learning  goals  were  reached  (Appendix).  The  exam  experience  clearly  contributed  to  a  new  kind  of 
professional identity for them. Teaching new teachers will also be an authentic way to disseminate the model 
to  the  rest  of  the  organization,  since  the  teachers  disseminate  their  own  version  of  the  team  model  like 
“ripples  in  the  water”.  The  ITP4T  model  resembles  other  models  in  terms  of  teamwork,  and  it  has  been 
inspired  by  the  action  research  and  problem‐based  approaches.  The  contribution  of  the  ITP4T‐model  is  its 
ability to provide an ongoing practice and a structure with an emphasized focus on pedagogical innovation and 
reflection,  with  a  foundation  in  the  teachers’  and  organizations’  relevant  professional  issues  and  problems, 
enabling  change  and  structured  anchoring  of  the  new  innovative  concepts—a  visionary  contribution  to  the 
educational institution. The new team practice allows the teachers to have an identity not only as teachers but 
also as (self‐regulated) learners. The findings indicated that the teachers had a more positive perspective on 
their own ability to create changes after the workshops. In addition, they valued the professional support they 
gave each other in the team when developing new learning concepts. As one of the teachers in the workshops 
put it, “If VUC Storstrøm wants to be one of the best adult education centers in the country, this is perhaps 
one  of  the  ways  to  do  it.  But  the  management  must  want  it."  In  the  eight  workshops,  we  followed  specific 
learning  goals  encompassing  pedagogical  innovation,  reflection  and  learning  designs  (see  Appendix).  These 
learning goals served as guiding points when choosing the content and shape for these first workshops, and 
therefore, should be seen as a contribution to the current version of the ITP4T model. Though the teachers 
approved the ITP4T model, it was only developed and used by a small group. It also should be mentioned that 
these teachers had a positive attitude about participating in this experiment. However, the pace at which the 
teachers  moved  through  the  issues  and  came  up  with  new  pedagogical  innovations  indicates  the  great 
potential of the model in other new educational environments involving technology.  

586
 
Charlotte Lærke Weitze 

7. Conclusion 
The  ITP4T‐model  has  proved  as  a  sustainable  continuous  competence  development  practice,  consisting  of 
elements  of  pedagogical  innovative  and  reflective  thinking  and  acting  technologies  and  with  practices  and 
processes  enabling  change  and  anchoring  of  the  new  conceptualizations  developed  by  the  teachers.  The 
teachers  became  empowered  initiators  and  developers  of  their  own  innovative  pedagogical  concepts 
concerning  development  of  new  learning  designs  and  implementation  of  new  technology  in  GC.  For  the 
success  of  this  practice  it  is  important  that  the  management  supports  and  engages  in  the  practice  with 
resources, by participating and by being open towards a possible change in the distribution of leadership and 
initiatives  between  the  management  and  the  teachers.  At  the  moment  an  ITP4T‐guidebook  is  produced  for 
future teams. 

Appendix 1 
Learning goals for the eight workshops 
 
After the course, the team members will be able to do the following: 
ƒ Describe  own  learning  design  and  identify  and  formulate  possible  problem  areas  in  the  current 
educational context. 
ƒ Select and plan the use of and create a process of collective reflection about relevant literature in relation 
to the team's experience of current issues. 
ƒ Develop and carry out a process leading to individual goals for innovation, both in the short and long term. 
ƒ Master innovative tools that can be used in the innovation process in a pedagogical team. 
ƒ Be  innovative  concerning  their  own  teaching,  involving  both  technology  as  well  as  new/innovative 
learning designs. 
ƒ Organize and lead an innovative team process. 
ƒ Choose a strategy and method for knowledge development, knowledge sharing and anchoring in the team. 

References 
Beetham, H. and Sharpe, R. (2013) Rethinking Pedagogy for a Digital Age: Designing for 21st Century Learning, Rutledge. 
New York. 
Bender, T. (2003) Discussion‐Based Online Teaching to Enhance Student Learning: Theory, Practice, and Assessment, Stylus 
Publishing, LLC. Virginia.  
Collins, A. & Halverson, R. (2010). “The Second Educational Revolution: Rethinking Education in the Age of Technology”, 
Journal of Computer Assisted Learning, Vol. 26, pp. 18–27. 
Coursera (2014), https://www.coursera.org/specialization/virtualteacher/10?utm_medium=listingPage    
Dale E.L. (1998) Pædagogik og Professionalitet. Forlaget Klim. Århus. 
Darsø, L. (2011), Innovationspædagogik ‐ Kunsten at Fremelske Innovationskompetence (1.udgave). (Innovation pedagogy ‐ 
the art of cultivating innovation competence ). Samfundslitteratur.  
Darsø, L. (2007), "Is There a Formula for Innovation?", Learning Lab Denmark, Aarhus School of Education. (original 
published in Danish in 2003). 
Dede, C., Ketelhut, D.J., Whitehouse, P., Breit, L., McCloskey, E.  (2009), “A Research Agenda for Online Teacher 
Professional Development”, Journal of Teacher Education, Vol. 60, issue 1, pp. 8‐19. 
Dewey, J., Rorty, R. (2008), The Later Works of John Dewey, Volume 8, 1925‐1953: 1933, Essays and How We Think. 
Southern Illinois University Press. 
Dolezal, Luna (2009), "The Remote Body: The Phenomenology of Telepresence and Re‐Embodiment", Human Technology, 
Vol. 5, No. 2. 208‐226. 
Dourish, P. (2004), Where the Action Is: The Foundations of Embodied Interaction, MIT press, Cambridge, MA.  
EVA (2012), “Skoler Skal Hæve Ambitionerne”, http://bit.ly/17y1hUC, accessed 12.6.2014. 
Harasim, L. (2011), Learning Theory and Online Technologies. Routledge.New York. 
Henriksen, T.D., et al. (2011), “Har Projekter et Liv efter Deadline? (Does Projects have a life after deadline?)Skoleudvikling 
fra Projekt til Forankring”, Cursiv, Vol. 8, pp.83‐102. 
Hutters, C., Katznelson, N., Sørensen, N.U., Juul, T.M. (2013), Unges Motivation og Læring: 12 Eksperter om 
Motivationskrisen i Uddannelsessystemet, Hans Reitzels Forlag, København. 
Laurillard, D. (2012). Teaching as a Design Science: Building Pedagogical Patterns for Learning and Technology. 
Routledge.New York. 
Majgaard, G., Misfeldt, M., Nielsen, J. (2011). “How Design‐Based Research and Action Research Contribute to the 
Development of a New Design for Learning”, Designs for Learning, Vol. 4, No. 2,p.8‐  

587
 
Charlotte Lærke Weitze 

Mejlvig, K. (2012), "Appreciative Inquiry – anerkendende udforskning", in eds. Duus, G. et al: Aktionsforskning ‐ en 
grundbog, Samfundslitteratur, pp. 215‐227. 
Orlikowski, W.J. (2010), "The Sociomateriality of Organisational Life: Considering Technology in Management Research", 
Cambridge Journal of Economics, Vol. 34, No. 1, pp. 125‐141  
Rice, K (2011), Making the Move to K‐12 Online Teaching: Research‐Based Strategies and Practices, Pearson.  
Susman & Evered (1978), “An Assessment of the Scientific Merits of Action Research”, Administrative Science Quarterly, 
Vol. 23, pp.582‐603. 
Spector, J.M., Merrill, M.D., Elen, J. & Bishop, M. 2008, Handbook of Research on Educational Communications and 
Technology, Springer. London. 
Tingleff Nielsen, L. (2012), Teamsamarbejdets Dynamiske Stabilitet: En Kulturhistorisk Analyse af Læreres Læring i Teams, 
Forlaget UCC. København. 
Weitze, C.L. & Ørngreen, R. (2014), "The Global Classroom Model Simultaneous Campus‐ and Home‐Based Education using 
Videoconferencing", The Electronic Journal of e‐Learning, Vol. 12, No. 2, pp. 215‐226. 
Weitze, C.L. (2014), “IT‐pedagogical Think Tank for Teacher‐Teams in Global Classrooms: A Model for Continuous 
Competence Development with a Focus on Reflection, Innovation, Motivation and Engagement,” Paper for Designs 
for Learning 2014, 4th International Conference, Expanding the Field, 6‐9 May 2014, Stockholm, Sweden: Conference 
Proceedings. 
Wikipedia (2014), Innovation, http://da.wikipedia.org/wiki/Innovation  
 

588
Meeting the Online Needs of Part Time Postgraduate Engineering 
Students 
Stephen Wilkinson and Duncan Folley 
Leeds Metropolitan University, Leeds, UK 
s.wilkinson@leedsmet.ac.uk 
d.folley@leedsmet.ac.uk 
 
Abstract:  This  research  paper  investigates  how  online  resources  and  blended  learning  can  meet  the  needs  of  part  time 
adult learners studying or a post graduate qualification in Engineering. There are many reasons why students in industry 
undertake  a  postgraduate  qualification  in  part  time  mode,  namely:‐They  need  the  work  to  support  themselves  through 
further  study  Their  company  wants  them  to  undertake  continual  and  professional  development  They  wish  to  become  a 
Chartered Engineer ie a member of a professional body These reasons are very commendable and these student set off 
with a view to completion with an air of optimism and excitement. However, a combination of work /life demands and the 
rigors  of  academia  can  quickly  take  the  shine  off  the  optimism.  As  full  time  employed  adult  learners,  there  are  many 
obstacles that will interfere with their academic life, for example employer demands ie having to go overseas to work or an 
urgent  need  to  be  at  work,  family  demands  ie  a  new  baby  or  caring  for  a  family  member,  other  demands  include  jury 
service. Therefore one of the main design criteria for these type of Post graduate courses was to improve the flexibility of 
delivery and to generate as many different types of support for these students as possible.  An adult learner will more likely 
seize  the  opportunity  to  learn,  even  in  the  face  of  adversity.  Self‐regulation  means  that  they  will  seek  help  if  they  lack 
understanding, they also believe more in their own capabilities and are probably more organised, (Boekaerts, Pintrich, & 
Zeidner,  2000;  Schunk  &  Zimmerman,  1998).  This  is  contradictory  to  Prensky  (2001) who  developed  the  title  “Digital 
Immigrants” for adult learners as opposed to “Digital Natives” for the younger learner. Many other papers show that what 
the adult learner lacks in online skills he makes up in terms of resilience, experience and organisation.Therefore, this paper 
examines how online resource, tools and delivery methods were part of the course design in order to overcome some of 
the difficulties that these adult learners encountered.   
 
Keywords: adult learners, Web 2.0 tools, online learning, resilience, support 

1. Adult learners studying engineering at Leeds Met  
The roller coaster ride of economic activity, changing global markets and th political colour of the government 
in power has meant that the demand for Engineering University courses has ben extremely dynamic in the last 
15  years.  At  its  peak  at  the  turn  of  the  millennium,  we  had  over  600  full  time  students  and  60  part  time 
students  on  our  Engineering  courses.  A  survey  was  conducted  at  this  point  to  find  out  where  the  students 
came from. The findings were as follows: 
 
They had travelled from within a one hundred mile radius fro day release 
 
The industries varied from oil platform manager to pharmaceutical manufacturing 
They were mostly mature students 
 
The benefits of having these adult learners studying alongside the full time school leavers was enormous, for 
example: 
ƒ lecture discipline, they sat at the front, asked great questions and told the full timers to shut up if they 
started chatting 
ƒ they produce some of the best work, and so raised the standard of work 
However, as adult learners, they had a different set of problems to the full time student, for example: 
ƒ Deputy manager of the Scott platform 90 miles off the Norwegian coast, 3 weeks on and 3 weeks off 
ƒ Setting up production lines in Argentina and Mexico, then flying off to Hong Kong and China 
ƒ The  company  is  closing  down  and  shipping  all  work  to  East  Europe,  Asia  and  South  Africa.  Aerospace, 
Electronics, Electric drill manufacture. Have to educate new overseas staff to replace their work 
ƒ Getting married and buying a house. 
ƒ Family problems ie wife having a baby. Wife ill, baby ill etc 

589
 
Stephen Wilkinson and Duncan Folley 

ƒ Difficult to give time to work on large projects ie dissertations 
ƒ Missing the educational benefits of socialising and learning with others all th time as th full time students 
had. 
The  other  side  of  the  coin  is  that  whilst  the  students  may  have  the  motivation  to  learn,  they  make  lack 
confidence in returning to learning and being part of the “student centred” learning environment, being more 
used  to  smaller  classes  and  didactic  teaching  methods.  For  example,  many  academics  have  long  voiced  an 
opinion that teaching and learning in HE needs a major overhaul, to move away from the didactic approach 
where  a  lecturer  is  the  "sage  on  the  stage  "  where  students  take  notes  and  the  lecturer  is  the  font  of  all 
knowledge  ,  Pallof  and  Pratt  (1999)  .  This  approach  is  defined  as  student  centred  and  to  become  active 
learners, this educator then becomes the "guide on the side", Pallof and Pratt (1999).  
 
Piagets Constructivism is one of the recognised approaches behind teaching today Duffy T and Cunningham D 
(2008). This is where students construct their learning from previous knowledge and not passively absorbed 
from  text  books.  However,  the  work  of  pioneering  educationalist  Vygotsky  gave  the  theory  of  Social 
Constructivism  which  recognised  that  social  interaction  plays  a  fundamental  role  in  the  process  of  cognitive 
development,  Duffy  T  and  Cunningham  D  (2008).  This  is  in  contrast  to  Piaget  in  which  he  believed 
development precedes learning. The theory of Vygotsky  is supported by Wenger E (1998) and has the idea of 
"community  of  practice”,  where  social  interaction  is  very  important  to  learning.  Collis  B  (2004)  this  form  of 
learning  is  much  more  important  in  the  knowledge  based  era,  where  rapid  change  is  the  norm  ie  students 
must carry on learning long after they have graduated, This is supported by Siemans G(2004) who states the 
“half life of knowledge is now only 18 months” ie then becomes obsolete and that “our ability to learn what 
we need for tomorrow is more important than what we know today” , the benefits of “Connectivism” via the 
web  are  also  expressed  .  Students  participating  in  a  community  of  practice  may  become  a  co‐creator  of 
learning materials, a selector of learning material, involved in self and peer evaluation and someone who can 
design and build a product for use outside of the course, Collis B(2004).  Its general knowledge that students 
learn  much  from  their  peers  and  collaboration  between  peers  occurs  naturally,  for  example  Hamer  J,(2005) 
shows how students working in teams can co create fewer high quality learning materials, rather than working 
as individual producing many low quality materials.  

2. What are the solutions? 
There has been much written about  the different online techniques available to support adult learners. For 
example: 
ƒ Availability of leaning material on a VLE or Web 2.0 tools 
ƒ Support, socialising and other interaction via Asynchronous and Synchronous communication methods 

2.1 Virtual learning environments (VLE)  
This is one of the more formal systems that most Universities use, Shaw A (2009). They are defined as online 
Learning Management Systems (LMSs) and can manage the tens of thousands of students that are tied to each 
of the modules they study. Work can be submitted and feedback given individually online , the whole process 
is  managed  in  this  formal  way.  Popular  products  include  Blackboard,  WebCT  and  Moodle,  for  example 
Siff(2008)  states  that  the  University  of  Cincinnati  Blackboard  system  has  70,000  students  enrolled  and  has 
many services including mobile messaging, Moodle is an open source system based on  social constructionist 
pedagogy,ie students constructing their own knowledge by actively searching (tinkering), the verb to moodle 
means to tinker. This system has fewer features of the former and can be run on a variety of platforms, Chavan 
A et al (2008). The authors own University uses Vista WebCT and features include structured content delivery, 
media libraries, discussion boards, notices and links to podcast tools such as Wimba and other add ons such as 
Campus Fusion pack which is this companies own version of a Wiki (see next section on Web 2.0 tools for an 
explanation).  Other add‐ ons to these formal systems are FirstClass and Elluminate, they can also be used as 
stand alone systems. Both of these systems are have features which include synchronous communication via 
video and audio conferencing.  
 
The  advent  of  Web  2.0  technology  in  recent  years  has  seen  a  dramatic  change  in  the  way  education  now 
operates, Web2.0 tools, such as blogs, wikis, social networking software, media sharing and others has been 
responsible for shifting the web to a collaborative work space where we can all meet to read and write, West 

590
 
Stephen Wilkinson and Duncan Folley 

J,(2009). This view is supported by Secker J (2007) who describes how previous research has described Web 
2.0 as an attitude rather than a technology and that as well as developing social networks with content created 
by the user rather than an organisation it also includes user profiles and the use of tagging ( folksonomies) to 
aid the retrieval of items. Anderson (2007) concluded that Web 2.0 was about user generated content and that 
it  harnessed  the  power  of  the  crowd.  The  global  use  of  Web  2.0  meant  that  content  was  on  an  epic  scale 
through  an  architecture  of  participation  through  the  effect  of  a  network.  The  author  said  there  was  much 
informal openness via Web 2.0. An overview of supporting case studies is given below.:  

2.2 Blogs  
Blog  messages  are  posted  by  an  individual,  with  a  linear  construction,  displayed  chronologically  with  no 
opportunity  for  other  users  to  edit  previous  posts.  Threaded  discussions  can  be  posted  from  multiple 
contributors and can be used for sharing ideas, providing feedback and producing topical conversation , West 
J, (2009). Examples of popular Blog tools are Wordpress and Blogger by Google, Hart J (2008). At the University 
of Plymouth, language students studying German are able to participate in Blogs and have many opportunities 
for  self‐reflection  and  interactive  learning,  Dippold  D  (2009).  Opportunities  for  using  peer  feedback  to 
supplement tutor feedback and potential to develop students understanding of standards,  and to engage the 
student  in  the  process  of  learning  and  assessment  is  also  discussed.  Hall  H  and  Davidson  B  (2007)  used 
Blogging  to  enable  their  students  to  reflect  on  their  learning  for  that  week  in  the  area  of  Library  and 
Information systems. They found that while it while it gave the students discipline in writing a weekly entry, 
some students found it chore and “acted the part” ie doing the entry to gain marks. However many students 
agreed that it was an authentic experience in that weekly reports would be required in the world of work.  

2.3 Microblogging  
Is similar to texting and can include comments such as “what am I doing right now “ .The top two most popular 
sites  include  Twitter,  Tumblr  and  even  Facebook  has  a  feature  called  status  update,  Hart  J  (2008).  Ullrich  C 
(2008) showed how Microblogging was used to increase active participation in oral English language classes at 
a Chinese University by setting up a Twitter account and inviting the class to become his Twitter friend as well 
as to each other. The students had to post and read their fellow students messages. This reduced pressure and 
increased participation as students had time before responding, commenting and consulting a dictionary. They 
continued outside of the classroom, talking about their everyday life.  

2.4 Wikis  
Wikis  are  organised  more  dynamically  than  Blogs,  with  the  grouping  of  information  determined  by  new 
entries,  hyper  linking  and  collective  structures,  West  J  (2009).  A  Wiki's  ownership  is  distributed  and  shared 
amongst members who contribute, West J,( 2009). The first Wiki is was called the Portland Pattern Repository 
in  order  to  collect  computer  programming  design  patterns  Cunningham  W,  et  al  (2001)  .Chen  Y,  (2007) 
demonstrated  how  Wiki  Scratchpad  could  be  used  to  enhance  students'  project‐based  learning  (PBL)  for 
Multimedia design and production. This allowed students to design and display their projects online through  
group work and sharing their project ideas. They were also able to access other groups' work and instructors 
could make comments and monitor the discussions. Notari M (2006) showed how Wikis could be used at the 
University of  Bern when co‐creating learning material. The students have to comment on and correct the work 
of other members of the learning community.  

2.5 Social networking  
Social networking can be defined as social spaces designed to facilitate communication and collaboration and 
content  sharing  across  a  network  of  contacts,  Hart  J  (2008).  Social  networking  services  (SNS)  are  much  in 
demand, Ofcom (2008) found  that the UK scores the highest in Europe for SNS usage ie 39% of all UK Internet 
users, ComScore ( 2007) found that UK Internet users make 23 visits and 5.3 hours on social networking sites 
each month and 24.9 million visitors. Liccardi I( 2008) states that many Web 2.0 tools can aid with grouping 
and  collaboration  which  can  improve  performance  and  showed  how  social  networks  had  a  role  to  play  in 
computer science education at Southampton University.    
 
Hart J ( 2008), found that Facebook and LinkedIn were the most popular public SNS and the top for education 
include Elgg and Ning . Elgg is open source and can be configured to run on the users own server while Ning is 

591
 
Stephen Wilkinson and Duncan Folley 

advertising  supported  cloud  application.  Both  sites  can  have  closed  memberships  with  restricted  content 
viewable  only  by  members,  however  Facebook  and  Myspace  is  publicly  viewable  and  available  to  all.  Hart 
J(2008)  also  identified  SNS  as  being  useful  for  education  because  e‐communication  tools  and  widgets allow 
users  to  develop  customized  environments  for  blogging,  discussions,  file/content  sharing,  and  messaging  as 
well as sub‐groupings. Examples of these include Elgg, which has Eduspaces and has over 19,000 members and 
Ning has Classroom 2.0 with over 17,000 members. Many Universities including the OU have been using Elgg 
and the PROWE project funded by JISC is using Elgg to support tutors at a distance.  

2.6 Media sharing  
There are many applications where all types of media can be shared, viewed, graded and comments made, for 
example  Flickr  which  is  a  photo  sharing  website  and  YouTube  which  is  a  video  sharing  website  are  the  two 
most popular, Sekcer J (2007). Tagging makes the resources retrievable by others interested in similar subjects.  

3. The role of technology to support collaboration in education  
The previous section examine how students become deeper learners through the use of collaboration and how 
there  are  many  tools  available  to  facilitate  this  online.  The  issues  surrounding  the  role  of  technology  in 
facilitating  this  are  now  examined.  Pallof  and  Pratt(1999)  state  "that  in  a  virtual  learning  environment, 
students play a much more active role in their learning; and collaboration between teacher‐student and peer 
student‐student  are  essential  to  succeed".  They  show  how  educators  need  to  make a  deliberate  attempt  to 
build an online community as a means of encouraging collaborative learning. The need for such a system to be 
simple, not depend on one type of technology and using best practice is also shown.  
 
However research has shown that tutors cannot force students to participate in a particular community, they 
much  prefer  to  form  their  own,  for  example  (Goodyear  &  Jones,  2003,  p69)  states  that  “successful 
online/networked learning communities emerge and shape themselves”  and that all you can do is set up an 
environment that is conducive to the emergence of a community. The benefits of a learning community are 
supported by Smyth, (2007) who advocates putting the emphasis on peers learning together. There are many 
challenges  to  creating  collaborative  communities,  for  example  Whitton  N(2009)  reports  on  the   induction  of 
first  year  students  via  the  use  of  an  online  game  (ARGOSI),  forming  social  networks  via  a  NING  as  well  as 
discovering  more  about  the  campus,  collaborative  challenges,  making  friends  and  socialising.  However  only 
13%  of  students  were  actively  engaged,  this  raised  many  questions  ie  “how  can  you  engage  more  students 
without it becoming compulsory “ ?. They concluded that the initial game launch through face to face meeting 
was important for continued online engagement and the design of the online collaborative challenges requires 
reviewing.  
 
Mcfarlane A et al (2002) research on Key stage 2 pupils showed that less than half of the participants reported 
that working as a team was improved by playing a online collaborative game. Less than 19% of boys and 31% 
of  girls  believe  that  the  online  collaborative  game  helped  them  with  their  school  subjects  and  general 
knowledge.  English  R  (2008)  study  of  formal  University  VLE’s  shows  that  even  though  students  can  be 
members  of  many  discussion  groups,  unless  there  is  formal  assessment  then  there  is  very  little  activity.  If 
successful  this  activity  soon  tails  off  after  initial  interest.  This  begs  the  questions  why  are  formal  University 
VLE’s  so  poor  at  social  collaboration  and  why  are  informal  on‐line  communities  such  as  Facebook  so 
successful?  This  research  indicates  that  Facebook  is  much  more  personable  and  discussions  are  much  more 
informal  with  effective  communication,  group  reinforcement,  encouragement  and  support.  This  research 
suggests that the sense of community was very strong. Sas C et al (2009), suggest that Facebook experiences 
are all about positive emotions, in particular those on connectedness and entertainment.  
 
Challenges to discussion areas include the feeling of isolation, if being unable to participate or deal with this 
type of dialogue for example coming in late on a discussion and missing out on contributing. Mann, 2005, p45, 
states  that  “there  is  a  pedagogical  focus  on  establishing  social  interactions  to  reduce  alienation  “.  Wenger, 
(2002), regards the multi direction communication among students and teachers as mimicking the closeness of 
normal  contact  during  on‐line  communication  in  order  to  avoid  isolation.   Cowen  et  al  (2009),indicates  the 
importance of a good first experience is necessary in order to lower computer anxiety. This research on second 
year  psychology  students,  demonstrated  that  a  negative  relationship  exists  between  how  anxious  users  are 
about wikis and how they rate their satisfaction with the wiki system.  
 

592
 
Stephen Wilkinson and Duncan Folley 

The advantages of synchronous communication are that everyone can participate and is the nearest substitute 
to  face‐to‐face  communication.  If  an  on‐line  discussion  is  tutor  lead,  then  any  student  lurking  and  not 
contributing  can be  encouraged  to  participate  “By  failing  to  address  various  factors  associated  with  forming 
community in online learning, many educators are contributing to feelings of isolation among online students”, 
(Berge & Muilenburg, 2001). Klopfer E et al (2009), summarises the care and consideration needs to be taken 
when designing and using online collaboration ie students posting sarcastic comments and the poor design of 
activities. Barriers to online collaboration can be overcome by examining school culture, teacher beliefs and 
methods, the innovation ie technology and project and how the students operate, Klopfer E et al (2009). 

3.1 Can working adult learners be supported in this way?  
This  section  analyses  how  most  of  the  above  tools  are  common  knowledge  to  the  younger  generation  but 
what about the older generation studying part time? Oblinger D (2005) states that young millenials are digital 
literate  and Prensky (2001) has named them “Digital Natives”  ie they have grown up with the web and like 
the  speed  of  access  to  information  and  often  multitask  when  things  slow  down.  They  like  instant  feedback, 
delivery, learn by experience and are impatient with passive activity; they enjoy exploring new tools, especially 
with peers. They are social and are constant communicators and are more at ease when meeting new people, 
both in person and online, they are also more open about themselves.  
 
However  (Kennedy,2008,p10),concludes  that  Digital  Natives  whilst  having  access  to  a  multitude  of 
technologies  don’t  always  use  it  in  an  educational  context,  for  example  “few  students  have  high  levels  of 
competence  across  a  wide  range  of  applications”  and  that  “familiarity  with  the  use  of  email  does  not  imply 
expertise  in  rigorous  online  debate  and  discussion”.  This  assumption  is  supported  by  (JISC,2008,  p24)  who 
suggested  that   digital  literacies  and  information  literacies  do  not  go  hand  in  hand  when  considering  the 
“Google Generation”. Prensky,(2001), also states that adult learners are “Digital Immigrants” and do not have 
the millennial advantages. However Knowles M, (1984) states that mature working adults are often attracted 
to online courses because of convenience and an opportunity to integrate study into their busy lives. They are 
more  goal  oriented,  self  directed,  more  independent  and  prefer  more  control  over  their  own  learning  and 
don't get involved in activities that are irrelevant ie “off task”. Other benefits include having more prior work 
and education experience.  
 
These generalisations are criticised by Dede (2004) during a study of a mixed age group of students. He states 
that  “many  adult  learners  exhibit  “Millennial”  learning  styles  and  categorising  these  generalisations   into 
groups,  are  a  poor  foundation  for  decision‐making  about  the  learning  needs  of  individuals,  especially  when 
applied to the, cross‐age mixtures of people found in many college and university courses. He found that the 
difference was in users of technology ie people of all ages now buy music or groceries online. When surveyed 
this research showed that students preferred ie face to face teaching to either video conferencing or online 
learning but voted “distributed learning” (Blended Learning) which uses a mixture of face to face and mediated 
synchronous and asynchronous communication as being very popular. Asynchronous communication was also 
popular as it gave time for reflection before posting at any time of the day. The use of Virtual Environments 
was  not  very  popular  with  students  stating  shyness  and  reluctance  to  participate  in  these  multiuser 
environments.  This  is  supported  by  ECAR  (2004)  who  showed  that today’s  students  can become “wired  and 
tired” through the overuse of technology. Dede (2004) concludes that the “differences among individuals  of 
any  age  are  greater  than  dissimilarities  between  age  groups  “  ie  there  will  always  be  a  mixture  of   learning 
styles  and  while  online  technologies  have  proved  to  be  useful,  they  should  be  regarded  as  emerging  rather 
than mature.  
4. What do the students think? 

4.1 Open interview 
We  interviewed  18  adult  learners  on  two  part  time  courses  at  Leeds  Metropolitan  University,  what  they 
though about various aspects of online learning and support, their responses are given below:‐ 
 
What they though of the University VLE? 
ƒ Discussion areas very clunky, not many participate, much prefer Web 2.0 type tools 
ƒ Campus Pack Wiki, Ok but can only be used on Campus and takes a while to log in and find where you are. 

593
 
Stephen Wilkinson and Duncan Folley 

ƒ Uploading  assignments  can  be  very  problematic,  especially  on  a  busy  Friday,  as  it  does  not  have  the 
capacity for large files. 
ƒ Appreciate that a formal University system is needed to manage, monitor and provide structure for large 
numbers of students 
Social Networks 
ƒ TUMBLR ~ really good for collaboration online, can upload and share any type of document, can use RSS 
feed  to  Twitter  and  the  other  direction  by  feeding  the  students  Youtube  and  Vimeo  updates  to  the 
TUMBLR site. 
ƒ Ning ~ Social Network was used in the past by students, however they have switched to TUMBLR as Ning 
now charge customers to use this service. 
ƒ Facebook groups are ok for communication 
Blogs and Wikis 
ƒ Twitter~ not ideal, much prefer MSN messenger as the conversation is recorded and date stamped 
ƒ WordPress ~ Very formal, great being date stamped, some media limitations ie audio 
ƒ Google  Wave  ~  extremely  useful  in  the  same  way  that  conversations  can  be  recorded  and  any  edits  to 
shared text is highlighted, however this is being discontinued by google. 
Sharing Content 
ƒ FLIKR ~ used extensively for static images. 
ƒ Dropbox  ~used extensively for sharing files. The more people you recommend, the more file storage you 
accrue, currently 5Gb or more of cloud data storage 
ƒ Youtube ~ ideal for storing video and receiving comments from peers 
ƒ Vimeo ~ ideal for storing high definition video and receiving comments from peers 
ƒ ITunes~ Audio and podcasts 
Synchronous communication 
ƒ Skype ~ used extensively, especially when screen casting ie showing other students how to do something 
in a particular piece of software 
ƒ Mobile phone ~ especially if they are favoured friends on the same network 

4.2 Online survey results 
The survey was carried out online using survey monkey, the result are shown in the following figures: 

594
 
Stephen Wilkinson and Duncan Folley 

 
 

 
 

5. Discussion of results 
It  is  clear  that  students  appreciate  the  need  for  a  formal  VLE  that  can  manage  large  files  and  numbers  of 
students.  However  the  use  of  other  Web  2.0  tools  such  as  WordPress,  Skype  and  Facebook  are  invaluable 
social interaction tools. This is supported by English (2008) who states that Facebook has much more interest 
than a formal VLE, as discussed earlier. 
 

595
 
Stephen Wilkinson and Duncan Folley 

5.1 VLE 
Before the University purchased WebCT and later Blackboard we wrote our own HTML and hosted this on one 
of  our  servers.  This  was  called  the  learning  resource  web  (LRW).  This  was  mostly  limited  to  text  and  he 
structure and hierarchy of all the pages had to be determined for each course. The most successful one was 
the  BEng  in  Manufacturing  Systems  Engineering.  This  was  mainly  just  a  read  only  system  that  displayed 
module handbooks, assignment information; hand in dates and some reaching material converted to HTML.  
The  best  example  of  its  use  was  the  deputy  manager  n  the  Scott  platform  in  the  North  Sea  who  could  only 
attend every 3 weeks. This gave him enough access to guidance material, especially his dissertation for him o 
complete  his  honours  degree.  More  recently  with  the  latest  Blackboard,  there  are  many  tools  that  was 
unavailable before, for example discussion boards for social interaction. We designed a “Green Room” for this. 
In fact we found that students peers would help others on the same course when they requested help in this 
informal way.  

5.2 Web 2.0 tools 
Some experimentation using a Ning (custom social network) and embedding Podcasts using PodBeans proved 
more successful for the Fulltime learners rather than the adult learners. It was easier to stick to the formal VLE, 
especially  as  through  time,  some  of  the  features  such  as  being  able  to  socialise  or  post  material  became 
available on the VLE. 

5.3 Blogging 
The  use  of  Blogs  for  example  WordPress  to  create  their own  artefacts and  to  receive  online  comment  from 
peers has proved extremely useful. This has worked especially for the Engineering students who had to se up a 
scenario  fo  themselves  using  the  Factory  2.0  philosophy.  The  idea  is  that  anyone  can  become  an  individual 
designer  and  manufacturer  of  their  own  products  by  using  Web  2.0  tools  and  the  online  engineering 
community. This was part of the Eco Engineering module where the emphasis was the return of manufacturing 
back to British shores. This would reduce transport, hence the reduction of Green House Gases. This was later 
used as an e‐portfolio for other work, such as Engineering Systems Control. The ability to embed images and 
video to show control systems working was invaluable. 

5.4 Synchronous communication 
The two main tools we used for online discussion and guidance were SKYPE and Adobe Connect. This proved 
extremely  invaluable,  especially  when  students  were  under  extreme  pressure  from  work  and  need  to 
communicate remotely. The ability to guide students through the difficult parts of their dissertation, even on a 
Sunday evening proved vey successful. The ability to mediate a conversation ie taking it in turns to speak gave 
thinking time to the participants and sharing diagrams and text online gave further discussion and guidance. 

5.5 Other techniques to help the working adult learner 
We found the following very useful in helping our students in industry: 
ƒ Open  source  software,  can  use  on  their  own  laptops  or  company  machines.  Including  3  month  trials  of 
licenses, timed to cover the semester. We had the full versions at University. 
ƒ Make everything wrap around their work, for example; taught element assignments using their work as 
case study 
ƒ Make  the  Dissertation,  like  a  mini  consultancy.  In  many  cases  this  impressed  their  line  managers  and 
would help their career prospects. The saying a consultant will use your watch to tell you the time is very 
true.  Better  a  person  who  has  worked  in  the  industry  given  time  to  solve  problems  via  an  educational 
piece of properly researched work. 
ƒ Weekend  away  delivery  using  a  work  simulation,  based  on  teams  acting  as  companies,  making  electric 
irons,  then  electric  drills.  We  acted  as  customers  and  suppliers.  The  winning  team  would  be  he  most 
solvent at the end. This has mainly been paper based. However, we have plans to put his online. 
ƒ Facebook  groups  seem  to  work  much  better  for  full  time  learners,  adult  learners  seem  to  favour  more 
formal methods, for example he University VLE and our “Green Room” discussion board 

596
 
Stephen Wilkinson and Duncan Folley 

6. In conclusion 
This review of the literature and the real life examples have shown that working adult learners would welcome 
a Blended learning experience as it would fit in with their busy working lives and enable the delivery of content 
over the summer months.   
 
This review has examined the different types of Web 2.0 systems available and how the popularity of social 
networks  has  grown  exponentially.  The  other  advantage  of  this  type  of  system  is  that  they  are  designed  to 
facilitate  communication  and  collaboration  and  content  sharing  across  a  network  of  contacts  ie  participants 
can co‐create material and collaborate online. Further literature shows the benefits of both Synchronous and 
Asynchronous communications and the problems that learners might encounter within each. This approach is 
reinforced by the fact that we are a knowledge based society and that through being an active learner, a co‐
creator  and  a  selector  of  learning  material,  life  long  learning  skills  are  also  enhanced.  Further  research  will 
determine  the  best  way  to  encourage  adult  learners  into  using  both  formal  VLE  and  informal  SNS  in  a 
collaborative  way  and  how  learning  activities  can  be  designed  in  order  to  take  advantage  of  learning 
communities.  

References  
Anderson P (2007), What is Web 2.0? Ideas, technologies and implications for education , JISC, Technology & Standards 
Watch Berge Z and Muilenburg L (2001) Obstacles faced at various stages of capability regarding distance education 
in institutions of higher learning. Tech Trends 46, 4, 40‐45. Retrieved 28/8/09 from 
http://www.emoderators.com/barriers/hghred_stgs.shtml  
Chavan A etal (2008) Open‐Source Learning Management with Moodle, Linux Journal Volume 2004 ,  Issue 128 December 
2004)Page: 2 Year of Publication: 2004  
Chen Y (2007), Proceedings of the Ninth IEEE International Symposium on Multimedia Workshops  2007  
Collis B (2005). The contributing student: A blend of pedagogy and technology. In EDUCAUSE Australasia, Auckland, New 
Zealand, Apr. 2005.  
ComSCORE (2007) , August 2007,  http://www.comscore.com  
Cowan B, 2009, et al, Exploring the effects of experience on WIKI anxiety and WIKI usability: an online study. HCI 2009.  
Deed C (2004) Planning for “Neomillennial” Learning Styles: Implications for Investments in Technology and Faculty 
Harvard Graduate School of Education August, 2004  
Dippold  D (2009) “Peer feedback through blogs. Student and teacher perceptions in an advanced German class.” Recall 
21(1): 21‐36.  
Duffy, T.M. and Jonassen, D.H. (1992) Constructivism and the Technology of Instruction: A Conversation, Lawrence Erlbaum 
Associates[Paperback ‐ 221 pages ‐ ISBN 0805812725]  
Duffy T and Cunningham D(2008)Constructivism: Implications for the Design and Delivery of Instruction, Indiana University 
(2008)  
ECAR (2004), ECAR study of Students and Information Technology, 2004: Convenience, Connection and Control, Volume 5, 
2004  
English R, et al (2008), Facebook Goes to College: Using Social Networking Tools to Support Students Undertaking Teaching 
Practicum, MERLOT: Journal of Online Learning and Teaching. Vol 4, No 4, Dec 2008  
Gollub R (2009)Second Life and Education,  Crossroads , Volume 14 Issue 1 Publisher: ACM   
Goodyear, P. & Jones, C. (2003). Implicit theories of learning and change: Their role in the development of e‐learning 
environments in higher education. In Som Naidu, (Ed.). Learning and teaching with technology: Principles and 
practice. London & New York: Routledge Farmer, pp. 29‐41.  
Hazel Hall and Brian Davison (2007) Social software as support in hybrid learning environments: the value of the blog as a 
tool for reflective learning and peer support, Library and Information Science Research 29(2)  
Hamer J, (2006), Some Experiences With The “Contributing Student Approach”  
Hart, J. (2008). An introduction to social learning .http://www.c4lpt.co.uk/handbook/sociallearning.html  
JISC. (2008). information behaviour of the researcher of the future, A Cyber briefing paper, UCL, January 2008.  
Kent, M. (2002). Online mentoring ‐ a role in Widening Participation? MMU, Spring 2002  
Kennedy G, Judd T, Churchward A, Gray K, Krau (2008),  First year students experiences with technology, are they really 
digital natives ? Australasian Journal of Education al Technology, 2008,24(1),108‐122  
Klopfer, E, Osterweil, Groff and Haa (2009),The instructional power of digital games, simulations and social networking,  
Using the Technology of Today, in the Classroom Today. An Educational Arcade Article , 2009.  
Knowles, (1984). The adult learner, the neglected species, Houston, TX, Gulf  
Leuf, B. and Cunningham, W. The Wiki Way.  Addison‐Wesley, Boston, 2001.  
Liccardi I(2007) The role of social networks in students' learning experiences ITiCSE‐WGR '07: Working group reports on 
ITiCSE on Innovation and technology in computer science education  
Mann, S.J. (2005). Alienation in the learning environment: a failure of community? Studies in Higher Education, 30(1), 43‐
55.  

597
 
Stephen Wilkinson and Duncan Folley 

Magoulas G, Sherry Y. Chen, and Kyparissia A. Papanikolaou (2003) Integrating Layered and Heuristic Evaluation for 
Adaptive Learning Environments  
McFArlane A et al (2002) Report on the educational use of games, TEEM report 2002  
Nielsen, J. (1995) Technology Transfer of Heuristic Evaluation and Usability Inspection. Paper presented at International 
Conference on Human‐Computer Interaction  
Notari M (2006) How to use a Wiki in education: 'Wiki based effective constructive learning', Proceedings of the 2006 
international symposium on Wikis,  Odense, Denmark  
Oblinger,D and Oblinger J (2005), Is it age or IT: First steps towards understanding the net generation. In Educaring the net 
generation (pp.2.1‐2.20) Boulder, CO: Educause. Sna Fransico: Jossey Bass.  
Ofcom (2008) Social Networking ‐ A quantitative and qualitative research report into attitudes, behaviours and use, 
Research report April 2008  
Palloff, R.M., & Pratt, K. (1999). Building learning communities in cyberspace: Effective strategies in the classroom. San 
Francisco: Jossey‐Bass Publishers.  
Page Bucci ,H. (2003), Developing an Evaluation Model for a Virtual Learning Environment, 
http://www.hkadesigns.co.uk/websites/msc/eval/index.htm  
Prensky, M. (2001).  Digital Natives, Digital Immigrants, On the Horizon (MCB University Press, Vol. 9 No. 5, October 2001  
Rowntree D (1997) Preparing Materials for open, distance and flexible learning, Kogan Page.  
Sas C, 2009 etal, Dramaturgical Capitalisation of positive emotions: the answer for Facebook success ?  
Secker J (2007)Social Software, Libraries and distance learners: literature review, London School of Economics and Political 
Science LASSIE: Libraries and Social Software in Education  
Shaw A (2009) Extending the Pair Programming Pedagogy to Support Remote Collaborations in CS Education,  2009 Sixth 
International Conference on Information Technology: New Generations  
Siff (2008),  Changing the Way University Business Is Done , Blackboard and the University of Cincinnati, Blackboard+ learn 
2008  
Siemans G (2004) Connectivism: A Learning Theory for the Digital Age, 
http://www.elearnspace.org/Articles/connectivism.htm   
Smyth, K.  (2007). TESEP “The 3E Approach”, Expert Group,  TESEP in Practice  
Tim Ritzema,(2008) THE USE OF SECOND LIFE FOR DISTANCE EDUCATION* June 2008, Journal of Computing sciences in 
Colleges, Volume 23 Issue 6, Publisher: Consortium for Computer Sciences in Colleges.  
Ullrich C (2008) Why Web 2.0 is Good for Learning and for Research: Principles and Prototypes ,WWW '08: Proceeding of 
the 17th international conference on World Wide Web  
Vaille, A (1999) Nine Keys to Quality K‐12 Online Learning Experiences. Available 
online: http://www.classroom.com/edsoasis/Tguiild/FETC99/Vaille1.html  
Wenger, E. (2002) Communities of practice: Learning, meaning and identity. N.Y.: Cambridge University Press.  
West J and West M, (2009) Using Wikis for online collaboration, The power of the read write web, Jossey Bass guides to 
onlineteaching and learning, Jossey Bass.  
Whitton N(2009) Alternate Reality Games for Orientation, Socialisation and Induction (ARGOSI) JISC final report, March 
2009  

598
Analysis of e‐Learning Outcomes at Higher Education: A Case Study 
Ibrahim Zincir1, Tohid Ahmed Rana2, Samsun Basarici2 and Sabah Balta3  
1
Computer Engineering Department, Yasar University, Izmir, Turkey 
2
Computer Technologies Department, Yasar University, Izmir, Turkey 
3
Department of Science Culture, Yasar University, Izmir, Turkey 
ibrahim.zincir@yasar.edu.tr 
ahmed.rana@yasar.edu.tr 
samsun.basarici@yasar.edu.tr 
sabah.balta@yasar.edu.tr 
 
Abstract: As explained in our paper “A Novel Approach To E‐Learning: Yasar University E‐Learning System (YES)” (Zincir et 
al.  2013),  since  2009,  every  student  who  attends  Yasar  University  (Izmir,  Turkey),  regardless of  their  department,  has  to 
take  part  in  seven  courses  defined  as  University  Foundation  Courses  (UFND).  These  courses  are  part  of  the  university’s 
effort to graduate students who are not only hard‐working and respectable, but also who are responsible and beneficent 
to society and the environment that they are living in. Since approximately 4000 students attend these courses every term, 
in academic year 2012‐2013, an E‐learning system called Yasar University E‐Learning System (YES) was introduced to take 
these  courses  online.  It  was  a  novel  approach  that  encourages  the  students  to  get  involved  in  the  courses  much  more 
actively, since it grades them according to their learning behaviors. Basically, YES monitors all the activities of the students 
all the time once they are connected to the system. These activities include how and when they access the information, 
supplied materials, forums and chat rooms. This paper discusses the outcomes & the outputs of YES by presenting a brief 
insight into the behavior of the students inside an e‐learning environment and by analyzing the correlation between the 
success of the students and the way they interact with YES. 
 
Keywords: e‐learning, higher education, collaborative learning, linear learning 

1. Introduction 
With growing student numbers and decreasing resources, educational institutions in general are being forced 
to find new ways to keep the balance between the lack of resources and qualitative education. Specifically, at 
the universities the traditional offline approach is now becoming a bigger burden. The problem is not only the 
lack of resources but also the newer approaches in learning such as lifelong learning. Philosophically it is one of 
the main goals of a university to work for the benefit of the society, knowledge and achievements of science 
that should be accessible to the whole range of individuals living inside the same society. It is not wrong to say 
that we are living in the information age. The prosperity and wealth of societies depend on how their members 
gain information and how they deal with this information. A good approach to deal with the above mentioned 
problems  of  education  is  found  in  e‐learning  facilities.  It  is  a  well‐known  fact  that  information  technologies 
help  to  improve  the  students’  learning  strength  and  preferences.  Researches  presented  that  e‐learning 
influence education in three different ways: multiple perspective, situated learning and transfer. This in return 
enables the system to reach a wider range of students who can access and assimilate much more substantial 
information and skills compared to the conventional learning schemas (Dede 2009). In addition e‐learning is 
widely seen as a much more effective and efficient way to deliver concepts and models to the end users and 
help them to increase their confidence (Dede et al. 2004, Dede 2009, Zincir et al. 2013). Hence, today many 
institutions  and  organizations  around  the  world  implement  e‐learning  as  a  major  component  into  their 
learning systems. As discussed in (Zincir et al. 2013), Yasar University has chosen the way of e‐learning to teach 
its students the so called University Foundation Courses (UFND) which is compulsory for all enrolled students. 
The  students  have  to  take  part  in  seven  courses.  Especially  for  these  courses  the  university  designed  and 
implemented  a  novel  e‐learning  system  called  Yasar  University  E‐learning  System  (YES).  In  YES  each  course 
includes several different modules like videos, chat, course documents, pdf files, and forums. The evaluation of 
the students covers all these activities. The whole system is explained in (Zincir et al. 2013). This paper covers 
the analysis of YES. In section 2 we will introduce a brief overview of YES and then in section 3, we evaluate 
and analyze its results and outcomes. Finally, the last section of this paper will be dedicated to the conclusion.       
2. Yasar University e‐learning system (YES) 
In  2009,  Yasar  University  adopted  a  novel  approach  and  enforces  that  every  student  who  attends  the 
university,  regardless  of  their  department,  has  to  take  part  in  seven  compulsory  courses  (Human  Sciences, 

599
 
Ibrahim Zincir et al. 

Research Culture, Design Culture, Aesthetic Culture, Ethic Culture, Project Culture, and a Social Responsibilities 
Project) defined as University Foundation Courses (UFND), as can be seen in Table 1.  
Table 1: Yasar University foundation courses (UFND) 
Human Sciences 
UFND 010‐A  Behavioral Sciences 
UFND 010‐B  Semantic and Semiotic 
1  UFND 010 
UFND 010‐C  Philosophy and History of Science 
UFND 010‐D  Technology and Society 
UFND 010‐E  Philosophy ‐ Logic 
2  UFND 020  Research Culture 
3  UFND 030  Design Culture 
4  UFND 040  Aesthetic Culture 
5  UFND 050  Ethic Culture 
6  UFND 060  Project Design 
7  UFND 070  Social Responsibilities Project 
The  main  aim  of  the  University  for  having  these  courses  is  to  graduate  students  who  are  responsible  and 
beneficent to the environment that they are leaving in. Approximately 3800 students attended these courses 
at  the  start.  By  time,  this  number  surpassed  4500  and  this  brought  a  very  serious  problem;  the  shortage  of 
lecturers and classrooms as well as the complexity and difficulty of scheduling classes and classrooms for each 
student (Zincir et al. 2013).   
 
As a result, in January 2012, the Board of Trustees of Yasar University decided that, as the growing number of 
students triggered the problems of having not enough venues and the lack of staff to conduct these courses, it 
was necessary to provide an efficient and alternative system to overcome these challenges described above. A 
novel e‐learning system (YES) was proposed for these seven courses and then implemented for the 2012‐2013 
academic  year.  Existing  e‐learning  systems  let  the  students  to  access  documents,  multimedia  files  etc.  at 
anytime and anywhere via the Internet, and monitor them continuously, but none of these programs actually 
actively includes how the student interacts with the system (Bandeira 2009, Simpson 2013, Smart et al. 2006, 
Yasar).  
 
The  most  important  part  of  YES  is,  it  encourages  students  to  actively  participate  in  discussions  with  the 
lecturers and other students, to fulfill the specific time requirements and enables them not to depend solely 
on  the  exam  results.  Basically  YES  boosts  students’  interest  to  the  course  by  implementing  many  unique 
features (i.e. the two tests only represent 20% of the final grade while forum participation at the right time 
and at the right place represents 40%). As explained before at (Zincir et al. 2013), the 14 weeks long term is 
divided into two stages, 7 weeks each. The first stage forms 40% of the final grade, and the second stage forms 
60% of the final grade. Each of these two parts consists of 5 different evaluation modules; chat, forum, reading 
material, multimedia, and test. For each module chat, forum, reading material, multimedia and test provide 
10%, 40%, 10%, 20% and 20% of the total grade respectively. As it can be easily understand, only attending the 
exams  will  not  be  enough  for  a  student  to  pass.  He/she  has  to  actively  participate  in  discussions,  chat  and 
forums as well as has to download or to access all the necessary materials and to watch all the videos within 
given time frame throughout the term. For example, at the third week of the term the student has to read a 
th th
chapter about Italian art at and 15  and 16  century, to watch a video about Leonardo Da Vinci and to open a 
discussion about the famous Italian artists at this specific time period. Without achieving all of these phases, a 
student will not be able to get the full mark from that week.  It should be noted here that, although the system 
is time dependent, students can still arrange their study hours within that specific time frame. This approach, 
in the end, enables the student to be the driving force behind his/her own grade accordingly. 

3. Evaluation of YES 
As it is mentioned before, YES started in the academic year 2012‐2013 in spring term. Before the official start 
of YES some pilot tests and test runs were also performed. The information and experiences gained from these 
tests gave a slight impression of what would be expected from YES. The main expectation was that the success 
of the students using YES will improve with time up to a certain level and then will stay more or less constant. 
In the first term there were 3715 students enrolled in all of the courses. This number increased within time, in 
the 2013‐2014 fall term we had 3800 students and finally in the 2013‐2014 spring term, we had 4599 students 
enrolled in all of the UFDN courses (Table 2).  

600
 
Ibrahim Zincir et al. 

Table 2: Student numbers per term 
Student Numbers 
Term  Number 
2012‐2013 Spring  3715 
2013‐2014 Fall  3800 
2013‐2014 Spring  4599 
Average:  4038 

It was expected that YES would have some initial difficulties which mainly could have cause from the classic 
approach of learning attitudes of the students. Yasar University students had been used to orthodox face‐to‐
face  education.  In  the  first  term  of  YES,  which  was  2012‐2013  Spring  term,  the  success  measured  in  final 
grades of the students was not very high as it can be seen in Figure 1. 

 
Figure 1: Grades 2012‐2013 Spring 
Although this was an expected result, it was of course academically unacceptable. The main reason of this was 
the  students  did  not  comprehend  how  interactive  the  system  was.  It  was  understood  that,  majority  of  the 
students who failed from these courses thought that, passing midterm and final exams with more than 60% 
would be enough (while in reality, this was not the case and they represent only a fraction of the total grade as 
explained  in  the  previous  section).  Hence,  at  the  beginning  of  2013‐2014  Fall  term,  several  information 
sessions  and  briefings  for  the  students  were  held.  In  return,  with  the  increasing  amount  of  approval  of  the 
system  by  the  students,  at  the  end  of  the  2013‐2014  Fall  and  2013‐2014  Spring  terms,  the  grades  changed 
radically (Figure 2 and Figure 3). 

 
Figure 2: Grades 2013‐2014 Fall 

601
 
Ibrahim Zincir et al. 

 
Figure 3: Grades 2013‐2014 Spring 
Comparing  these  figures  represents  that  one  of  the  main  key  factors  in  YES  is  its  adaptation,  its 
implementation and also its successful acceptance by the students. In addition, analyzing the improvement of 
the grades amongst these three terms, once the system and its grading schema were thoroughly understood 
by  the  students,  indicates  a  strong  increase  in  the  higher  grades  and  a  strong  decrease  in  the  lower  grades 
(Table 3 and Figure 4). 
Table 3: Changes of grades (2012‐2013 Spring is 100%) 
2013‐2014 Fall ‐ 2012‐2013 Spring  2013‐2014 Spring ‐ 2012‐2013 Spring  2013‐2014 Spring ‐ 2013‐2014 Fall 
Grad Change in  Change in  Grad Change in  Change in  Grad Change in  Change in 
e  numbers  %  e  numbers  %  e  numbers  % 
A  33  320%  A  143  1053%  A  110  329% 
A‐  130  288%  A‐  298  532%  A‐  168  184% 
B+  562  397%  B+  687  463%  B+  125  117% 
B  570  325%  B  709  380%  B  139  117% 
B‐  374  248%  B‐  468  285%  B‐  94  115% 
C+  137  177%  C+  173  197%  C+  36  111% 
C  23  112%  C  28  115%  C  5  102% 
F  ‐1744  32%  F  ‐1622  37%  F  122  115% 

As can be seen from Table 3, a comparison of grades between the first three terms (2013 spring, 2014 fall and 
2014 spring) shows that the students understood how the system works and how much work has to be done 
at  what  time  of  the  term  and  followed  the  time  restrictions  and  scales  accordingly.  Although  the  novel  e‐
learning  system  may  look  as  though  it  requires  too  many  tasks  to  be  completed,  in  reality  it  obliges  one  to 
routinely  study  for  a  limited  time.  Hence,  once  the  logic  of  the  system  is  comprehended  by  its  users,  it 
encourages  the  students  to  plan  and  to  study  in  order,  and  by  changing  the  weekly  tasks  routinely  also 
reassures to adopt themselves to the rapidly changing environments. This will then in return help them to deal 
with the hard realities of the professional life once they are graduated.  
 
Figure 4, presents the difference between the grades of the three terms with respect to each other. As it can 
be  observed,  for  example  grade  A  raised  by  320%  whereas  grade  F  decreased  by  approximately  70%  from 
2012‐13 spring to 2013‐14 fall. The same tendency holds also for the terms  2012‐13 spring to 2013‐14 spring, 
e.g. grade A raised by 1053% whereas grade F decreased by 70%. From here one can again state that once the 
system  is  established  and  appreciated  by  the  clients  then  the  success  rate  will  improve  and  the  previously 
mentioned lifelong learning approach becomes much more feasible.  
 

602
 
Ibrahim Zincir et al. 

 
Figure 4: Changes of grades (2012‐2013 Spring is 100%) 

4. Conclusion and future work 
This  paper  discusses  the  implementation  of  a  novel  e‐learning  system;  Yasar  University  E‐Learning  System 
(YES) and analyses the results obtained. YES was implemented at the start of the 2012‐2013 academic year for 
the Yasar University Foundation Courses. The outcomes present a unique insight into the e‐learning systems at 
higher education since it is now introduced to more than 4500 university students on each academic term. The 
core of the e‐learning system is adapted from Sakai CLE, but in order to create and implement time restricted 
activities,  as  well  as  to  implement  the  unique  features  described  above  required  to  be  inherited  by  the  e‐
learning system, programmers from the IT department at Yasar University developed new modules and then 
integrated them with the Sakai system. The result was a novel approach to e‐learning system which actively 
requires and anticipates the student’s participation within the system. 
 
After the implementation of the system initially it was not well understood by the students, as transition and 
adaptation  span  from  face  to  face  learning  to  online  learning  brought  its  own  confusions,  complexities  and 
difficulties.  At  the  beginning,  the  academic  supervisors  and  the  lecturers  thoroughly  informed  the  students 
about the time restricted activities as well as how the final grade was going to be calculated for each course. In 
addition, many warning messages were forwarded to the students by the system to inform them about these 
time restricted activities. Still, a very high percentage of the students never really noticed that the exams in 
total only affects 20% of the final grade and they will not get any marks for any activity unless it is completed 
within the given time frame.  That is the reason we were not able to get good results as expected in the first 
term  but  it  was  gradually  improved  in  later  terms.  The  result  of  this  approach  presents  an  obvious  positive 
learning attitude as efficient and effective as face to face learning, and in fact, in some cases even that is much 
more successful.  
 
As it is a well‐known but mostly not appreciated fact also with YES, it has been seen that the main factor in an 
e‐learning system is the student. Focusing only on the technical aspects of an e‐learning system doesn’t bring 
the  expected  success.  The  introduction  of  YES  was  followed  from  the  very  beginning  by  an  excessive 
information and guidance process. We have seen that the resistance which resulted from the transition of face 
to  face  to  e‐learning  approach  diminished  and  disappeared  with  this  guidance  process  and  the  students 
accepted and appreciated the benefits of YES. They also took more responsibility for their own learning. The 
results show that the grades increased very fast parallel to the acceptance of YES and reach a level where we 

603
 
Ibrahim Zincir et al. 

expect that  they  will  stay constant.  To  conclude  briefly, we  can  say  that  every  e‐learning  system  should not 
only introduced in a technical manner but also should be promoted and explained very well to the users.  
 
On  a  final  note,  it  should  be  noted  here  that,  future  research  will  be  held  in  order  to  understand  the 
correlation between how the end user interacts with the system; i.e. what time of the day the student uses the 
system and its frequency, as well as how many times does the specific link/document/file is clicked and again 
at what time of the day these actions are taken. The results of this analysis will also be published in 2015. We 
believe this will gives us a unique insight into the novel e‐learning environment which will further help us to 
implement  a  novel  machine  learning  architecture  into  YES,  so  that  the  system  may  react  and  warn  the 
students and also challenge them whenever it is necessary, autonomously.  

References 
Bandeira C. L. (2009), "Using E‐learning to Promote Critical Thinking in Politics", Enhancing Learning in the Social Sciences, 
Vol. 1. 
Dede C. (2009), "Immersive Interfaces for Engagement and Learning", Science Magazine, 2 January 2009, Volume 323, 
Number 5910, pp. 66‐69. 
Dede, C., Brown‐L'Bahy T., Ketelhut D. and Whitehouse P.  (2004), "Distance Learning (Virtual Learning)", The Internet 
Encyclopedia, Wiley, pp. 549–560. 
Moore M. and Kearsley G. (2013), "Distance Education: A Systems View of Online Learning", Wadsworth Publishing, 
Belmont. 
Sakai CLE, http://sakaiproject.org/ (accessed 18/06/2014) 
Simpson O. (2013), "Supporting Students for Success in Online and Distance Education: Open and Flexible Learning", 
Routledge, New York. 
Smart K. L. and Cappel J. J. (2006), "Perception of Online Learning: A Comparative Study", Journal of Information 
Technology Education, Volume 5, pp. 201‐219. 
Yasar E‐Learning System: http://e.yasar.edu.tr/ (accessed 18/06/2014) 
Zincir, I., Zeytinoglu, M., Rana, T.A. and Basarici, S.M. (2013), "A Novel Approach to E‐Learning: Yasar University E‐Learning 
System (YES)", 12th European Conference on e‐Learning ECEL 2013, Nice, France, pp. 546‐552. 

604
 
 
 
 
 
 

PhD
Research
Papers

605
 
 
 
 
 
 

606
Quality of Women's Learning Experiences in the Digital age in
Higher Education in Saudi Arabia
Nourah Alshaghdali1, Sue Greener1 and Avril Loveless2
1
University of Brighton, Brighton Business School, (Moulsecoomb) Brighton, UK
2
University of Brighton, Education Research Centre, (Falmer) Brighton, UK
N.Alshaghdali1@uni.brighton.ac.uk
S.L.Greener@brighton.ac.uk
A.M.Loveless@brighton.ac.uk

Abstract: This paper reports on the on-going work of a PhD study, which aims at analysing the quality of Saudi
female learning experience, and the learning tools and technologies in higher education (HE). This paper aims
to: 1) provide an overview of the ways in which the Saudi female student learning experience in HE has been
and is conceptualised; 2) provide an overview of how Saudi universities have used technologies (such as
distance learning, e-learning, and live podcasting lectures, CCTV lecturers) in line with Saudi culture, religion
and beliefs; and 3) discuss the methodological approach adopted to the on-going investigation into the Saudi
female student learning experience. The paper presents broad and general discussion of female learning
experience in Saudi universities including: learning environments, assessment and teaching, and curriculum.
The project identified limited scientific studies using questionnaire methods, and elsewhere most of the
reported information relating to Saudi females was based on commentary attempts. The paper concludes with
a discussion of the uniqueness of this PhD study, and explanation of the stage this PhD study has reached.

Keywords: student learning experience; Saudi higher education; CCTV lectures; undergraduate learning, Saudi
female students

1. Introduction and the researched problem

During the last decade, both policy makers and academics in the field of development have given increasing
attention to the relationship between education and development (Tjomsland, 2009), as the quality of a
country’s higher education (HE) sector and its assessment is not only key to its social and economic well-being
but is also a defining element affecting the status of that higher education system at the worldwide level
(UNESCO, 2005). Moreover, most of major policy proposals in this field highlight the importance of female
education. In addition, this issue has attracted an increasing number of academics wishing to focus on
development and education in their work (Kabeer, 2005; Stromquist, 2001), which means that the education
of females is currently one of the most important subjects in the international development dialogue.

In Saudi Arabia, higher education faces many issues, such as low-test marks of students; as students in the 8th
grade in Saudi Arabia were ranked 43rd in Mathematics and 39th in Science out of 50 countries, according to a
report by McKinsey & Company (2007).

In addition, the major challenge for Saudi higher education is the growing domestic qualification and
encouraging cooperation between higher education programmes and the community (Alshayea, 2012). In
addition, the quality of learning in Saudi higher education may have been affected by the ranking of Saudi
universities on a global scale. In fact, none of the Saudi universities are listed within the 392 leading
educational institutions in the World, according to a report by Mine Paristech (2011); King Saud University,
however, ranks 199th in Webometrics, and King Fahad University of Petroleum & Minerals ranks 404th.
Similarly, in the Times Higher Education-Quacquarelli Symonds survey (THE-QS), King Saud University ranks
247th and King Fahad University of Petroleum & Minerals ranks 266th. This performance level is very low
compared with other countries of the developing world (Abouammoh, 2010).

According to a report by The World Bank (2008), Saudi Arabia has exceeded average scores for education and
for the number of reforms required by developing countries, but has scored unsatisfactorily on public
accountability (Figure 1).

607
 Nourah Alshaghdali, Sue Greener and Avril Loveless

Figure 1: The low performance (outcomes) from Saudi Higher education compared to other Arab countries.
(The World Bank, 2008)
Therefore, Saudi Arabia has started to reform its general education and higher education (HE) (AlMunajjed,
2009). At the higher education level, the National Commission for Academic Accreditation and Assessment
(NCAAA), a programme aimed to assess the quality of Saudi HE, announced in their website that only eight
universities - out of 26 - in Saudi had its approval recognition (6 private, and only 2 public universities) (NCAAA,
2012). Yet no published approvals have been found recently. As a result, the Saudi Ministry of Higher
education, started a reform project for all of its learning institutions in 2009, but this project is still in its initial
stages of planning and exploration (AlMunajjed, 2009). Currently, the Ministry of Higher Education has
established: Saudi Centres Of Research Excellence (SCORE) to encourage and to develop the research level in
Saudi universities, the National Center for E-Learning and Distance Learning Project, and Scholarships for Study
Abroad at all levels: undergraduate and graduate studies in all majors aiming to recruit these students (after
finishing their courses and coming back to Saudi) into different governmental jobs including universities
(Ministry of Higher Education, 2010). However, The HE reforming project is still progressing and supervised by
a high level committee, consisting of academics, experts (local and expats) and members of the Government
Council (Shoura) (Altamimi, 2011). These reforms may takes a few years before their impact becomes evident.
Yet, the voice of students (especialy women students) and their opinions are still hidden; therefore, this PhD
study will be focusing on female undergraduate students’ point of view on the learning experience and discuss
their learning issues and obstacles (if they exist), and could propose points and issues that may influence and
help with the improving process of female education, in specific fields, and throughout higher education in
general.

This paper reports on the on-going work of a PhD study, which aims to analyse the quality of Saudi female
learning experience and the learning tools and technologies in higher education (HE). It starts by highlighting
the background, followed by defining the study’s aims and questions, then outlines the current female learning
experience in Saudi Arabia, and finishes with the current research process and the stage reached.

2. Student learning experience background:

The importance of studying and understanding students’ learning experiences has been highlighted in research
debate, finding that in order to assess quality in higher education, student learning and experience must be
taken into account. However, student learning is difficult to determine (Pring, 1992). Therefore, many efforts
have been developed to assess quality in higher education based on evaluations delivered by students
themselves (Ertl et al., 2008). Moreover, much research has justified the use of student evaluation and their
own learning experiences; that students are the primary recipients of higher education experience, and they
spend substantial time and energy for attending universities, being in contact with their tutors for a
considerable time. Therefore several authors stressed the importance of the use of student learning
experience to assess the level of their university in term of teaching, universities learning resources and
environments (March and Overal, 1980).

608
 Nourah Alshaghdali, Sue Greener and Avril Loveless

Yet, the research community are arguing on underlying definitions and conceptualisations of student learning
experience; as they claim that a clear understanding of how the student learning experience can be measured
and evaluated still has not being determined (Ertl et al., 2008). However, Neumann (1990) was the first
researcher to introduce ‘quality of learning experience’ (QLE) as a term; and he defined it as follows
(Charkhabi, Abarghuei and Hayati, 2013):
“It is student’s perceptions of the direct and indirect inputs that they receive from their college. Direct
inputs mean, college investments in the educational program in terms of content, resources and
flexibility, whereas indirect inputs consist of the processes by which colleges attempt to enhance
learning, for example, student-faculty contact and intrinsic involvement in academic
programs.”(Neumann, 1990)
Therefore, research into student learning experience has a broad base of subjects; as Marton and his students
(during the 1970s and early 80s) and Perry (during the mid 80s and early 1990s) have studied ‘approaches to
learning’ adopting qualitative methodology; other researchers have studied the factors influencing learning,
which lie behind the teacher and student interaction, and this includes studies on the formal and informal
academic, institutional and ‘cultures’, and how they shape students learning experiences within higher
education (Ertl et al., 2008). Moreover, other researchers have proposed a relationship between students’
academic goals and motivations, (low, moderate and high goals) with the quality of learning procedures, such
as Wolters (2004) and Valle et al. (2009). As a result, studying student learning experience seems rather
complex and has many elements and indicators that need to be covered to address such an experience.

3. Significance of the study

The present research will be of great value to those who relate to the field of higher education. It concentrates
on the female learning experience from their own point of view to discover their learning obstacles, issues,
and what can be done to help improve their learning journey. The researcher will try to identify these areas
and therefore suggest solutions to the problems that might affect the teaching and learning process. Her final
results might help to revise the policies and might help to increase the level of Saudi Higher education, as the
researcher is hoping that her study may influence the decision-makers at the higher level of the Saudi Higher
Education Ministry.

Moreover, this study will not only be applicable to Saudi Arabia, it will help many decision-makers around the
world at higher education level to understand the educational background of overseas female students who
come from such restricted, religious and traditional countries as Saudi Arabia. This research will help to
recognize the required skills and courses that these females students should attain before enrolling in
universities in developed countries, be they European, British or American universities.

4. Aims of the research

 Analyse the quality of Saudi female learning experience and the learning tools.
 Examine the women’s goals in higher education and discover how their goals could affect their learning
process.
 Describe the personal learning environment in two higher education institutions in Saudi and explore their
interactive tools.
 Contribute to the knowledge gap about the role of women in relation to higher education and
development in the academic field.
 Review teaching policy and pedagogy within this domain (the higher education sector).

5. Research questions

Q1. What are Saudi women’s goals within higher education?

Q2. What kind of personal learning environments do women experience in higher education in
Saudi Arabia?
Q3. What are the obstacles that Saudi undergraduate female students encounter during their
learning journey?

609
 Nourah Alshaghdali, Sue Greener and Avril Loveless

Q4. How do women reflect on the quality of their learning experience in Saudi higher
education?
Q5. What would Saudi female students suggest to improve their learning experience?

6. Women’s learning experience in Saudi Arabian undergraduate institutions

A major priority of the Saudi government has been directed towards guaranteeing the right to education for all
male and female citizens. However, female learning experiences have not yet been studied or researched in
depth. They have been discussed through complementary reports and articles. Yet, studying students’ learning
experience can tackle many issues related to higher education, as it is considered a vital asset in learning
development (Ertl and Wright, 2008). However, limited efforts have been made to report Saudi women’s
learning experience in higher education, as follows:

6.1 Female transition to higher education, induction and retention

Most of the articles publish relating to this subject were commentary documents on, for example, the drop-
out rate of female students from universities, transition from school to university, and preparedness.

 Women’s withdrawal rate from learning in Saudi Arabia

With a mixture of local norms and traditions, social beliefs, and principles originating from the patriarchal
system, standing in the way, these have a considerable influence on women’s lives and limit their opportunity
to acquire or complete their education; as they are linked to gender discrepancies, the traditional roles of men
and women in society, which often favour boys over girls (AlMunajjed, 2009). AlMunajjed reported that
marriage and the low level of awareness of the social and cultural value of educating girls are major factors
hampering girls’ education. Therefore, the major symptom of this gender disparity is the high drop-out rates in
schools and colleges. Despite the improvements, the rising age at marriage, as seen in the increasing number
of girls at secondary level, the dropout rate is still high during university (Al-Sayari, 2008). Although the Saudi
Human Rights Commission (SHRC) launched a campaign to set a minimum age for marriage in the country in
2013 and this resulted in a new law to limit the marriage age to a minimum of18 years old (Saudi Gazette,
2013), there are still no reports on how this new law has affected the withdrawal rate.

 The stress emotion of transition among freshman students

Two studies were identified under this subject and both were conducted by the same group of authors (Al-
Daghri et al., 2014) and (Al-Daghri et al., 2014). Both were conducted at one Saudi public university (King Saud
University in Riyadh). The first study used questionnaires, confirming high levels of stress among Saudi
students entering university in their Preparatory Year (women reported higher levels of stress than men).
However, the second study was a follow-up to the first investigation after one year, with no changes noted in
the perceived stress scores over the Preparatory Year. Limitation can be noticed in this study: stress was not
measured before college entry, and this would explain the high percentage of stress at the baseline that
continued the same after follow-up. However, further studies would be recommended to measure the stress
level of the same students after their third year of entry (as the first year could represent the transition from
school to university life, and the second year may represent the transition from the Preparatory Year to the
specialised college).

These exploratory studies highlight the need for staff and tutors to be more aware of the attitude that
students bring with them to university.

 The preparation for higher education

The Preparatory Year, recently adopted by the Ministry of Higher Education, has been implemented in all
major universities in the Kingdom (AlMunajjed, 2009). The main purpose of this Preparatory Year is to improve
the level of female students who are planning to specialize at the university in the fields of Business
Administration, Medicine, Agriculture, and the Computer Sciences. This programme was started in 2010 in all
universities in Saudi Arabia, and as a result, the average number of years of study for undergraduate social
fields became 5 years (including this preparatory year) instead of 4. The students are required to enrol in this
Preparatory Year to take intensive courses in English, Computer Science, Mathematics, Communication, Civic

610
 Nourah Alshaghdali, Sue Greener and Avril Loveless

Education, Independent-learning and Health Awareness (AlMunajjed, 2009). However, girls will be accepted to
specialise at university only if they successfully pass this one-year programme with high average grades.

 English language skills required at university


The school education system in Saudi Arabia introduced English-as-a-Foreign-Language to students from
school Year 7 to Year 12. However, English language is used to teach modules at Saudi universities; therefore
Saudi universities require a certain level of language skill for students to enter their college. Hence, there is the
Preparatory First Year at Saudi universities to train students about the required skills, and English Language is
one of these courses (AlMunajjed, 2009). For that reason, few researchers conducted their studies in relation
to English language skills required for universities. For instance, Elyas (2008) investigated students’ attitudes
towards using English language in their university studies. This small-scale study (was conducted at King
Abdulaziz University in Jeddah) using descriptive analysis of questionnaires indicating that female students
have a poor English background because of the previous English educational system in the Kingdom of Saudi
Arabia. Moreover, it stated that they have to take extra English courses outside the university. Another
example is Al-Jarf’s (2005) study, which was conducted at King Saud University in Riyadh, recommending the
use of blended learning with extra materials, quizzes, and exercises online as well as face-to-face instruction to
improve students’ English grammar. Both examples were based on one institution, focusing on one group of
students rather than the whole intake of first year students. More investigations are required to understand
this issue.

These studies omitted any investigation of the process of induction, Student expectations and preparedness
for higher education, and did not reveal the skills required for universities other than English, and their impact
on students’ learning outcomes.

6.2 Saudi female curriculum and teaching methods

It has been reported that the curriculum and programmes offered to students do not meet the students’ socio-
economic needs or their expectations, and were criticized by members of the Shoura (consultative) Council to
the Minister of Education, questioning the educational performance of the Ministry over past years (Al Hayat
newspaper, 2008). However, after reforming the education system in Saudi Arabia over the past two years,
new reports and scientific investigations are needed to confirm with the students the validity of the new
curricular and to assess student satisfaction. Moreover, according to the “Trends in International Mathematics
and Science Study” (TIMSS) (2007) undertaken by the International Association for the Evaluation of
Educational Achievement, and based on an international evaluation of 50 countries, the educational system in
Saudi Arabia was falling behind European, Asian, American and other Arab countries in Mathematics and the
Sciences. It took 46th place out of 49 in Mathematics and 44th place out of 49 in the Sciences. Saudi students
got an average of 329 points, which was well below the world average of 500 points (UNDP, 2008).

However, the girls’ curriculum lacks fieldwork, teamwork, and innovative research based on evaluation and
brainstorming. In addition, methods for teaching girls still tend to focus at all educational levels on the
traditional way of learning, based on repetition and memorization instead of analytical research methodology,
creative thinking, personality development, and the development of skills (AlMunajjed, 2009). In addition,
girls’ education suffers from a shortage of well-qualified teachers; as Saudi academics have expressed their
criticism to the Ministry of Education about the performance of teachers and the need to formulate new
programmes for teaching (Al Hayat newspaper, 2008).

 Teaching methods
The traditional methods of teaching might still be practiced, and that might be because of the education
system which is not providing teachers with adequate teaching and training programmes. This lack of training
is reflected in the inability to communicate and interact with students, to encourage teamwork, and to
develop the personality of students, promoting the value of understanding and open-mindedness (Hamdan,
2005). Moreover, this issue is also reflected in a general inability to use information and communication
technology (ICT), and to integrate it into the teaching and learning process (AlMunajjed, 2009). High academic
qualifications are not part of the requirements and the concept of lifelong learning - which is essential to
update knowledge and skills - is broadly missing.

611
 Nourah Alshaghdali, Sue Greener and Avril Loveless

 Strategies to promote learning:

Limited studies looked at learning through teaching approaches and how such an approach would affect
students’ learning outcomes. In addition, these studies reported which learning strategy students would prefer
compared to the tradition lectures. However, two learning strategies have been studied in Saudi Arabia:

 Problem-based learning is the learning strategy that has been studied the most, and it has been only
researched in Medical and Health Education in Saudi Arabia: one study at King Saud University in Riyadh
(Al-Farsi et al., 2008), and another at Qassim University (Shamsan and Syed, 2009). The third one was at
King Abdulaziz University (Ibrahim et al., 2014). These studies evaluated students’ satisfaction as benefits
from such a strategy (male and female) and all were positive, but whether knowledge gained was not
clear. It is noteworthy that Al-Farsi et al.’s (2008) sample size was small compared to the other two studies
(33 students) and their instrument’s validity and reliability was not tested.
 One article compared the impact of various approaches to learning (traditional, blended and e-learning)
on the students experience and their effectiveness (Al-Qahtani and Higginst, 2013). This study was
conducted at Umm Al-Qura University in Saudi Arabia and found that there was a statistically significant
difference between the three approaches in term of students’ achievement, preferring the blended
learning method. Nevertheless, the results might differ, if the instructor of these methods was not one of
the authors.

Figure 2: Female graduate degrees by department (2004–05) (: Al Hamed et al., 2007)

Generally, most of these studies are based on one institution, results are identified based on statistical
analysis, and it is not made clear how approaches to teaching impact on student learning experience.

6.3 Saudi female’s learning environments

Reports related to women’s learning environments are limited, however, the existing knowledge about female
undergraduate students’ learning environment can be grouped under three main subjects: segregated
campuses, technologies supporting learning process, and female transportation.

 Segregated campuses and classes

As Batrawy reported (2013), women at Saudi Arabia's universities, within their female-only campuses are set
free and act lose; as they wear colourful tops, trendy sneakers, a myriad of hairstyles, and some experiment
with bleach blonde or even dip-dyed blue hair and the more adventurous ones have cropped their hair into
short buzzes. In their bags, the textbooks vary, but one item is mandatory: a floor-length black ‘abaya’ robe
that each must use to cover herself when she steps through the university gates back to the outside world of
the Kingdom (Batrawy, 2013). Batrawy added, in the campus grounds - a world of strictly female teachers,
students and staff - women have some greater freedoms than outside, where female remain bound by a web
of customs and religious strictures (Fig.3 and Fig.4).

612
 Nourah Alshaghdali, Sue Greener and Avril Loveless

Figure 3 shows that a male student can park his car inside the campus, whether on the parking area or infront
of his faculty. However, on the women’s campus the situation is different; as females have to go through three
zones to enter the campus (Fig.4). Zone A is the pick up/drop off area; as Saudi females are driven to university
by their own male drivers (husbands, brothers, fathers, or a driver authorized by her guardian) or by the
university’s buses, since Saudi females are banned from driving cars by Saudi Law. In Zone A there are male
security services checking on the drivers’ identification and making sure that females are arriving or leaving
with a driver approved by their guardians. In addition, Zone A count as an outside area, therefore females have
to wear their ‘Abaya’ (the long black veil) to cover their bodies from the male strangers.

Figure 3: Male campus Figure 4: Female campus

Zone B is inside the university and females can take off their ‘Abaya’. This zone is where female security
services are located; as they check the university ID cards and match the photo with the person presenting it.
Therefore, if a student forgets her university ID card, she will have to wait until the security ensure her identity
by taking her student number. In Zone B, if a visitor coming without an appointment, cannot enter the campus,
unless her name has been listed with the female security services.

Zone C is the campus where all female faculties are located with other female only buildings, such as the
university’s female administration, female student services, female coffee shops, university’s library, and the
health centre for females. In this zone (Zone C) females can enjoy freedom and can take off their ‘Abaya’ and
even walking between buildings.

However, huge walls, isolating them from the outside world, surround all three zones.

Inside the faculties: there are lecture theatres and classes for students, laboratories and computer rooms. In
addition, female students are attending different types of lectures in Saudi universities, for example: face-to-
face lectures, and CCTV lectures (Al Lily, 2012). CCTV lectures (live broadcasting lectures) exist because of the
shortages of qualified female lecturers in many fields, therefore, Saudi universities had to employ male
lecturers to teach and lecture female students; but because of the law in Saudi not permitting male academics
to enter the female campus to teach women face-to-face, many methods of teaching have been implemented
in Saudi universities such as CCTV lectures.

The principle of CCTV lectures is to enable male academics to be technologically connected to the female
campus while being physically outside it, where female students are sitting in another room inside the female
campus, observing the male lecturer and the whiteboard through TV monitors (see Figure 5, for the type of
female lectures).

613
 Nourah Alshaghdali, Sue Greener and Avril Loveless

 Pedagogical learning with supportive technologies environment:

Studies under this title are mostly about E-learning, and each dealt and studied E-learning from different
viewpoints. For example: Al-Shehri (2010) has published a review regarding this subject; AlEnezi, Abdul Karim
and Veloo (2010) have studied Saudi students’ acceptance and their attitudes towards using E-learning, testing
the technology acceptance model (TAM); Al-Nuaim (2012) evaluated E-learning students’ performance
compared to the face-to-face traditional students enrolled in the same courses; Alebaikan and Troudi (2010)
piloted the quality of online discussion in blended learning courses at Saudi universities; Zouhair (2010) piloted
students’ satisfaction of using learning management systems (LMS) called ‘JUSUR’; and Al-Fahad (2009)
measured the students’ attitudes and perceptions towards the effectiveness of using mobile devices in their
learning environments.

Figure 5: Type of female’s lectures in Saudi universities

These studies illustrated a common methodology that had been implemented in their research process;
quantitative surveys were conducted with students to test variables, which are part of the learning
environments. In some cases, this method was combined with individual or group interviews and observation

614
 Nourah Alshaghdali, Sue Greener and Avril Loveless

of the facilities available. However, only a few studies were found to use a qualitative approach to find results.
Moreover, most of these studies were about testing new technology and then reporting on the students’
attitudes. Thus, it might be useful to investigate students’ perceptions about new methods and discover which
type of tools would really benefit their learning and help them to gain more knowledge and better outcomes.
Furthermore, it is to be noted that most of these Saudi Arabian studies have used asynchronous interaction.
This might be due to the limitation in the network and/or connection problems within Saudi Arabia (Alebaikan
and Troudi, 2010).

In general, there is limited research related to the learning environment; and it would lead to far better
understanding if there was further study about the students’ personal learning environment, the relationship
between the student and the staff of the university, the atmosphere in which learning and teaching are taking
place, and the extent of student networking.Transportation (Al Ameen Project)
The Ministry of Education launched this transportation project on October 2008 for female students
transportation (free of charge for students), and it has been implemented in Mecca, Al Medina, Qassim, the
Eastern region, Riyadh, and the Northern Frontiers, with about 500,000 female students transported on 3,823
buses and 2,678 vehicles (Saudi Gazette report, 2008). Before this project (even after), when female students
have to rely on their male guardians to drive them wherever they want to go; as there is no public transport
suitable for women in Saudi Arabia. However, some female students could not arrange for male relatives to
drive them, and had to employ a male driver.

6.4 Cultural Influences

There is a limited amount of research in the field of cultural influences and how student background may
reflect on their learning experience. However, Eid and Nuhu’s (2011) found that knowledge sharing between
the male students of King Fahad University of Petroleum and Minerals (KFUPM) is a culture of learning and
that the use of information technology (IT) has helped encourage this knowledge sharing. Moreover, Khashan
(1984) found that Saudi students believed that friendship is a manifestation of loyalty; therefore they would
not hesitate to transfer information to a friend during examinations.

It is, therefore, recommended that this is extended to consider several universities in order to study Saudi
students’ culture of learning. Furthermore, including female respondents in the analysis would further
enhance understanding of this issue.

7. Conclusion

It is clear that the Saudi Government is serious about improving the quality of girls' education; the opening of
Princess Nourah bint Abdulrahman University for women (the largest centre of higher education for Saudi
women) is one example. However, unlike males, even with the new university, females still cannot enter the
Engineering or Petroleum and Minerals fields of study. The progression of educational reform has already
started and is supervised by a high level committee, consisting of academics, experts and members of the
Government Council (Shoura). It may take a few years before the impact of these reforms becomes evident.

The learning experience of female students (undergraduates) at public universities has mostly been reported
through newspapers and commentary articles. However, the voice of students and their opinions are still
hidden; therefore this PhD study will be focusing on the female students’ point of view on the learning
experience and will discuss their learning issues and obstacles - if they exist – and will propose points and
suggestions made by the students themselves. This might help to improve the process of reform within female
education in particular, and may help to improve the quality of learning experience for all students in Saudi
Arabia.

Moreover, the social position of Saudi females will be considered and respected in conducting this study.
However, this study will conduct a qualitative approach to contribute to the knowledge gap, therefore, two
case studies will be conducted (each at different universities located in different cities within Saudi Arabia) to
answer the research questions. It will include semi-structured interview with female students and their tutors
(male and females), with observation techniques to record students’ personal environments and the cultural
influences.

615
 Nourah Alshaghdali, Sue Greener and Avril Loveless

The ethical approval for this PhD study has already been granted and approved. Currently this study has
concluded the first case study and is at the stage of analysing the collected research data.

References
Abouammoh, A. (2010). Higher education in the GCC States: Reforms and regulations. Aljisr 3rd workshop. Dibai, UAE.
Al Hamed, M., et al., Eds. (2007). Al Taalim fi AlMamlaka al Arabiya AlSaudia: Rouyat al Hader wa Istishraf al Mustakbal.
Beirut, Lebanon, Al Rushd Library.
Al-Daghri, N., et al. (2014). "Stress and cardiometabolic manifestations among Saudi students entering universities: a cross-
sectional observational study." BMC Public Health 14(391).
Al-Daghri, N., et al. (2014). "Perceived stress scores among Saudi students entering universities: A prospective study during
the first year of university life." International Journal of Environmental Research and Public Health 11: 3972-3981.
Al-Fahad, F. N. (2009). "Students' attitudes and perceptions towards the effectiveness of mobile learning in King Saud
University, Saudi Arabia." The Turkish Online Journal of Educational Technology 8(2): 111-119.
Al-Faris, E., et al. (2008). "Evaluation of three instructional methods of teaching for undergraduate Medical students, at
King Saud University, Saudi Arabia." Journal of Family & Community Medicine 15(3): 133-138.
Al-Hayat, N. P. (2008). performance of the Ministry of Education, http://alhayat.com.
Al-Jarf, R. S. (2005). "The effects of online grammar instruction on low proficiency EFL college students' achievement." The
Asian EFL Journal Quarterly 7(4): 166-190.
Al-Nuaim, H. A. (2012). "The use of virtual Classrooms in e-learning: a case study in King Abdulaziz University, Saudi
Arabia." E-Learning and Digital Media 9(2): 211-222.
Al-Qahtani, A. A. Y. and S. E. Higginst (2013). "Effects of traditional, blended and e-learning on students' achievement in
higher education." Journal of Computer Assisted Learning 29: 220-234.
Al-Sayari, H. (2008). SAUDI ARABIAN MONETARY AGENCY (SAMA) BOARD OF DIRECTORS. R. a. S. Department. Riyadh,
Saudi Arabia, Saudi Arabian Monetary Agency.
Al-Shehri, A. M. (2010). "E-learning in Saudi Arabia: to E or not to E, that is the question." journal of family and community
medicine 17(3): 147-150.
Alebaikan, R. and S. Troudi (2010). "Online discussion in blended courses at Saudi Universities." Procedia Social and
behavioral sciences 2: 507-514.
AlEnezi, A. R., et al. (2010). "An empirical investigation into the role of enjoyment, computer anxiety, computer self-
efficacy and internet experience in influencing the students' intention to use e-learning: A case study from Saudi
Arabian Governmental Universities." The Turkish Online Journal of Educational Technology 9(4): 22- 34.
AlMunajjed, M. (2009). "Women’s Education in Saudi Arabia. The Way Forward." Booz & Company 2009
Alshayea, A. (2012). "Improvement of the quality assurance in Saudi higher education." Procedia Social and behavioral
sciences 47: 2234-2236.
Altamimi, A. (2011). The Nature of the Female Patient-Physiotherapist Relationship in a Saudi Arabian Musculoskeletal
Outpatient Setting. Faculty of Health and Social Science, Univesirt of Brighton. PhD.
Bank, T. W. (2008). The road not traveled education reform in the Middle East and Africa. Washington DC, The
International Bank for Reconstruction and Development.
Charkhabi, M., et al. (2013). "The association of academic burnout with self-efficacy and quality of learning experience
among Iranian students." Springer Plus 2(677).
Company, M. (2007). "GCC education overview: Current performance and future priorities." McKinsey & Company.
Eid, M. and N. A. Nuhu (2011). "Impact of learning culture and information technology use on knowledge sharing of Saudi
students." Knowledge Management Research and Practice 9: 48-57.
Elyas, T. (2008). "The attitude and the impact of the American English as a global language within the Saudi education
system." Novitas Royal 2(1): 28-48.
Ertl, H., et al. (2008). "The student learning experience in higher education." The Higher Education Academy 2008.
Ertl, H. and S. Wright (2008). "Reviewing the literature on the student learning experience in higher education." London
Review of Education 6(3): 195–210.
Gazette, S. (2013). New Saudi law to set marital age of consent at 18. Al Arabiya News.
http://english.alarabiya.net/en/News/middle-east/2013/12/16/New-Saudi-law-to-set-marital-age-of-consent-at-
18.html.
Hamdan, A. (2005). "Women and education in Saudi Arabia: Challenges and achievements." International Education
Journal 6(1): 42-64.
Ibrahim, N. K. R., et al. (2014). "Medical students' preference of problem-based learning or traditional lectures in King
Abdulaziz University, Jeddah, Saudi Arabia." Ann Saudi Med 32(4): 128-133.
Kabeer, N. (2011). "Gender equality and women's empowerment: A critical analysis of the third millennium development
goal." Gender and development.
Khashan, H. (1984). "A study of student perceptions in a Saudi Arabian University." Research in Higher Education 21(1): 17-
31.

616
 Nourah Alshaghdali, Sue Greener and Avril Loveless

Marsh, H. W. and J. U. Overal (1980). "Validity of students’ evaluation of teaching effectiveness: Cognitive and affective
criteria." Journal of Educational Psychology 72(4): 468–475.
MOHE (2010). "Higher education in Saudi Arabia ". Retrieved May, 2014, from
http://www.mohe.gov.sa/en/aboutus/Pages/default.aspx.
NCAAA (2012). "The completion of the first phase of the accreditation in a number of educational institutions." Retrieved
June, 2013, from http://ncaaa.org.sa/newsdetail.aspx?id=59.
Neumann, Y., et al. (1990). "Determinants and consequences of students' burnout in universities." Journal of Higher
Education 61(1): 20-31.
Paristech, M. (2011). "International professional ranking of higher education institutions." Retrieved March, 2013, from
http://www.mines-paristech.fr/.
Pring, R. (1992). Academic respectability and professional relevance. An inaugural lecture delivered before the University of
Oxford 8th May. Oxford, Clarendon Press.
Saudi Gazette (2008). Female teachers to have a free ride. Saudi Gazette report,
http://www.saudigazette.com.sa/index.cfm?method=home.regcon&contentid=2008101519213.
Shamsan, B. and A. T. Sayed (2009). "Evaluation of problem based learning course at college of Medicine, Qassim
University, Saudi Arabia." International Journal of Health Sciences 3(2): 249-256.
Stromquist, N. P. (2001). "What poverty does to girls' education: The intersection of class, gender and policy in Latin
Amwrica." Compare 31(1): 39-56.
Tjomsland, M. (2009). "Women in higher education: A concern for development." Gender, technology and development
13(3): 407-427.
UNDP (2008). "MDGs in Kingdom of Saudi Arabia." Ministry of Planning
http://www.undp.org/content/undp/en/home.html: 50.
UNESCO (2005). "Guidelines for quailty provision in cross-border higher education." Retrieved 5th March, 2013, from
http://www.unesco.org/education/hed/guidelines.
Valle, A., et al. (2009). "Academic goals and learning quality in higher education students." The Spanish Journal of
Psychology 12(1): 96-105.
Wolters, C. A. (2004). "Advancing Achievement Goal Theory: Using Goal Structures and Goal Orientations to Predict
Students' Motivation, Cognition, and Achievement." Journal of Educational Psychology 96(96): 236 - 250.
Zouhair, J. (2010). "Utilizing JuSUR in an information systems course." International Journal of Education and Development
using Information and Communication Technology (IJEDICT) 6(4): 114-121.

617
Micro Notes Application for Education: A Proposed Mobile Micro 
Note‐Taking Architecture 
Maram Al Zaidi, Mike Joy and Jane Sinclair 
Department of Computer Science, University of Warwick, Coventry, UK  
m.s.alzaidi@warwick.ac.uk   
M.S.Joy@warwick.ac.uk  
J.E.Sinclair@warwick.ac.uk 
 
Abstract: Given the massive uptake in the domain of information and communication technology, there is great potential 
for  integrating  social  media  technologies  with  learning  processes  at  universities.  Social  Network  Sites  (SNS),  e.g.  Twitter 
and Facebook, have been used in various educational activities. However, the use of such sites in educational activities is 
still generic often confining itself to aspects related to creating module notebooks. Hence, this study aims to employ SNS, 
and more specifically the features of Twitter, in the educational process so as to make it more effective than has been the 
case hitherto.  Mobile technologies have also formed the basis for innovative note‐taking solutions to be used by students 
in the classroom to cover the shortcomings of traditional notes. Based on mobile technologies and SNS features, this study 
proposes an architecture that provides undergraduate students with a new innovative note‐taking tool. The architecture 
has been proposed to fit the students’ needs at higher education level as regards their note‐taking practice. The proposed 
architecture  was  built  based  on  a  MVC  three  tier  model  that  is  used  for  interaction  application.  This  issue  has  not  been 
investigated in the literature and thus its usefulness to the learning process is still unexplored.        
 
Keywords: note‐taking, Twitter in education, micro note‐taking, mobile technology, architecture  

1. Introduction 
Social Network Sites (SNS) have been used recently as a new trend in learning and teaching in higher education. 
Most current students have grown up in the digital age where this technology is present in all areas of their 
lives including their learning and teaching activities. In fact, Twitter is one of the most popular platforms that 
have been recently employed in teaching and learning. For example, Dhir et al. (2013) show that a significant 
growth in the popularity of Twitter is in the educational sector. Similarly, mobile technology has increasingly 
been used in learning and teaching in higher education. According to Traxler (2007) using wireless, mobile and 
handheld devices has gradually increased and been disseminated across educational sectors. Personal mobile 
devices  are  ubiquitous  amongst  student  populations  in  universities  (  Herrington  et  al  2008).  Keeping  these 
advanced  technologies  mentioned  above  in  mind,  there  would  seem  to  be  a  clear  need  to  investigate  how 
these can be used to serve the note‐taking practice in education.  
 
Numerous  studies  have  reflected  an  increased  interest  in  using  technologies  for  note‐taking  practice  in 
education (Abowd et al., 1998; Aitken and Hatt, 2012; Truong, 1999; Zhang and He, 2004; Singh et al., 2004; 
Kam  et al  2005; Berque  2006; Reilly  and Shen,  2009;  and  Marrandino et  al., 2011). However,  none  of  these 
studies have focused on social network sites (SNS) or even the short text messages for note‐taking practice in 
education  and  also  have  not  used  the  three  tier  architecture  (MVC)  Model‐View‐Control  pattern  design 
architecture. Hence, this paper is suggesting an architecture for note‐taking practice in education that focuses 
on providing the two main functions of note‐taking e.g. the encoding function and the recalling function using 
mobile technology and Social Network Sites features for current age students. The proposed architecture has 
been drawn based on two resources: the first resource was used in the light of the rich history of the literature 
review  of  research  on  mobile  technology,  Social  Network  Sites  features  and  the  note‐taking  activity.  The 
second was the result of an exploratory study that was conducted at an early stage.  
 
The most surprising result of the exploratory research was that traditional pen and paper was observed to be 
still  the  most  favored  tool  used  by  undergraduate  students  for  note‐taking  practice  (Al‐zaidi  et  al.,  2013). 
Therefore, our innovative architecture developed here is based on critically analyzing the literature reviews in 
order to solve the problem of the untidy pen and paper medium and the lack of gaining the benefits of online 
learning.  The  literature  reviews  that  have  been  used  to  help  us  in  framing  the  idea  of  the  proposed 
architecture will be discussed in the paper further. This paper introduces the proposed architecture in detail, 
followed by its evaluation technique, and finally the conclusions of the study.  
 

618
 
Maram Al Zaidi, Mike Joy and Jane Sinclair 

2. Literature review 

2.1 Mobile technology 
In  recent  years,  the  quick  growth  of  mobile  technologies  is  promising  a  new  revolution  that  might  be 
comparable with that of the web (Trifonova and Ronchetti, 2003). Mobile technologies in education can help 
in supporting teaching and learning such as personal organization without explicitly being part of the learning 
activity themselves (Naismith et al 2004). M‐learning can be considered as a learning tool for accessing content, 
which can be locally stored on the device or can be reached through interconnection (Trifonova and Ronchetti, 
2003).  The  most  obvious  use  of  mobile  devices  for  educational  purposes  is  in  fact  a  direct  application  of  e‐
learning techniques on smaller devices instead of those on a desktop PC (Trifonova and Ronchetti, 2003).  

2.2 Mobile learning 
Recently, rapid advances in mobile learning have been viewed as a major trend in higher education.   Georgive 
et  al.  (2004)  pointed  out  that  m‐learning  offers  a  new  way  of  learning  and  teaching,  which  redresses  the 
deficiencies of traditional education.  Indeed, Georgive et al. (2004) highlighted that m‐ learning is becoming a 
new form of learning worldwide that is based on mobile devices such as the PDA, cell phone and Tablet PC.   
According  to    (Herrington  et  al.,  2008)  and  Sharples  (2006)  the  use  of  mobile  phones  has  already  grown 
amongst  students  as  well  as  across  all  educational  areas.  (Sharples  et  al.,  2002)  argued  that  handheld 
computers  and  mobile  communication  are  technologies  that  can  be  used  in  supporting  individuals  to  learn 
anytime,  anywhere.    Similarly,  (Naismith  et  al.,  2004)  identified  that  mobile  phones  and  personal  digital 
assistants are the most prevalent technologies for mobile learning. Moreover, (Traxler, 2007) emphasizes that 
mobile learning has been growing obviously and significantly in higher education. 
 
(Alexander 2004) stated that students learn more effectively with mobile devices than they do with desktop 
computers.  According  to  Evans  (2008),  using  m‐learning  as  a  teaching  and  learning  strategy  for  college 
students  appears  to  be  an  effective  tool  in  higher  education.    Another  study  by  (Fozdar  and  Kumar,    2007) 
indicated  that  using  m‐learning  could  help  in  improving  students  retention  by  enhancing  the  delivery  of 
education.  (Traxler,  2005)  highlighted  that  m‐learning  is  a  new  educational  format.    Hence,  this  strongly 
suggests  that  m‐learning  is  an  innovative  educational  tool,  since  many  researchers  attempted  to  investigate 
how the mobile technologies can be employed for educational activities. 

2.3 Mobile device 
Personal mobile devices are ubiquitous amongst student populations in universities (Herrington et al., 2008). 
Mobile devices perform many of the functions of desktop computers with the advantages of simplicity in that 
they  are  ‘easy  to  carry’  and  give  improved  access  everywhere,  anytime  (Houser  et  al.,  2002).    Widespread 
ownership  of  mobile  phones  and  the  availability  of  other  portable  and  wireless  devices  have  been  the 
landscape of technology‐supported  learning (Kukulska‐Hulme,  2009).  These  technologies  turn  out  to  be  well 
aligned  with  strategic  educational  goals  such  as  improving  students  retention  (Kukulska‐hulme,  2007). 
Personal digital assistants and mobile phones are the most commonly used technologies for mobile learning 
(Naismith  et  al.,  2004).  Individuality  is  one  of  mobile  devices’  properties  such  as  personal  digital  assistance 
(PDA) that generates unique educational affordances (Klopfer et al., 2002).   

2.4 Note‐taking  
Note‐taking  is  one  of  the  most  important  activities  used  in  learning  processes  and  has  proven  its  positive 
impact on students’ achievement (Kiewra, 1987; Piolat et al., 2005). Note‐taking is one of the most commonly 
used techniques by students during lectures (Hartley and Davies, 1978). Traditionally, this course of action is 
usually conducted manually (i.e. pen and paper). In recent years, Web 2.0 technologies such as blogs, wikis, 
and social networking sites have been used to transform teaching and learning in higher education given that 
such  technologies  offer  software  developers  and  end‐users  the  ability  to  create  and  modify  content  online. 
Web  2.0  technologies  have  actually  been  used  in  a  number  of  educational  activities  (e.g.  communications, 
discussions, and note‐taking) that are carried out by students in classroom settings. These activities appear to 
be more interesting and appealing to students when they are enabled by Web 2.0 technologies and thus we 
assume that such technologies have the potential to enhance their learning skills.  
 

619
 
Maram Al Zaidi, Mike Joy and Jane Sinclair 

2.5 Twitter in education 
Twitter has been deployed in a number of ways in higher education (Leaver, 2012). To give just a few examples, 
it  was  found  that  one  of  the  advantages  of  using  Twitter  in  a  classroom  setting  is  that  it  offers  students  an 
additional channel for communication (Tyma, 2011, ).  Scornavacca et al. (2009) also found that for handling 
questions  in  a  large  classroom,  text  messages  can  be  used  as  a  more  practical  and  efficient  way  than  the 
traditional raising‐hand method. However, a survey of faculty members, guests, and students on a pharmacy 
management course that was conducted by Fox et al. (2011) showed that although 80% of the sample found 
that  Twitter  facilitates  class  participation,  71%  and  69%  of  the  sample,  however,  indicated  that  Twitter  was 
distracting,  and  actually  prevented  note‐taking,  respectively.  Hence,  using  Twitter  during  lectures  to  get 
involved  in  classroom  activities  seems  to  be  annoying  for  instructors  leading  classes  (Hartman  and 
McCambridge.,  2011).  In  line  with  this,  Cherney  (2008)  argued  that  students  who  use  Twitter  will  lose  the 
space for thinking in depth compared to traditional teaching in classrooms.  
 
On  the  other  hand,  some  studies  argue  that  the  use  of  Twitter  in  classroom  settings  is  advantageous.    For 
example,  Junco  et  al.  (2010)  argued  that  using  Twitter  changes  the  way  traditional  activities  take  place  in 
classrooms  and  leads  to  keeping  students  engaged.  Accordingly,  the  literature  shows  inconsistent  results 
regarding the appropriateness of using Twitter in classroom settings and for educational purposes. A plausible 
explanation is that Twitter and similar social networking sites are not specifically designed as an educational 
tool that supports the learning process.  
 
Microblogging  is  a  form  of  communication  that  allows  people  to  generate  content  by  posting  short  posts 
limited to 140 characters.  One of the most popular microblog tools is Twitter, with more than 6 billion users 
as of Jan, 2014 according to Statistic Brain. A survey conducted by  Cheng et al. (2009) showed that 65% of 
Twitter users are under the age of 25. Junco et al. (2011) found that Twitter has been used in teaching and 
learning  amongst  the  students.  Most  studies  of  using  Twitter  in  classrooms  have  focused  on  Twitter  as  a 
feedback tool between teachers and students (Kassens‐Noor, 2012). Another study by Chamberlin et al. (2011) 
suggested that Twitter is a simple tool allowing students to post short text messages of just 140 characters or 
less  in  educational  fields.  According  to  Faculty  Focus  Statistics  (2010)  Twitter  has  become  a  very  popular 
learning  tool  in  the  educational  setting  among  both  teachers  and  students.  Recent  evidence  showed  that 
Twitter has a significant impact on students’ engagement in learning processes (Junco et al., 2010).  However, 
another study by Fox et al. (2011) indicated that using Twitter in the classroom environment is distracting and 
by far the major percentage of participants said it prevented note‐taking.  

2.6 Micro note‐taking  
Katayama and Crooks (2003) have highlighted that online educators have had to reconsider the popularity of 
the  alternative  mode  of  learning  with  technology,  as  a  consequence  of  the  widespread  emergence  of 
electronic notes and text. Therefore, Micro Note‐taking has been defined earlier in this research by (Al‐Zaidi et 
al., 2013) as a small‐sized class of remarks that serve as an initial reservoir of presented information for future 
uses. This paper attempts to describe the proposed Micro Note‐taking application as follows: learners are not 
using  modern  tools  efficiently  for  note‐taking  activity  during  lectures  and  using  pen  and  paper  is  outmoded 
and although not necessarily bad is far from being a good tool. The development of online Micro Note‐taking 
Application  is  based  on  facts  that  are  gleaned  from  the  literature  reviews  regarding  the  benefits  of  online 
learning  using  mobile  technology  in  learning.    Also,  it  attempts  to  address  the  major  shortcoming  that  has 
been revealed from the learners’ perspective with regard to the note‐taking activity. A simple solution will be 
developed for the leaners which is based on a short text message of Twitter taken by individual learners on 
their mobile devices from the presented information during lectures such as: PowerPoint slides, writing on the 
board and material resources. The micro notes are short, managed and grouped into module notebooks using 
keywords so that they will be easy to recall later. To recall the information that was noted manually by using 
pen‐and‐paper would be a time consuming task as well as an untidy job for the learners. A Micro Note‐taking 
Application  will  be  deployed  in  the  classroom  environment  on  the  learners’  mobile  devices  via  Internet 
connection as a modern tool for note‐taking activity instead of using a traditional one.  

620
 
Maram Al Zaidi, Mike Joy and Jane Sinclair 

3. Proposed application architecture 

3.1 Physical architecture 
The  proposed  architecture  was  suggested  to  abstract  the  operation  of  the  proposed  application.  The 
architecture for the proposed application basically was built upon two main resources: our vision in the light of 
the  literature  reviews  and  the  outcome  of  the  investigation’s  exploratory  study  that  was  carried  out.  Our 
application was built based on client server approach. A three‐tier architecture was adopted to describe clearly 
the operations of the proposed application (as shown in figure 1).    
 
According to the kind of mobile application type, Micro Note‐taking application can be categorized as a mobile 
application based on web services that are accessible through web services protocol (programmatic interface) 
(Ghatol  and  Patel,  2012).  These  web  services  are  as  follow:  adding  module  notebook,  encoding  the  notes, 
recalling the notes, adding keywords and searching for the notes. The database was used as a main storage for 
the data application (Vicknair et al., 2010). MySQL was used to develop the database the most common used 
open source (Converse et al.,  2013). PHP stands for Hypertext Processor is an open source, server side and 
HTML  embedded  web‐scripting  language  (Converse  et  al.,  2013).      To  ensure  the  connection  between  the 
database  and  mobile  web  application,  PHP  5  will  be  used  because  it  offers  much‐enhanced  object 
programming  functionality  (Converse  et  al.,  2013).    Apache  was  used  as  a  web  server,  as  it  is  the  most 
common used with PHP and MySQL (Converse et al., 2013). 

 
Figure 1: Micro note‐taking application architecture 

4. Suggested application evaluation  
The proposed architecture will be used to implement the initial prototype of the application for note‐taking 
practice  in  education.  The  research  method  techniques  will  be  applied  here  in  order  to  improve  the  next 
version  of  the  application.  To  achieve  the  research  aim  along  with  its  objectives,  this  research  follows  the 
Design‐Science  Research  (DSR)  paradigm.  This  paradigm  is  deemed  appropriate  when  a  research  aims  to 
produce artefacts (i.e. utilities) that address the so‐called wicked problems (Hevner et al., 2004). In principle, 
the design‐science research attempts to successfully design, develop, and evaluate technology‐oriented design 
artefacts characterized as novel, innovative, and purposeful. Design‐science research, in general, aims to solve 
unstructured  but  relevant  organizational  or  social  problems  through  the  development  of  novel  and  useful 
artefacts.  As  the  current  research  aims  to  help  in  solving  students’  note‐taking  problems  by  developing  a 
purposeful  micro  note‐taking  application,  the  design‐science  research  paradigm  is  deemed  fitting.  First,  this 
study will employ an experimental study design, involving a convenience sample of students to determine the 
impact of the micro note‐taking experience. Then, a qualitative research method will be used for measuring 
different students’ perspectives on the initial prototype.  Patton (1990) pointed out that a qualitative research 
method can be used basically to gain two aspects: new opinions/ perspectives on things about which little is 
already known, or to gain more in‐depth information that may be difficult to convey quantitatively. Therefore, 

621
 
Maram Al Zaidi, Mike Joy and Jane Sinclair 

a  semi‐structured  interview  and  focus  groups  will  be  applied  where  the  interviewer  has  the  flexibility  to 
explore and probe with this predefined list of questions and themes. The application will be implemented and 
then tested using a qualitative research method as mentioned above.  

5. Conclusion 
This  paper  presents  a  new  architecture  for  note‐taking  practice  in  education  based  on  Social  Network  Sites 
(SNS)  and  Mobile  technology.  The  architecture  will  be  used  to  formulate  a  stand‐alone  web‐based  mobile 
application. The application relies on mobile technology and use of one of the Social Network Sites features; 
specifically the use of just 140 characters to post the generated content for note‐taking practice. Model‐View‐
Control (MVC) pattern design is the most widely used for interactive web based systems and was utilized to 
build  the  architecture.  For  the  next  version  of  the  prototype  application,  users’  feedback  and  views  will  be 
taken into consideration to improve it in relation to the students’ needs. The final prototype will go through 
the  evaluation  stage  with  students  at  the  University  of  Warwick  to  investigate  and  collect  their  views  and 
perceptions about using this tool for note‐taking practice.  
 
As mentioned above, the proposed architecture stemmed from the literature review on note‐taking practice 
as well as new technologies employed in education and the exploratory results were carried out to investigate 
the current note‐taking practice for students to contribute knowledge helping to fill the gap of this research. 
The prime research evaluation technique for this application will be interviews to collect different views about 
a  new  application  for  note‐taking  practice.  As  discussed  above,  the  system  is  still  in  the  early  stage  of  this 
research but it suggests an innovative approach for note‐taking practice by integrating the social network sites 
features with mobile technology.   
References  
Abowd, G. Brotherton, J. and Bhalodia, J. (1998) "Classroom 2000 : A System for Capturing and Accessing Multimedia 
Classroom Experiences", In Proceedings of CHI 98: Conference on Human Factors in Computing Systems Ap, Los 
Angeles. 
Aitken, A & Hatt, G. (2012) "Students taking notes and creating summaries together (or not)". In A. Herrington, J. Schrape, 
K. Singh (Eds.), Engaging students with learning technologies (pp. 147‐165). Perth, Australia: Curtin University. 
Al‐zaidi, M. Joy, M. and Sinclair, J. (2013) "Exploring The Use of Micro Note‐taking with Social Integration Features for 
Education", In International Conference on Education and New Learning Technologies (EDULEARN13), Barcelona.  
Alexander, B. (2004) "Going Nomadic: Mobile Learning in Higher Education", EDUCAUSE Review, Vol. 41, No. 2, pp 32‐44. 
Berque, D. (2006) "An Evaluation of a Broad Deployment of DYKNOW Software to Support Note Taking and Interaction 
Using Pen‐Based Computers", Journal of Computing Sciences in Colleges, Vol. 21, No.6, pp 2–13. 
Chamberlin, L. and Lehmann, K. (2011) "Twitter in higher education", Cutting‐edge Technologies in Higher Education, Vol. 1, 
pp. 375‐391 
Cheng, A. and Evans, M. (2009) "Inside twitter", [online], http://www.sysomos.com/insidetwitter/ 
Cherney, I. D. (2008) "The effects of active learning on students’ memories for course content", Active Learning in Higher 
Education, Vol. 9, No. 2, pp. 152–171.  
Deacon, J. (2009) "Model‐View‐Controller (MVC) Architecture", JOHN DEACON Computer Systems Development, 
Consulting & Training, [online], http://www.jdl.co.uk/briefings%5CMVC.pdf 
Converse, T. Park, J. and Morgan, C. (2004). PHP5 and MySQL Bible. Wiley Publishing, Inc. 
Dhir, A. Buragga, k. and Boreqqah, A. (2013) "Tweeters on Campus : Twitter a Learning Tool in Classroom", Journal of 
Universal Computer Science, Vol.19, No. 5, pp.  672–691. 
Evans, C. (2008) "The effectiveness of m‐learning in the form of podcast revision lectures in higher education". Computers 
& Education, Vol. 50, No. 2, pp. 491–498.  
Faculty Focus (2014) " Report Twitter in Higher Education 2010: Usage Habits and Trends of Today’s College Faculty", 
[online], http://www.facultyfocus.com/free‐reports/twitter‐in‐higher‐education‐2010‐usage‐habits‐and‐trends‐of‐
todays‐college‐faculty/ ‐ sthash.h3xpwjPY.dpuf Fox, B. and Varadarajan, R. (2011) "Use of Twitter to encourage 
interaction in a multi‐campus pharmacy management course", American Journal of Pharmaceutical Education, Vol. 
75, No.5, pp. 1‐8.  
Fozdar, B. and Kumar, L. (2007) "Mobile Learning and Student Retention". International Review of Research in Open and 
Distance Learning, Vol. 8, No. 2, pp. 1–18. 
Freeman, A. and Sanderson, S. (2011) "The MVC Pattern", Pro ASP.NET MVC3 Framework, pp. 63‐88, Apress.  
Georgiev, T. Georgieva, E. and Smrikarov, A. (2004) " M‐learning‐a New Stage of Е‐Learning", In International Conference 
on Computer Systems and Technologies‐CompSysTech, Vol. 4, No. 28, pp. 1‐4. 
Ghatol, R. & Patel, Y. (2012) Beginning PhoneGap, Apress.  
Hartley, J. and Davies, I. (1978) "Note taking : A critical review", Innovations in Education & Training International, Vol. 15, 
No. 3, pp.  207–224. 

622
 
Maram Al Zaidi, Mike Joy and Jane Sinclair 

Hartman, J.L. and McCambridge, J. (2011) "Optimizing Millennials’ Communication Styles", Business Communication 
Quarterly, Vol. 74, No.1, pp. 22–44.  
Herrington, J. Mantei, J. Herrington, A. Olney, I. and Ferry, B. (2008) "New technologies, new pedagogies : Mobile 
technologies and new ways of teaching and learning", The Australian Society for Computers in Learning in Tertiary 
Education Conference, [online], http://www.ascilite.org.au/conferences/melbourne08/procs/herrington‐j.pdf  
Hevner, A.R., March, S.T., Park, J., and Ram, S. (2004) "Design Science in 
Information Systems Research". Management Information Systems Quarterly, Vol. 28, No.1, pp. 75‐105. 
Houser, C. Thornton, P. Kluge, D. and Gakuin, K. (2002) "Mobile Learning : Cell Phones and PDAs for Education", In 
Proceedings of the International Conference on Computers in Education. 
Junco, R. Heiberger, G. and Loken, E. (2010) "The effect of Twitter on college student engagement and grades", Journal of 
Computer Assisted Learning, Vol. 27, No. 2, pp. 1– 14.  
Kam, M. Wang, J. Iles, A. Tse, E. Chiu, J. Glaser, D. and Hall, S. (2005) " Livenotes : A System for Cooperative and 
Augmented Note‐Taking in Lectures", In Proceedings of the SIGCHI conference on Human factors in computing 
systems, pp. 531‐540, ACM.  
Kassens‐Noor, E. (2012) "Twitter as a teaching practice to enhance active and informal learning in higher education: The 
case of sustainable tweets", Active Learning in Higher Education, Vol. 13, No. 1, pp. 9–21.  
Katayama, A. and Crooks, S. (2003) "Online Notes: Differential Effects of Studying Complete or Partial Graphically 
Organized Notes", The Journal of experimental education, Vol. 71, No. 4, pp. 293–312. 
Kiewra, K. A. (1987) " Note taking and Review: the research and its implications", Instructional Science, Vol. 16, No. 3, pp. 
233–249. 
Klopfer, E. Squire, K. and Jenkins, H. (2002) "Environmental Detectives: PDAs as a window into a virtual simulated world". 
In Wireless and Mobile Technologies in Education, Proceedings, IEEE International Workshop on IEEE, pp. 95‐98.  
Krasner, G. and Pope, S. (1988) A Cookbook for Using the Model‐ View‐Controller User Interface Paradigm in Smalltalk‐80. 
report, ParcPlace Systems, Mountain View, Calif. 
Kukulska‐hulme, A. (2007) "Mobile Usability in Educational Contexts : What have we learnt ?" International Review of 
Research in Open and Distance Learning, Vol. 8, No.2. 
Kukulska‐Hulme, A. (2009) " Will mobile learning change language learning?", ReCALL, Vol. 21, No. 2, pp. 157‐165.  
Leaver, T. (2012) "Twittering informal learning and student engagement in first‐year units". In A. Herrington, J. Schrape, K. 
Singh (Eds.), Engaging students with learning technologies (pp. 97‐110). Perth, Australia: Curtin University. 
Marrandino, A. Sbattella, L. and Tedesco, R. (2011) "Supporting note‐taking in multimedia classes : PoliNotes", In 2011 
International Conference in Information Technology Based Higher Education and Training (ITHET), pp. 1‐8. IEEE.  
Naismith, L. Lonsdale, P. Vavoula, G. and Sharples, M. (2004) "Literature Review in Mobile Technologies and Learning". 
Patton, M. (1990) Qualitative Evaluation and Research Methods, Newbury Park, CA: Sage Publications, Inc. 
Piolat, A. Olive, T. and Kellogg, R. (2005) "Cognitive Effort during Note Taking". Applied Cognitive Psychology, Vol. 19, No. 3, 
pp.  291–312.  
Reilly, M. and Shen, H. (2009) "The Design and Implementation of the Smartphone‐based GroupNotes App for Ubiquitous 
and Collaborative Learning". In Proceedings of the 6th international conference on Ubiquitous and Collaborative 
Computing, pp. 46‐55, British Computer Society. 
Scornavacca, E. Huff, S. and Marshall, S. (2009). "Mobile phones in the classroom: If you can't beat them, join 
them", Communications of the ACM, Vol. 52, No. 4, pp.142‐146. 
Sharples, M. (2006) " Big Issues in Mobile Learning", workshop by the kaleidscope Network of Excellence Mobile Learning 
Initiative. 
Sharples, M. Corlett, D. and Westmancott, O. (2002) "The Design and Implementation of a Mobile Learning Resource". 
Personal and Ubiquitous Computing, Vol. 6, No. 3, pp. 220–234. 
Singh, G., Denoue, L. and Das, A. (2004) " Collaborative note taking". In Wireless and Mobile Technologies in Education, 
2004. Proceedings. The 2nd IEEE International Workshop, pp. 163‐167. 
Statisticbrain (2014) "Twitter Statistic/ Statistic Brain ", [online], http://www.statisticbrain.com/twitter‐statistics/ 
Traxler, J. (2005) "Defining mobile learning". In IADIS International Conference Mobile Learning , pp. 251‐266. Suomen 
kuntaliitto. 
Traxler, J. (2007) " Defining, Discussing, and Evaluating Mobile Learning: The moving finger writes and having writ…. ", 
International Review of Research in Open and Distance Learning, Vol. 8, No. 2, pp. 1–12.  
Trifonova, A. and Ronchetti, M. (2003) "Where is Mobile Learning Going ?", In World Conference on E‐Learning in 
Corporate, Government, Healthcare, and Higher Education, Vol. 2003, No. 1, pp. 1794‐1801. 
Truong, K. N. and Abowd, G.D. (1999) " StuPad : Integrating Student Notes with Class Lectures", In CHI'99 Extended 
Abstracts on Human Factors in Computing Systems, pp. 208‐209, ACM. 
Tyma, A. (2011) " Connecting with What Is Out There! : Using Twitter in the Large Lecture", Communication Teacher, Vol. 
25, No. 3, pp. 175–181.  
Vicknair, C. Nan, X. Chen, Y. and Wilkins, D. (2010). A Comparison of a Graph Database and a Relational Database A Data 
Provenance Perspective,ACMSE ,pp. 68–80. 
Zhang, Z. and He, L.W. (2004) " Notetaking with a Camera : Whiteboard Scanning and Image Enhancement. In Acoustics, 
Speech, and Signal Processing, Proceeding (ICASSP'04), Vol. 3, pp. 533–536. 
 

623
Reading on Tablets: Students’ Awareness and use of Foreign 
Language Reading Strategies 
Natalia Auer 
Institute of Learning Innovation, University of Leicester, UK 
nca4@le.ac.uk 
 
Abstract: Students bring into the classroom their own mobile devices, but do not take advantage of the various features 
that  the  technology  offers  for  supporting  learning.  This  paper  addresses  two  themes  of  this  conference:    e‐books  and 
mobile  learning.  Approaches  to  learning  which  prompt  metacognitive  thinking  in  reading  have  been  shown  to  enhance 
reading  comprehension.  To  date,  these  approaches  have  relied  on  teachers’  help  to  model  metacognitive  strategies:  for 
example,  in  activating  background  knowledge,  inferring  meaning  and  monitoring.  However,  technology  can  help  the 
learner by modelling such strategies. The case study and the findings to be presented at the PhD Research Colloquium are 
part  of  my  PhD  research  project.  The  objectives  of  the  project  were  to  determine  the  extent  to  which  students  employ 
foreign  language  (FL)  reading  strategies  when  using  tablets,  and  which  of  the  tablet’s  functions  support  reading 
comprehension. The paper describes the methods, procedures, and results of the project at a Danish Secondary School. It 
also discusses how the iBooks Author application has been used during the research project. The participants were seven 
Danish high school students. Data was collected via students’ logs (records of their use of reading strategies with the iPads 
over three weeks) and semi‐structured interviews. Qualitative data was analysed using NVivo software. Results show that 
students  used  a  variety  of  metacognitive  and  cognitive  reading  strategies  when  they  used  tablets  for  reading  a  foreign 
language. Students engaged in cognitive and metacognitive processes using the embedded reading strategies and some of 
the features of the tablet. 
 
Keywords: mobile learning, digital literacy, FL reading, reading strategies tablets, iPads, e‐books 

1. Introduction 
The  purpose  of  this  paper  is  to  contribute  to  understanding  of  the  intersection  of  two  fields:  mobile 
technology and FL reading through studying how students use FL reading strategies with iPads and how tablet 
technology,  in  particular  the  iPad,  can  mediate  FL  reading  strategies.  Using  the  potential  of  this  technology 
may encourage students to reflect while they are reading FL digital texts (Auer, in press).   
 
“Self‐regulated  second  language  (L2)  learning  strategies  are  defined as  deliberate, goal‐directed  attempts  to 
manage and control efforts to learn the L2” (Oxford, 2011, p.12). These strategies can be applied to four skills: 
reading, writing, speaking and listening. This paper focuses in reading strategies. Most research on FL reading 
strategies has been conducted with conventional print texts and in formal instruction, that is, in the classroom.  
 
With  the  advent  of  technology  in  the  classroom,  students  are  confronted  with  both  textbooks  and  digital 
reading  materials.  There  is  controversy  surrounding  whether  print  is  more  valuable  for  learning  than  digital 
media (Baron 2013, Szalavitz 2012, Wolf 2010). Mangen, Bente, and Brønnick (2013) concluded that reading 
digital texts on a computer screen is detrimental to reading comprehension. However, it could be argued that 
because the researchers used scanned pdf files for their study, the medium’s potential was not fully exploited. 
For example, there was no possibility of embedding, within the text, an interactive table of contents, video or 
audio, highlighting or note taking. 
 
More and more students are using a greater number of mobile devices as learning tools. According to Levinsen 
and Sørensen (2008), learning takes place everywhere; students use these devices for informal learning too, 
outside  the  classroom.  Students  increasingly  read  digital  content  for  learning,  but  research  shows  that  the 
time they spend online does not necessarily aid them in developing their reading skills (Cull, 2011).  
 
Students’ success in learning depends on their ability to understand and use the information in these digital 
texts.  They  need  to  learn  how  to  extract  information  from  these  texts  which  have  the  potential  to  enhance 
reading comprehension. However, the advantages that this medium offers are perhaps not yet fully exploited. 
Traditionally,  teaching  and  learning  reading  strategies  has  taken  place  in  the  classroom.  Teachers  have 
introduced  them,  and  then  teach  students  how  to  apply  them  to  a  text:  Teachers  have  modelled  these 
strategies  for  their  students  by  reading  texts  and  then  thinking  aloud  while  reading.  Technology  can  assist 

624
 
Natalia Auer 

students by modelling such strategies just as a teacher would do in the think‐aloud approach. Technology can 
replace the teacher as a mediator in this context. 
 
There is a lack of studies around the types of FL reading strategies that students use with iPads. Also, there is 
very little research around which specific functions on the iPad may enhance the use of FL reading strategies. 
This study addresses these gaps by investigating students’ use of FL reading strategies with this technology. 

2. Theoretical background 
This study investigates students’ use of reading strategies regarding digital texts accessed on iPads within the 
Strategic Self‐Regulation (S²R) Model of language learning (Oxford, 2011).  
 
Within the S²R model of language learning it is assumed that learning strategies are learnt through mediation. 
That  is,  knowledge  construction  is  assisted  through  dialogue  between  the  teacher  (or  an  individual  who  is 
more  knowledgeable)  and  the  learner.  Oxford  points  out  that,  in  the  classroom,  the  teacher  can  mediate 
students’  strategic  learning  but  when  learning  takes  place  outside  the  classroom,  strategies  are  learnt  with 
mediation from cultural tools: language, books, technology (Oxford, 2011, p.27).  
 
It could be argued that the S²R model can better explain the learning process with regards to new technologies 
as  one  important  characteristic  of  devices  such  as  tablets  is  the  possibility  they  offer  of  interaction  and 
collaboration. 
 
The existing literature presents numerous definitions of learning strategies. This paper uses Oxford’s definition 
(2011). In Oxford’s model, cognitive strategies facilitate both the learners’ FL knowledge construction and the 
application of FL knowledge. Affective strategies support learners in coping with their feelings and attitudes so 
they can remain motivated. Sociocultural interactive strategies help the learner to deal with communication, 
sociocultural  contexts  and  identity.  These  strategies  are  coordinated  by  metastrategies  such  as  planning, 
monitoring and evaluating. Thus, the model includes three types of metastrategies: Metacognitive strategies, 
meta‐affective strategies and meta‐SI strategies.  
 
The  focus  of  this  study,  from  the  three  dimensions  for  L2  learning  in  the  S²R  Model,  will  be  cognitive 
dimension.  In  this  dimension,  two  types  of  learning  strategies  can  be  distinguished:  the  cognitive  and 
metacognitive strategies. Cognitive strategies support the learner in constructing and applying L2 knowledge. 
The S²R Model includes six cognitive strategies (Oxford, 2011, p.46): 
ƒ Using the senses to understand and remember 
ƒ Activating knowledge 
ƒ Reasoning 
ƒ Conceptualising with details 
ƒ Conceptualizing broadly 
ƒ Going beyond the immediate data 
(Oxford, 2011, p.46) 
 
Metacognitive  strategies  are  responsible  for  controlling  cognitive  processes  in  L2  learning  and  comprise  the 
following: 
ƒ Paying attention to cognition 
ƒ Planning for cognition 
ƒ Obtaining and using resources for cognition 
ƒ Organizing for cognition 
ƒ Implementing plans for cognition 
ƒ Orchestrating cognitive strategy use 
ƒ Monitoring cognition 

625
 
Natalia Auer 
 
ƒ Evaluating cognition 
Oxford (2011, p.45) 
 
The  strategies  of  Oxford’s  model  can  be  applied  to  the  different  language  skills  (see  Oxford,  2011  for  a 
comprehensive  review  of  strategies  applied  to  the  four  language  skills).  In  reading,  some  examples  of  the 
application of the cognitive strategy of conceptualizing with details are the use of preview questions, analysing 
expressions in the new language and using linguistic knowledge. Identifying the requirements and the purpose 
of the reading task before reading is an example of planning for cognition, a metacognitive strategy. 

3. Context 
Ørestad Gymnasium is an upper secondary school in Copenhagen, Denmark. Its curriculum focuses on media, 
communications  and  culture.  The  school  attaches  great  importance  to  the  use  of  information  and 
communication technology (ICT) as learning tools and it provides laptops and/or iPads to the students for use 
both in the classroom, and outside. Learning materials are digital in the first‐year. Several classes were using 
iPads  at  the  time  of  this  study  (Spring  2013).  An  A‐Level  equivalent  in  Spanish  is  offered  as  a  FL  course. 
Students sit the exam at the end of the third‐year (equivalent to Year 13 in the UK). 

4. Research methodology  
The main research question guiding this study was: How can technology mediate FL reading strategies? It was 
approached through two subsidiary questions: 
ƒ What  type  of  reading  strategies  do  Spanish  learners  use  with  iPads?  Do  they  use  cognitive  and 
metacognitive FL reading strategies with these tablets to assist comprehension?  
ƒ Which functions in the iPad tablets facilitate the use of FL reading strategies? 

4.1 Participants 
I  gained access  to  the  school  by  email  and  phone contact  with the  Principal.  Seven  students  were willing  to 
participate in the study, two from the third‐year and five from the second‐year. They had already completed 
one and two years of learning Spanish respectively. I gave them a Participant Information document and an 
Informed Consent Form to read and sign. 
 
I met the students from the second‐year as a group, and the two students from the third‐year on a one‐to‐one 
basis.  None  of  them  had  had  any  experience  of  using  an  iPad  to  read  digital  texts  in  Spanish.  Two  students 
dropped out of the study. 

4.2 Hardware, software and learning materials 
iBooks Author application 
 
iBooks Author (see Figure 1) is a free Apple application, downloadable from the Mac App Store. The app is for 
creating interactive books (or iBooks), either textbooks or any kind of text. It is a very intuitive app, and it is 
easy to add text, graphics or movies by dragging and dropping a Microsoft Word document (for example) to 
the Book panel (see Figure 1). In addition, it is possible to add photo galleries, animations and 3D objects to 
encourage interaction (see Figure 1). 
 
The iBook can be viewed on an iPad. When iBooks Author was first presented in 2012, it comprised exercises 
such as quizzes and flash cards, which perhaps did not take full advantage of the potential of the application 
for learning. iBooks Author is for creating books which students will read. Reading is a constructive process so 
to  make  students’  reading  more  effective,  the  features  of  the  application  should  be  used  to  model 
metacognitive  thinking.  In  this  study,  the  feature  “Shapes”  (see  Figure  2)  was  used  for  embedding  reading 
strategies. 
 

626
 
Natalia Auer 

Figure 1: iBooks author 

 
Figure 2: An example of the iBook with the embedded reading strategies  
Figure 2 shows how reading strategies are embedded (offering guided practice in Spanish) as well as an explicit 
explanation of why that particular strategy should be used (in Danish). 
 
For  this  study,  a  Mexican  e‐learning  researcher  and  two  of  her  students  wrote  the  three  Spanish  texts.  The 
themes  focus  on  different  aspects  in  the  life  of  young  Mexicans.  Each  text  is  about  500  words.  The  Spanish 
texts  were  imported  to  the  iBooks  Author  application.  The  feature  “Shapes”  was  used  to  model  reading 
strategies.    The  iBook  with  the  three  Spanish  texts  was  made  available  to  the  Danish  students  via  Dropbox: 
First the iBook file was uploaded to a Dropbox Public folder, and then the URL was copied and sent by email 
for the students to download and open in the iBooks app on their iPads.  

4.3 Research design 
The epistemology guiding this inquiry is complexity theory, a paradigm that breaks from the positivist tradition 
and  is  more  complete  than  interpretivism  (Kuhn,  2007).  From  the  perspective  of  complexity  theory,  the 
phenomenon under investigation should not be broken down in order to understand it; the researcher should 
aim to understand its interrelated systems (Cohen, 2011). Like other holistic approaches to scientific inquiry, 

627
 
Natalia Auer 
 
such as phenomenology, interpretivism and systems thinking, complexity theory investigates the phenomenon 
in its entirety. 
 
As  this  study  investigates  the  use  of  FL  reading  strategies  with  technology,  it  accommodates  the  complexity 
point  of  view.  Kuhn  (2007)  argues  that  the  complexity  paradigm  is  consistent  with  technological  innovation, 
since we experience a wide and complex variety of phenomena. 
 
The  phenomena  under  investigation,  FL  reading  strategies,  are  procedures  which  depend  on  a  complex  co‐
operation  of  different  factors.    The  human  cognitive,  sociocultural  and  affective  factors  which  interact  with 
technology in this study, render the systems more complex.  
 
The aim of the study was to investigate Spanish learners’ reading behaviour, and specifically to describe the 
strategies  used  to  assist  comprehension  when  using  iPads.  The  rationale  for  selecting  a  qualitative 
investigation of students’ experiences over a period of time and between locations was the fact that there is 
little  literature  or  experience  to  draw  on  and  from  which  to  generate  hypotheses.  A  qualitative  approach 
allows the researcher to identify patterns and themes from the data (Mason, 2002). 
 
From the qualitative methods, I chose the case study, using Stake’s definition (2000): 
“A  case  may  be  simple  or  complex.  It  may  be  a  child  or  a  classroom  of  children  or  an  event,  a 
happening, such as mobilization of professionals to study a childhood condition. It is one among 
others. […] Coming to understand a case usually requires extensive examining of how things get 
done,  but  the  prime  referent  in  case  study  is  the  case,  not  the  methods  by  which  the  case 
operates.” (p. 436) 
A case study is in accordance with complexity theory because it shares the view of looking at phenomena as 
interconnected elements (Thomas, 2011).  
 
Once I had decided to use the qualitative inquiry paradigm, I chose NVivo software. This is not only because it 
is a suitable option for data management, but because it also allows more freedom to experiment with ideas 
(Walsh, 2003). 

4.4 Data collection methods 
Students’  logs,  researcher’s  notes  and  semi‐structured  interviews  were  used.  The  logs  were  valuable  in 
obtaining information and in focussing the interview questions on emergent themes, as well as developing the 
interview  schedule  with  pick  up  questions  (Radnor,  2002).  The  logs  also  served  to  demonstrate  the 
development  of  strategy  use.  Semi‐structured  interviews  were  chosen  because  they  offer  two‐way 
communication and make it possible to obtain not only the answers, but also the reasons behind the answers 
(Mason, 2002).  
 
The  interviews  aimed  to  provide  supporting  evidence  about  the  strategies  that  students  would  be  able  to 
recall having used.  
 
From  the  students’  logs,  it  became  clear  that  in  order  to  explain  various  problems  with  the  technology,  the 
written form was not sufficient to express participants’ views. They needed to show the different features of 
the technology and how well they worked (or not) in order to make themselves understood.  
 
Students’ logs: Students were asked to complete three logs, one for each chapter of the iBook. Students were 
asked to read the three Spanish texts (one per week) and at the end of each text they had to complete a log. 
They sent the three logs to me via email, the researcher. In the logs they recorded FL reading strategies and 
features of the iPads they found helpful for FL reading comprehension. 
 
Face‐to‐face semi‐structured interviews: In addition to the student logs, each participant was invited to a face‐
to‐face, individual interview at the end of the reading period at the school. The interviews were not recorded 
because there was no silent place at the school in which to conduct them. Normally, they took place in a noisy 
environment. The researcher noted observations and quotations.  
 

628
 
Natalia Auer 

Both students’ logs and the semi‐structured interviews were in Danish so a lack of proficiency in the foreign 
language  would  not  be  an  obstacle  for  students  when  it  came  to  describing  their  use  of  reading  strategies 
(Chamot et al. 1987; Oxford, 1990). 
 
Researcher’s log: Maxwell (1996) argues that a valuable technique in research, in addition to the researcher’s 
ideas  or  reflections,  is  writing  memos  of  the  fieldwork.  I  made  notes  of  students’  comments  and  questions 
during the study. 
 
All these methods were for the purpose of triangulating data. According to Thomas (2011, p. 68), triangulation 
is achieved by the comparison of data obtained through different instruments. 

4.5 Procedures 
Once participants had signed the consent form, they were introduced to the technology. Each received for a 
period of four weeks (on loan from the project) an iPad for the reading tasks. iPad 2 was the model chosen for 
the study. All participants were already acquainted with Apple’s operating system and user interface since this 
was  what  the  school  had  chosen.  Thus,  the  students  only  required  a  brief  introduction  to  the  iPad.  They 
configured the iPads quickly. Then, they were shown how the iBooks application functioned: they were shown 
how  they  could  look  up  words  using  a  built‐in  Spanish  dictionary  and,  for  example,  highlight  any  word  or 
passage  of  text  within  the  text,  create  a  note  and  review  their  highlights  and  notes by  pressing  the  table  of 
contents  button.  These  functions  helped  to  support  important  reading  strategies:  highlighting  the  text  is  a 
strategy that helps the students to focus as they read, and helps them to recognize the main ideas in the text; 
note‐taking supports reflection – students can reflect on what they have read and organize learning material. 
 
Subsequently, students were instructed how to download e‐books and e‐material for iBooks. They were told 
that  they  could  use  their  tablets  to  download  any  other  application  and  material  they  wished.  Finally,  they 
were introduced to the iBook created for the study via the iBooks Author application. 

5. Data analysis 
Students’ logs and the notes of the interviews were imported to NVivo. Then they were coded and analysed 
using  the  qualitative  data  analysis  software,  QSR‐NVivo  9.  Data  was  analysed  according  to  each  of  the  two 
variables:  1)  Strategy  use,  and  2)  Functions  in  the  tablet.    Research  Question  1  (use  of  cognitive  and 
metacognitive  strategies)  was  analysed  from  the  open  questions  in  students’  logs  and  the  semi‐structured 
interviews based on the existing literature. Thus, pre‐existing categories were applied to the data using the list 
of  learning  strategies  created  by  Oxford  (2011).  In  this  way  the  strategies  revealed  by  students  in  the 
interviews and logs were classified. For example, under the category “metacognitive strategy use”, there were 
different  subcategories  which  included  planning,  monitoring  and  evaluating.  These  categories  were  then 
applied  to  the  data.  Table  1  shows  a  matrix  that  represents  an  example  of  the  data  on  the  category 
“metacognitive strategy use”. All of the quotations have been translated from their original Danish version. 
Table 1: An example of the data under the category “metacognitive strategy use” 
  Planning  Monitoring  Evaluating 
Participant  “I read the title and     
1  have some 
expectations about 
what I am going to 
read” 
 
Participant    “I read slowly and look up the   
2  words I do not understand” 
 
Participant      “ Normally, I do not write a summary after 
3  reading, but this time I have done it and it 
helped to understand the text” 

The data regarding Research Question 2 (features of the iPad that facilitate the use of FL reading strategies) 
was  analysed  in  different  categories.  Categories  were  listed  by  the  technological  features  of  the  iPad  (note 

629
 
Natalia Auer 
 
function, built‐in search feature, etc) and the construct explicit in the research question (reading strategies). 
Thus,  the  features  of  the  iPad  were  related  to  the  particular  reading  strategies  revealed  by  students  in  the 
interviews and logs. For example, the quote “The highlighting function helps you to find the main points and to 
look back” is an example of data under the category “highlighting” (iPad feature) which is associated with the 
cognitive strategy of conceptualizing broadly (finding the central information in the text). Table 2 shows the 
metacognitive reading strategies used by students and matched to the technology features. 
Table 2: Reading strategies used by students related to the technology features of the iPad. 

Metacognitive strategies  iPad features mentioned 

Identifying and finding technological  Built‐in search feature of the iBooks 
resources for cognition  app 

Monitoring  Turn pages with a flick 

Implementing plans for cognition  Note function 

Evaluating: reviewing  Note function 

Awareness of reading strategies  Shapes feature in iBooks Author app 

6. Results 
Results are presented by research question. 
 
Question  1:  What  type  of  reading  strategies  do  Spanish  learners  use  with  iPads?  Do  they  use  cognitive  and 
metacognitive FL reading strategies with these tablets to assist comprehension?  
 
This  question  examined  the  reading  strategies  used  by  participants  to  understand  the  Spanish  texts.  The 
analysis  of  semi‐structured  interviews  and  logs  of  seven  Spanish  language  learners  revealed  that  they  use 
some metacognitive and cognitive strategies, as defined by Oxford (2011), when reading a foreign language on 
the iPads (see Table 3). Some students felt that the reading strategies embedded in the iBook increased their 
awareness of the strategies. One student stated: 
“It makes you to pay attention … you understand better” 
Another  student  commented  that  she  preferred  the  clarity  of  e‐book  to  the  scanned  pdf  files  she  had 
encountered before: 
“It is good that the text is not scanned” 
As mentioned before, some research on reading digital texts has been conducted with pdf files (Mangen et al., 
2013). The point here is that it is different reading something in a pdf format where you do not have a table of 
contents or other features to support comprehension.  
Table 3: Students’ use of reading strategies when reading an iBook on an iPad 
Metacognitive Strategies  Student quotes 
Planning for cognition  “I read the title and have some expectations about what I am going to read” 
“I read the speech bubbles with the reading strategies” 
Obtaining resources for  “I use Gyldendal dictionary” 
cognition  “I use Google translate” 
 
Monitoring  “I read slowly and look up the words I do not understand” 
Evaluating  “ Normally, I do not write a summary after reading, but this time I have done it 
and it helped to understand the text” 
Cognitive Strategies  Student quotes 
Using the senses to  “I read aloud” 
understand and remember   

630
 
Natalia Auer 

Metacognitive Strategies  Student quotes 
Conceptualizing broadly  “I skimmed the text in order to get the general meaning of the text” 
Conceptualizing with details  “I also use English [for guessing words], is a transparent language” 
Activating knowledge  “I used background knowledge to guess the meaning of unknown words” 
Going beyond the immediate  “I guess words from context” 
data, inferring 
The  design  of  this  study  allowed  me  to  observe  the  students’  performance  of  the  reading  task  at  different 
points (one reading task per week for 3 weeks). It was possible to see the development of reading strategies. 
One  student  pointed  out  in  the  interview  that  she  read  the  three  texts  differently  in  the  sense  that  she 
incorporated the strategies learnt from the previous text to the ones which followed: 
“…. each time you got more strategies” 
Most students used the cognitive strategy of conceptualizing with details. Within this strategy, students found 
different  ways  of  guessing  unknown  words,  including  comparing  languages,  word  morphemes,  and  context. 
For  example,  when  asked  what  they  did  when  they  encountered  an  unknown  word,  a  student  stated,  “I 
guessed  words  using  the  context.  I  also  used  English,  it  is  a  transparent  language  [a  similar  language  to 
Danish].” Another student used morphemes, “I used conjugation in order to see the tense”. 
 
One participant used the strategy of extracting information from illustrations and photos. The information she 
extracted  was  useful  for  comprehending  the  atmosphere  of  the  text.  She  used  this  to  check  her 
comprehension:  “you get the atmosphere/ambiance of the text. It helps when you have understood.” 
 
Identifying  technological  resources  was  the  metacognitive  strategy  most  used  by  the  students.  All  students 
made use of online dictionaries, Google translate and different apps.  
 
Students  were  asked  to  write  a  summary  of  the  texts  in  their  log.  This  metacognitive  strategy,  evaluating 
cognition, was used and valued. As one student expressed in the interview:  
“Normally,  I  do  not  write  a  summary  after  reading,  but  this  time  I  have  done  and  it  helped  to 
understand the text” 
Question 2: Functions of the tablets which facilitate strategy use for FL reading comprehension 
This  question  examined  the  features  of  the  iPads  that  can  enhance  strategy  use  and  thereby  assist 
comprehension  of  the  Spanish  texts.  Reports  from  the  interviews  and  logs  reveal  that  students  used  the 
following functions to assist comprehension: the built‐in search feature of the iBooks mobile application (you 
can search any word or phrase using the Internet), the glossary and highlighting. 
 
Students identified advantages using the built‐in search feature of the iBooks mobile application. They could 
search any word or phrase using the Internet – when asked what she did when she encountered an unknown 
word, one student answered: “I looked up the word, I used the search function”. 
 
Some  students  found  that  the  glossary  entries  were  very  efficient  for  supporting  reading  comprehension. 
Students could tap a term and view its definition in an overlay, so they had the definition instantaneously. As 
one student stated: “it worked really well, that they [glossaries] were there when you had to use them, and 
not at the end of the document”. 
 
The use of a glossary is an advantage when the text is too difficult (Jacobs, 1994). However, Jacobs (1994) also 
warns  learners  to  use  glossaries  with  caution  since  it  is  possible  they  can  prevent  students  from  practising 
other  reading  strategies,  such  as  guessing  from  the  context,  rereading  and  paraphrasing,  among  others 
strategies that they would need with texts that do not have a glossary. 
 
This drawback was confirmed in one student’s log. She reports that “it [the glossary function] has advantages 
and disadvantages since one can easily forget to think and rely on one's own knowledge”. 
 
Highlighting facilitated an important reading strategy, namely, identifying central information in a text. In the 
interviews one student stated: “The highlighting function helps you to find the main points and to look back”. 
To summarise, the iBook with embedded strategies and the different features of the iPad assisted students to 
use a range of reading strategies for reading comprehension. 

631
 
Natalia Auer 
 
7. Conclusion 
This  paper  illustrated  several  cognitive  and  metacognitive  strategies  that  students  use  for  FL  learning  when 
they use iPads. These strategies are enhanced through the incorporation of FL reading strategies in the iBooks 
Author application. This study contributes to theory in that the S²R model does not include how technology 
can mediate student’s strategy learning. In this paper I have shown how this can be achieved. 
 
The study aimed to investigate students’ use of FL reading strategies when reading digital texts on an iPad, in a 
foreign  language  and  to  determine  which  functions  on  the  tablets  assist  FL  reading  comprehension.  Though 
the sample of this study was small, the evidence suggests that these students used some metacognitive and 
cognitive strategies to assist them with FL comprehension when reading foreign language texts on the iPads. 
There was evidence of metacognitive strategies such as planning, monitoring and evaluating for cognition. Of 
special interest was the metacognitive strategy of raising awareness of reading strategies. Research has found 
a  correlation  between  student’s  awareness  of  reading  strategies  and  reading  comprehension.  The  ability  to 
reflect  and  think  whilst  reading  is  crucial  for  comprehension.  One  student  reported  that  she  felt  that  her 
awareness of reading strategies increased due to the embedded strategies. Students also used the cognitive 
strategies of conceptualizing broadly, activating background knowledge and using inference. The design of the 
study  allowed  me  to  see  the  development  of  strategy  use  over  time.  There  was  evidence  that  students 
incorporated the strategies learnt from the previous text to the ones which followed. The more the students 
read  texts  with  embedded  strategies,  the  more  aware  they  became  of  these  strategies.  Consequently, 
evidence of using higher‐level thinking skills was the major finding of this study. The study also showed that 
the different features of the iBook created for this study optimized the reading experience. Reading strategies 
were enhanced through the use of various features of the iPad such as note function, built‐in search feature 
and  shape  feature  in  the  iBook  Authors  application.  This  last  feature,  where  the  reading  strategies  were 
embedded, promoted students’ awareness of reading strategies. 
 
From this it can be argued that students have engaged in cognitive and metacognitive processing and also that 
it  is  important  to  embed  reading  strategies  within  the  FL  digital  material  to  support  these  processes  when 
reading with iPads. Further research is needed to examine the full potential of FL digital materials, and other 
mobile  technology  applications,  drawing  on  foreign  language  acquisition  research,  to  help  learners  model 
effective reading strategies. The results of this study suggest a need for further research which investigates FL 
learners’ use of reading strategies using iPads. Using other methodologies and recruiting more participants, it 
would be fruitful to research the effect of this technology on students’ awareness of FL reading strategies.  
 
Finally,  future  studies  should  aim  to  encourage  students  to  reflect  while  they  are  reading  FL  digital  texts  so 
that they become self‐directed language learners. 
Acknowledgements  
I would like to thank Professor Hawkridge and Dr Padilla for their helpful and insightful comments on drafts of 
this paper. I am also grateful to the reviewer for their comments. 

References 
Auer, N. (in press) Reading on tablets: Promoting Strategic Reading using iBooks Author Application. In J. Keengwe & M. 
Maxfield. Advancing Higher Education with Mobile Learning Technologies: Cases, Trends, and Inquiry‐Based Methods, 
IGI Global 
Baron, N.S. (2013) “Redefining Reading: The Impact of Digital Communication Media”, Publications of the Modern 
Language Association of America, Vol 1, No. 128, pp. 193‐200.  
Chamot, A.U., O'Malley, J.M., Kupper, L. and Impink‐Hernandez, M.V. (1987) A study of learning strategies in foreign 
language instruction: First year report, InterAmerica Research Associates, Washington, DC  
Cohen, L., Manion, L. and Morrison, K. (2011) Research methods in education, Routledge, New York. 
Cull, B.W. (2011) “Reading revolutions: Online digital text and implications for reading in academe”, First Monday, Vol 6, 
No. 16. 
Donato, R. and McCormick, D. (1994) “A sociocultural perspective on language learning strategies: The role of mediation”, 
The Modern Language Journal, Vol 4, No. 78, pp. 453‐464.  
Dryden, G. (1994) Inlärningsrevolutionen : ett program för livslångt lärande, Brain Books, Jönköping.  
Jacobs, G.M. (1994) “What lurks in the margin: Use of vocabulary glosses as a strategy in second language reading”, Issues 
in Applied Linguistics, Vol 1, No. 5. 
Kuhn, L. (2007) “Why utilize complexity principles in social inquiry?”, World Futures”, Vol 3‐4, No. 63, pp. 156‐175.  

632
 
Natalia Auer 

Levinsen, K. and Sørensen, B.H. (2008) It, faglig læring og pædagogisk videnledelse: rapport vedr. Projekt It læring 2006‐
2007, Danmarks Pædagogiske Universitetsforlag, København. 
Mangen, A., Bente, R. and Brønnick, K. (2013). “Reading linear texts on paper versus computer screen: Effects on reading 
comprehension”, International Journal of Educational Research, No. 58, pp. 61‐68.  
Mason, J. (2002) Qualitative researching, Sage, Thousand Oaks, CA. 
Maxwell, J. (1996) Qualitative research design : an interactive approach, Sage, Thousand Oaks, CA. 
Oxford, R.L. (2011) Teaching and Researching Language Learning Strategies, Pearson, Harlow, UK. 
Oxford, R.L. (1990) Language learning strategies: What every teacher should know, Newbury House, Rowley, MA. 
Radnor, H.A.(2001) Researching Your Professional Practice: Doing Interpretive Research, Open University Press, UK. 
Stake, R.E. (2000) Case studies. In: N.K. Denzin and Y.S. Lincoln, eds, Handbook of qualitative research, Sage, Thousand 
Oaks, CA, pp. 435‐455.  
Szalavitz, M. (2012) “Do E‐Books Make It Harder to Remember What You Just Read?”, [online], Time, 
http://healthland.time.com/2012/03/14/do‐e‐books‐impair‐memory/ 
Thomas, G. (2011) Case Study,  Sage, Thousand Oaks, CA. 
Walsh, M. (2003) “Teaching qualitative analysis using QSR NVivo”, The Qualitative Report, Vol 2, No. 8.  
Wolf, M. (2010). “Our "deep reading" brain: Its digital evolution poses questions”, [online], 
http://www.nieman.harvard.edu/reports/article/102396/Our‐Deep‐Reading‐Brain‐Its‐Digital‐Evolution‐‐Poses‐
Questions.aspx  

633
Evaluation of the Pedagogical use of e‐learning Systems in 
Institutions of Higher Learning: Case of Zimbabwe 
Sibusisiwe Dube 
University of Cape Town, South Africa 
sibusisiwenkonkoni@gmail.com 
 
Abstract: This interpretative research is on the pedagogical use of e‐learning systems. It has been compelled by the limited 
literature on the pedagogical use of e‐learning systems, despite the increased implementation of e‐learning platforms in 
Higher  Education  Institutions  (HEIs).  Activity  and  the  actor  network  theories  will  be  used  as  lens  for  understanding  the 
factors influencing the pedagogical use of e‐learning systems. It is based on a case study and a combined data collection 
and analysis techniques. It has practical, theoretical and methodological contributions to fill the existing gap in knowledge 
on e‐learning and pedagogy. 
 
Keywords: pedagogy, e‐learning systems, e‐learning platforms, HEI, mobile phone 

1. Introduction 
Education  is  a  key  force  for  modernization  and  an  investment  that  plays  a  crucial  role  for  sustainable 
development  of  any  country  (Mandina  2012),  hence  the  need  to  orient  the  educational  strategy  towards 
technological  innovations.  The  increased  student  enrolment’s  has  compelled  Higher  education  institutions 
(HEI)  to  integrate  Information  Communication  Technologies  (ICT)s  (Al‐Harbi,  2011)  to  ease  the  strain  on 
human resources and equip learners with skills to compete in this dynamic and information‐rich environment 
(Agena,  2013;  Tziafetas,  2013).  Electronic  learning  (e‐learning)  systems  is  an  ICT  strategy  used  in  HEIs  to 
enhance an innovative learner centred learning (Mlitwa 2007). This research then questions the ‘pedagogical 
use of e‐learning systems in HEIs. 

1.1 Research question 
The research seeks to answer the following main and supporting questions: 
ƒ What factors influence a pedagogical use of e‐learning platforms in HEI’s blended learning? 
ƒ How are e‐learning platforms’ configurability currently implementing the pedagogical principles in HEI? 
ƒ How does an activity network influence the adoption of an e‐learning strategy in HEI? 
ƒ What mediating effects emerge from the use of LMS tools in teaching and learning in HEIs 
ƒ To what extent can the integration of mobile phones to e‐learning platforms achieve pedagogical benefits? 
The research is timely, relevant and compelling because the pedagogical use of the e‐learning strategy is still in 
its infancy in Zimbabwe. There is also little information on pedagogical use of e‐learning platforms despite the 
increase  in  the  adoption  rate  of  LMSs  among  HEIs  (Chen  &  Tseng,  2012;  Ramakrisnan,  Nor,  &  Hasrol,  2012; 
Ekundayo, 2009). This is a gap in existing knowledge to be filled by this research. since much research on LMSs 
has focused on user perceptions, adoption and the value of various tools of the technology. 

2. Literature review 
E‐learning is the use of telecommunication technology to deliver information for education through electronic 
media, communicated either synchronous or asynchronous (Al‐Harbi, 2011; Monahan, Mcardle, & Bertolotto, 
2008) and complements face‐to‐face strategy. It is facilitated by e‐learning platforms (Martín‐blas & Serrano‐
fernández,  2009.  Its  advantages  include  time  and  space  independence,  cost  reduction,  collaboration  and 
enhanced  interaction,  flexibility,  reduced  negative  environmental  impacts  and  provision  of  instant  feedback   
(Chen & Tseng, 2012;; Digolo & Author, 2011). Its shortcomings include resistance to change, high initial costs, 
new  pedagogical  skill  acquisition,  learner  management,  security  issues,  discontinued  use,  learner  isolation, 
technological divide, high technological accessibility and connectivity issues, lack of technical support, lack of 
instructor training and confidence etc (Carbonell, Dailey‐hebert, & Gijselaers, 2013).  
 
Pedagogy is the art of teaching and its approaches and choices influence the provision of quality education. 
Lee (2014, p. 41) posited that “collaboration, interaction, and the learning community are the driving forces to 

634
 
Sibusisiwe Dube 

sustain  learning  motivation. Based  on  constructivism,  the  research aims  at  establishing  if  e‐learning systems 
afford learners to actively engage in the construction of knowledge instead of being passive recipients.  

3. Theoretical frameworks,  
The research integrates the strengths of the Activity theory (AT) and Actor‐Network Theory (ANT) as the lens 
for  providing  a  rich  understanding  of  the  factors  influencing  the  pedagogical  use  of  e‐learning  systems  HEI. 
Activity theory was initiated by Vygotsky, and has evolved through three generations from Cultural‐Historical 
Activity  Theory  (CHAT).  Activity  system  is  its  unit  of  analysis.  It  follows  a  triad  model  with  tools  mediating 
between  subject,  object  and  the  community  of  individuals  in  the  activity  system  towards  an  outcome 
(Yamagata‐Lynch, 2010; Hung et al, 2006; Jonassen & Ronrer‐murphy, 1999; Miettinen, 1999). Actor Network 
theory  (ANT)  emerged  as  an  attempt  to  understand  the  processes  of  innovation  and  knowledge  creation  in 
science  and  technology,  placing  a  semiotic  emphasis  on  human  and  technical  agents  (Mlitwa  2007).  It  is 
constructed based on the actors and networks and examines the motivations and actions of actors who form 
associated  elements  of  heterogeneous  networks  of  aligned  interests  whose  network  relationships  are 
characterized by  power  and politics  (Miettinen  1999).It  is  mainly  concerned  with  stabilization,  juxtaposition, 
translation, durability, enrolment, role establishment, simplicity and indispensability, but translation being the 
core  concept  resulting  from  continual  negotiations.  ANT’s  translation  moments  are  problematization, 
interessement,  enrolment  and  mobilisation,  which  determine  the  strength  and  durability  of  a  network.  Its 
basic  methodological  principles  are  agnosticism,  generalized  symmetry  and  free  association,  which  means 
impartiality towards socio‐technical actors of the networks (Miettinen, 1999; Tatnall & Gilding, 1999). 

3.1 Research implications of AT and ANT 
The study proposes a complementary role of AT and ANT. AT’s individual activity systems can be developed 
into an ANT’s network and used analyse the diffusion of e‐learning platforms since actors cannot act outside of 
a  network  but  have  to  be  only  be  viewed  in  relation  to  other  actors  in  a  network.  Therefore  an  e‐learning 
system  becomes  a  socio‐technical  network  consisting  of  a  LMS  as  an  activity  system  with  actors  assigned 
specific  roles  for  engaging  in  collaborated  and  supportive  learning.  The  problems  associated  with  ANT’s 
.principle of generalized symmetry can be solved by AT’s separation of actors into humans and non humans 
with  varying  roles  working  towards  a  collective  activity.  This  is  important  for  identifying  success  and  failure 
factors in the current use of an e‐learning in relation to pedagogy. The merged theories can be used as lens to 
understand  the  users’  different  meanings  attached  to  goals  and  outcomes  of  LMS  activity  system  socially 
constructed based on the intentionality, history, culture and tool mediation used in the learning process. User 
activity  and  behaviour  can  be  analysed  to  determine  if  there  are  any  motives  for  pedagogical  learning. 
Therefore the strengths of the two theories have a potential of making the research gain a rich understanding 
of the factors that influence the pedagogical use of e‐learning and develop a research with rigour to inform 
LMS developers, researchers and education practitioners. 

4. Research design 
This is an interpretative research as it assumes that factors influencing pedagogical use of e‐learning systems 
are socially constructed by users as they interact with it (Orlikowski & Baroudi 1991) and is dependent on the 
users’  shared,  understanding  of  the  e‐learning  strategy.  The  paradigm  provides  flexibility  and  a  deeper 
understanding  of  the  e‐learning  systems  usage  within  cultural  and  contextual  situations  of  HEI  in  its  natural 
setting.  
 
A  case  study  method  is  used  due  to  its  capability  to  combine  data  collection  and  analysis  techniques  for 
understanding the dynamics within HEIs real‐life context. Relevant data will be provided based on study of the 
e‐learning  phenomenon  and  a  detailed  contextual  analysis  of  e‐learning  events  in  relation  to  the  pedagogic 
learning  phenomenon  not  yet  understood  will  be  established  (Briony,  2006;  Voss,  Tsikriktsis,  &  Frohlich, 
2002;Meredith, 1998). A scholarly inquiry and explanation of the pedagogical utilisation of e‐learning systems 
will be produced, hence adding the body of knowledge.Random purposive sampling technique will be adopted 
since there is a very large pool of potentially information‐rich HEI cases (Sandelowski 2000) with the sample 
drawn from the three well established state universities in Zimbabwe. 
 
Multiple  data  collection  methods  will  be  used  as  they  afford  triangulation  and  complementarily  (Meredith, 
1998;  Sandelowski, 2000) for data collaboration, validation, clarification and explanation of the factors that 
influence  the  pedagogical  use  of  e‐learning  systems,  bringing  richness  and  flexibility  to  the  overall  research 

635
 
Sibusisiwe Dube 

process (Dube & Pare 2003)..Mixing approaches will produce more complete knowledge to fill the existing gap 
since  the  strengths  of  an  additional  method  can  be  used    to  overcome  the  weaknesses  in  another  method 
adding  insights  and  understanding  that  might  be  missed  when  only  a  single  method  is  used  (Bryman,  2006; 
Johnson  &  Onwuegbuzie,  2004).The  research  instruments  used  are  the  observations,  interviews,  and 
questionnaires.  
 
Data  Analysis  This  research  is  more  qualitative  although  dependent  on  the  quantitative  results  used  for 
participant  profiling.  Qualitative  data  analysis  extracts  and  interprets  data  from  the  users’  meaning  and 
experiences  with  e‐learning  platforms.  Thematic  networks  will  be  used  to  convert  raw  data  into  coherent 
research  findings  as  they  systematize  the  extraction  of  text,  categories  it  into  basic  themes  that  are 
encapsulated  into  global  themes.  The  silent  themes  on  the  data  will  be  unearthed  affording  a  possibility  to 
extend AT and ANT theories. The clustered themes of text will provide meaning, richness and magnitude of the 
subjective experience of participants with e‐leaning strategy and this will be coded using a computer package 
known as ATLAS ti based on the results from a Statistical package for social sciences (SPSS). 

5. Potential contribution 
The  research  has  a  practical  implication  on  the  teaching  and  learning  practice  as  it  provides  a  rich 
understanding  on  the  current  use  of  e‐learning  platforms  and  useful  information  to  the  researchers,  LMS 
software  developers  and  education  practitioners  on  the  e‐learning  platform’s  current  alignment  with  the 
pedagogic  principles  (Rubens  et  al.  2005)  the  possibility  of  integrating  mobile  phones  to  e‐learning  More 
importantly,  the  knowledge gained  from  this  study can  further  inform practice  on  the  pedagogical use  of  e‐
learning platforms adding value to the existing body of knowledge where  the “e” in e‐learning will not only be 
interpreted as electronic but also as exacting, energetic, enthusiastic and educational (Digolo & Author 2011). 
Its  theoretical  contribution  is  the  amalgamation  of  the  socially  oriented  AT  and  ANT  as  lens  for  the  rich 
understanding  of  the  pedagogical  use  of  e‐learning  systems  in  HEI.  Another  noteworthy  contribution  is  the 
methodological contribution by using an interpretative paradigm instead of the common positivist approach to 
e‐learning usage studies. 

References 
Agena, M. (2013). The elearning africa report 2013: The Future of Development. Germany, 
Al‐Harbi, K,A,S.( 2011). e‐Learning in the Saudi tertiary education: Potential and challenges. Applied Computing and 
Informatics, Vol 9, pp.31–46. 
Briony, J.O. (2006). Researching Information Systems and Computing 1st ed. SAGE, ed., London. 
Bryman, A. (2006). Qualitative Research. 
Carbonell, K.B., Dailey‐hebert, A. & Gijselaers, W. (2013). Internet and Higher Education Unleashing the creative potential 
of faculty to create blended learning. The Internet and Higher Education, Vol 18, pp.29–37. 
Chen, H. & Tseng, H. (2012). Factors that influence acceptance of web‐based e‐learning systems for the in‐service 
education of junior high school teachers in Taiwan. Evaluation and Program Planning, Vol 35, No 3, pp.398–406.  
Digolo, B.A. & Author, C. (2011). E‐ Learning as a Strategy for Enhancing Access to Music Education Vol 2, No 11, pp.135–
139. 
Dube, L. & Pare, G. (2003), Rigor in Information Systems Positivist Case Research: Current Practices, Trends, and 
Recommendations. MIS Quarterly,Vol 27 No 4, pp.597–636. 
Ekundayo, M.S. (2009). Capacity constraints in developing countries : A need for more e‐learning space ? The case of 
Nigeria. , pp.243–255. 
Hung, D., Tan, S. & Koh, T. (2006). From Traditional to Constructivist Epistemologies : A Proposed Theoretical Framework 
Based on Activity Theory for Learning Communities. Vol 17, pp.37–55. 
Johnson, R.B. & Onwuegbuzie, A.J. (2004). Educational Researcher. 
Jonassen, D.H. & Ronrer‐murphy, L,U,C,O. (1999). Activity Theory as a Framework for Designing Constructivist Learning 
Environments. Vol 47, No I. 
Lee, S. (2014). Internet and Higher Education The relationships between higher order thinking skills , cognitive density , and 
social presence in online learning. The Internet and Higher Education, Vol 21, pp.41–52. . 
Mandina, S. (2012). Quality Rural Secondary School Education in Zimbabwe: Challenges and Remedies. Journal of Emerging 
Trends in Educational Research and Policy Studies (JETERAPS), Vol 3, No 5, pp.768–774. 
Martín‐blas, T. & Serrano‐fernández, A. (2009). Computers & Education The role of new technologies in the learning 
process : Moodle as a teaching tool in Physics. Computers & Education, Vol 52, No 1, pp.35–44. 
Meredith, J. (1998). Building operations management theory through case and field research. , pp.441–454. 
Miettinen, R.(1999). The riddle of things : Activity theory and actor ‐ network theory as approaches to studying 
innovations The Riddle of Things : Activity Theory and Actor‐Network Theory as Approaches to Studying Innovations. 
Mind, culture and Activity, Vol 6 No 3, pp.170–195. 

636
 
Sibusisiwe Dube 

Mlitwa, N.B.W. (2007). Technology for teaching and learning in higher education contexts : Activity theory and actor 
network theory analytical perspectives Nhlanhla B . W . Mlitwa Cape Peninsula University of Technology ( CPUT ), 
South Africa. International Journal of Education and Development using Information and Communication Technology, 
Vol 3, No 4, pp.54–70. 
Monahan, T., Mcardle, G. & Bertolotto, M., 2008. Virtual reality for collaborative e‐learning, Vol 50, pp.1339–1353. 
Orlikowski, W.J.. & Baroudi, J.J. (1991). Studying Information Technology in Organizations : Research Approaches and 
Assumptions. Information Systems Research, Vol 2 No 1, pp.1–28.  
Ramakrisnan, P., Nor, M. & Hasrol, H. (2012). Blended Learning : A Suitable Framework For E‐Learning In Higher Education. 
Procedia ‐ Social and Behavioral Sciences, Vol 67, pp.513–526. . 
Rubens, W., Emans, B. & Leinonen, T. (2005). Design of web‐based collaborative learning environments . Translating the 
pedagogical learning principles to human computer interface. , Vol 45, pp.276–294. 
Sandelowski, M. (2000). Focus on Research Methods Combining Qualitative and Quantitative Sampling , Data Collection , 
and Analysis Techniques in Mixed‐Method Studies. Research in Nursing & Health, Vol 23, pp.246–255. 
Tatnall, A. & Gilding, A. (1999). Actor‐Network Theory and Information Systems Research. In 10th Australasian Conference 
on Information Systems. Australia, pp. 955–966. 
Tziafetas, K.A. ( 2013). Views of ICT Teachers about the introduction of ICT in primary education in Greece. The Turkish 
Online Journal of Educational Technology, Vol 12, No 1, pp.200–209. 
Voss, C., Tsikriktsis, N. & Frohlich, M. (2002). Case research in operations management. , Vol 22, No 2, pp.195–219. 
Yamagata‐Lynch, L. (2010). Understanding Cultural Historical Activity Theory. In Activity systems analysis methods 
understanding complex learning environments. Illus: Springer. . 
 

637
Study About Relational Coordination and Quality in Online 
Education 
Mª Del Carmen Gallego Sánchez1, Carmen De Pablos Heredero2 and Jose Amelio Medina 
Merodio1  
1
Universidad Alcalá de Henares, Madrid, España 
2
Universidad Rey Juan Carlos, Madrid, España 
mcarmen.gallego@edu.uah.es 
carmen.depablos@urjc.es 
josea.medina@uah.es  
 
Abstract: Online education is an alternative methodology to traditional education, supplementing schedule problems and 
providing  flexibility  among  other  features.  Relational  coordination  is  a  validated  tool  for  measuring,  analyzing 
communication  networks  and  relationships  considering  functional  organizational  boundaries.  The  application  of  ICT  in 
higher  education  online  systems  produces  higher  degrees  of  coordination  and  integration  of  processes,  improving  the 
competitiveness  and  research  capacity  of  these  institutions.  Coordination  can  capture  relational  coordination  among 
teachers  (relational  coordination)  and  between  students  (relational  coproduction)  in  the  online  education  model  or  e‐
learning.  The  relational  coordination  model  implies  including  some  elements  that  enrich  teamwork  by  means  of  shared 
goals, shared knowledge and mutual respect, supporting frequent, timely, accurate and solving problems communication 
Some organizations present a model more consolidated than others in terms of relational coordination. This situation can 
be analyzed through the putting into practice of a series of questions based on questionnaires distributed and answered by 
the participants (students and lecturers) of the organizations. The questionnaire is composed by the following important 
blocks:  coordination,  general  quality  and  methodology,  technical  quality  on  design  and  easy  use,  technical  quality  on 
multimedia resources. All of them have different kinds of questions which are answered by different profiles taking part in 
the  online  education  system,  students  and  lecturers.  The  distribution  of  questionnaires  has  been  realized  in  three 
universities,  two  Spanish  Universities  (Alcalá  de  Henares  and  Rey  Juan  Carlos  University)  and  one  American  University 
(Norwich University). For this analysis, SPSS statistical program has been used to apply descriptive and factorial analysis in a 
sample of 194 agents. The goal is to study the relation between the relational coordination and the quality of learning at 
University. The results show the relevance of relational coordination in the quality of online learning. When the university 
shows  higher  levels  of  relational  coordination,  the  quality  of  education  turns  better,  as  it  is  the  case  of  the  Norwich 
University.  The  American  university  seems  to  pay  attention  to  the  variables  that  drive  to  best  standards  in  terms  of 
relational  coordination.  In  views  of  this  research,  if  the  education  system  presents  good  relational  coordination,  the 
teaching‐learning process offers higher levels of quality. From the managerial perspective, it is important to pay attention 
to  the  variables  that  may  improve  online  learning  from  the  organizational  perspective.  This  kind  of  education  plays  an 
important role in our society since many people need to study in a flexible timetable . 
 
Keywords: online education, relational coordination, quality, higher education, study, questionnaires 

1. Introduction 
E‐learning programs are increasing in higher education.  The online education is consolidated with a growth of 
30%  on  average  (Barber,  2011)  as  it  is  reflected  in  Euroinnova  Report  (available  from: 
http://www.euroinnova.edu.es/Blog/11‐4‐7/LA‐FORMACION‐ONLINE‐SE‐CONSOLIDA‐CON‐UN‐CRECIMIENTO‐
DEL‐30 [access 4 august 2013]). The application of ICT in higher education on line systems can produce higher 
degrees of coordination and integration of the processes improving the competitiveness and research capacity 
of  these  institutions.  A  good  coordination  of  the  processes  immersed  in  the  teaching  and  learning  practices 
reinforces the enabling role of the technology itself and allows the reaching of dynamic capabilities that can 
position Universities in a best place in their competitive environments (De Pablos‐ Heredero et al., 2012).  
 
At university level when implementing a suitable model of e‐learning, apart from the technology, three factors 
should  be  taken  into  account:  Education  and  educational  models,  the  technology  and  technological  models 
and the organization and organizational models (De Pablos‐ Heredero et al., 2012). 
 
The  quality  and  efficiency  of  data  management  services  is  very  important  in  the  called  'knowledge  society'. 
Organizations have understood that information and communication technologies are tools that facilitate and 
permit the efficient management of little resources, thus have extended their influence to practically all areas 
of business and all kinds of relationships (De Pablos‐Heredero et al., 2014). Gittell (2002) developed a model of 

638
 
Mª Del Carmen Gallego Sánchez, Carmen De Pablos Heredero and Jose Amelio Medina Merodio 

relational  coordination  that  emphasizes  the  importance  of  coordinating  the  relationships  and  dynamics  of 
communication in organizations to achieve better results. 
 
In addition, a number of critical success factors in the design and implementation of e‐learning methodology 
must be considered such as: the participant's motivation, learning methodologies, instructional design, graphic 
design  and  multimedia,  tracking  online  courses,  the  e‐learning  technology  platform  and  content.  E‐learning 
standards can make the best of the ICT implementation per se. 
 
Besides,  relational  coordination  is  defined  as  a  process  of  mutual  reinforcement  of  the  interaction  between 
communication  and  relationships  conducted  with  the  purpose  of  integrating  tasks  (Gittell,  2009).  It  is  the 
coordination of work across functional and organizational boundaries, through relationships of shared goals, 
shared  knowledge  and  mutual  respect,  supporting  frequent,  timely  and  accurate  and  problem  solving 
communication. 
 
The  aim  of  this  paper  is  to  analyze  whether  relational  coordination  is  relevant  in  online  education  quality. 
Firstly,  the  questionnaire  was  designed.  Secondly,  it  was  completed  by  students  and  lecturers  in  online 
learning. Finally, results were obtained with the analysis of the questionnaires. Taking into consideration the 
arguments  defended  by  different  authors,  it  seems  that  efficient  mechanisms  of  communication  and 
relationships  may  lead  to  higher  levels  of  quality  in  upper  education.  Therefore,  the  main  objective  of  this 
work is to examine whether relational coordination explains higher levels of educational online quality.  
2. On line education 
E‐learning  is  presented  as  an  alternative  to  traditional  learning,  (Ministry  of  Education,  Culture  and  Sport, 
available from http://www.mecd.gob.es/portada‐mecd/ [access 3 march 2013]) for those who wish to study, 
geographic  distance,  the  training  for  people  who  want  to  upgrade  their  profession  in  knowledge  society, 
constantly updating via ICT’s tools. It also implies, apart from evolution, saving money and time and it may be 
useful for all subjects that can be taught in college. 
 
The  integration  of  ICT  by  the  institutions  in  higher  education  makes  us  more  competitive.  The  alignment  of 
strategic with technological possibilities can position educational Institutions in more competitive standards in 
a global context.  
 
E‐learning  means  the  provision  of  educational  programs  and  learning  systems  through  electronic  media.  It 
covers  a  broad  suite  of  applications  and  processes  such  as  web‐based  learning,  computer‐based  training, 
virtual classrooms and digital collaboration (Gonzalez et al., 2011).  
 
Online  learning  is  supported  by  e‐learning  platforms.  Some  of  them,  which  have  free  distribution,  (virtual 
campus free software) are: Moodle, Sakai, Claroline, Docebo, Dokeos, Ilias, LRN, Atutor, Lon‐CAPA. 
 
Software  is  necessary  in  online  learning.  Some  private  software  virtual  campus  for  e‐learning  practices  are: 
Ecollege, Edoceo, Desire2Learn, Blackboard, Skillfactory, Delphi LMS, Prometheus, Composica, WebCT. 
At  university  level  when  a  suitable  model  of  e‐learning  is  implemented,  three  factors  should  be  taken  into 
account (Salinas, 2004; De Pablos et al., 2012, 2013, 2014):  
ƒ Education and educational models. One dimension that determines the quality of education and should 
consequently be evaluated is the educational model which is developed in response to educational policy, 
on the basis of social needs (Socarrás et al., 2008)  
ƒ The technology and technological models. Morin and Seurat (1998) show that innovation is not only the 
result  of  research,  but  also  assimilation  a  technology  developed,  dominated  and  eventually  applied  in 
other fields of activity, but whose implementation in their organizational, cultura  
ƒ The organization and organizational models. Morgan (1986) Ludwing (1993), and Nonaka et al. (1996) are 
organizational  theorists  that  have  shown  how  conflicts  are  more  likely  to  occur  in  the  presence  of  high 
levels of interdependence or tasks and when there are high levels of diversity among participants. 
In addition, a number of critical success factors take place in the design and implementation of e‐learning such 
as: the participant's motivation, learning methodologies, instructional design, graphic design and multimedia, 
tracking online courses, the e‐learning technology platform and content on e‐learning standards. 

639
 
Mª Del Carmen Gallego Sánchez, Carmen De Pablos Heredero and Jose Amelio Medina Merodio 

3. Relational coordination and its importance in online education 
Follett (1941) proposed the first theory about relational coordination with an initial model. Thompson (1967) 
suggested that it is a mutual relationship process thar produces benefits to people. 
Relational  coordination  provides  quality  performance  and  efficiency  as  well  as  customer’s  and  employee’s 
satisfaction (Gittell, 2009).  
Coordinating  work  takes  place  across  functional  and  organizational  boundaries,  through  relationships  of 
shared  goals,  shared  knowledge  and  mutual  respect,  frequent,  timely,  accurate  and  troubleshooting 
communication.  
 
Figure  1  shows  the  two  groups  of  elements  that  compose  relational  coordination:  relationships  and 
communication  
 
 
  
  Relationships
Communication
Shared
  Goals
Frequently
Shared
  knowledge
Timely
Mutual respect   Accurate
  Troubleshooting
   
   
 

Figure 1: Elements in relational coordination (Gittell, 2009) 
In  general  terms,  the  research  attempts  to  demonstrate  how  relational  coordination  makes  a  difference  in 
online  education  at  Universities.  In  other  words,  how  an  organization  that  shows  high  degrees  of  relational 
coordination, offers better quality in education than one that lacks of it.  
 
Relational  coordination  is  a  validated  tool  for  measuring  and  analyzing  communication  networks  and 
relationships  (Gittell,  2009)  through  which  work  is  coordinated  considering  functional  and  organizational 
boundaries. In this research it is shown that coordination can capture relational coordination among teachers 
(relational coordination) and between students (relational coproduction) in the online education model of e‐
learning.  The  relational  coordination  model  implies  the  putting  into  practice  of  some  elements  that  enrich 
teamwork by means of shared goals, shared knowledge and mutual respect, supporting communication with 
frequent, timely, accurate and resolving problems.    
4. Methodology of the research 
The questionnaire is useful to collect research data. The design of the questionnaire was very laborious: it is 
based on both quantitative and qualitative mixed methodology. It is designed according to relevant criteria for 
online education. Questions on the following aspects are included: relational coordination, general quality and 
teaching methodology, technical quality in terms of navigation, design and multimedia, including personal data 
and professionals. These questionnaires were completely anonymous. The part about relational coordination 
is based on Gitell’s (2009) original questionnaire. The empirical analysis has been realized in three universities, 
two Spanish Universities, Alcalá de Henares (UAH) and Rey Juan Carlos University (URJC) in Madrid and one 
American University, Norwich. 
 
The questionnaires were distributed to lecturers and students. They used a response likert scale from 1 to 5, 1 
is never, 2 is rarely, 3 is occasionally, 4 is often and 5 is constantly. This scale has been considered the most 
appropriated for this investigation. 
 
Types of questions: 
 
a) The questions about relational coordination (Gittel, 2009) are centered on the mechanisms of the practices 
in  the  organization,  selection  of  lecturers,  rewards,  conflict  resolution,  training,  job  design,  job  sharing,  and 
information sharing systems with other universities. 

640
 
Mª Del Carmen Gallego Sánchez, Carmen De Pablos Heredero and Jose Amelio Medina Merodio 

b)  The  questions  about  quality  in  general:  the  attention  to  the  process  of  teaching  and  learning  on  line  is 
provided,  the  quality  of  the  course  compensates  for  economic  investment,  divergent  thinking  is  used, 
discussion  and  debate,  teachers  motivate  students,  students  are  implicated  in  activities    individually  or  in 
groups,  communication  is  appropriate,  the  course  provide  a  comprehensive  content  for  development  with 
introduction, objectives, schemes, development of themes, activities, summary, glossary, suggestions for work 
and participation in forums, expanded content, the course presents accuracy and clarity in the course content, 
it uses assessment tools, didactic quality, positive activities and evaluation of the university in the last 5 years. 
 
c) The questions that refer to the technical quality, navigation and design are included: the organization of the 
course,  the  easy  use  of  navigation  tools  on  the  online  platform,  the  structure  and  design  of  virtual  links, 
technical and quality tools in the platform for operation and programming. 
 
d)  The  questions  that  refer  to  the  technical  quality  and  multimedia  resources:  the  course  has  a  variety  of 
integrated  multimedia  resources  and  combines  different  types  of  information,  educational  multimedia 
adequacy,  videoconference sessions  and  other  utilities  on  line.  Applications  offer  the  students  and lecturers 
contents and experiences based on the real world. 

5. Results 

5.1 Relational coordination mechanisms in students questionnaires 
Next figure shows the evaluation of relational coordination mechanisms established at the three Universities, 
making  use  of  the  chi‐squared  test  with  SPSS  program.  Two  Spanish  Universities:  Alcalá  de  Henares 
(engineering education) and Rey Juan Carlos (social and legal science education) and one American University, 
Norwich (MBA education): 

 
Figure 2: Mechanisms involved in relational coordination 
Mechanisms: P1_1. Lecturer’s selection, P1_2. Measuring the performance of teachers, P1_3. Reward teaching 
optimal  performance,  P1_4.  Conflict  Resolution  proactively,  P1_5.  Teacher  training,  P1_6.  Job  design  goal 
oriented,  P1_7.  Exchange  jobs,  P1_8.  Information  sharing,  P1_9.  Sharing  information  with  external  agents. 
These mechanisms have been measured using the percentages of the results obtained in the chi‐squared test. 
The  relational  coordination  varies  greatly  between  organizations.  It  is  an  important  point  that  some 
organizations have a strong structure in terms of relational coordination, but others have a weak structure in 
these  terms.  Norwich  University  shows  the  higher  scores  in  all  mechanisms,  only  it  is  exceeded  in  the 
performance of lecturers (P1_2) by the Rey Juan Carlos University. 

5.2 Factorial analysis 
Having done a factorial analysis with the program SPSS 15.0, the empirical analysis is based on observation of 
the different data. 
 
 

641
 
Mª Del Carmen Gallego Sánchez, Carmen De Pablos Heredero and Jose Amelio Medina Merodio 

The students’ questionnaires: 
 
The different factors that have been obtained are the following ones: 1.Teamwork, this factor explains 23,780 
%  of  the  variance,  2.  Sharing  goals,  this  factor  explains  12,803%  of  the  variance,  3.  Information,  this  factor 
explains 8,842% of the variance, 4. Motivation, this factor explains 7,145% of the variance 5. Self‐confidence, 
this factor explains 5,794% of the variance, 6. Mutual respect, this factor explains 5,447% of the variance, 7. 
Conflict resolution, this factor explains 4,932% of the variance, 8. Interrelation, this factor explains 4,471% of 
the variance.  Norwich University shows the highest levels in all of these factors. 
 
The different factors about general quality are: 1. General quality (environment and methodology), this factor 
explains 58,194% of the variance, 2. Technical quality: navigation, design and tools: this factor explain 9,610 % 
of  the  variance,  3.  Types  of  media  assets  (video,  animations,  simulations  ...),  this  factor  explain  6.932%  of 
variance. Norwich University shows the highest scores in all of these factors. 
 
The professor’s questionnaires: 
 
The  different  factors  about  relational  coordination  which  are  obtained:  1.  Teamwork,  this  factor  explains 
41,442  %  of  the  variance,  2.  Teaching‐learning  process,  this  factor  explains  26,362  %  of  the  variance,  3. 
Objectives  sharing,  this  factor  explains  15,394  %  of  the  variance.  Some  variables  have  to  be  eliminated  for 
getting a determinant different from zero. Norwich University stands in all of these factors but it is overcome 
by Alcalá University in the teamwork factor.   
 
The different factors about general quality are: 1. Technical quality, this factor explains the 58,418 % variance, 
2. Quality and methodology, this factor explains 14,025 % of the variance, 3. Considering quality in front of the 
cost of the course, this factor explains 9,643% of the variance. Norwich University stands in all of these factors. 
6. Conclusions 
The results of this investigation show that higher levels of relational coordination at the university are related 
with  higher  levels  of  quality.  The  American  university  is  the  best  positioned  in  all  the  factors,  Norwich 
University pays attention to the variables that reach the best standards in terms of relational coordination. In 
views  of  this  research,  if  the  education  system  has  a  strong  relational  coordination,  the  teaching‐learning 
process  offers  higher  levels  of  quality.  From  the  organizational  perspective,  it  is  important  consider  the 
variables that improve online education because this kind of education plays an important role in our society 
because some people need to study in a flexible timetable. 
 
     Relational  coordination  is  important  for  reaching  better  performance  and  efficiency  in  a  model  of  online 
education or e‐learning. A good relational coordination improves the efficiency and quality at the university. 
Some organizations have a more consolidated state in terms of relational coordination than others. This can be 
seen in the empirical study with the obtained information.  

References 
Añel Cabanelas, E. (2008) Formación on‐line en la universidad. Pixel‐Bit. Medios y Educación magazine. Nº 33, p.155 – 163 
Brandeis University. Relational coordination [Internet], Boston, Massachusetts. 
<http://rcrc.brandeis.edu/research/RC%20and%20Organizational%20Change/index.htm>[Access 2‐09‐2014]  
De Pablos Heredero, C; Montes Botella, J. L; Soret Los Santos, I; Damm, R; García Martinez, A. (2012) The importance of 
relational coordination in final teaching and learning results at universities. EDULEARN12 Proceedings, p. 2835‐2843 
De Pablos Heredero, C.; Montes, J.; Soret, I. (2014). Coordinación relacional y resultados empresariales: Aplicación a las 
prácticas de computación en la nube. Interciencia, 39(2), 76‐84. 
De Pablos Heredero C, Ramos Gómez L, García Martínez A (2013) How students value a good coordination at universities. 
ICERI Conference (18‐20/11/2013). Sevilla, Spain. 
De Pablos_Heredero, C.; López‐Hermoso Agius, J.J.; Martí‐Romo Romero, S.; Medina Salgado, S. (2012), Organización y 
transformación de los Sistemas de Información en la Empresa, ESIC,  Madrid. 
Díaz Garrido, E; (2003) La Estrategia Funcional de Producción: Una Propuesta de Configuraciones Genéricas en la Industria 
Española. PhD thesis, Rey Juan Carlos University. Madrid. 
Follett, M. P. (1941) Dynamic Administration: The Collected Papers of Mary Parker Follett edited by Henry Metcalf and 
Lionel Urwick, London: Pitman.  
Gittell JH (2002) Coordinating mechanisms in care provider groups: relational coordination as a mediator and input 
uncertainty as a moderator of performance effects. Manag. Sci. 48, pp. 1408‐1426.   

642
 
Mª Del Carmen Gallego Sánchez, Carmen De Pablos Heredero and Jose Amelio Medina Merodio 

Gittell, J.H. (2009). High Performance Healthcare: Using the Power of Relationships to Achieve Quality, Efficiency and 
Resilience. McGraw‐Hill, New York. 
González, R. López, D. (2011). E‐learning y teleinmersion. Facultad de administración de empresas. Bogota. Colombia.  
Gittell, J.H. (2010). Relational Coordination: Guidelines for Theory, Measurement and Analysis. Disponible desde: 
http://www.jodyhoffergittell.info/content/rc.html [Acceso 20‐4‐2013  
GSyC de la universidad Rey Juan Carlos. ETSIT Moodle [Internet], Madrid, E.T.S Telecommunication engineering 
<http://docencia.etsit.urjc.es/moodle/> [Access 1‐09 ‐2012] 
López, D.; De Pablos, C.; De la Puerta, E.; Fernández, C. (2011). Productivity in Service Systems: Towards a Managerial 
Framework. Service Science, 3(3): 223‐238.   
Ludwing Von Bertalanffy, K. (1993) Teoría General de los sistemas: fundamentos, desarrollo, aplicaciones. Ed. FCE 9ª ed. 
México, pp. 30‐37      
Morgan, G. (1986) Images of Organization. Newbury Park, CA: Sage Publications Inc.        
Morin, J.; Seurat, R. (1998) “Gestión de los Recursos Tecnológicos”. Fundación COTEC, Madrid  
Nonaka, I., Takeuchi, H., & Umemoto, K. (1996). A theory of organizational knowledge creation. International Journal of 
Technology Management, Special Issue on Unlearning and Learning for Technological Innovation, 11, 7/8, pp. 833‐
845.  
Salinas, J. (2004). "Innovación docente y uso de las TIC en la enseñanza universitaria". Revista de Universidad y Sociedad del 
Conocimiento (RUSC). UOC. Vol. 1, 1. Disponible desde  http://www.uoc.edu/rusc/dt/esp/salinas1104.pdf [Acceso 24‐
02‐2014]  
Socarras V., Herrera, S. F.; Sánchez, S. M. (2008). ¿En qué modo de cuidar, la esencia de enfermería es el cuidado? jul‐
dic;1(2). The Diversity Imperative: building a culturally responsive school ethos. Intercultural Education 14 no. 1: 17‐
30:18.  
Thompson J.D. (1967) Organizations in Action: Social Science Bases of Administrative Theory. McGraw‐Hill. Nueva York, 
EEUU.  
 

643
Comparing Implementation Patterns of e‐Learning for Higher 
Education in Turkey and Estonia  
Fatih Güllü1, Rein Kuusik1, Ugur Demiray2 and Mart Laanpere3 
1
Tallinn University of Technology, Tallinn, Estonia 
2
Anadolu University, Eskisehir, Turkey 
3
Tallinn University, Tallinn, Estonia  
fatihgullu27@hotmail.com  
rein.kuusik.01@ttu.ee  
udemiray@anadolu.edu.tr 
mart.laanpere@tlu.ee   
 
Abstract:  Wide‐scale  implementation  of  technology‐enhanced  learning  in  schools  and  higher  education  has  been 
supported  by  national  and  institutional  level  strategies  and  policies.  In  this  paper  for  the  first  time  we  compare  and 
contrast the strategic development of technology enhanced learning on the national and institutional levels in Estonia and 
Turkey,  relying  on  analysis  of  existing  technical  and  pedagogical  basics.  Although  these  two  countries  are  contrastingly 
different from each other (Estonia is small and Northern and Turkey is large and Southern), there are many similarities in 
the e‐learning ways in the higher education has been introduced on the national and institutional levels. The paper is the 
first  part  of  author’s  PhD  study,  focused  on  finding  ways  to  improve  existing  structure  and  approaches  for  e‐learning  in 
Turkey. 
 
Keywords: e‐learning, educational systems, technology infrastructure, higher education, quality 

1. Introduction  
A  century  ago  the  educational  development  was  inspired  by  new  pedagogical  ideas  (e.g.  by  Rudolf  Steiner, 
Maria Montessori, Celestin Freinet), and 30 years ago by school effectiveness movement. Today, on the other 
hand,  the  modern  Information  and  Communication  Technologies  (ICT)  seem  to  become  the  most  influential 
driver in educational innovation.  While in 1970’s the computers were used in classrooms mainly to replace the 
teachers, today’s paradigm of technology enhanced learning sees technology as an amplifier of creative and 
collaborative  learning  and  knowledge  building  processes,  where  the  teacher’s  role  has  changed.  Today  e‐
learning  innovation  has  grown  beyond  experimentation  of  few  enthusiastic  teachers,  as  most  of  developed 
countries  and  their  educational  institutions  have  short‐  and  long‐term  strategies  for  systemic  educational 
change involving the use of new technology. During the last decade, the exploitation of e‐learning systems has 
been  growing  steadily  in  universities  worldwide.  These  new  digital  tools  have  become  a  natural  part  of 
teaching and learning environment in higher education. This change has been a result of combining bottom‐up 
initiatives led by innovative teachers with systemic implementation of new infrastructure, requirements and 
policies, both on institutional and national levels.  
 
As an e‐learning is one of the key concepts of this paper, we should define it clearly, before proceeding to the 
discussion on its patterns implementation. The term “e‐learning” was coined in 1998 by Jay Cross (Cross 2004). 
Soon it was picked up by policymakers and researchers. Yet, even today a multitude of definitions of e‐learning 
exists. Sangra et al. (2012) provide an overview of alternative definitions of e‐learning in four categories:  
ƒ technology‐driven definitions: e‐learning as the use of various technological tools for learning 
ƒ delivery system oriented definitions: e‐learning as a means of accessing knowledge (or learning resources) 
ƒ communication‐oriented  definitions:  e‐learning  as  a  set  of  methods  of  communication,  interaction,  and 
collaboration through digital channels 
ƒ educational  paradigm  oriented  definitions:  e‐learning  as  a  radically  changed  way  of  learning  or  as  an 
improvement on existing teaching and learning methods. 
Herewith,  we  define  e‐learning  or  technology‐enhanced  learning  in  line  with  European  Commission  (2001), 
Alonso et al. (2005), Ehlers and Pawlowski (2006) as “the use of new multimedia technologies and internet to 
improve the quality of learning by facilitating access to resources and services, as well as remote exchange and 
collaboration”. This definition implies that systemic management of e‐learning innovation cannot focus merely 
on  upgrading  and  making  available  new  digital  tools,  it  should  also  involve  introduction  of  new  teaching 

644
 
Fatih Güllü et al. 

methods,  learning  habits,  assessment  practices,  cultural  norms  for  internet  behaviour,  as  well  as  legal 
frameworks and business models for digital educational contents production and delivery.  
 
Human  factor  plays  an  important  role  in  successful  implementation  of  e‐learning  innovation,  both  on 
administrators,  students  and  lecturers  side.  Adopting  an  online  learning  environment  is  often  not  easy  for 
academic staff members, as it requires a lot of extra work and changes of habits. Having explicit policies and 
support  measures  could  make  it  easier  to  cope  with  changes.  In  this  context  many  countries  have  initiated 
successful national e‐learning strategies at the higher education level, where pedagogical innovation has been 
combined with the technological one. This paper, as a first part of first author’s PhD study, focusing on finding 
ways to improve existing structure and approaches for e‐learning in Turkey, compares the implementation of 
e‐learning  innovation  in  higher  education of  the  countries,  such  as  Estonia  and  Turkey.  In  one  side  we  have 
Estonia  with  total  population  of  1.3  million  and  55.000  students  enrolled  in  6  public  and  few  private 
universities. On the other side we have some universities of Turkey, such as Anadolu University with almost 2 
million  enrolled  students,  being  the  second  largest  university  in  the  world.  Most  of  the  barriers  in 
implementing of e‐learning come from the absence of the necessary computer program or programs, speed of 
internet access, personal and corporate security concerns, the quality of materials used, qualifications of the 
academic  staff,  which  is  required  for  e‐learning  and  inadequacy  of  equipment  bearing.  Along  the  technical 
barriers in Turkey, we should need to apply first an e‐learning system to train the lecturers. Thus, the errors 
and  incorrect  methods  of  visual  and  auditory  materials  can  be  corrected.  Furthermore,  the  students  would 
have  the  opportunity  to  be  able  to  bring  in  front  of  eye  and  making  it  practical,  even  in  the  most  cramped 
quarters can go in the direction of development. E‐learning content for all the institutions of the system and 
the requirements for this system of universities measure the willingness and attitude that have not been any 
studies reported in the literature. The lecturer level needs to be increased for practical use and situation of the 
awareness rise has been targeted by analysis. This paper focuses on similarities and differences in e‐learning 
implementation patterns on the higher educational level in Estonia and Turkey. Although, these two countries 
are contrastingly different from each other (Estonia is small and Northern and Turkey is large and Southern), 
many similarities in the ways of e‐learning in the higher education has been introduced on the national and 
institutional levels. 
 
The special attention is on implementation patterns of technology enhanced learning (TEL) in higher education 
institutions in both countries, where both e‐learning methods and technological infrastructure play a key role 
in survival and improvement of university education in the new economic situation. Our study demonstrates 
that the core infrastructure and administration of technology enhanced learning on the national level is more 
efficiently implemented in Estonia than in Turkey, thanks to tight cooperation between Estonian universities. 
Most  of  the  challenges  related  to  implementation  of  TEL  in  Turkey  come  from  the  big  cities,  where  the 
population  is  too  high  and  capacity  of  accepted  students  in  big  universities  is  large.  In  some  universities  of 
Turkey, like Anadolu, Istanbul, Sakarya or Ankara, where the capacity of the students are around 1 million, the 
e‐learning technology infrastructure have a lot of barriers, compared to the biggest universities of Estonia, like 
Tallinn  University  of  Technology,  Tallinn  University  or  Tartu  University.  Most  of  the  barriers  come  from  the 
absence  of  the  necessary computer  program  or  programs,  speed  of  internet  access, personal  and  corporate 
security  concerns,  the  quality  of  materials  used,  qualifications  of  the  academic  staff,  which  are  required  for     
e‐learning  and  inadequacy  of  equipment  bearing.  In  this  paper,  for  the  first  time,  we  are  focusing  on 
similarities  and  differences  in  e‐learning  implementation  patterns  on  the  higher  educational  level  in  Estonia 
and Turkey. 
 
From the methodological perspective, our comparative analysis is driven by the Electronic Education System 
model, EES (Cloete 2001). Tiered EES model contains four layers:  
ƒ Physical layer: computer hardware and network setup (e.g. BYOD vs computer labs) 
ƒ E‐paradigm layer: pedagogical beliefs and ideas (e.g. knowledge transfer vs “learning by doing”) 
ƒ Educational middleware layer: e‐learning software tools and digital content available 
ƒ Instructional layer: actual practice of teaching and learning in courses. 
The strategic development of e‐learning can be carried out either on top‐down or bottom‐up manner, or as 
combination of both.  

645
 
Fatih Güllü et al. 
 
2. E‐learning system in higher education of Estonia 
E‐learning innovation in higher education of Estonia has started in 1998, where only few enthusiasts in Tallinn 
University of Technology, Tallinn Pedagogical University and Tartu University initiated some online courses on 
the WebCT (Course Tools) platform. In four years the number of online courses grew rapidly and so did the 
price for WebCT licenses. Optimisation of costs and to finding funds for expanding e‐learning innovation leaf to 
cooperation between universities. The eight biggest universities of Estonia decided in 2003 to create Estonian 
e‐university  consortium  to  increase  the  quality  of  e‐learning  system  and  to  find  a  solution  for  national  level 
hosting and licensing of WebCT platform. For this reason the Estonian e‐University consortium was established 
in  2003.  Two  years  later  the  second  consortium,  Estonian  e‐VET  consortium  (consortium  of  vocational 
education  organizations)  was  developed.  The  Estonian  e‐VET  consortium  started  to  coordinate  e‐learning 
activities  at  the  vocational  education  level.  Based  on  these  two  consortia,  the  Estonian  e‐learning 
Development  Centre  was  established  in  2006  (E‐learning  Development  Centre  2007,  Dremljuga‐Telk  et  al. 
2011). In 2010 these consortia has grown into 10 universities. The main task was to coordinate and develop e‐
learning  activities  at  the  higher  education  level.  Afterward,  e‐learning  system  has  grown  rapidly  in  different 
universities, which are shown clearly in Figures 1 and 2. 
 
Nowadays, e‐learning system in higher education of Estonia has most of the barriers in pedagogical way, than 
in  technical  way.  Technical  infrastructure  in  e‐learning  system  is  on  a  high  level,  where  some  few  problems 
can’t influence to the quality of this system. In the process of e‐learning system, as pedagogical barriers, we 
have identified some issues, which are listed as follows:  
ƒ Some  of  the  lecturers  want  to  give  lessons  face  to  face  and  for  this  reason  they  can’t  except  to  use  e‐
learning system 
ƒ Content to be transferred onto the internet in a monotonous way  
ƒ Excessive or inadequate presentation of information  
ƒ No transparency in results of examinations time 
ƒ  Appropriate and timely feedback cannot be given. 

 
Figure 1: Usage of e‐learning system in Estonian Universities  
Based on the sources mentioned above, the strategic implementation of e‐learning development was carried 
out  in  a  bottom‐up  manner  in  Estonia  during  the  first  phase  (1997  –  2005),  but  after  the  establishment  of 
Estonian IT Foundation and its E‐learning Development Centre, the centralised top‐down coordination started 
to play more important role on the level of educational middleware layer in the EES model. Centrally funded 
and hosted e‐learning services (LMS, repositories of learning objects) boosted the bottom‐up experimentation 
with new instructional designs by growing number of university staff. This was supported by centralised staff 
training  opportunities  provided  by  EITSA  (Estonian  IT  Foundation),  which  had  a  top‐down  impact  on 
disseminating  the  new  e‐paradigm  (collaborative  blended  learning),  at  the  second  layer  of  EES  model. 
Development  of  the  physical  layer  was  mostly  left  to  single  universities,  which  in  most  cases  moved  slowly 
towards Bring Your Own Device model by encouraging students to use their own laptops both in classrooms 
and  for  individual  studies.  Such  interplay  between  top‐down  and  bottom‐up  implementation  models  has 

646
 
Fatih Güllü et al. 

proved  to  be  successful  in  a  small  and  dynamic  country  such  as  Estonia.  Within  the  period  of  2004  –  2012, 
more  than  4800  fully  or  partly  online  courses  were  created  and  taught  in  centralised  Moodle  LMS  and 
additional 4200 courses were made available through locally developed IVA LMS platform (Laanpere, 2013). In 
the universities that belonged to Estonian E‐university consortium, more than 40% of all courses included e‐
learning component by 2013.  

 
Figure 2: Number of users in Estonian Universities (Dremljuga‐Telk et al. 2011) 

3. E‐learning system in higher education of Turkey 
The development of world countries in e‐learning system has given a very good example for development of 
the  modern  Turkey  in  e‐learning  system  starting  from  the  year  1982.  The  good  example  was  chosen  from 
British Open University, starting from 1974 in distance education. Afterward, Anadolu University was the first 
university that provide distance education initially with printed material, television and radio, as well as audio‐ 
visual course materials and academic counselling services, which have enabled application to use internet in 
the  year  1990.  Also  in  Sakarya  and  Middle  East  Technical  University  had  been  implemented  distance 
education,  which  was  based  on  web  application  (Isman  et  al.  2008).  After  internet  technology  being 
conveniently accessible in most of the universities, the e‐learning system has taken the first step and starting 
to grow rapidly, starting from the year 1997. As we suspected, in general the e‐learning system aren’t widely 
used and implemented in many universities in Turkey. Exceptionally, there are small universities, which have 
established or successfully applied these systems in the past. Most of the problems in the e‐learning systems 
came from the largest universities like Anadolu, Istanbul, Sakarya or Ankara (Nart and Altunisik 2013).  Almost 
in the Anadolu University, where capacity of students is around 2 million, we have seen that problems came 
from technical and pedagogical barriers (Yamamoto et al. 2010, 2011). There are three important explanations 
that  can  describe  the  e‐learning  system  in  relation  of  technology  infrastructure  and  their  barriers,  including 
hardware and software, which are shown below: 
ƒ Technological  infrastructure  is  the  foundation  of  e‐learning  system  that  has  to  be  taken  firstly  into 
consideration.  The  accurate  and  purposeful  e‐learning  infrastructure  planned  facilities  cannot  be  used 
without  technology  innovation,  content  excellence,  trainers  and  learners  qualifications,  intended  to 
achieve the goals 
ƒ E‐learning  necessary  hardware  for  computers,  servers  (web  server,  email  server,  video  server,  voice 
server,  chat  server,  etc.),  modems,  network  appliances,  wireless  devices,  printers,  scanners,  cameras, 
microphones, backup and storage devices consist of e‐learning software size, the word processor, e‐mail 
packages, presentation programs, support software (plug‐ins), data bases, learning management systems 
(LMS), learning content management systems (LCMS), authoring tools 
ƒ E‐learning  system  in  the  design  of  bandwidth,  connection  speed,  the  quality  of  materials  used,  such  as 
multi‐media considerations appear to be advantages on the one hand, the wrong choice of technology or 
technology barriers can arise as impossibilities. An e‐learning application speed internet connection, voice 
and  video  communication  will  enable  the  necessary  software  and  hardware  with  a  learner  for  an 
enjoyable  e‐learning  experience  gives  an  impression  of  a  slow,  limited  internet  connectivity,  with  the 
necessary technological hardware and software lacks another learning a serious emerges as a barrier.  

647
 
Fatih Güllü et al. 
 
In Figures 3 and 4 is shown the evolution of e‐learning system in Turkish universities (Yamamoto et al. 2010). 
Furthermore, in e‐learning system of the biggest universities of Turkey there are technical barriers, which can 
be listed as follows (Yamamoto et al. 2011):   
ƒ Absence or lack of technological infrastructure  
ƒ Lack of or insufficient speed of internet access 
ƒ Lack of the equipment required  
ƒ The absence of a computer program or programs  
ƒ Available computer program or programs not being up to date 
ƒ Costs of the related software needed, authoring tools or systems 
ƒ The software needed, authoring tools or nature and quality of systems  
ƒ Personal and corporate security concerns  
ƒ Unsafe technology infrastructure and inconsistencies in access to e‐learning environment  
ƒ The quality of multimedia materials used, the suitability and design  
ƒ Interface and visual design  
ƒ Technical limitations  
ƒ Technical infrastructure, authoring tools or systems, such as excessive expectations regarding the capacity 
of the technological elements  
ƒ Read program design and limitations on the use of multimedia material 

 
Figure 3: Usage of e‐learning system in Turkish Universities (Yamamoto et al. 2010) 

 
Figure 4: Number of the users in Turkish Universities (Yamamoto et al. 2010) 

648
 
Fatih Güllü et al. 

In the process of e‐learning system, as pedagogical barriers, we have identified some issues, which are listed as 
follows: 
ƒ E‐learning content did not match the expectations of learners 
ƒ Content to attract the attention of students 
ƒ E‐learning  programs  and  quality  concerns  related  to  the  conformity  of  inconsistency  of  content,  logical 
errors,  lack  of  clear  improper  design,  improper  content,  wrong  methods,  techniques  and  strategy 
selection 
ƒ To appeal to different learning styles, one being flat and boring  
ƒ Allowing applications to interact failure, ineffectiveness  
ƒ Content to be transferred onto the internet in a monotonous way  
ƒ Lack of instructional design  
ƒ Excessive or inadequate presentation of information  
ƒ Multimedia materials timely and appropriately used in improper system of educational content, authoring 
tool or work placement programs  
ƒ Appropriate and timely feedback cannot be given  
The main Turkish universities, e.g. Anadolu, Ankara and Sakarya, independently have well designed systems for 
e‐learning and distance education for high level education: (1) Anadolu University Open Education System, (2) 
Ankara University’s Distance Education Centre (ANKUZEM), (3) Distance Learning Research and Development 
Centre, respectively. During last decade this systems and programs of e‐learning already showed progress and 
significant results (Latchem et al. 2006, Mutlu 2004). In 2007, more than 550.000 students logged in the portal 
of Anadolu University Open Education System more than 11.7 million times and used the e‐learning services 
(Anadolu  University  2008).  ANKUZEM  currently  serves  1,190  distance  education  students,  940  at 
undergraduate level and 250 at certificate level. In 2009, in the Distance Learning Research and Development 
Centre at Sakarya University were registered 50 students for the four‐year degree programs, 460 postgraduate 
students, 41 in master’s program.  At the same time, there is a lack of cooperation between these institutions. 
Due to different approaches of the systems, users of different universities don’t have possibility to collaborate, 
exchange knowledge and experience. 
 
The data for the study were gathered through literature and web content analysis. 

4. Comparisons of e‐learning systems in higher educations between Estonia and Turkey  
In  the  area  of  higher  education,  e‐learning  system  is  playing  an  important  role  in  both  countries,  such  as 
Estonia and Turkey. Estonia is a small country, in comparison with Turkey. High level e‐learning systems were 
implemented in Estonia. However, there are some problems due to pedagogical barriers. From other side we 
have  Turkey  with  large  population,  where  the  problems  occurred  from  technical  and  pedagogical  barriers. 
There are different reasons to understand that e‐learning systems have these kinds of barriers, which are: 
ƒ Consortium  between  universities  of  Turkey  doesn’t  exist  in  the  biggest  university,  such  as  Anadolu, 
Sakarya, Ankara and Middle East Technical University. In some universities we have important problems to 
collaborate the faculties with each other’s 
ƒ Consortium between universities of Estonia has worked very well, where 10 universities are collaborating 
together for increasing the quality of e‐learning system 
ƒ The budget in the biggest universities of Turkey weren’t enough for minimizing these important barriers 
that we mentioned above 
ƒ The probability is very low to participate and to get different projects from European Union (EU) because 
the capacity of these biggest universities is too high 
ƒ In  the  case  of  Estonia,  the  probability  is  too  high  for  getting  different  projects  from  EU  because  the 
capacity  of  the  biggest  universities  is  fifty  times  lower  than  Turkish  universities  and  they  have  all  the 
facilities for implementation their projects successfully.  

649
 
Fatih Güllü et al. 
 
The  final  aim  of  the  project  is  to  provide  measures  for  progressive  improvement  of  general  principals  of 
Turkish e‐learning system in higher education, using successful experience, applied in Estonia in the field of e‐
learning. 

5. Conclusions 
In this research, for the first time, we have analysed the situation of e‐learning systems in higher education of 
Estonia  and  Turkey.  E‐learning  system  in  Turkey  has  grown  during  the  last  decade,  but  in  the  biggest 
universities they have still again some problems, which are focused on technical and pedagogical barriers.  E‐
learning system in Estonia has grown rapidly and successfully with some few problems, which are coming from 
pedagogical barriers. The process for improving the quality and minimizing these barriers in Turkey needs to 
get  consortiums  between  universities,  like  Estonian  example.  Results of  this  research  will  be  used  in  further 
investigations, aimed to solve problems in the field of e‐learning in a higher education in Turkey. 

References 
Alonso, F., López, G., Manrique, D., and Viñes, J. M. (2005) An instructional model for web‐based e‐learning education with 
a blended learning process approach, British Journal of Educational Technology, Vol 36, No. 2, pp 217‐235.  
Anadolu University (2008) EUA Self‐Evaluation Report, Eskisehir, Turkey, ftp.anadolu.edu.tr/Documents/EUA‐Report.pdf. 
Cloete, E. (2001) Electronic education system model. Computers & Education, Vol 36, pp 171‐182. 
Cross, J. (2004) An Informal History of eLearning, On the Horizon, Vol 2, No. 3, pp 103‐110. 
Dremljuga‐Telk, M., Koitla, E., Kusnets, K. (2011) E‐learning Quality Assurance System for e‐Courses in Estonia, In 
Eisenschmidt, E. and Löfström, E. (Eds.) Developing Quality Cultures in Teacher Education: Expanding Horizons in 
Relation to Quality Assurance. Tallinn: Tallinn University, pp 120‐130. 
E‐Learning Development Centre (2007) Strategy 2007‐2012. http://www.e‐ope.ee/images/50000894 /eLDC_Strategy.pdf. 
Ehlers, U.D. and Pawlowski, J.M. (2006) Handbook on Quality and Standardisation in E‐Learning, ISBN: 978‐3‐540‐32787‐5, 
Springer, New York. 
European Commission (2001) Communication from the Commission to the Council and the European Parliament, The 
eLearning Action Plan, Designing Tomorrow’s Education. Brussel. COM(2001) 172 final. 
Işman, A. (2008) Distance Education, Pegem Academy, Ankara. 
Laanpere, M. (2013) Pedagogy‐driven Design of Virtual Learning Environments. PhD thesis. Tallinn University, Tallinn.  
Latchem, C., Özkul, A.E., Aydin, C.H., and Mutlu, M.E. (2006) The open education  system, Anadolu University, Turkey: e‐
transformation in a mega‐university, Open  Learning, Vol 21, No. 3, pp 221‐235. 
Mutlu, M.E. (2004) E‐Learning Applications in the Open Education Faculty of Anadolu University, European Association for 
Distance Learning (EADL) Conference 2004, Istanbul, 26‐28 May 2004. 
Nart, S. and Altunisik, R. (2013) Improving Distance Education System: Problems and Solutions from the Perspective of 
Lecturers, The Online Journal of Distance Education and e‐Learning, Vol 1, No. 4, pp 23–29. 
Sangrà, A., Vlachopoulos, D., Cabrera, N. (2012) Building an inclusive definition of e‐learning: An approach to the 
conceptual framework, International Review of Research on Open and Distance Learning, Vol 13, No. 2, pp 145‐159.   
Yamamoto, G.T., Demiray, U. and Kesim, M. (2010) Türkiye’de E‐öğrenme: Gelişmeler ve Uygulamalar, Ankara. 
Yamamoto, G.T., Demiray, U. and Demirci, B.B. (2011) Türkiye’de E‐öğrenme: Gelişmeler ve Uygulamalar II, Istanbul. 
 

650
The Issue of Optimizing Foreign Language Teaching by Means of e‐
Learning 
Radka Jurickova 
Department of Information and Communication Technologies, Pedagogical Faculty, 
University of Ostrava, Czech Republic  
Department of Languages, VSB‐Technical University of Ostrava, Czech Republic 
radka.jurickova@vsb.cz 
 
Abstract: The paper deals with the issue of optimizing the process of teaching a foreign language by means of e‐learning 
while trying to describe a possible approach for the development of language skills with regard to individual learning styles 
and  strategies  while  learning  a  foreign  language.  A  student’s  individual  learning  style  plays  an  essential  role  in  effective 
foreign language acquisition, therefore recognizing their own learning style and using the right strategies to reinforce their 
particular curriculum can lead to effective learning. Using various forms of e‐learning and viewing the process of learning a 
second  language  as  complex  and  using  a  comprehensive  approach  including  motivation  and  self‐discipline,  we  intend  to 
verify,  optimize  and  finally  implement  these  new  forms  of  education  into  the  practice  of  teaching  English  for  Specific 
Purposes  (ESP)  mainly  for  technical  fields.  In  the  introduction,  the  issue  is  examined  in  the  context  of  teaching  foreign 
language at tertiary education institutions, focusing on teaching ESP at technical universities in particular. In the theoretical 
part,  the  paper gradually  tries  to  define  the basic  terminology  and  describe  the  theoretical  principles  of  teaching  ESP  at 
technical universities. Furthermore, key variables and important factors that play an essential role in the learning process 
itself are also a subject of investigation. The paper further describes the objective of providing an optimized adaptive e‐
learning  environment  with  respect  to  preferred  learning  styles  with  a  narrower  focus  on  perceptual  preferences: 
visual/auditory/kinesthetic (VAK) of the particular curriculum and with regard to recommended learning strategies to be 
used while learning. This e‐learning environment is being developed in accordance with the Common European Framework 
of  References  for  Languages  and  its  key  language  competences  divided  into  two  main  categories:  receptive  skills  and 
productive skills. This paper aims to present the core concept of future doctoral theses, together with the chosen methods 
of work, including the practical part of the research. Experts in the field of e‐learning see implementation of ICT in teaching 
foreign languages as a great challenge and possible way for further development. They agree that we cannot teach in the 
spirit  of  "one  size  fits  all”,  and  that  e‐learning  methods  could  be  very  beneficial  in  the  process  of  the  individualization, 
adaptation  and  optimization  of  learning  in  accordance  with  a  student’s  learning  needs.  Our  task  in  the  research  is  to 
determine  whether  optimized  e‐learning  courses  lead  to  a  more  efficient  development  of  linguistic  competence  in  the 
professional sphere or not and whether such training is an appropriate instrument for the improvement of the situation in 
ESP teaching at universities or not. It will also try to define and implement the new concepts of these terms: e‐style and e‐
strategies.  
 
Keywords: optimization, e‐learning, learning styles and strategies, perceptual preferences, e‐style, e‐strategies 

1. Introduction 
The  popularity  of  learning  a  foreign  language  vie  e‐learning  methods  and  tools  is  rapidly  increasing.  The 
extensive development of various courses, modules and packs of study materials is noticeable; however, very 
little attention is being paid to specific areas such as foreign language acquisition in combination with ICT and 
all the important factors that are entering the process of learning in the electronic environment which have 
become the subject of our research. Therefore, this paper aims to introduce a new view on this complex issue. 
 
Before any work on the chosen topic could begin, we had to define the basic terminology and key concepts 
that  are  drawn  from  a  wide  area  including  terminology  from  the  fields  of  pedagogy,  psychology,  computer 
science and linguistics, as well as posing several questions to eventually answer. 
 
Fundamental questions of our PhD research: 
ƒ Who exactly is the target group of our research and how can the overall concept of e‐learning courses in 
terms of content, language methodology, and language competencies as described in CEFR be organized? 
ƒ How can English for Specific Purposes be taught more effectively? What can be done better? 
ƒ Can  we  create  a  model  for  optimizing  the  learning  process  that  expresses  the  relationship  between 
learning styles and changing variables entering the learning process in an electronic environment? 

651
 
Radka Jurickova 

ƒ Can  such  an  optimized  model  support  students  in  their  professional  language  training?  Under  what 
conditions? 
ƒ Would  optimized  e‐learning  courses  taking  into  account  learning  styles  and  strategies  lead  to  more 
effective learning of ESP? 
ƒ Can we define the new concepts: e‐style and e‐strategy? 
In  looking  for  all  these  answers,  we  had  to  consider  the  fact  that  the  learner  stands  at  the  center  of  our 
attention,  and  with  all  the  possibilities  of  ICT  we  have  to  provide  a  learning  environment  suitable  to  the 
student´s  professional  needs,  individual  learning  style,  perceptual  preferences,  learning  strategies  and  the 
ability  to  learn  at  their  own  pace,  while  at  all  times  taking  into  account  new  trends  in  the  field  of  ICT  in 
education.    E‐learning  has  the  potential  to  provide  “student‐centered  learning”  and  tends  to  be  designed 
based  on  the  pedagogy  of  providing  learning  environments  according  to  the  students’  needs,  abilities, 
preferences and styles rather than providing uniform education without any consideration of individual needs 
and differences (Nishino et al, 2010). E‐learning is the use of new multimedia technologies and the Internet to 
improve the quality of learning by facilitating access to resources and services, as well as remote exchange and 
collaboration” (Alonso et al., 2005) whereas blended learning environments combine traditional and face‐to‐
face  instruction  with  computer  mediated  or  online  instruction  (Lamb,  2001  in  Howard,  2005).  Cohen  and 
Weaver (2005) further describe and divide “language learning strategies” as conscious processes used to learn 
a language while “language use strategies” are conscious processes selected to use the material that is learned 
(however incompletely). Another approach in the form of an adaptive environment represented by a virtual 
teacher adapted to the individual type of student has recently been introduced (Kostolanyová, Šarmanová and 
Takács,  2011a).  In  further  work  they  have  even  introduced  a  new  methodology  of  creating  and  formulating 
experts’  criteria  to  assign  the  learning  style  of  a  student  to  suitable  teaching  styles  of  the  virtual  teacher 
(Kostolanyová, Šarmanová and Takács, 2011b).  
 
In  the  following  parts  of  this  paper  we  will  try  to  introduce  the  new  concept  of  optimizing  the  process  of 
learning  foreign  language  with  the  use  of  ICT  at  the  Language  Department,  VSB‐Technical  University  of 
Ostrava. 
2. Tertiary education and English for specific purposes 
To  fulfill  one  of  the  most  important  criteria,  the  professional  content  of  English  for  Specific  Purposes,  we 
intensively cooperate with experts from each faculty of the VŠB‐Technical University of Ostrava, which consists 
of seven faculties: 
ƒ Faculty of Economics 
ƒ Faculty of Civil Engineering 
ƒ Faculty of Mechanical Engineering 
ƒ Faculty of Electrical Engineering and Computer Science 
ƒ Faculty of Mining and Geology 
ƒ Faculty of Safety Engineering 
ƒ Faculty of Metallurgy and Materials Engineering 
The topics to be prepared for an electronic environment in the form of e‐courses and e‐lessons are specified 
by  deans,  vice‐deans,  assistant  professors  or  doctoral  students  to  ensure  a  direct  link  to  the  major  fields  of 
study or to the content of major subjects. These themes or specified topics from various foreign sources are 
further presented to ELT experts (English Language Teaching), and the creators of the e‐lessons. Their task is to 
create  and  form  e‐lessons  taking  into  account  the  fundamental  methodology  of  e‐learning  and  blended 
learning, as well as with respect to the Common European Framework of References for Languages and its key 
language competencies. The theory of learning styles of a student while learning EFL/ESL (English as a Foreign 
Language  or  English  as  a  Second  Language),  the  recommendation  of  language  learning  strategies  and 
assistance from Information and Communication technologies are also taken into consideration. If we desire 
students of technical faculties to utilize their professional expertise in languages other than their native one, 
the entire process of learning a foreign language in the professional sphere must be precisely optimized. Figure 
1 shows our view on all the influencing factors from the perspective of our intended research. 
 

652
 
Radka Jurickova 

Council of Europe Learning Styles Learning strategies

CEFR (A1 – C2) Perceptual Preferences depending on learning
expected language VAK style and the
competence development of
language competence

Autonomy STUDENT + ESP Electronic

Motivation (English for Specific environment
Self-discipline Purposes) methodology of
e-learning
LMS systems

RESULT
Foreign Language
knowledge for
professional expertise

 
Figure 1: Factors influencing the learning process in e‐learning  

3. Common European framework of references for languages (Cefr) 
Why is it important for students to know their current level of foreign language competency? 
 
When trying to respect the Common European Framework of References for Languages and the development 
of  language  competences  described  as  skills,  we  came  across  some  technical  problems  in  terms  of  the  LMS 
environment  and  its  possibilities.  Throughout  the  work,  we  have  to  bear  in  mind  the  limitations  of  LMS 
Systems including sometimes with the implementation of external software. Basically, we are limited by the 
number  of  exercises  and  their  variations,  which  make  it  difficult  to  fulfill  all  areas  of  language  skills 
development. 
 
Language  skills  are  divided  into  three  main  areas.  They  are  categorized  and  described  as  skills  and  are  the 
subject of development by each student individually (Ivanová et al, 2006): 
Table 1: Language skills by CEFR (simplified version) 
Language area  Language skill 
Reading 
Understanding 
Listening 
Interaction (dialog) 
Speaking 
Production (monolog) 
General writing 
Writing 
Professional writing 
We had to choose the types of activities and exercises that are feasible in an electronic environment with or 
without  the  direct  participation  of  a  tutor  and  where  an  automatic  evaluation  with  immediate  feedback  is 
applied. It previously proved to be appropriate in the development of understanding skills (the understanding 
of reading and listening) implemented in an electronic environment.  
 
In  the  area of development of  speaking  skills  (interaction  and  production)  we  try,  at first,  to cover speaking 
production  skills  with  the  possibility  of  self‐  recording  and  comparing  pronunciation  with  a  native  speaker 

653
 
Radka Jurickova 

(even the storage of one´s own recordings and comparing them later to see if they have developed is possible). 
We  are  now  trying  to  cover  the  area  of  speaking  interaction  development  as  well.  We  are  currently  and 
intensively working on the possibilities of implementation of other communication tools into the environment 
of  LMS  Moodle,  such  as  Skype  (video/audio  chat)  or  other  social  networks  to  be  able  to  put  synchronous 
communication  into  action  in  real  time,  mainly  for  the  purpose  of  the  intended  experiment.  At  this  point 
asynchronous communication among all participants including tutors is possible in the form of Chat, Moodle 
Mobile,  Forum,  Blog,  and  Notes,  Wiki  or  simply  via  e‐mail  if  necessary.  We  have  also  applied  the  form  of 
blended  learning  and  have  implemented  these  e‐courses  into  the  curriculum  of  the  subjects  “English  for 
Engineering” and “English for Careers: Technology” taught in its present form to our full‐time students, where 
a  total  of  three  tutorials  during  one  semester  are  carried  out  and  where  face‐to‐face  communication  is 
possible. 
 
The  area  of  writing  is  now  covered  in  the  form  of  gap  fills,  writing  words  or  letters  again,  because  of  the 
possibilities  of  the  automatic  evaluation  of  such  an  activity.  Other  communication  tools  involving  writing 
without  automatic  evaluation  are  also  available.  To  develop  real  writing  skills  would  involve  the  intensive 
participation  of  a  tutor  skilled  in  this  area  of  ELT  and  therefore  we  are  preparing  another  e‐course  aimed 
especially at writing for academic/scientific purposes. In such a course, writing activities would play a primary 
role and would provide our students with rules and tips on how to write a conference paper, for instance. The 
target group for this would mainly be doctoral students at our university. 
 
All  the  submitted  study  materials  in  the  form  of  the  e‐lessons  for  each  unit  are  graded  according  to  the 
standards of CEFR Levels A1‐C2. However, a minimum level of A2/B1 is required to be able to understand the 
core of a unit, to be partly familiar with the terminology of a presented topic, and to be successful in making 
any progress. Due to the level of difficulty in the field of English for Specific Purposes, these e‐courses are not 
suitable for beginners. Students are therefore recommended to diagnose their current/present level of foreign 
language  competency  via  a  test  available  directly  in  the  electronic  environment  (LMS)  to  be  able  to  better 
track their personal development. Table 2 explains the details according to CEFR and the Council of Europe and 
table 3 shows recommended levels and the development expected during their study at the university. 
Table 2: Common European framework for languages (levels) 
CEF Level  Level Description 
C 2  Mastery  Upper Advanced 
C 1  Effective Proficiency  Lower Advanced 
B 2  Vantage  Upper Intermediate 
B 1  Threshold  Lower Intermediate 
A 2  Waystage  Elementary 
A 1  Breakthrough  Basic 
(no level)  Beginner   
Table 3: Expected development of foreign language knowledge 
Study program  Expected development 
Bachelor  A 2             B 1 
Master  B 1             B 2 
Doctoral  B 2             C 1 

4. Learning styles, foreign language and electronic environment: The value 
Why is it important for students to know their preferred learning style? 
 
Can we take into account students learning styles in an electronic environment? 
 
In  designing  and  creating  optimized  e‐learning  courses,  individual  differences  and  learning  style  preferences 
are taken into account. In professional literature aimed at ELT, especially aimed at the EFL/ESL field, perceptual 
preferences  are  researched  and  described  as  the  most  significant  indicator.  According  to  Oxford  (2003), 
learning styles are described as general approaches that students use in acquiring a new language (e.g. global 
or  analytic,  visual‐auditory‐kinesthetic/VAK,  etc.).  While  learning  a  new  language,  sensory  preferences  in 
particular determine the general direction of learning approaches. 
 

654
 
Radka Jurickova 

Cohen and Weaver (2005) describe the value of learning styles in their research and suggest that the greater 
number of styles students can use the more successful they will be at learning a new language. Research also 
shows  that  we  all  have  learning  style  preferences  and  thus  may  tend  to  favor  our  preferred  approaches  in 
learning. 
 
Cohen  and  Weaver  (2005)  also  suggest  that  when  it  comes  to  learning  new  vocabulary,  students  who  learn 
visually  may  benefit  from  seeing  a  still  picture  of  video  of  an  object  or  action  which  involves  the  new 
vocabulary in some way; learners with auditory preferences may want to hear the words pronounced clearly 
several times or to hear themselves pronouncing them, and would benefit from any audio parts in the process. 
They also are more capable of using the words in real situations involving speaking. For kinesthetic learners it 
may help to perform the action or do any movement, even moving lips, fingers or any other parts of body in 
helping them to better remember new words. We are, therefore, working on the implementation of other ICT 
tools into LMS Moodle to enhance this preferred way of acquiring new vocabulary and to increase the number 
of possible activities for this type of student. 
 
Other psychological and linguistic studies (Lojová and Vlčková, 2011); (Ehrman, Leaver and Oxford, 2003) also 
lead to classification according to perceptual preferences, which substantially affect access to information, its 
reception and recall. In the process of studying EFL/ESL internal images are connected with linguistic entities 
and very often a combination of two or more styles is used. Despite this fact, for the vast majority of learners, 
one learning style is more or less preferred. 
ƒ Visual (ICT + eye): learning best through visual means‐ text based resources, spatial information such as 
charts, diagrams, pictures, flashcards, pair cards, match type, graphs, schemes, videos, procedure process, 
illustrated texts, word order and other verbal sources 
ƒ Auditory  (ICT  +  ear):  preferring  listening  and  speaking  activities‐  audio  activities,  recordings,  reading 
aloud, read‐listen‐repeat/describe, dictations, dialogues, discussions, gap filling, drills  
ƒ Kinesthetic (ICT + hands‐on): benefitting from any possible movement, using keyboard, mouse or touch 
screen,  moving  objects/words/letters,  doing  projects,  cooperating  with  others,  also  saying  things 
aloud/repeating and writing into the texts/maps, drawing schemes/maps/layouts 
The following part of this paper will consider learning strategies as an important factor influencing the process 
of learning foreign language. 
5. Learning strategies, foreign language and electronic environment: The tool 
Why  is  it  important  for  students  to  know  and  use  suitable  learning  strategies  while  learning  foreign 
language? 
 
Can we adapt the electronic environment to provide optimal conditions for the use of learning strategies? 
 
There are two key factors affecting the process of learning a language. The first is the preferred learning style; 
in  the  field  of  learning  a  language  perceptual  preferences  mainly  dominate  the  process  of  approaching  the 
language. The second is the language learning strategies and tactics used to enhance the language learning. 
These main factors influence the student’s ability to learn in a particular instructional framework and help to 
determine how and how well students learn a second or foreign language.  
 
Learning  strategies  are  defined  as  specific  actions,  behaviors,  steps,  or  techniques  (e.g.  seeking  out 
conversation partners) used by students to enhance their own learning (Oxford, 2003).  
 
Mareš  (1998)  describes  learning  strategies  as  one  part  of  a  large‐scale  process  where  students  make  a 
particular plan in a distinctive way for solving a given task when they try to achieve something and to avoid 
something else resulting in learning, as shown in Figure 2. 

Personality
Motivation Learning Learning Learning Learning
Stage of Styles Strategies Tactics Results
development
 
Figure 2: The relation model of individual differences and learning process (Schmeck in Mareš, 1998) 

655
 
Radka Jurickova 

When the learner consciously chooses strategies that best suit their learning style (mainly VAK in languages), 
these  strategies  become  a  useful  and  powerful  tool  for  an  active,  conscious  and  self‐regulated  process  of 
learning the language. 
 
According  to  Oxford  (2003)  and  Cohen  and  Weaver  (2005),  learning  strategies  while  learning  a  second 
language can be classified by function: 
ƒ Cognitive strategies enable the learner to manipulate the language material in direct ways, e.g. through 
reasoning, analysis, note‐taking, summarizing, synthesizing, outlining, reorganizing information to develop 
stronger  schemes  (knowledge  structures),  practicing  in  natural  settings,  and  practicing  structures  and 
sound formally. 
ƒ Metacognitive  strategies  (e.g.  identifying  student’s  own  learning  style  preferences  and  needs,  planning 
for  foreign  language  task,  gathering  and  organizing  materials,  arranging  a  study  space  and  schedule, 
monitoring  mistakes,  and  evaluating  task  success)  are  employed  for  managing  the  learning  process 
overall. Metacognitive strategies have an executive function over cognitive strategy used. 
ƒ Memory‐related strategies help the learner link one second language item or concept with another but 
do  not  necessarily  involve  deep  understanding.  Various  memory‐related  strategies  enable  learners  to 
learn and retrieve information in an orderly string (e.g. via acronyms, sounds, images, a combination of 
sounds and images, body movement, mechanical means or location). 
ƒ Compensatory  strategies  help  the  learner  make  up  for  missing  knowledge  (e.g.  guessing  the  meaning 
from context of listening and reading, using synonyms or gestures. 
ƒ Affective strategies help students regulate their emotions, motivation, and attitudes and are often used 
to reduce anxiety and provide self‐encouragement. Research shows that learner’s self‐motivation capacity 
is a major factor contributing to success. 
ƒ Social  strategies  involve  learners’  choice  to  interact  with  other  learners  and  native  speakers,  such  as 
asking  questions  to  clarify  social  roles  and  relationships,  asking  for  an  explanation  or  verification,  and 
cooperating with others in order to complete tasks. 
Language learning strategies can also be classified by language skill area, which includes the receptive skills of 
reading and listening and the productive skills of writing and speaking; skills needed for using second language 
successfully  in  any  professional  area.  Figure  3  shows  the  relationship  between  language  skills  and  the 
recommended direction of movement from one language area to another. In a simplified way, from receptive 
to productive skills, from reading to writing and from listening to speaking. When suggesting possible learning 
strategies feasible in an electronic environment we will try to take into account the following scheme.  

Receptive skills Productive skills

Reading Writing

Listening Speaking
 
Figure 3: The relationship of language skill areas 
Table 4 illustrates an example of our concept of adapting the environment to language areas and skills to be 
developed (also known as language competencies). These strategies will be further applied with regard to the 
well‐known language methodology PPP: Presentation‐Practice‐Production defined by Harmer (2001), where he 
points  out  that  while  phases  of  learning  do  not  exist  in  isolation  but  are  interconnected,  following  their 
sequence or respecting their order is considered an appropriate methodology. 
 
From  a  pedagogical  perspective,  the  fact  that  language  learning  strategies  are  flexible,  learnable  and  when 
compared with learning styles can be easily changed or developed is important. Strategies used are influenced 
by  many  variables  (i.e.  age,  gender,  language  level,  preferred  learning  style,  motivation,  experience  of 
strategies, etc.) and because we are working with adults at the university level of education, certain strategies 
will  be  practiced  or  recommended  throughout  our  experimental  e‐learning  course.  From  the  previous 
research, we have discovered that most of our students are not sure or aware of the existence of theories of 
learning styles and learning strategies but have been using them either unintentionally or accidentally. In this 

656
 
Radka Jurickova 

paper we introduce a new design and model of an optimized adaptive e‐learning environment by adding new 
features  and  functions,  mainly  by  shifting  towards  language  learning  strategies  where  we  aim  to  make  the 
process of learning more effective and user‐friendly. 
Table 4: Illustration of strategies and tactics feasible in an electronic environment 
Skill area and recommended strategies in an electronic environment (examples) 
 
Receptive skills                                                  Productive skills 

     
Reading  Writing 
   
Read as much as possible about the topic of  Practice writing new words 
your study/interest  Keep a glossary 
Predict the content from the title  Record important collocations, prepositions, 
Do the pre‐reading activity first  synonyms 
Skim the text first for the main idea  Take notes in the language 
Scan the text to find the specific piece of   Make a plan for your writing 
information  Use patterns of writing 
Read for detail  Use a dictionary 
Use dictionary  Use revision tools 
Read for pleasure  Try to get feedback 
…  … 
     
Listening  Speaking 
   
Read the instructions carefully  Practice saying new expressions 
Picture the situation  Record and compare your pronunciation with 
Predict the content  native speaker 
Do the pre‐listening activity first  Use tools for conversation in the electronic 
Listen to audio materials (with/without  environment 
script)  Ask questions 
Watch video materials (with/without  Answer any questions 
subtitles)  Encourage others to correct you 
Listen again  Try to express your idea 
Visit other related websites/sources  Use synonyms if you can’t think of the proper 
Listen for pleasure  word 
…  … 

6. Discussion: Basic proposal of an optimized e‐course 
In  our  optimized  e‐courses  we  intend  to  help  our  students  to  discover  their  individual  learning  preferences 
with  a  narrower  focus  on  discovering  their  perceptual  preferences  while  learning  a  second  language  and  to 
expand or widen their learning approaches and to recommend suitable learning strategies. Knowing their own 
learning  preferences  should  help  them  to  study  EFL/ESL  successfully.  When  using  ICT  while  teaching  or 
learning EFL/ESL, sensory receptors dominate the process, which is why these dimensions occupy the center of 
our interest. 
 
When enrolling onto an e‐course, a valid diagnostic questionnaire will be applied (Cohen and Weaver, 2005), 
followed by a description of the information acquired and further recommendations on how to work within 
the e‐course. According to our earlier research, there is usually a combination of preferences in learning, but 
one preference always dominates the process of acquiring a new language and therefore we will recommend 
the optimal way throughout a unit.   
 
The  adapted  e‐course  will  provide  three  different  versions  of  study  material  both  for  presentation  and 
practice.  In  the  practice  part  in  particular,  participants  will  be  able  to  learn  the  language  the  way  they 
perceptually prefer and will be instructed about the strategies they should use to further develop the language 
area. In the review test, they will find a combination of the presented material that they will come across in 
their  field.  Figure  4  shows  the  proposed  (basic)  scheme  of  the  optimized  e‐course,  knowing  the  student’s 
learning styles and taking into account recommended strategies.  

657
 
Radka Jurickova 

 
Figure 4: Flow chart of optimized e‐course (basic proposal)  
In  the  process  of  preparing  the  intended  optimized  e‐courses  and  their  subsequent  implementation  we  are 
already considering a future evaluation and expecting an update of both forms and topics. We also intend to 
further  align  the  selected  topics  with  individual  fields  of  study  to  their  professional  needs  where  we  are 
already  discussing  the  possibility  of  a  direct  link  to  topics  and  themes  for  the  degree  examination,  at  least 
within a common basis for all disciplines.  
 
At the forefront of our interest is also the language development and training of young doctoral students, new 
academic  staff  and  the  development  of  their  “Academic  Skills”.  If  we  can  prove  that  this  approach  (a 
combination  all  the  above  mentioned  key  factors  ‐  ESL/EFL,  student´s  learning  styles,  CEFR,  ESP,  ICT  and  e‐
learning methods) leads to a greater efficiency and the improvement of EFL/ESL teaching, this method can be 
applied  to  other  languages  taught  at  the  Language  Department  of  the  VSB‐Technical  University  of  Ostrava, 
such as German, Russian, French, Spanish or Czech for Foreigners. Even the Chinese language is now available 
at the department in the form of full‐time course in response to the current needs in the globalized economy. 
Achieving this aim could lead to a recommendation for application of the model to other teaching institutions 
as well. 
 
The  outcome  of  this  research  should  either  prove  or  disprove  the  hypothesis  that  optimized  e‐learning 
methods and forms of studying foreign language in accordance with individual learning styles while learning 
foreign language has a positive and significant impact on the development of language competencies.  
7. Conclusion 
To  achieve  the  desired  results  we  suggest  taking  into  account  the  learning  methods,  materials,  tools  and 
environment  which  suit  a  student’s  learning  style,  and  their  preferences  at  least  in  the  presentation  and 
practice areas of language acquisition in order to develop their language skills  effectively. Feasible language 
learning  strategies  were  also  introduced  in  the  form  of  recommendations.  All  possible  activities  need  to  be 
done  frequently  or  as  often  as  possible.  Therefore  we  stress  that  self‐motivation  and  self‐discipline  are 
essential for achieving any possible success in learning a second language. Recognizing the preferred learning 
style,  using  recommended  strategies  and  the  student’s  personal  input  should  lead  the  student  towards  the 
desired accomplishment. 
 
In  this  paper  the  issue  of  ESP  and  EFL/ESL  at  the  Language  Department  of  the  VSB‐Technical  University  of 
Ostrava where our research will take place was introduced. English today is viewed and accepted as a lingua 
franca in today’s globalized world and is used with overwhelming dominance as a tool for communication. For 
our  graduates  entering  their  professional  careers,  the  improvement  of  language  skills  is  an  absolutely 
necessity. This fact has led to the expansion of ICT into all subjects taught, English included, and these tools are 

658
 
Radka Jurickova 

playing  and  will  play  a  significant  role  in  the  learning  process.  LMS  Moodle  is  an  open‐source  tool  and  its 
development will continue. In other words, we can look forward to new possibilities and challenges to face in 
the near future and possibly defining new concept of terms e‐style and e‐strategy based on data and results 
gathered in our research which are currently under evaluation before any definition can be state. 

References 
Alonso, F. et al. (2005). An instructional model for web‐based e‐learning education with a blended learning process 
approach. British Journal of Educational Technology, vol.36, no.2, pp.217‐235.  
Cohen, A.D. and Weaver, S.J. (2005). Styles and Strategies‐Based Instruction: A Teachers´ Guide. University of Minnesota: 
CARLA, Minneapolis. 
Ehrman, M. E., Leaver, B. L. and Oxford, R. L. (2003). A brief history of individual differences in second language learning. 
System 31: Elsevier Ltd.  
rd
Harmer, J. (2001). The practice of English language teaching. 3  ed. Longman, London. 
Howard, C. (2005) Encyclopedia of distance learning. Hershey, PA: Idea Group Reference. 
Ivanová, J. et al. (2006). Společný evropský referenční rámec pro jazyky. UP, Olomouc. 
Kostolanyová, K., Šarmanová, J. and Takácz, O. (2011a). “Classification of Learning Styles for Adaptive Education”, New 
Educational Review, vol.23, no.1, pp.199‐212. 
Kostolanyová, K., Šarmanová, J. and Takácz, O. (2011b). “Structure of Study Supports for Adaptable Instruction”, New 
Educational Review, vol.25, no.3, pp.235‐247. 
Lojová, G. and Vlčková, K. (2011). Styly a strategie učení ve výuce cizích jazyků, Portál, Praha. 
Mareš, J. (1998). Styly učení žáků a studentů, Portál, Praha. 
Nishino, K. et al. (2010). “Predicting e‐Learning Course Adaptability and Changes in Learning Preferences after Taking e‐
Learning Courses” 6277 LNAI (PART 2), pp. 143‐152. 
Oxford, R. L (2003) Language Learning Styles and Strategies: an Overview. Gala, Oxford. 

659
Open Source Learning Streams in Online Discussions in e‐Learning 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 
Institute of Philosophy and Learning, Aalborg University, Denmark 
Tmk@learning.aau.dk  
Elsebeth@learning.aau.dk  
 
Abstract: The wish for a more engaging e‐learning design and better utilization of the technology at hand has led to the 
pedagogic design in this study. We wanted to make a strong alternative to face‐to‐face teaching that was just as likely to 
facilitate  learning  as  face  to  face  teacher  presentations  and  class  discussions.    The  study  investigates  how  online 
discussions in connection with teacher produced video presentations can generate an ‘open source learning stream’ in an 
e‐learning  course  for  teachers.  We  look  at  how  an  ‘open  source  learning  stream’  can  encourage  students  to  give  and 
receive peer feedback. We propose the idea that if learning in an online community is set up to follow the lines of identity 
building in social media (Larsen 2007) then we might get a natural momentum in the ‘open source learning stream’. We try 
to identify demographic factors that could influence the success of the ‘open source learning stream’. We found that some 
students in the demographic group that used computers in their childhood experience that they can learn more form video 
clips and online discussion than from traditional teacher presentations and face to face discussions. We also found that the 
demographic group that didn’t use computers in their childhood believes that they learn more for traditional face‐to‐face 
teaching.  This  divergence  in  belief  calls  for  a  better  defined  demographic  categorization  of  the  students  before  dividing 
them into groups in e‐learning. The categorization might assist the diffusion of innovation in the persuasion stage (Rogers 
2010) of the implementation of the new pedagogic design so that peers would persuade each other that they can adopt 
the  new  learning  practices  and  participate  in  the  ‘open  source  learning  stream’.    We  propose  the  idea  that  significant 
demographic  knowledge  of  the  students  in  combination  with  learning  analytics  can  generate  a  strong  e‐learning  design. 
Furthermore we investigate inclusion/exclusion mechanisms in the pedagogic design and we found that a more rapid and 
multimodal type of reply would help some students. The study presents a critical realist analysis of the pedagogic design in 
question  and  tries  to  abduct  a  categorization  of  student  demographics’  influence  on  learning  progression  and  on  the 
utilization of web‐tools at hand in the students’ learning process. 
 
Keywords: ‘open source learning stream’, online discussions, teacher produced video, deep learning, technological literacy 

1. Introduction: 
The notion of the 'open source learning stream' (OSLS) (Kjærgaard, Sorensen 2014) tries to bring new ideas to 
the  field  of  e‐learning.  Not  in  terms  of  technology  application  but  in  terms  of  creating  consciousness  of  the 
students learning process in a shared learning stream. The study investigates the possibilities of co‐creation of 
learning  processes  and  which  circumstances  might  catalyze  deep  learning  (Entwistle,  Waterston  1988)  in  an 
OSLS. The individual learning process is normally supported by teachers who organize learning activities and 
materials.  But  in  an  OSLS  the  learners  needs  the  competence  to  seek  out  and  select  a  part  of  the  learning 
activities  and  materials  themselves.  It  seems  that  the  fruitfulness  of  the  OSLS  depends  on  the  participants’ 
ability  and  willingness  to  embrace  the  other  participants’  academic  problems,  challenges  and  lack  of  digital 
study  skills.  This  raises  questions  such  as;  what  does  it  take  to  create  a  fruitful  OSLS?  Which  demographic 
group  of  students  is  more  likely  to  benefit  from  this  pedagogic  design?    Could  the  pedagogic  design  be 
adaptive  in  relation  to  leaner  needs  without  it  being  resource  consuming  and  complicated  for  both  teacher 
and student? 

2. Context of the research 
The course is a three semester e‐learning course for kindergarten teachers. Each semester is constituted by a 
two‐day presence, introductory seminar and a three month e‐learning course followed by an exam. The course 
is attended by 10 (of which 9 took exams) students. The general pedagogic idea is to use video in connection 
with collaborative LMS functions to generate an open source learning stream. An open source learning stream 
(OSLS)  is  described  as  a  synchronous,  collaborative,  learning  process,  where  all  learners  contribute  to  the 
shared  learning  goal  (Kjaergaard  &  Sorensen  2014).  The  study  investigates  whether  personalized  video 
presentations  and  online  discussions  can  make  it  out  for  classroom  teaching  and  discussions.  The  course  is 
designed  on  the  basis  of  e‐tivities  (Salmon  2013).  The  course  is  also  designed  to  catalyze  deep  learning 
(Entwistle,  Waterston  1988)  by  making  the  learning  goals  and  the  processes  very  visible,  relevant  and 
obtainable (Hattie 2013) (Biggs, Tang 2011). The assumption is that the phatic value of the video presentation 
would  enhance  the  students’  learning  (Ebner,  Lienhardt  et  al.  2010).  The  course  is  designed  as  e‐learning 
because the subject of the course is rather narrow scoped, hence not attracting enough students in the local 

660
 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 

area of Aalborg. It is also designed as e‐learning because the students are already working as teachers, which 
means that they don’t have time to attend classes during the day.   

2.1 Philosophy of science 
The approach to knowledge and reasoning in this study is critical realist (Bhaskar 2008). This implies that we 
work under the assumption that there is an interaction between ontology and epistemology. Critical realism is 
a philosophical movement that is probably most used in social science (Sayer 1992, Danermark 2002) but in 
recent  studies  it  seems  to  become  more  and  more  used  in  education  research  (Scott  2005,  Clegg*  2005, 
Kontos, Poland 2009, Archer, Bhaskar et al. 2013, Scott 2013). It is a useful approach in research on innovative 
development. The learning process is seen as an emergence constituted by causal mechanisms. In the type of 
educational research we conduct in this study the object is made up of representation of causal mechanisms 
which could be seen as a specific student behavior, a better grade, stronger cooperation, indicators of learning 
etc. There are two general approaches to reasoning in this study; one where we abduct a pedagogical design 
on  the  basis  of  our  practical  experience  and  theoretical  knowledge  (abduction)  and  one  where  we 
retrospectively  investigate  why  the  pedagogical  design  work  or  don’t  work  (retroduction)  (Chiasson  2005). 
These two approaches to reasoning stem from the philosophy of pragmatism (Peirce 1998). In Peirce’s ‘Theory 
of Truth’ he claims that ‘truth’ is what an ideal collegium of researchers will agree on over time, which is very 
pragmatic.  That  pragmatic  ‘truth’  resembles  Foucault’s  ‘regime  of  truth’  (Cummins  2003)  in  the  sense  that 
what  knowledge  and  policy  makers  agree  on  is  claimed  to  be  ‘true’.  The  ‘pragmatic  truth’  is  more  closely 
related to the actual context, where the ‘regime of truth’ is more likely to reveal itself as a power structure. In 
this study we claim that both these ‘truths’ (the pragmatic truth and the regime om truth) are in a constant 
fluctuating interaction with technology and related, applied techniques and that the pragmatic ‘truths’ are not 
always  in  line  with  rationales  of  the  context.  ‘The  regime  of  truth’  is  an  exterior  enforcement  mechanism 
(Foucault 2008) that has an imposing influence on the individual whereas the ‘pragmatic truth’ can be seen as 
an  internal  enforcement  mechanism  that  the  individual  has  power  to  influence.  In  other  words  there  is  a 
conflict between global understanding of a phenomenon and local practice with the noumenon in a Kantian 
way. In this case the pedagogic ‘regime of truth’ embodies the notion that we need to be together physically 
for  the  ‘best’  teaching  to  take  place,  however,  the  ‘pragmatic  truth’  of  our  experience  implies  that  efficient 
learning can happen in many other pedagogical contexts. This ‘regime of truth’ insisting on physical presence 
does not only seem to be dominating amongst fellow teachers, it also dominates the students preconception 
of  which  circumstances  they  need  to  learn.  Learner  needs  can  be  divided  into  ‘natural  needs’  and  ‘socially 
constructed  needs’  (Ayers  2011).  So,  what  the  learner  (and  teacher)  believes  to  be  an  absolute  need  in  the 
learning process might be a socially constructed need that can be changed by exposing the learner to other 
types of practices. In this study we have tried to abduct a pedagogical design that contains very little of what 
the learners think they need in order to learn and a lot of new practices. The retroductive analysis will show 
what made the learners change their mind on what they thought they needed in order to learn. 
 
The activities leading to learning are partly constructed through the way we describe them and partly through 
the  limits  and  possibilities  of  the  technology.  That  means  that  the  object  of  research  exists  outside  of  our 
consciousness but we can influence it through language and action. In critical realism stratification is one of 
the methods to understand the research object. According to critical realism (Archer, Bhaskar et al. 2013) the 
world consists of a transitive level and an intransitive level. Knowledge is a social object in the transitive level 
and it exists independent of whether we know of it or not, and knowledge will interact with the world in its 
own social causality (Bhaskar 2009). We have knowledge of something but knowledge cannot be reduced to 
what  it  is  about  because  knowledge  it  in  itself  is  a  causal  mechanism.  In  this  context  this  means  that  the 
learning  process  and  the  conversation  in  the  online  discussion  exists  without  the  predicative  of  it  being  an 
OSLS, but the OSLS predicative is also influencing the way the discussion is conducted because OSLS defines a 
specific  online  communication  genre.  So  there  is  an  interaction  between  the  object  and  knowledge  of  the 
object. So by the means of abduction we design the genre OSLS and then we implement the notion of the OSLS 
in a practical learning context. After that we look at the OSLS retroductively using a variety of approaches to 
reasoning to extract the interesting causal mechanisms. When we extract and isolate the causal mechanisms 
we can interpret why the causal mechanisms had the effect they had and how the context influenced these 
causal mechanisms.  

661
 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 

3. Methodology 
The methodological approach to this study is, to some extent, design based research. The provisos being that 
the study is not iterative (yet), nor is it carried out in longevity (yet). It is however an attempt to bring theory 
and practice together in a new pedagogical design that aims to overcome real‐live challenges and make real 
changes to the field of study (Herrington, McKenney et al. 2007).Furthermore we, as researchers, are deeply 
involved  in  the  design  process  but  not  in  the  teaching  which  makes  our  methodology  differ  from  action 
research.  
 
The first step was to design the course. The design process was primarily done by us, the researchers, but with 
interaction  from  the  teachers  that  should  teach  the  course.  After  the  design  process  we  held  a  series  of 
workshops where the teachers teaching the course got familiarized with the theoretical and practical parts of 
the  design.  They  experimented  with  making  their  own  educational  videos  and  with  online  discussion.  These 
first videos should be used for the first etivities in the introductory seminar. This meant that the teacher were 
very motivated to learn how to make the videos and that the content and aesthetics of the videos should be 
authentic and of good quality. The teachers saw the workshops as a preliminary part of their preparation for 
course. 
 
The second step was to establish and implement a new ‘pragmatic truth’ of learning amongst the students. We 
planned a two‐day, physical presence, introductory seminar where we presented the pedagogical design. This 
was done through reel, curricular exercises, so that the students could focus on the subject and their learning 
process  and  not  be  alienated  by  new  techniques  and  technology.  We  helped  and  supervised  a  lot  on  the 
techniques and technology during the introduction course which made the students feel confident that they 
could manage the technical part of the learning process on their own when the actual course started. 
 
The  third  step  was  to  observe  and  analyze  the  discussions  in the online  forum  and to  retrieve  data  through 
qualitative and quantitative questions in a questionnaire. 
4. Data analysis 
During the introductory seminar we observed the students as they engaged in pilot‐etivities. The focal points 
of the observation were to assess how much time they spend learning the techniques compared to how much 
time  they  spend  learning  the  subject  matter.  This  initial  observation  showed  us  that  even  the  slightest 
technical problem could jeopardize the whole learning process. We thought that the design was simple, but 
we had to make it even simpler and we had to incorporate redundant solutions (to have both links to video 
and  embedded  video  etc.).  While  observing  the  students  we  saw  that  they  didn’t  consult  one  another  on 
technical matters and they didn’t try to solve the problems themselves instead they waited for help from the 
teachers. This observation made us a bit anxious as to whether the students would be able to learn from the 
pedagogical  design  or  if  they  would  get  tied  up  in  technical  matters.  We  discussed  if  we  should  make  a 
technical help forum where the students could get help on technical issues. This solution is known to help in 
other  cases  (Salmon  2012),  however,  we  decided  not  to  create  one  such  in  this  case  because  the  students 
were  unfamiliar  with  online  discussions  in  general  and  they  were  not  used  to  expressing  their  problems  in 
written  form,  furthermore  it  would  be  difficult  for  some  to  describe  their  problems.  In  addition  to  that  an 
online discussion forum does not necessarily give the instant reply that a student in acute need needs. So, one 
of  the  things  that  the  initial  observations  showed  was  that  the  pedagogic  design  lacked  a  support  function. 
Data  was  also  generated  through  surveys.  These  surveys  contained  both  closed  and  open  ended  questions. 
The closed ended questions gave us quantitative answers that seemed appropriate for generalization but the 
population of the survey was way too little to make any generalizations. We could, however, make conclusions 
within the context of the study because 7 out of 10 replied and 1 student didn’t complete the course (or the 
survey) which makes the response rate 78%. A response rate of 78% seems to be an indication of validity but 
only seen in correlation with other sources of empiric data and only as an internal expression in the given case 
and context. The empiric data is strong enough to conclude something about learning and teaching within the 
study, though.   
 
While analyzing the data it became evident that it might be interesting to cross‐tabulate a question from the 
survey  on  whether  the  student  used  computers  growing  up  with  the  rest  of  the  questions.  This  cross‐
tabulation became one of the focal points of the data analysis. We also made a cross‐tabulation between age 
and the rest of the questions. There was a quite obvious convergence between age and usage of computers 

662
 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 

while growing up but the two cross tabulation reports were not entirely alike so we chose to maintain the two 
groups separately because they show different co‐relations. 

4.1 Findings 
While  analyzing  the  data  we  found  that  the  students  who  didn’t  use  computers  in  their  childhood  (33%  of 
population) were more likely to prefer traditional, face‐to‐face teacher presentations and class discussion as 
opposed to video presentations and online discussions. In the survey one student from the demographic group 
who didn’t use computer in their childhood put it this way: ‘There is no one to talk to in the learning process’, 
another student from the same demographic said:  ‘I need someone to talk to, to discuss with; discussion is 
important for me to learn new’. The students from this demographic watch each video clip more than three 
times average (6 times max) and they respond that the possibility of watching video clip multiple times is very 
important. They also respond that it is very important that the video presentations are specific for the course 
and  not  generic  video  presentations.  This  indicates  that  they  are  not  used  to  learning  for  YouTube  or  other 
video sites. The survey also showed that it is less important if the voice/face in the presentation is familiar.  
 
The  fact  that  they  value  the  possibility  to  immerse  themselves  into  the  subject  matter  at  their  own  pace 
(watching  video  clips  3‐6  times)  could  be  interpreted  as  an  indicator  for  deep  learning  processes  in  this 
demographic  group.  This  group  also  addresses  the  importance  of  note  taking  as  an  important  interaction 
between watching the videos and learning from the videos. 
 
The other group of students who did used computers in the childhood (66% of population) responds that they 
also learn from relevant non‐course specific YouTube video clips but they learn more from the specific teacher 
produced  video  clips,  though.  They  only  watch  the  course  specific  video  presentations  twice  (average).  This 
could  be  interpreted  as  an  indicator  for  surface  learning  processes  in  this  demographic  group.  This  group  is 
younger  than  the  other  group  and  they  have  fewer  indicators  for  deep  learning.      We  deliberately  chose  to 
look  for  other  factors  than  age  because  we  didn’t  assume  that  it  would  be  of  significance  (Rogers  2010). 
Furthermore age doesn’t seem to affect the learners’ ability to utilize the techniques needed for participating 
in the pedagogic design; however, the age of the student might affect the level of deep learning. It might also 
affect the study techniques that they apply. 
 
Most importantly 40% of the whole population responds that they learn more for the teacher produced video 
presentations and etivities then from traditional face‐to‐face teaching.  
 
Initially  we  thought  that  recognizable  voice  and  face  in  the  video  clips  would  be  regarded  as  important  but 
only  40%  regard  that  factor  as  important.  So,  it  is  really  vital  that  the  video  clips  are  specific  and  entirely 
relevant to the learning goals but the phatic function in the video clips is not that important. If that is valid on a 
larger  scale  it  indicates  that  you  can  make  course  specific  video  clips  and  share  them  amongst  teachers 
without  alienating  the  students.  However,  we  are  still  going  to  focus  on  personally  produced  video  clips 
because then the teachers will become experienced and confident in producing own video material and they 
will not be depending on others to produce video clips in other contexts which in turn will make it easier to 
develop and implement new etivities. 
 
In the forum discussions we found that although 60% are very positive towards discussing in the online forum 
only 20% feel that they have learned a lot from other students replies to their posts. We still claim it is an OSLS 
because  100%  (50%  very  often,  50%  often)  say  that  they  learn  from  reading  other  students  replies  to  main 
topic.  The students also say that they learned a lot (40% very often, 60% often) from writing own replies to 
main topic. In the open ended question they reply (translated from Danish): 
Student 1: “I often need to think carefully about things and that is possible here (online forum)” 
Student2: “I’m getting a more clear sense of the subject matter, more words to explain” 
Student 3: “Written replies are often more well considered and in depth that a spoken answer” 
The students highlight that you can watch videos as many times as you need and the fact that you have time to 
formulate  your  reply  as  positive  elements  in  this  pedagogic  design.  This  indicates  that  the  pedagogic  design 
caters  for  deep  learning  (Offir,  Lev  et  al.  2008)  rather  than  surface  learning.  In  an  open  ended  question  a 
student writes (translated from Danish): 

663
 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 

”The fact that I can watch the video multiple times and don’t need to take notes (first‐up) but can 
have full attention on the video. It is important, though, to have a print of the synopsis so that 
you  can  take notes.  In  traditional  teaching  you  have  to take notes  and  listen  at  the  same time 
and then I forget what the teacher said” (Student) 
This indicates that this particular student is very aware of her learning process. She has a robust strategy for 
learning  that  prompts  her  to  ad  personal  study  skills  to  the  learning  materials  provided  by  the  teacher.  She 
belongs to the demographic group that didn’t use computers while growing up. The question is then; how can 
more  students  adapt  her  approach  to  learning?  In  this  case  crossing  age  with  the  other  questions  might  be 
interesting  because  that  would  open  the  possibility  to  gain  information  on  which  type  of  school  (Danish 
system)  the  student  attended  in  their  childhood;  reform  (post  1975)  or  traditional  (pre  1975).  The  younger 
demographic (44 years and younger) watch the video clips twice whereas the older demographic (44 years and 
older) watch the video clips up to 6 times. The older demographic group is properly more used to expressing 
themselves through written language than the younger demographic group. Furthermore they posted fewer 
but longer posts than the younger demographic group. The question of the students age and school history, 
might be interesting to investigate in a study on adaptive e‐learning and learning analytics but in this study we 
just saw indications that it might be interesting to study further. 

4.2 Discussion of findings  
When is the constitution of the OSLS successful? Is it when the students feel that they gain something from 
each other’s posts in the online discussion? Or when a discussion thread evolves into something else? Or when 
a  discussion  thread  generates  a  learning  spiral  that  elevates  the  students’  level  of  knowledge  in  a  shared 
process? Our initial hope was for the latter.   
 
Analysis  of  the  online  discussions  show  that  students  wait  for  the  teacher  to  comment  or  moderate  before 
they  start  quoting  each  other.  In  the  example  below  the  students  post  5  replies  to  the  teachers  question 
before  the  teacher comments.  The  teacher,  phatically,  says:  “I’m  really impressed.  Your  reflections are  on  a 
really  high  level  in  regards  to  crossing  between  theory  and  practice.  And  you  really  get  wiser  reading  your 
input…do continue.” Right after the teachers encouraging comment, the students gain confidence to comment 
each other’s posts. It tells us that the phatic function in the utterances is really important (Gerbic 2010) for the 
OSLS to come into existence. 

Teacher

Student

 
Figure 1: Excerpt from online discussion  
In the first couple of discussions the visibility of the teacher seems very important as does the phatic character 
of the teacher’s comments. Our study doesn’t show whether it is the mere visibility of the teacher or it is the 
phatic character of her comment that triggers the other comments. In later discussions the students comment 
each other more freely and the OSLS takes shape: 

664
 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 

 
Figure 2: Excerpt from discussion 
One student quotes another student, who is quoted by a third student. The second student (highlighted) says: 
“It just strikes me when I read your post that…”. The third student replies: “You are completely right, ‘name of 
student’, I properly don’t separate the two methods…”. In this case the teacher is not visible in the discussion, 
the students are doing the 4th etivity in the course and they know how to use the online discussion and they 
have gained a sense of academic terminology, which means that they can start to participate and reify in the 
OSLS.  There  is  an  element  of  serendipity  in  the  students’  individual  problem  solving.  This  means  that  the 
students get unexpected input to solutions to their learning obstacles. The technology, the terminology, the 
teacher produced video clips and the online discussions have become part of their shared repertoire (Wenger 
1998).  During  the  first  and  second  etivity  the  students  were  building  the  shared  repertoire  and  they  really 
needed the teacher’s guidance for that.  
 
On  the  basis  of  our  empiric  data  and  the  analysis  of  that  data  we  can  identify  a  set  of  circumstances  that 
appears to be important for the OSLS to be successful in this specific context. 
The students seem to need: 
ƒ Something of interest to participate with within the field of the subject matter.  
ƒ Foundation for formulating open, relevant questions within the field of the subject matter.  
ƒ Knowledge of terminology within the field of the subject matter.  
ƒ An  understanding  of  the  importance  of;  posting  questions,  posting  clarifying  questions  and  posting 
answers. 
ƒ An understanding of the phatic function of language in the discussion. 
The teachers seem to need: 
ƒ A strong strategy for keeping the discussion alive (visibility, phatic comments). 
ƒ An  understanding  of  the  importance  of  the  phatic  function  in  both  video  clips  and  in  comments  to  the 
online discussions. 
ƒ An  understanding  of  the  importance  of  the  technological  simplicity  and  robustness  of  the  technologies 
applied to the pedagogical design. 
ƒ An understanding of the students’ progressive development of skills while learning in an unfamiliar setup. 
ƒ An  understanding  of  the  importance  of  gradually  increasing  the  complexity  of  the  utilization  of  the 
technologies. 
Our study show that technical problems were the most shared and severe hindrance for learning. We suggest 
that some sort of tech‐steward‐role (Wenger, White et al. 2009) is implemented in the OSLS.  

665
 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 

5. Conclusion 
We were interested in studying co‐creation of knowledge through a shared learning process that we called an 
OSLS. The shared learning process consisted of a body of individual learning processes that fed each other with 
questions and answers about the content of the teacher produced video clips and the appointed literature. We 
found that if the video clips are relevant and have a phatic twist then some students believe that they learn 
more from this pedagogic design than they would have from more traditional teaching. Those students appear 
to  engage  in deep  learning processes  (Offir,  Lev  et al.  2008).  The  interesting question  to ask  might  then  be; 
which circumstances will catalyze deep learning in an OSLS. Offir , Lev and Bezale utilize  a model (Entwistle, 
Waterston 1988) that stratifies learning into ’deep’ and ‘surface’ learning. The model states that deep learning 
happens when the student:  
ƒ Creates new information from information that was collected, using hypotheses and quotes  
ƒ Proposes one or more solutions in terms of judgment 
ƒ Assumes advantages and disadvantages for a situation or solution 
(Entwistle, Waterston 1988, Offir, Lev et al. 2008).  
 
We  found  all  of  the  above  in  the  online  discussions  but  it  would  demand  more  empiric  data  to  conclude 
whether the deep learning characteristics predominantly apply to the older demographic group.  
 
We also found that the phatic function was important in discussion and not so much in the video clips.  
 
So,  we  conclude  that  the  combination  of  relevant,  course  specific  video  clips  in  conjunction  with  online 
discussions is a good pedagogic design. The teacher needs to focus on phatic language in his/her comments to 
motivate  the  OSLS.  It  looks  as  if  the  OSLS  is  also  depending  on  the  teachers’  questions  to  be  open  and 
inclusive.  If  the  teacher  asks  questions  that  can  be  answered  by  quoting  names  and  numbers  then  the 
discussion will properly not live long but if the teacher asks questions like; ‘How could this theory be used in 
your practice?’. Then it would be open to all students to answer. 
 
We  suggest  more  focus  on  setting  framework  for  replying  on  other  students  in  order  for  the  student  to 
student discussion to become more fruitful. 
 
Last, we also discussed whether the course should be adaptive to student demographics in the sense that the 
initial  background  survey  would  determine  which  video  clips  (differing  in  longevity)  and  which  activities  the 
students should participate in but we need more data to conclude on that.  
References 
Archer, M., Bhaskar, R., Collier, A., Lawson, T. And Norrie, A., 2013. Critical Realism: Essential Readings. Routledge. 
Ayers, D.F., 2011. A Critical Realist Orientation To Learner Needs. Adult Education Quarterly, 61(4), Pp. 341‐357. 
Bhaskar, R., 2009. Scientific Realism And Human Emancipation. Routledge. 
Bhaskar, R., 2008. A Realist Theory Of Science. Taylor & Francis. 
Biggs, J. And Tang, C., 2011. Teaching For Quality Learning At University. Mcgraw‐Hill International. 
Chiasson, P., 2005. Abduction As An Aspect Of Retroduction. Semiotica, 2005(153‐1/4), Pp. 223‐242. 
Clegg*, S., 2005. Evidence‐Based Practice In Educational Research: A Critical Realist Critique Of Systematic Review. British 
Journal Of Sociology Of Education, 26(3), Pp. 415‐428. 
Cummins, J., 2003. Challenging The Construction Of Difference As Deficit: Where Are Identity, Intellect, Imagination, And 
Power In The New Regime Of Truth? Pedagogies Of Difference, , Pp. 39‐48. 
Danermark, B., 2002. Explaining Society: Critical Realism In The Social Sciences. Psychology Press. 
Ebner, M., Lienhardt, C., Rohs, M. And Meyer, I., 2010. Microblogs In Higher Education–A Chance To Facilitate Informal And 
Process‐Oriented Learning? Computers & Education, 55(1), Pp. 92‐100. 
Entwistle, N. And Waterston, S., 1988. Approaches To Studying And Levels Of Processing In University Students. British 
Journal Of Educational Psychology, 58(3), Pp. 258‐265. 
Foucault, M., 2008. The Birth Of Biopolitics. Lectures At The College De France 1978–79. Pod Redakcją M. Senellarta, F. 
Ewalda I A. Fontany. Przełożył G. Burchell.  
Gerbic, P., 2010. Getting The Blend Right In New Learning Environments: A Complementary Approach To Online 
Discussions. Education And Information Technologies, 15(2), Pp. 125‐137. 
Hattie, J., 2013. Visible Learning: A Synthesis Of Over 800 Meta‐Analyses Relating To Achievement. Routledge. 

666
 
Thomas Kjærgaard and Elsebeth Korsgaard Sorensen 

Herrington, J., Mckenney, S., Reeves, T. And Oliver, R., 2007. Design‐Based Research And Doctoral Students: Guidelines For 
Preparing A Dissertation Proposal.  
Kjærgaard, T. And Sorensen, E.K., 2014. Qualifying The Quantified Self ‐ A Study Of Conscious Learning, Icel 2014, June 
2014. 
Kontos, P.C. And Poland, B.D., 2009. Mapping New Theoretical And Methodological Terrain For Knowledge Translation: 
Contributions From Critical Realism And The Arts. Implementation Science, 4(1), Pp. 1‐10. 
Larsen, M.C., 2007. Understanding Social Networking: On Young People’s Construction And Co‐Construction Of Identity 
Online. Internet Research, 8. 
Offir, B., Lev, Y. And Bezalel, R., 2008. Surface And Deep Learning Processes In Distance Education: Synchronous Versus 
Asynchronous Systems. Computers & Education, 51(3), Pp. 1172‐1183. 
Peirce, C.S., 1998. The Essential Peirce: Selected Philosophical Writings. Indiana University Press. 
Rogers, E.M., 2010. Diffusion Of Innovations. Simon And Schuster. 
Salmon, G., 2013. E‐Tivities. Routledge. 
Salmon, G., 2012. E‐Moderating: The Key To Online Teaching And Learning. Routledge. 
Sayer, A., 1992. Method In Social Science: A Realist Approach. Psychology Press. 
Scott, D., 2013. Education, Epistemology And Critical Realism. Routledge. 
Scott, D., 2005. Critical Realism And Empirical Research Methods In Education. Journal Of Philosophy Of Education, 39(4), 
Pp. 633‐646. 
Wenger, E., 1998. Communities Of Practice: Learning, Meaning, And Identity. Cambridge University Press. 
Wenger, E., White, N. And Smith, J.D., 2009. Digital Habitats: Stewarding Technology For Communities. Cpsquare. 
 

667
Fuzzy Expert System as a Personalized Guide Through Educational 
Exhibition 
Lukas Najbrt 
University of Ostrava, Ostrava, Czech Republic 
lukas.najbrt@osu.cz 
 
Abstract: The development of information and communication technologies in recent decades has been very stormy. One 
of the current trends is the field of personalization, that is adaptation to a specific user. This trend goes hand in hand with 
the growth of the performance and miniaturization of devices which allows for the development of education fields such as 
mobile learning (m‐learning). One example of using m‐learning is a personalized guide through an educational exhibition. A 
museum, art gallery, zoological or botanical garden or even a technological park, all these can be perceived as educational 
exhibitions.  When  we  desire  to  tour  such  an  exhibition  in  the  most  educationally  beneficial  way,  we  can  ask  a  guide  to 
prepare  a  tailored  tour  according  to  our  needs,  such  as  depth  of  our  interests,  our  knowledge,  purpose  for  our  tour  or 
other provided information. Modern mobile devices (smartphones, tablets) are ideal tools to use as virtual guides through 
educational exhibitions. They allow a personalized approach to the visitors (each visitor controls his/her own device), they 
can present not only text, but also sound and moving images and using wireless technology, they can communicate with a 
control server and can navigate through the exhibition. The paper describes the model of such a virtual guide using a fuzzy 
expert system. It's purpose is to replace the physical exhibition guide. Based on an initial analysis of a visitor, the virtual 
guide proposes a tour through the exhibition so that it brings the visitor the maximal educational benefit while at the same 
time offers information about the displayed exhibits in such a way that is most  comprehensible. A fuzzy expert system is 
used for reasons of better and simpler communication with the visitor. Fuzzy logic allows handling of conceptual vagueness 
in the visitor's responses to the system's queries and also allows the use of fuzzy borders between different categories of 
visitors. The output is a tour route proposal adapted to practically any visitor. The aim of the virtual guide is to function in 
an  environment  of  a  real  (physical)  exhibition.  First,  however,  to  ensure  better  system  diagnostics,  the  whole  system 
should  be  tested  in  an  environment  of  a  virtual  museum  on  the  Internet.  The  testing  involves  not  only  the  system's 
functionality, but also the educational benefits of such a guide.  
 
Keywords: information and communication technology (ICT), museum, virtual museum (VM), virtual guide, 
personalization, visitor, exhibit, m‐learning, fuzzy expert system 

1. Introduction 
Nowadays we live in the era of education. This era is characterized by two facts. First, education is no longer 
the exclusive domain of the school and second, education does not have to be completed during one's youth. 
Moreover,  the  development  of  society  requires  (and  allows)  education  throughout  one's  lifetime  and  gives 
more room to institutions outside the official education system. This interest in formal and informal forms of 
education and learning is also reflected in the broader understanding of museum functions.  
 
According  to  Alexander  "A  museum  is  an  institution  that  cares  for  (conserves)  a  collection  of  artifacts  and 
other  objects  of  scientific,  artistic,  cultural,  or  historical  importance  and  makes  them  available  for  public 
viewing  through  exhibits  that  may  be  permanent  or  temporary"  (Alexander  2008).  This  definition  is  already 
insufficient since the educational function of a museum is at least as important as its other functions. After all, 
this  view  is  also  supported  in  the  definition  of  a  museum  by  ICOM  (International  Council  of  Museum, 
established  1946,  resides  in  Paris,  it  is  an  international  professional  organization  with  a  status  of  UNESCO 
consultant):  “Museum  is  a  non‐profit,  permanent  institution  in  the  service  of  society  and  its  development, 
open  to  the  public,  which  acquires,  conserves,  researches,  communicates  and  exhibits  the  tangible  and 
intangible heritage of humanity and its environment for the purposes of education, study and enjoyment”. 
 
Museum provides services in the areas of formal, non‐formal and informal learning. While formal education is 
in  traditional  educational  institutions  under  the  supervision  of  a  qualified  teacher  and  museum  here  can 
participate  in  most  informal  education  takes  place  outside  component  of  the  educational  system  under  the 
supervision of a professional instructor, teacher or trained leader and the museum there may be significantly 
involved.  This  is  a  different  one‐off  courses,  workshops,  lectures  and  discussions.  This  includes  but  less 
traditional  activities  such  as guided  tours, animation programs  for  the   public,  suburban camps  organized  in 
collaboration with the museum or school activities at the museum. Informal learning is in contrast to formal 
and non‐formal education unorganized, generally systematic and institutionally coordinated. 

668
 
Lukas Najbrt 

If  we  consider  the  area  of  informal  learning,  that  is,  the  area  where  a  museum  provides  the  majority  of  its 
educational  services,  we  find  that  in  order  to  maximize  the  educational  benefit  of  these  services,  the 
information provided needs to be in a form which is comprehensible, acceptable and, not least, interesting to 
the  visitor.  Probably  the  most  competent  body  in  the  museum,  which  best  mediates  learning  is  a  trained 
specialist, who is able to communicate with different groups and types of visitors of the exhibition. He should 
be able to suitably interpret and didactically communicate the contents of the exhibits. Not all the exhibits in 
the exhibition are in fact trivial and easy to understand. However, for personal or even financial reasons, this 
method of direct facilitation is usually not possible. It is therefore necessary to proceed to indirect facilitation, 
which provides a scope for modern devices of information and communication technologies. 
 
While previously the indirect facilitation was firmly incorporated in the design of the exhibition (that is,  the 
selection of a suitable topic from the exhibition, its conception, its organization, the accompanying elements in 
the  form  of  models,  information  panels,  study  corners  or  printed  guides),  with  the  advent  of  modern 
information  and  communication  technologies  there  are  emerging  new  devices  such  as  audio  guides, 
information kiosks, electronic pocket guides, mobile applications or robotic guides. These devices allow for a 
more  flexible  response  to  the  wishes  and  needs  of  the  visitors  and  can  serve  a  wider  range  of  visitor 
categories.  The  presented  personalized  guide  through  a  museum  exhibition,  called  the  Virtual  Guide,  is  a 
modern means of indirect facilitation. Using a smart mobile device, such as a tablet or smartphone, the Virtual 
Guide allows the visitor to tour the exhibition in a way that corresponds with his individual needs concerning 
the presented exhibits and the level of presented information and moreover brings educational benefit. After 
this application is downloaded into the visitor's mobile device, it determines the type of visitor based on an 
initial questionnaire and then offers a suitable tour route with appropriate information about the exhibits in a 
way that is the most comprehensible, acceptable and interesting for the visitor. 
 
The control system of the Virtual Guide is based on a fuzzy expert system. Fuzzy logic was chosen in order to 
better facilitate the evaluation of the communication with the visitor, since fuzzy logic works with conceptual 
vagueness in the visitor's answers to the system's queries and it also accepts fuzzy borders in the categories of 
visitors.  The project we want to test the functionality of a Virtual Guide in a virtual museum on the Internet. 
After  creating and  testing  the  virtual  guide  in  a  virtual  museum,  the  software  will  be  transferred  into  a  real 
museum with the aim of finding answers to the following questions: 
ƒ Question 1: Does guided tour have more educational benefits to the visitor than an unguided tour? 
ƒ Question 2: Will a model created and tested in a virtual environment run properly in a real museum? 
2. Resources 
In his book “Visiting with a 'personal' touch” (Fantoni 2002)  Fantoni provides a comparison of several  means 
of indirect facilitation used in museum exhibitions. 
Table Error! No sequence specified.: Adaptability of aids for visitors 
Adaptive  Audio Tours  Touch screen  Books 
  Tape Tours  Museum Layout
guides  Random/access  kiosk  Brochures 
Location  Mobile  Mobile  Mobile  Fixed  Mobile  Fixed 
Interactivity  Push and Pull  Pull only  Push only  Push only  Not interactive  Not interactive
Choice‐based  Choice‐based 
Customisability  Adaptivity  No  No  No 
personalization  personalization 
Multiple tours  Multiple tours  Multiple tours 
Flexibility  with the same  with the same  No  with the same  No  No 
equipment  equipment  equipment 
Content  Flexible  Flexible  Fixed  Flexible  Fixed  Fixed 
One language  One language 
Multilinguality  Yes  Yes  Yes  No 
at the time  at the time 
Expensive; 
Different 
Localization  Need to enter  Isolated, Must be 
tapes; Forced 
Constraints  systems: GPS,  codes; Localization  programmed  Cheap  Expensive 
pacing; Small 
IR sensors,  systems  separately. 
info storage 
etc. 

669
 
Lukas Najbrt 

In museum practice, printed brochures and audio guides are the most common. As table 1 shows, these are 
adaptable,  but  cannot  be  flexible  and  are  not  very  appealing  to  the  visitors.  Other  frequently  used  aids  in 
expositions are touch screen kiosks. They can serve as a complement to the exhibit or even represent it. The 
main  disadvantages  of  kiosks  are  their  isolation  from  other  devices  (each  one  requires  individual 
programming) and impossibility to automatically adapt to a visitor. 
 
The most customized device for the visitor seems to be a virtual guide (adaptive guide). For that reason we 
focused our attention on a virtual guide when developing a personalized system. A similar system was studied 
in  2006  by  Bartneck  and  his  team  (Bartneck  2007).  Their  system  worked  on  palm  devices  (handheld 
computers,  forerunners  of  today’s  smartphone).  Even  in  its  time,  this  system  was  effective  and  it  can  be 
concluded that with the use of modern technology it will be even more. 
 
We drew some inspiration from projects dealing with e‐learning personalization based on the learning styles of 
students  (Kostolányová  et  al.  2012).  The  work  deals  with  the  most  appropriate  form  of  provided  learning 
material based on user characteristics. 

 
Figure Error! No sequence specified.: Model of adaptive learning environment (Kostolányová et al. 2012) 
(DMA, DMU, DMS = data mining from author, teacher, student) 
 
In order to create a useful and effective museum exhibition, all its creators, designers and curators have to be 
well  acquainted  with  the  target  group.  Without  understanding  the  target  audience  the  exhibition  cannot 
succeed because it will not be able to communicate with and foster the interest of visitors. The spectrum of 
museum  visitors  is  very  diverse  and  there  is  no  general  and  universal  classification.  Visitors,  however,  have 
some common features upon which we can build our categorization: 
ƒ socio‐demographic characteristics: age, sex, occupation, education, the type of community the resident is 
from, local or non‐local residents; 
ƒ museological characteristics: motivation for the visit (professional, informational), knowledge of the topic, 
potential of the tour to engage; 
ƒ range characteristics: individual visitor, (various types of) groups of museum visitors, frequency of visits, 
timescale of museum visit; 
ƒ psychological  or  physiological  characteristics:  reception,  intelligential,  memory,  imaginative,  visual, 
auditive, motoric. 
The following table shows different approaches to visitor categorization based on various criteria. 
Table2: Examples of visitor categories listed by given criteria 
Visitors’ differences  Examples 
Imaginative = learn by listening and sharing and prefer interpretation that 
encourages social interaction 
Learning styles (McCarthy) 
Analytical = prefer interpretation that provides facts and sequential ideas 
(McCarthy 2006) 
Common Sense = like to try out theories and discover things for themselves 
Experiential = learn by imaginative trial and error 
Learning styles (Gardner)  Linguistic = written material 

670
 
Lukas Najbrt 

Visitors’ differences  Examples 
(Gardner 1999)  Logical‐mathematical = diagrams, schemes 
Spacial = maps 
Musical = audio, music 
Bodily =  manipulation 
Interpersonal = social context 
Intrapersonal = alone 
Ant = interest in all objects following the curator’s path 
Visiting styles (Veron and 
Fish = holistic view 
Levasseur) 
Butterfly = interest in all objects without following a specific path 
(Veron and Levasseur 1991) 
Grasshopper = interest only in specific objects 
Experts 
Students 
Level of expertise 
Tourists 
Children 
Historical 
Artistic 
Type of interest  Technical 
Scientific 
Aesthetic, etc 
Individual Visitor 
Group of students/children 
Social Context  Family 
Couple (adults) 
Couple (adult‐child) 
Local 
European 
Origin 
American 
Asian 
In  the  proposed  system  of  the  Virtual  Guide  the  entire  range  of  group  or  family  visitors  can  be  omitted 
because the Virtual Guide is a personalized system running on the devices of individuals, therefore this greatly 
simplifies  categorization.  Among  other  characteristics  the  most  interesting  for  our  purposes  are  socio‐
demographic  and  museological.    It  certainly  would  be  interesting  to  also  incorporate  psychological  and 
physiological  characteristics,  such  as  learning  styles.  Nevertheless,  after  careful  consideration  these 
characteristics were omitted due to excessive requirements for their implementation. However, the idea that 
each exhibit features accompanying information respecting different learning styles is appealing and may be 
implemented in the long run. 
 
When  creating  categories  of  visitors  another  question  emerges:  How  strict  are  the  borders  between 
categories? Take for example the category of age. If you divide the visitors into two categories 6‐12 years and 
12‐18 years, does that mean that if one visitor is 11.5 years old and another 12.2 years old while all their other 
characteristics match, they should be offered a different tour route of the exhibition? Is it not more logical to 
expect blending of different categories? Therefore, it is better to use a system for creating the Virtual Guide 
that  allows  such  blending.  One  option  is  a  system  based  on  fuzzy  logic.  The  theory  of  fuzzy  logic  systems  is 
inspired  by  the  remarkable  human  capacity  to  reason  with  perception‐based  information.  Rule  based  fuzzy 
logic  provides  a  formal  methodology  for  linguistic  rules  resulting  from  reasoning  and  decision  making  with 
uncertain  and  imprecise  information.  In  the  fuzzy  logic  control  inputs  are  processed  in  three  steps 
(Fuzzification, Inference and Defuzzification). 

 
Figure 2: Fuzzy logic control steps 
In  the  fuzzification  block  one  defines  for  example  fuzzy  set  A  in  a  universe  of  discourse  X  defined  by  its 
membership function µA(x) for each x representing the degree of membership of x in X. In fuzzy logic control, 
membership  functions  assigned  with  linguistic  variables  are  used  to  fuzzify  physical  quantities.  Next,  in  the 
inference block, fuzzified inputs are inferred to a fuzzy rules base. This rules base is used to characterize the 

671
 
Lukas Najbrt 

relationship between fuzzy inputs and fuzzy outputs. For example, a simple fuzzy control rule relating input v 
to output u might be expressed in the condition‐action form as follows,  
 
IF v is W then u is Y 
 
where W and Y are fuzzy values defined on the universes of v and u, respectively. The response of each fuzzy 
rule is weighted according to the degree of membership of its input conditions. The inference engine provides 
a  set  of  control  actions  according  to  fuzzified  inputs.  Since  the  control  actions  are  in  fuzzy  sense.  Hence,  a 
deffuzification  method  is  required  to  transform  fuzzy  control  actions  into  a  crisp  value  of  the  fuzzy  logic 
controller. A survey was performed in order to find an already existing fuzzy logic solution for a virtual guide, 
but there does not seem to be any. In museums fuzzy logic is used in artificial intelligence (AI) systems, such as 
a system for automatic classification of exhibits (Kamal, 2012) or image information retrieval (Brown, 2013). 
Another interesting area of application of fuzzy logic in museums which could be related to the topic of the 
Virtual  Guide  is  a  robotic  guide  through  exhibition.  Nevertheless,  fuzzy  logic  in  this  case  is  used  to  control 
movement and orientation in the exhibition space (Batista, 2013), (Abdessmed, 2013). 
 
So far we have only dealt with visitors to a museum, but what would a museum be without exhibits? That, of 
course,  leads  to  another  question:  How  to  approach  the  implementation  of  exhibits  into  the  Virtual  Guide 
system? According to the recognized Czech museologist Josef Beneš (Beneš, 1981) an exhibit is “an element of 
a system (exhibition)”. It is characterized by form and by content. Form is a physical type (expression) of the 
exhibit and content is information about the exhibit in the context of the exhibition. There are various exhibits 
in  the  exhibition.  Exhibits,  as  well  as  visitors,  posses  certain  characteristics.  For  the  proposed  system  an 
extended and amended categorization based on the original categorization by Beneš was used: 
ƒ original 3D object, 
ƒ 3D model, 
ƒ 2D model (graph, diagram), 
ƒ still image (photograph, print/replica, graphics), 
ƒ moving image (film, video), 
ƒ audio (music, sound, recording), 
ƒ text (texts, symbols, tables, formulas), 
ƒ multimedia, 
ƒ game (Beneš, 1981). 
The result is that the museum exhibition is treated as a linear tour of exhibits (the sequence of the exhibits is 
designated by the curator or the organizer of the exhibition). Based on an analysis of the visitor, the system 
will choose an exhibit and display it on the visitor's mobile device and will also recommend another suitable 
exhibit.  
3. Methods 
Virtual Guide should function as a tool for informal learning. Let's look at the characteristics of such learning by 
S. E. Eaton: 
 
1. Informal learning is never organized. 
2. Informal learners are often highly motivated to learn. 
3. Informal learning is often spontaneous. 
4. There is no formal curriculum. 
5. The “teacher” is someone who cares – and who has more experience than the learner. 
6. The world is your classroom 
7. Informal learning is difficult to quantify. 
8. Often dismissed by academics and skeptics as being worthless. 
9. Essential to a child’s early development. 
10. Essential to an adult’s lifelong learning. (Eaton, 2012) 

672
 
Lukas Najbrt 

From these characteristics suggests design of "virtual guide". It is a personal assistant on a tour of a museum 
exhibition.  It  does  not  serve  as  a  guide  only  to  help  mediate  a  visitor  contact  with  exposure.  It  is  up  to  the 
visitor, if s/he will follow the proposals of "virtual guide". Its aim is to attract visitors, inform them and educate 
in informal way also. It is important to provide a personalized service to the user, that need to be personalized.  
Based on the visitor's characteristics it will recommend a  suitable tour route through the exhibition and will 
deliver the appropriate information about the currently viewed exhibit.  

 
Figure 3: The concept of the virtual guide 
Step 1: The visitor coming into the exhibition space downloads the Virtual Guide application. It is assumed that 
a visitor who does not want to or is not able to install the application on his device will be able to borrow a 
smart portable device directly at the museum.  
Step 2: The visitor fills out the form on the device screen. 
Step  3:  Based  on  the  results  obtained  from  the  form,  the  expert  system  determines  the  type  of  visitor  and 
offers a suitable tour route.  
Step 4: The visitor views the exhibits and the system delivers the necessary information (content) on a level 
suitable for his understanding, and thus efficient for him. The system only recommends the tour route, it is up 
to  the  visitor  to  accept  its  recommendation.  In  the  same  way,  the  visitor  can  also  change  the  level  of  the 
provided information. 
Step 5: After the exhibition tour the visitor can leave comments and evaluation of the exhibition. The visitor 
can terminate the exhibition tour anytime. 
Step 6: The system collects information about the actual tour route for further evaluation. 
 
Visitor 
 
Categories  of  visitors  have  to  be  created  for  the  proposed  system.  These  categories  are  based  on  socio‐
demographic, museological and range characteristics of the visitors. The data required for the categorization 
will be obtained from a questionnaire filled out by the visitor prior to the exhibition tour. We are interested in 
these categories: age of the visitor, expertise (how deep is his knowledge about the exhibition topic) and the 
purpose  of  the  visit  (how  serious  is  his  interest  in  the  exhibition,  how  long  does  he  plan  to  stay).  The 
advantage of the fuzzy system is that it can work with vague answers from the visitors. The system is able to 
work  with  answers  containing  the  words  like  almost,  a  little  more  than  or  likely.  This  allows  the  visitor  to 
communicate better with the system (Does the visitor regard himself an expert or a layman? Is he something 
in between? Or is he almost an expert?). 
 
Exhibit 
 
The exhibits in the exhibition are categorized based on their physical form into these categories – original 3D 
objects, 3D models, 2D models (graphs, diagrams), still images (photograph, print/replica, graphics), moving 
images  (film,  video),  audio  (music,  sound,  sound  recording),  text  (texts,  symbols,  tables,  formulas), 
multimedia  and  games.  Each  exhibit  is  assigned  content  (information  layer)  in  three  levels  of  intelligibility. 
Different content (information) is needed by a child and different by an expert. This way every visitor should 
get adequate information about the viewed exhibit. 
 

673
 
Lukas Najbrt 

Tour route 
 
The tour route is given in advance. It is a linear tour route which is set when creating the exhibition and thus 
respects the logic of the exhibition tour. The expert system only suggests to the visitor which exhibits are less 
important to him and therefore can be left out.   

 
Figure 4: Tour route 
There is one more type of exhibit regarded as significant. A significant exhibit will always be included in the 
tour  route  by  the  system  as  important,  regardless  of  its  type.  These  exhibits  are  fundamental  to  the  visited 
exhibition and it is therefore necessary for the visitor to view them.  
 
The control fuzzy expert system 
 
The inputs to the control fuzzy expert system (FES) are categories of visitors. The outputs are then the level of 
content (information layer) and the weights for individual types of exhibits. Therefore, the system based on 
the  categorization  of  the  visitor  determines  the  most  suitable  exhibits  in  the  tour  and  sets  the  appropriate 
level of content for him.  
VYK
WOO
VEK WPM
WG
FUN
FM WSO
WV
WA
ZAM WT
WMM
WH
 
Figure 5: Inputs and outputs of the FES 
In Figure 5 on the left you can see the inputs (antecedents) – VEK, FUN, ZAM of the fuzzy module (FM) of the 
expert  system.  On  the  right  there  are  the  outputs  (consequents)  –  level  of  content  (VYK)  and  weights  for 
individual types of exhibits (WOO, WPM, …, WH). 
 
The age of the visitor is represented by a linguistic variable VEK with values – low (NIZ), medium (STR) and high 
(VYS). The expertise of the visitor is represented by a linguistic variable FUN with values – low (NIZ), medium 
(STR) and deep (HLU). The purpose of the visit is represented by a linguistic variable ZAM with values – fast 
tour (RP), basic tour (ZP) and detailed tour (PP). 
 
The output linguistic variables and their values: 
 
Commentary (VYK)      simple (JED) – medium (STN) – sophisticated (NAR) 

674
 
Lukas Najbrt 

Weight of 3D object (WOO)    minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of 3D model (WPM)    minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of 2D model (WG)     minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of still image (WSO)    minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of moving image (WV)    minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of audio recording (WA)    minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of text (WT)      minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of multimedia (WMM)    minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
Weight of game (WH)      minimal (Z1) – low (Z2) – higher (Z3) – high (Z4) 
 
The FES has 27 rules for the inference phase. These rules describe which exhibits are suitable for what visitor 
and what is the appropriate level of the exhibit content for that given visitor. Below is an example of one of 
the rules: 
 
1. If (VEK is NIZ) and (FUN is NIZ) and (ZAM is RP1) then (VYK is JED)(WOO is Z2)(WPM is Z2)(WG is Z1)(WSO is 
Z2)(WV is Z2)(WA is Z2)(WT is Z1)(WMM is Z3)(WH is Z4). 
 
After defuzzification of the inference phase results we receive a recommendation of one of the three levels of 
the exhibit content (information layers) and the value of the weights for each types of exhibits. The higher the 
exhibit weight, the more important is that exhibit to the visitor.  
 
Verification of the educational benefit 
 
It  is  crucial  for  the  entire  Virtual  Guide  to  focus  on  education.  Therefore,  we  need  to  verify  that  the  whole 
system works as intended and that the rules controlling the system are correct. The question is how to prove 
the educational benefits of informal learning tool. 
 
We  decided  to  verify  the  system  on  the  Internet.  This  environment  provides  a  simple  way  to  collect  and 
analyze data during the exposure visit. In order to do that we have created a virtual museum of media and will 
carry  out  the  validation  phase  of  the  system  development  in  this  museum.  There  are  two  versions  of  the 
virtual exhibition tour. First, the guided tour, where the visitor is navigated by the Virtual Guide. Second, the 
unguided  tour,  where  the  guide  does  not  offer  any  tour  suggestions  and  the  visitor  moves  through  the 
exhibition  on  his  own.  These  versions  will  be  used  for  testing  homogeneous  groups  (preferably  elementary 
students, high school students, university students or students of a university of the 3rd age). 
 
The test group will first fill out a pretest on the toured exhibition topic. Then, there will be time for the actual 
virtual exhibition tour. Half of the group will have the guided tour, while the other half the unguided tour. The 
selection of the visitors will be random. After the assigned amount of time for the tour expires, the visitors will 
fill out a posttest. By comparing the results of both groups we will verify the educational benefit of the system. 

 
Figure 6: Diagram of the guided tour 
4. Results 
Currently/Nowadays, the "virtual guide" system is designed and incorporated into the virtual museum. Testing 
of the system functionality  was done and minor problems were augmented. Variants of exposure to test the 
educational effect was created. Unfortunately, at the time of preparation of this paper the actual testing on 
visitors has not yet started, so we do not have data to validate or refute hypotheses Q1. At the same time we 

675
 
Lukas Najbrt 

are working on the inclusion of "virtual guide" to the real museum exhibition. Design of application for smart 
devices is ready, and we are dealing with a potential client about installing virtual guide to his exposure. 

5. Conclusion 
One of the museum missions is to educate its visitors. The main area where museum education is applicable is 
informal learning. In order to ensure the maximal effect on the visitor, it is necessary to make the exhibition 
tour  comprehensible,  inspiring  and  entertaining  for  the  visitor.  However,  there  is  a  wide  range  of  museum 
visitors  and  therefore  the  exhibition  tour  should  somehow  be  facilitated.  The  ideal,  but  feasible  only  on  a 
small‐scale, is direct facilitation by a museum specialist trained to communicate with various groups and types 
of  exhibition  visitors.  Nevertheless,  for  either  personal  or  financial  reasons  this  way  of  direct  facilitation  is 
usually  not  possible.  It  is  therefore  necessary  to  proceed  to  indirect  facilitation  which  provides  a  scope  for 
modern devices of information and communication technologies. The presented personalized guide through 
museum exhibition called Virtual Guide is a modern means of indirect facilitation. Using a smart mobile device 
the Virtual Guide allows the visitor to tour the exhibition in a way that corresponds with his individual needs 
concerning  the  presented  exhibits  and  the  level  of  presented  information  and  moreover  brings  educational 
benefit. The control system of the Virtual Guide is based on a fuzzy expert system in order to better facilitate 
the evaluation of the communication with the visitor. 
 
Completing  the  system  consists  of  creating  categories  of  visitors,  categorization  of  the  types  of  museum 
exhibits  and  creation  of  the  three  levels  of  content  (information  layers)  for  each  exhibit.  The  control  fuzzy 
expert  system  works  with  27  rules.  Based  on  these  rules  the  system  recommends  to  the  visitor  the  most 
suitable exhibits in the exhibition tour and sets an appropriate level of content for the individual exhibits. he 
entire  system  will  be  first  tested  in  a  virtual  museum  where  it  will  be  debugged.  After  verification  of  its 
educational functionality, it will be deployed in an environment of a real museum where it will operate as an 
application  for  a  smart  phone.  This  project  differs  from  other  similar  projects  mainly  because  it  is  primarily 
designed  to  educate  the  visitors  of  the  exhibition.  Therefore,  one  major  question  arises:  Will  the  system  of 
Virtual Guide really have an educational benefit for the visitor? 
 
This question is addressed in the testing phase of the whole system in an environment of a virtual museum. 
There will be two tested groups. The first group will browse the pages of the virtual museum on their own. The 
second group will be guided by the Virtual Guide. Based on the compared results of the pretest and posttest 
and  other  data  acquired  from  the  records  of  individual  visitor  tour  routes,  the  educational  benefit  of  the 
Virtual Guide will be evaluated. We assume that the experiment will be successful. The system should not only 
shorten the total time spent viewing the exhibition, but also, by selecting the appropriate information layer, 
present the visitor with adequate information (comprehensible and detailed enough for the individual visitor). 
References  
Abdessmed, F., Faisal, M., Emmadeddine, R., Hedjar, K., Al‐Mutib, M., Alsulaiman M. and Mathkour H.  (2014 )„A 
Hierarchical Fuzzy Control Design for Indoor Mobile Robot“. International Journal of Advanced Robotic Systems., roč. 
11, s. 1‐16. DOI: 10.5772/57434.  
Alexander et al (2008) Museums in motion: an introduction to the history and functions of museums, Rowman & Littlefield. 
Bartneck et al (2006) "The Learning Experience with Electronic Museum Guide" Psychology of Aesthetics, Creativity, and 
the Arts, (0)1, pp 18 ‐ 25.  
Batista, M. and Romero, R. (2013) „Decision making for a delivery robot through a fuzzy systém“. RITA., vol 2, no 20.  
Beneš, J. (1981) Kulturně výchovná činnost muzeí: Část textová, Díl 1, SPN, Praha. 
Brown, S., Croft, D., Shell, J., Von Lünen, A. and Coupland, S, (2013) “Where Are the Pictures? Linking Photographic Records 
across Collections Using Fuzzy Logic“ MWA2013: Museums and the Web ASIA  
Eaton, S. E. (2012) “10 Characteristics of Informal Learning”. Literacy, Languages and Leadership [online]. 
http://drsaraheaton.wordpress.com/2012/02/28/characteristics‐informal‐learning/ 
Filippini Fantoni, S. (2002) Visiting with a “personal” touch: A guide to personalization in museums, Maastricht McLuhan 
Institute – International Institute of Infonomics. 
Gardner, H. (1999) Dimenze Myšlení: Teorie Rozmanitých Inteligenci, Portál, Print, Praha. 
Kostolányová, K., Šarmanová, J. and Takácz, O. (2012) "Adaptive Form of eLearning", ICTE journal. No 2, vol 1, pp 55 ‐ 67. 
McCarthy, B. and McCarthy, D.(2006) Teaching Around the 4MAT Cycle: Designing Instruction for Diverse Learners with 
Diverse Learning Styles, Thousand Oaks, Corwin Press, California, USA. 
Kamal, S., Farhana Nimmy, S. and Chowdhury, L. (2012) “Fuzzy Logic over Ontological Annotation and Classification for 
Spatial Feature Extraction“, International Journal of Computer Applications. 41(6):18‐22 
Véron, E. and Levasseur, M. (1991) "Etnographie de l’exposition: l’espace, le corps et le sens", BPI Centre George 
Pompidou, Paris. 

676
 Masters
Research
paper

677
678
Evaluation of Students’ Satisfaction and Attitudes Toward Blended 
Learning in Medical Education: A Survey in Randomized Controlled 
Trial Course 
Qian Liu, Rong Hu, Xingxin Zhan and Weirong Yan 
Tongji Medical College, Huazhong University of Science and Technology, Wuhan, China 
liuqian.epi@gmail.com 
cherryaries@163.com 
xingxinzhan@gmail.com 
weirongy@gmai.com 

Abstract: Background: E‐learning has been widely carried out in higher education, but it also has some drawbacks, such as 
requirements of self‐learning initiative and computer skills, and sense of isolation. In previous years, many researchers put 
forward blended learning, the mixture of e‐learning and face‐to‐face learning, taking advantages of both learning modes. 
Now blended learning has grown rapidly in education, but it is at the preliminary stage of exploration, and there is a lack of 
studies  that  have  examined  the  satisfaction  with  blended  learning.  Objective:  To  evaluate  medical  students’  satisfaction 
and  attitudes  toward  blended  learning  compared  with  previous  traditional  learning  in  medical  education.  Methods:  The 
randomized  controlled  trial  course  lasted  two  weeks  and  included  three  parts:  1)  slides,  videos,  further  reading  and 
discussion  forum  on  Moodle  interactive  platform  for  e‐learning;  2)  contact  session  with  local  tutors,  including  questions 
answering  and  works  on  protocol;  3)  face‐to‐face  lectures  and  comments  on  protocol  from  a  professor.  A  total  of  27 
medical  students  from  Tongji  Medical  College  of  Huazhong  University  of  Science  &  Technology  voluntarily  took  full 
participation in the course. After the course, questionnaire survey on satisfaction and attitudes was conducted via e‐mail. 
Results:  The  response  rate  was  96.3%  (26/27).  Of  all  the  respondents,  92.3%  (24/26)  were  satisfied  with  the  blended 
learning mode. Compared with previous traditional learning experience, 100% of the respondents believed that blended 
learning  is  more  helpful  and  that  they  had  better  access  to  the  learning  materials  and  greater  independence  in  study, 
84.6%  (22/26)  thought  their  motivation  was  improved,  92.3%  (24/26)  believed  their  involvement  with  the  course  was 
increased,  73.1%  (19/26)  felt  more  in  control  of  their  learning,  88.5%  (23/26)  thought  learning  was  more  efficient. 
Moreover, 65.4% (17/26) were happy with the current mixture of e‐learning and face‐to‐face contact time. Conclusions: 
Our  results  suggest  that  most  of  the  medical  students  are  satisfied  with  blended  learning  and  that  blended  learning  is 
better  and  more  helpful  than  both  traditional  face‐to‐face  learning  and  e‐learning.  Blended  learning  is  promising  and 
worthwhile for further application in medical education in China.   

Keywords: blended learning; students; satisfaction; attitudes; medical education 

1. Introduction
Nowadays, with the progress of information and communication technologies (ICT), healthcare and laboratory 
medicine  has  been  influenced  greatly,  at  the  same  time  the  computer  and  Internet  is  increasingly  used  in 
medical education (Choules, 2007, Ellaway and Masters, 2008). E‐learning is emerging as the new paradigm of 
medical  education  (Bediang et  al.,  2013,  Sun  et  al., 2008),  as  it can  not  only help us  transcend geographical 
boundaries and time zones (Choules, 2007), but also keep pace with updated information (Yu and Yang, 2006, 
Peng  et  al.,  2014).  Massachusetts  Institute  of  Technology  is  trying  to  offer  all  its  courses  online,  which  has 
implied  the  strategic  importance  of  integrating  e‐learning  into  education(Wu  et  al.,  2006).  However,  it  also 
suffers from some drawbacks such as high initial costs for preparing multimedia content materials, substantial 
costs for system maintenance and students’ feelings of isolation in virtual environment (Wu et al., 2010, Hara, 
2000). In addition, student satisfaction and effectiveness for e‐learning has also been questioned (Piccoli et al., 
2001, Santhanam, 2008). 

In recent years, blended learning, the mixture of e‐learning and face‐to‐face learning, has been presented as a 
promising alternative learning approach to relieve the aforementioned problems, since it is characterized as 
maximizing the advantages of traditional learning and e‐learning(Wu et al., 2010). It is claimed that blended 
learning has grown rapidly and is predicted to become the ‘new traditional model’ in education and training 
(Graham,  2013).    However,  blended  learning  is  at  the  preliminary  stage  of  exploration.  There  is  a  lack  of 
studies that have examined the satisfaction with blended learning(Wu et al., 2010). 

Generally,  learning  outcomes  can  be  measured  in  two  domains‐‐‐cognitive  domain  and  affective  domain. 
Learning  outcomes  in  cognitive  domain  refers  to  academic  performance  measuring  learners’  ability  to 

679
 Qian Liu et al. 

remember and apply knowledge, the affective domain involves learners’ attitudes, appreciations, values, and 
emotions.  And  satisfaction  is  an  important  measure  of  learning  in  the  affective  domain.  Additionally, 
satisfaction has been a critical indicator of evaluation in corporate training and higher education (So, 2009). In 
addition,  it  was  argued  in  previous  study  that  learner  satisfaction  should  be  the  first  level  of  evaluation  to 
determine the effectiveness and future improvement of training programs(Kirkpatrick, 1975). 

With the opportunity to carry out Asian Regional Capacity Development for Research on Social Determinants 
of  Health  (ARCADE‐RSDH)  project  funded  by  the  European  Commission’s  Seventh  Framework  Program,  we 
designed an E‐learning platform (http://elearning.tjmu.edu.cn/moodle/) in order to effectively distribute some 
course materials and to explore satisfactory teaching mode. We conducted Randomized Controlled Trial (RCT) 
course in blended learning in order to explore students’ satisfaction and attitudes towards blended learning 
and to promote the implementation of blended learning in medical education. 

2. Methods

2.1 E‐learning platform for RCT course 
We established the E‐learning platform in 2012 based on Moodle (Modular Object‐oriented Dynamic Learning 
Environment). The web address of the platform is http://elearning.tjmu.edu.cn/moodle/. With providing the 
information  of  name,  age,  gender,  country,  city,  educational  background  and  e‐mail  address,  a  user  can 
register and log in the platform by himself/herself. Appropriate navigation keys are given on the homepage for 
easy  access,  and  the  language  on  the  platform  is  bilingual  (English  and  Chinese)  and  freely  selectable.  The 
contents  on  the  platform  are  sorted  out  under  several  functional  modules,  such  as  the  setting  module  and 
course  module.  The  setting  module  allows  students  to  modify  profiles  and  change  password.  The  course 
module  includes  self‐study  course  module  and  blended  course  module.  Self‐study  course  is  for  self‐study 
online, but blended course is a mixture of online course and face‐to‐face learning. Hence, self‐study courses 
are  open  to  all  registered  users,  but  if  the  user  wants  to  gain  access  to  a  blended  course,  he/she  must  be 
approved  by  the  instructor.  Additionally,  the  platform  has  several  user‐friendly  functions,  such  as  bulletin 
board system, calendar, and friendly links. 

2.2 Course materials 
RCT course, one of essential courses in public health education, is offered in blended course module. The RCT 
e‐learning  materials  are  presented  in  English  at  the  e‐learning  platform  and  cover  eight  topics:  Topic1‐  RCT 
overview, Topic 2‐ Research question, the intervention and the population, Topic 3‐ Randomization, Topic 4‐ 
Sample size, Topic 5‐ Biostats analysis, Topic 6‐ Bias in RCTs, Topic 7‐ Ethics and Topic 8‐ Management of RCTs. 
Each  topic  will  take  approximately  one  hour.  Each  topic  is  comprised  of  three  sections:  slides,  videos  and 
further  reading.  All  the  course  materials  are  created  and  provided  by  the  presenter,  a  senior  expert  in  RCT 
from Karolinska Institutet, in collaboration with Stellenbosch University in South Africa. The slides are in PDF 
format and available for download. In addition, several relevant articles in network links are listed in further 
reading in order that students can get a better understanding of each topic. After the eight topics, there are 
two practical tools for download. One is protocol tool which helps students to write protocols, and the other 
one is management tool which will provide guidance for students to carry out their RCTs in practice. 

2.3 Course arrangement 
The course lasted two weeks (from 3rd March to 14th March, 2014) and included three parts as follows. Firstly, 
students registered on the e‐learning platform as RCT course users, and logged in to access to slides, videos, 
further reading and discussion forum of each topic. They learned the e‐learning materials by themselves and 
everyone  wrote  a  protocol  on  a  RCT  designed  by  himself/herself.  Then  in  the  contact  session,  the  students 
were  divided  into  three  groups,  and  each  group  was  guided  by  a  local  tutor  from  Tongji  Medical  College. 
Tutors  answered  questions  from  students  and  gave  advice  on  their  protocols.  Finally,  the  professor  gave 
face‐to‐face  lectures  and  questions  answering.  Two  or  three  students  of  each  group  gave  presentations  of 
their protocols and got comments and suggestions from the professor. 

2.4 Study design and course evaluation 
We recruited a total of 27 medical students from Tongji Medical College of Huazhong University of Science & 
Technology through posters on the campus, and they voluntarily took full participation in RCT course. After the 

680
 Qian Liu et al. 

course,  a  questionnaire  survey  on  satisfaction  and  attitudes  towards  blended  learning  was  conducted  via 
e‐mail. A self‐administrated questionnaire, developed by reviewing literature and evaluation questionnaires of 
some  international  courses,  was  used  to  collect  data.  The  questionnaire  consisted  of  four  parts.  Part  1 
provided  demographic  information  (age,  gender,  major,  nationality  and  educational  background).  Part  2 
provided  the  participants’  experience  with  blended  learning.  Part  3  provided  students’  attitudes  towards 
blended learning. Part 4 allowed students to give any recommendations as to how the blended learning mode 
in RCT course could be further improved 

2.5 Data analysis 
The data was digitalized through the program EpiData Entry 3.1 and analyzed with the Statistical Package for 
the  Social  Sciences,  Version  11.0  (SPSS,  Chicago,  IL).  The  statistical  methods  used  included  frequency,  valid 
percentage, mean and standard deviation (S.D.) for descriptive analysis. 

2.6 Ethical considerations 
All subjects participated in this survey were based upon voluntary participation. The survey was approved by 
the ethics committee of Tongji Medical College, Huazhong University of Science and Technology, China. 

3. Results

3.1 Response rate 
We sent electronic questionnaire to 27 students through e‐mail, and 26 questionnaires were completed and 
sent back. The response rate was 96.3% (26/27), and all the collected questionnaires were eligible for analysis 

3.2 Demographic information 
Table 1: Demographic information of students 
N (%) 
Gender
Male  12(46.2) 
Female  14(53.8) 
Age
22~  11(42.3) 
25~  7(26.9) 
28~  3(11.5) 
31~  2(7.6) 
34~  1(3.8) 
37~40  2(7.6) 
Nationality
China  23(88.5) 
Countries in Africa  3(11.5) 
Educational background 
Doctor  9(34.6) 
Master  14(53.8) 
Undergraduate  3(11.5) 
Major
Public health  20(76.9) 
Clinical medicine  6(23.1) 
Of all the 26 students, 12 (46.2%) students were male; 23 students (88.5%) were from China and the others 
from countries in Africa. The mean age of the students was 26.88 (S.D. =4.676). Of all respondents, 9 students 
(34.6%)  were  doctors,  14(53.8%)  were  masters  and  3  (11.5%)  were  undergraduates;  20  students  (76.9%) 
majored in public health and the others majored in clinical medicine. Details are in Table 1. 

3.3 Experience with blended learning 
As shown in Table 2, of the 26 students, 21(80.8%) agreed that ‘Overall I am satisfied with the RCT course’ and 
25(96.2%) agreed that ‘I would recommend this course to others’; 15 (57.7%) thought the e‐learning platform 

681
 
Qian Liu et al. 

had  helped  them  to  learn; 23  (88.5%)  believed  the  platform  was  easy to  use. When it  comes  to  the  session 
useful to your learning, 16 (61.6%) respondents agreed that e‐learning was useful, 20 (77.0%) thought contact 
session with local tutor was useful; 21 (80.8%) deemed lecture from the professor was useful.   
Table 2: Experience with blended learning   
Questions  Disagree n(%)  Neutral n(%)  Agree n(%) 
Overall I am satisfied with the RCT course.  0  5(19.2)  21(80.8) 
I would recommend this course to others.  0  1(3.8)  25(96.2) 
The e‐learning platform has helped me to learn.  0  11(42.3)  15(57.7) 
I found the e‐learning platform easy to use.  0  3(11.5)  23(88.5) 
The following session is very useful to your learning 
E‐learning  0  10(38.5)  16(61.6) 
Contact session with local tutor  2(7.7)  4(15.3)  20(77.0) 
Lecture from the professor  0  5(19.2)  21(80.8) 
The following study media is useful to learning. 
Videos  1(3.8)  11(42.3)  14(53.9) 
Slides  1(3.8)  5(19.2)  20(77.0) 
Further reading  2(7.7)  11(42.3)  13(50.0) 
Practical tools  1(3.8)  4(15.3)  21(80.8) 
Describe your experience compared with traditional learning 
I had better access to the learning materials.  0  0  26(100.0) 
I had greater independence in study  0  4(15.4)  22(84.6) 
E‐learning platform was time saving  1(3.8)  9(34.6)  16(61.6) 
My motivation was improved  0  10(38.4)  16(61.6) 
My involvement with the course was increased  1(3.8)  10(38.4)  15(57.8) 
The e‐learning platform made me feel more isolated.  10(38.4)  9(34.6)  7(26.9) 
I felt more in control of my learning.  3(11.5)  10(38.4)  13(50.0) 
My learning was more efficient  1(3.8)  10(38.4)  15(57.8) 
I didn’t be interfered by irrelevant internet information.  4(15.4)  8(30.7)  14(53.8) 
The e‐learning platform made learning inconvenient.  18(69.2）  5(19.2）  3(11.5) 

Of  the  respondents,  14(53.9%)  students  agreed  that  slides  are  useful,  11(42.3%)  were  unsure  and  1(3.8%) 
disagreed; 20(77.0%) thought videos were useful; 13(50.0%) considered further reading to be useful, 11(42.3%) 
not sure and 2(7.7%) disagreed; 21(80.8%) believed discussion forum was useful. 
 
Compared  with  traditional  learning,  all  the  students  deemed  that  they  had  better  access  to  the  learning 
materials;  22(84.6%)  students  agreed  they  had  greater  independence  in  study;  16(61.6%)  believed  that 
e‐learning platform was time saving; 16(61.6%) thought their motivation was improved; 15(57.8%) approved 
their involvement with the course was increased; 7(26.9%) considered the e‐learning platform made them feel 
more isolated, 9(34.6%) were not sure and 10(38.4%) disagreed; 13(50.0%) deemed they felt more in control 
of learning, 10(38.4%) stood in the middle and 3(11.5%) disagreed; 15(57.8%) thought the learning was more 
efficient;  14(53.8%)  they  were  not  interfered  by  irrelevant  internet  information;  3(11.5%)  agreed  the 
e‐learning platform made learning inconvenient, 5(19.2%) were not sure and 18(69.2%) disagreed.   
 
Table 3 showed that all the respondents thought blended learning was more helpful than traditional learning 
and e‐learning, and that 17(65.4%) students were happy with the current mixture of online and face‐to‐face 
contact time.   
Table 3: Attitudes toward blended learning 
Questions  N (%) 
Which is the most helpful learning mode? 
E‐learning  0 
Traditional learning  0 
Blended learning  26(100.0) 
In blended learning, would you like to see further development of and 
delivery through online self‐study, with less face‐to‐face contact time? 
Yes, I would like to spend more time for online self‐study.  5(19.2) 
No, I would prefer to go back to more face‐to‐face teaching  4(15.4) 
I am happy with the current mixture of online and face‐to‐face contact time.  17(65.4) 

682
 Qian Liu et al. 

When it comes to “Do you have any recommendations as to how the blended learning mode in the RCT course 
could be further improved?”, three students suggested that subtitles should be added into the videos. As they 
stated,   
“The sound of the videos is not clearly, and it would be better to be with subtitles.”   
“I hope subtitles can be provided in the videos.” 
“If the videos could be with subtitles, I will get a better understanding.” 

4. Discussions
In the present research, we investigated students’ satisfaction to their experience of the blended learning, and 
the  results  showed  that  about  large  percentages  of  the  students  were  satisfied  with  it  and  they  would 
recommend this course to others. This study demonstrated that blended learning was generally satisfactory to 
the medical students in RCT course.   

In line with the findings of some previous studies (Pereira et al., 2007, McFarlin, 2008) , we found that most 
medical  students  thought  blended  learning  was  better  and  more  helpful  than  traditional  learning  and 
e‐learning. In addition, most students were happy with the current mixture of online and face‐to‐face contact 
time  in  RCT  course.  It  also  suggested  that  all  the  three  sessions  in  RCT  course‐‐‐  e‐learning,  contact  session 
with local tutor and lecture from the professor ‐‐‐were very useful to students’ study. These may indicate that 
the  arrangement  of  RCT  course  is  successful  and  can  provide  a  good  reference  for  the  implementation  of 
blended learning course in future. 

The  present  study  revealed  that,  in  comparison  with  traditional  learning,  blended  learning  has  a  number  of 
advantages: firstly, students have better access to the learning materials and greater independence in study; 
secondly,  it  is  convenient  and  time‐saving  with  e‐learning  platform;  additionally,  students’  motivation  is 
improved and involvement with the course is increased; finally, students feel more in control of their learning 
and the learning is more efficient. These merits were also found in a previous study (Hong et al., 2003).   

Our results suggested that the e‐learning platform helped students to learn and that the platform was easy to 
use. Furthermore, with respect to the study media in e‐learning platform, at least half of the students thought 
each of the four media (videos, slides, further reading and practical tools) is useful in study. Those may be two 
reasons for the general satisfaction ‐‐‐ perceived usefulness and perceived ease of use, which have been found 
in some other studies (Arbaugh, 2000, Arbaugh, 2002).   

At  the  same  time,  it  was  showed  in  our  study  that  the  e‐learning  platform  made  some  students  feel  more 
isolated  than  traditional  face‐to‐face  learning,  which  was  corresponding  to  a  previous  study  (Hara,  2000).  It 
prompts the instructors and organizers of blended learning to increase the interaction between students and 
the  interaction  between  students  and  instructors,  which  was  found  to  be  factors  that  affect  students’ 
satisfaction  in  a  previous  study  (Hong,  2002).  Therefore,  it  is  essential  to  add  some  modules  in  future 
implementation  of  blended  learning,  such  as  discussion  forum  in  each  topic,  to  allow  students  have  more 
interaction with fellow students and instructors. In addition, videos would better be with subtitles in order that 
students can get a better understanding of the course. 

There are several limitations in our research. Firstly, it is the validity of the questionnaire. Our questionnaire 
was designed and developed by reviewing literature, so it is a new questionnaire and has not been validated 
by prior  research.  Besides,  there  is  volunteer  bias  in  our  study,  as all  participants  in RCT  course  were  based 
upon voluntary participation.   
5. Conclusions
In  conclusion,  the  present  study  suggested  that  most  of  the  medical  students  were  satisfied  with  blended 
learning and that blended learning was better and more helpful than both traditional face‐to‐face learning and 
e‐learning. Blended learning is promising and worthwhile for further application in medical education in China. 

683
 
Qian Liu et al. 

Acknowledgements 
We wish to thank all the students who kindly participated in the study. The study was financially supported by 
a  grant  under  the  European  Union  Seventh  Framework  Program  funded  project  ‘Asian  Regional  Capacity 
Development Research on Social Determinants of Health’ (No.02‐18‐513008).   

References 
Arbaugh, J. B. 2000. Virtual Classroom Characteristics And Student Satisfaction With Internet‐Based Mba Courses. Journal 
Of Management Education, 24, 32‐54. 
Arbaugh, J. B. 2002. Managing The On‐Line Classroom. Journal Of High Technology Management Research, 13, 203‐223. 
Bediang, G., Stoll, B., Geissbuhler, A., Klohn, A. M., Stuckelberger, A., Nko'o, S. & Chastonay, P. 2013. Computer Literacy 
And E‐Learning Perception In Cameroon: The Case Of Yaounde Faculty Of Medicine And Biomedical Sciences. Bmc 
Med Educ, 13, 57. 
Choules, A. P. 2007. The Use Of Elearning In Medical Education: A Review Of The Current Situation. Postgrad Med J, 83, 
212‐6. 
Ellaway, R. & Masters, K. 2008. Amee Guide 32: E‐Learning In Medical Education Part 1: Learning, Teaching And 
Assessment. Med Teach, 30, 455‐73. 
Graham, C. R. 2013. Emerging Practice And Research In Blended Learning. Handbook Of Distance Education, 333‐350. 
Hara, N. 2000. Student Distress In A Web‐Based Distance Education Course. Information, Communication & Society, 3, 
557‐579. 
Hong, K.‐S. 2002. Relationships Between Students' And Instructional Variables With Satisfaction And Learning From A 
Web‐Based Course. The Internet And Higher Education, 5, 267‐281. 
Hong, K. S., Lai, K. W. & Holton, D. 2003. Students' Satisfaction And Perceived Learning With A Web‐Based Course. 
Educational Technology & Society, 6, 116‐124. 
Kirkpatrick, D. L. 1975. Evaluating Training Programs, Tata Mcgraw‐Hill Education. 
Mcfarlin, B. K. 2008. Hybrid Lecture‐Online Format Increases Student Grades In An Undergraduate Exercise Physiology 
Course At A Large Urban University. Adv Physiol Educ, 32, 86‐91. 
Peng, Y., Wu, X., Atkins, S., Zwarentein, M., Zhu, M., Zhan, X. X., Zhang, F., Ran, P. & Yan, W. R. 2014. Internet‐Based Health 
Education In China: A Content Analysis Of Websites. Bmc Med Educ, 14, 16. 
Pereira, J. A., Pleguezuelos, E., Meri, A., Molina‐Ros, A., Molina‐Tomas, M. C. & Masdeu, C. 2007. Effectiveness Of Using 
Blended Learning Strategies For Teaching And Learning Human Anatomy. Med Educ, 41, 189‐95. 
Piccoli, G., Ahmad, R. & Ives, B. 2001. Web‐Based Virtual Learning Environments: A Research Framework And A Preliminary 
Assessment Of Effectiveness In Basic It Skills Training. Mis Quarterly, 25, 401‐426. 
Santhanam, R. 2008. Using Self‐Regulatory Learning To Enhance E‐Learning‐Based Information Technology Training. 
Information Systems Research, 19, 26‐47. 
So, H. J. 2009. Is Blended Learning A Viable Option In Public Health Education? A Case Study Of Student Satisfaction With A 
Blended Graduate Course. J Public Health Manag Pract, 15, 59‐66. 
Sun, P.‐C., Tsai, R. J., Finger, G., Chen, Y.‐Y. & Yeh, D. 2008. What Drives A Successful E‐Learning? An Empirical Investigation 
Of The Critical Factors Influencing Learner Satisfaction. Computers & Education, 50, 1183‐1202. 
Wu, J.‐H., Tennyson, R. D. & Hsia, T.‐L. 2010. A Study Of Student Satisfaction In A Blended E‐Learning System Environment. 
Computers & Education, 55, 155‐164. 
Wu, J., Tsai, R. J., Chen, C. C. & Wu, Y. 2006. An Integrative Model To Predict The Continuance Use Of Electronic Learning 
Systems: Hints For Teaching. International Journal On E‐Learning, 5. 
Yu, S. & Yang, K. F. 2006. Attitudes Toward Web‐Based Distance Learning Among Public Health Nurses In Taiwan: A 
Questionnaire Survey. Int J Nurs Stud, 43, 767‐74. 
 

684
 Work
in
Progress
Papers

685
 
 
 
 
 
 

686
Assessing Computer Application Technology Teachers’ e‐Skills and 
Procedural Knowledge With Regard to Teaching With ICT 
Infrastructure 
Janet Adegbenro and Mishack Gumbo 
Science & Technology Education Department, University of South Africa, Pretoria, South 
Africa 
Janetaji.adegbenro@gmail.com 
gumbot@unisa.ac.za 

Abstract:  Despite  access  to  Information  Communication  Technology  (ICT)  infrastructures,  teachers  are  not  aware  of  the 
potential uses that technology offers in pedagogy. This conceptual paper is based on the exploration of South African high 
school teachers’ computer application technology (CAT) e‐skills and their procedural functional and pedagogical knowledge 
about the use of ICT infrastructures in an ICT‐enhanced classroom environment. The need for this study was influenced by 
various concerns expressed by educational stakeholders about the level of teachers’ competence with regard to the use of 
ICT infrastructure as a pedagogical tool in an ICT‐based classroom. The study will survey 250 high school CAT teachers in 
Gauteng, South Africa. The data collection instruments that will be used in this study, to assess teachers’ e‐skills and their 
procedural functional pedagogical knowledge include a TPACK‐PrFPACK self‐report survey questionnaire, with 39 items in 
13  subcategories,  as  well  as  interviews,  observations  and  a  researcher’s  log  book.  The  survey  data  collected  will  be 
analysed, using multivariate exploratory factor analysis with the help of Matlab, to measure the teachers’ competence and 
skills. The recorded interviews will be transcribed; using a log system, then it will be coded and imported into Atlas.ti. The 
findings of this study will be of particular relevance to both high school teachers and the educational policymakers in South 
Africa. 

Keywords: computer application technology, ICT‐based classroom, e‐skills, procedural knowledge 

1. Introduction
The  demand  for  a  highly  skilled  workforce  that  uses  Information  Communication  Technology  (ICT)  tools  for 
innovation, creativity, improved performance and societal transformation is enormous. The ability to use ICT in 
this manner is known as e‐skills. The European e‐skills forum defines e‐skills and its associated competencies 
as the ability to develop and use ICTs within the context of a knowledge environment, which will enable the 
individual  to  successfully  participate  in  a  world  in  which  ICT  is  an  essential  requirement  for  advancement  in 
activities of government, civil society and business. (Mitrovic, Sharif, Taylor, Wesso 2012). Teachers today are 
expected to develop lessons that not only teach students academic content knowledge, but also equip them 
with  21st  century  skills  that  will  enable  them  to  be  effective  inventive  thinkers,  active  problem‐solvers  and 
digitally literate citizens (Partnership for 21st Century Skills 2004; Solomon & Schrum 2007).   

ICT,  when  used  as  a  pedagogical  tool,  should  include  the  use  of  ICT  facilities  in  the  teaching  and  learning 
process, which involves the use of software applications to solve problems and provoke student capabilities as 
well as to communicate and share their perspectives with each other (Jonassen, Howland, Marra & Crismond 
2008). In the context of this study, the focus is on the ability of teachers to use this tool to create solutions to 
the problems in the content, in order to motivate and stimulate students’ interest in the teaching and learning 
process. A number of international studies have shown that secondary schools teachers lack competencies in 
the  use  of  ICT  as  a  pedagogical  tool  in  the  teaching  and  learning  process  (Bingimlas  2009;  Nihuka  &  Voogt 
2011; Ndibalema 2014). 

Following  on  the  context  presented  above,  the  background  to  the  study,  from  which  the  specific  research 
problem  ensues,  will  be  provided.  This  will  be  followed  by  a  discussion  about  the  technological  pedagogical 
content knowledge framework that will guide this study. We will then discuss the design of the study. 
2. Background to the research problem
The  purpose  of  this  study  is  to  empirically  assess  high  school  teachers’  computer  application  technology  e‐
skills, procedural knowledge and technology competence with regard to the use of the ICT infrastructure such 
as; overhead data projector, interactive teaching board, web technology in their ICT‐enhanced classrooms. In 
order to help teachers to meet the challenges of effective teaching and learning, a number of high schools and 

687
 
Janet Adegbenro and Mishack Gumbo 

further  education  and  training  (FET)  colleges  have  been  fully  equipped  with  ICT  infrastructure  by  different 
organisations, including the South African telecommunications provider, Telkom, and Microsoft (SAIDE 2005). 
Specifically,  Microsoft  has  donated  software  and  programmes  and  they  have  provided  188 000  refurbished 
computers  and  20 000  laptops.  The  Telkom  Foundation  and  Telkom’s  strategic  partner,  Thintana,  has 
committed over R200m to support education and training in South Africa. The Teacher Laptop Initiative (TLI), 
launched in 2010, is part of the government’s efforts to improve teacher’s e‐learning in the overall educational 
system  in  South  Africa.  The  purpose  was  to  help  the  386 600  teachers  in  South  African  schools  and  further 
education  colleges  to  effectively  integrate  ICT  into  their  pedagogical  content  knowledge  (PCK).  This  effort 
turned out to be a major investment of over R550 m per annum for the next five years, to provide permanent 
teachers,  in  the  nine  South  African  provinces,  with  laptops  (Ndlovu  2009).  The  primary  concern  for 
government, when it makes such a huge investment in ICTs, is whether the investment will positively influence 
the education system and performance of teachers, learners and individuals.   
 
The South African Institute for Distance Education (SAIDE 2009) reported in their extensive investigation and 
evaluation of the use of ICT infrastructure and emerging technologies for teaching and learning in schools and 
FET  colleges,  that  effective  teaching  and  learning  has  not  taken  place.  They  discovered  that,  despite  most 
schools owning between 20 to 30 computers (with some having as many as a 100 computers in their computer 
laboratory), many teachers lack adequate knowledge and e‐skills on the use of ICT infrastructures for teaching 
and  learning.  Their  findings  further  revealed  that,  although  most  of  the  teachers  interviewed  admitted  that 
they were aware of the potential benefits that learners could derive from using ICT, the majority still did not 
use their ICT infrastructure effectively. The reason for this, according to the report, is that teachers were set in 
their traditional ways of teaching and, for various reasons; they did not find it easy to change or adapt their 
teaching methods (SAIDE 2009). Uwameiye and Adegbenro (2007) assert that important barriers to the use of 
ICT  in  teaching  and  learning  are  teachers'  computer  skills  and  their  confidence  in  using  ICT.  The  crux  of  the 
matter is that it is still unclear what kind of knowledge and ICT e‐skills the high school CAT teachers in South 
Africa  possess  and  how  they  transfer  their  knowledge  and  skills  to  ensure  students’  comprehension  of  the 
material. From this exploration of issues a statement of the problem can be determined. 
3. Statement of the problem 
The main problem that this study is focusing on is a lack of adequate knowledge and e‐skills in the use of ICT in 
order to teach effectively in secondary schools in South Africa. 

4. Significance of the study 
This study is significant for CAT educators as the findings will, firstly, expand their technological knowledge and 
e‐skills  in  the  digital  classroom  environment.  Secondly,  the  findings  of  the  study  are  expected  to  create 
awareness  about  the  importance  of  ICT  infrastructures  as  a  pedagogical  tool  and  improve  teachers’ 
professional practices in the teaching and learning process. Finally, the findings will add new knowledge to the 
existing literature in the field of technology and e‐learning in teacher education. 

5. Theoretical context 
The  procedural,  functional,  pedagogical  and  content  knowledge  (PrFPACK)  is  a  theoretical  framework 
proposed  to  holistically  explore  the  technological  knowledge  and  e‐skills  of  high  school  teachers  in  an  ICT‐
enhanced  classroom.  According  to  Adegbenro,  Olugbara  and  Mwakapenda  (2012)  this  framework  extended 
the classical TPACK by replacing "technological knowledge" with "procedural functional knowledge" to give the 
framework  a  precise  clarity.  That  is,  the  “T”  (technological)  in  TPACK  is  replaced  by  “PrF”  (procedural 
functional)  to  obtain  an  extended  theoretical  framework  and,  thus,  the  acronym  TPACK‐PrFPACK.  In  2005 
Mishra  and  Koehler  (2005)  updated  and  built  on  Shulman’s  idea  of  Pedagogical  Content  Knowledge  (PCK), 
Shulman (1986).  Mishra and Koehler proposed the necessity for the integration of technology with PCK and 
named  the  resulting  amalgam  knowledge  Technological  Pedagogical  and  Content  Knowledge  (TPACK).  The 
strength  of  TPACK  is  that  it  provides  a  framework  to  examine  what  knowledge  teachers  need  in  order  to 
integrate  technology  into  teaching  and  learning.  Authors  such  as  Yilmaz‐Ozden,  Mouza  Karchmer‐Klein  & 
Glutting  (2013)  have  confirmed  the  need  to  provide  more  clarity  about  the  TPACK  framework  and  to  revisit 
measurement inventories built directly around the framework. The TPACK‐PrFPACK inventory consists of a set 
of  39  comprehensive  measures  that  were  organised  into  thirteen  sub‐domains  of  knowledge.  We  defined  a 
measure as comprehensive if it is unambiguous and it directly measures what it intends to measure in clear 
terms.  The  knowledge  sub‐domains  relate  to  specific  theoretical  constructs  such  as  PK  (pedagogical 

688
 
Janet Adegbenro and Mishack Gumbo 

knowledge),  CK  (content  knowledge),  FK  (functional  knowledge),  PrK  (procedural  knowledge),  PCK 
(pedagogical  content  knowledge),  PrPK  (procedural  pedagogical  knowledge),  PrFK  (procedural  functional 
knowledge),  FCK  (functional  content  knowledge),  PrFCK  (procedural  functional  content  knowledge),  PrFPK 
(procedural  functional  pedagogical  knowledge),  PrPcK  (procedural  pedagogical  content  knowledge),  FPCK 
(functional pedagogical content knowledge) and PrFPCK (procedural functional pedagogical knowledge). Figure 
1  shows  the  TPACK‐PrFPACK  that  was  used  in  this  study  to  explore  factors  that  reflect  the  nature  of  the 
technological  knowledge  and  e‐skills  of  high  school  teachers’  in  the  use  of  ICT  as  pedagogical  tools  in  ICT‐
enhanced classrooms. 

 
Figure 1: The TPACK‐PrFPACK theoretical framework 

6. Methodology 
The study will be guided by the following research questions: 
ƒ What are CAT teachers’ perception toward and knowledge with regard to the use of ICT infrastructures in 
ICT‐enhanced classroom? 
ƒ What  factors  predict  teachers’  competence  in  the  use  of  ICT  infrastructure  as  a  pedagogical  tool  in 
teaching? 
The study adopted the mixed‐method explanatory approach, thus, a survey will be conducted among grade 8‐
12 CAT teachers in Gauteng, South Africa. It will assess teachers’ perception and their technological knowledge 
with  regard  to  the  use  of  ICT  infrastructure  as  part  of  their  pedagogical  practices  in  the  ICT‐enhanced 
classroom. According to Creswell (2009), a mixed‐method approach is an approach to inquiry that combines or 
associates both qualitative and quantitative forms of data collection. This approach will assist us to come up 
with  findings  that  are  more  comprehensive  and  holistic  and  which  will  integrate  various  aspects  of  the 
problem investigated. Using an explanatory design, in which quantitative data collection and analysis will be 
followed  by  a  qualitative  phase,  will  provide  a  deep  and  comprehensive  understanding  of  high  school  CAT 
teachers’ technological competence, e‐skills and perception towards the effective integration of technology in 
an  ICT‐enhanced  classroom  (ontological  world).  The  qualitative  portion  of  this  study,  which  involves 
interviews,  will  be  used  to  explore  relationships  found  in  the  survey  for  the  proper  understanding  of  the  e‐
skills and technological competence of high school teachers. 

6.1 Sample and the instruments 
Fifty  secondary  schools  were  randomly  selected  for  this  study  and  250  teachers  from  these  schools,  will  be 
sampled.  Three  data  collection  instruments  will  be  used  to  assess  teachers’  technological  competence  and 
perception  with  regard  to  the  use  of  ICT  infrastructure  in  the  ICT‐enhanced  classroom.  These  instruments 
include:  the  SDT  of  teachers’  e‐skills  and  their  procedural,  functional,  pedagogical  content  knowledge;  the 

689
 
Janet Adegbenro and Mishack Gumbo 

TPACK‐PrFPACK survey data template (SDT); interviews and observation checklists. The extended framework 
TPACK‐PrFPACK (SDT) will be used, consisting of a four‐point scale with the following identities: 1 – definitely 
disagree,  2  –  disagree,  3  –  agree,  4  –  definitely  agree.  The  current  discourse  on  technological  knowledge  is 
primarily  focused  on  the  competent  assessment  of  the  ability  to  use  newer  digital  technologies  (Koehler  & 
Mishra 2008). The new technology provides several capabilities such as, the interactive teaching board (ITB), 
video  conferencing,  on‐line  discussion  forums  and  window  media  (Beatty  2001).  The  TPACK‐PrFPACK 
framework  specified  a  set  of  common  items,  which  is  outcome‐based  in  scope,  that  measures  specific 
technological proficiency and expertise with the computer and data projector for pedagogical practices. 

6.2 Validity and reliability of the instruments 
The survey data template (SDT) was subjected to scrutiny by ICT experts and a statistician at the University of 
South  Africa,  after  it  was  designed,  to  ensure  content  validity.  The  reliability  of  the  instrument  will  be 
determined through the test‐retest method. The SDT will be administered on a sample of 20 CAT teachers, on 
two different occasions, with an interval of two weeks between the first and the second administration. The 
results will be correlated using the Pearson Product Moment correlation coefficient. 

6.3 Data analysis 
The data will be analysed using exploratory factor analysis with the help of Matlab to measure CAT teachers’ 
technological competence and perception. The wellness of each element will be explained by the relationship 
between variables of the mode. The interviews and observations will be transcribed, using a log system, coded 
and imported into the Atlas ti program for in‐depth analysis. 

7. Conclusion 
The objective of this study is to empirically assess high school CAT teachers’ technological competence in and 
perception about the use of ICT infrastructure in an ICT‐enhanced classroom. Currently, an emphasis on skills 
development  for  the  21st  century  has  increased  expectations  on  teachers  to  take  advantage  of  emerging 
technologies to support student learning as well as their own pedagogical practices. In our view, it is still not 
yet  clear  whether  teachers  are  adequately  equipped  for  the  21st  century,  that  is,  whether  they  have  the 
appropriate  technological  knowledge,  e‐skills,  expertise  and  support  and  have  a  positive  attitude  about 
integrating ICT infrastructures into their pedagogical practices for productive teaching. This study will help to 
provide an answer to that. We hope to present the findings at conferences in the near future, as soon as the 
study has been completed. 

References 
Adegbenro, B.J., Olugbara, O.O, and Mwakapenda, W.W (2012) “Development and validation of an 
Assessment instrument for office data processing teachers' technology knowledge in ICT‐based classroom context in South 
African FET Colleges”. Paper read at the Society for Information Technology and Teacher Education, Texas, USA. 
Beatty, E. (2001) ICT and Pedagogy: A review of the research literature: DFES Project Report ICT in school research and 
evaluation series, Becta, London. 
Bingimlas, K. A. (2009) “Barriers to successful Integration of ICT in teaching and learning environments: A review of the 
literature”, Eurasia Journal of Mathematics Science and Technology Education, Vol. 5, No. 3, pp. 235‐245. 
Cresswell, J.W. (2009) Research design: Qualitative, quantitative and mixed‐methods approaches 3rd Edition, Sage 
publications, Los Angeles. 
rd
Jonassen, D., Howland, J., Marra, R. and Crismond, D. (2008) Meaningful learning with technology 3  Edition, Pearson, 
Upper Saddle River, NJ. 
Koehler, M. and Mishra, P. (2008) “The components of the TPCK framework”, [online] www.TPCK.org. 
Mitrovic, Z., Sharif, M., Taylor, W. and Wesso, H. (2012) “Systemic approach to e‐skilling in South Africa”, Issues in 
Informing Science and Information Technology, Vol. 9, pp. 41‐63, [online]http://iisit.org/Vol9/IISITv9p041‐
061Mitrovic049.pdf. 
Mishra, P. and Koehler, M. (2005). Technological pedagogical content knowledge: A framework for Integrating Technology 
in teacher knowledge. Teachers’ college record, 108(6), 1017‐1054. 
Ndibalema, P. (2014) “Teachers’ attitude towards the use of Information Communication Technology (ICT) as a pedagogical 
tool in secondary schools in Tanzania: The case of Kondoa District”, International Journal of Education and Research, 
Vol. 2, No. 2, pp 1‐16. 
Ndlovu, S. (2009) “Teachers to get allowance for laptops”, [online] http://www.int.iol.co.za/ 
Nihuka, K.A. and Voogt, J. (2011) “Instructors’ and students’ competences, perceptions and access to e‐learning 
technologies: Implications for e‐learning implementation at the Open University of Tanzania”, International Journal 
on E‐Learning, Vol. 10, No. 1, pp 63‐85, [online] http://www.editlib.org/p/32413. 

690
 
Janet Adegbenro and Mishack Gumbo 

Partnership for 21st Century Skills. (2004) “21st century learning environments: White Paper”, [online] 
http://www.21stcenturyskills.org/documents/le_white_paper‐1.pdf. 
SAIDE (2005) “Being a vocational educator. A guide for lecturers in FET colleges”, [online] info@side.org.za 
SAIDE (2009) “An investigation into the usage and efficacy of the PLATO learning system in Selected FET colleges”, SAIDE 
Newsletter, Vol.15, No. 5, [online] 
http://www.saide.org.za/resources/newsletters/Vol_15_no.5_2009/Content/PLATO.htm. 
Shulman, L.S. (1986). Knowledge and Teaching: Foundation of the new reform. Harvard Educational Review, 57, 1‐22. 
Solomon, G. and Schrum, L. (2007) Web 2.0: New tools, new schools, International Society for Technology in Education, 
Eugene. 
Uwameiye, R. and Adegbenro, B.J. (2007) "Trainers' and Trainees' Assessment of the Implementation of ICT Program for 
Secretaries at the Staff Training centers in Southwestern Nigeria", International Journal of Information and 
Communication Technology Education, Vol.3, No. 1, pp 1‐9. 
Yilmaz‐Ozden, S., Mouza, C., Karchmer‐Klein, R. and Glutting, J.J. (2003) “Examining domains of technological pedagogical 
content knowledge using factor analysis”, Journal of Research on Technology in Education, Vol. 45, No. 4, pp 339‐360. 

691
COLWRIT – Collaborative Online Writing in Google Docs: Presenting 
a Research Design 
Lars Birch Andreasen, Frederikke Winther, Thorkild Hanghøj and Birger Larsen 
Aalborg University, Copenhagen, Denmark 
lba@learning.aau.dk 
frederikke@hum.aau.dk 
thorkild@hum.aau.dk 
birger@hum.aau.dk 
 
Abstract:  Various  online  collaborative  writing  tools  have  emerged  giving  students  new  opportunities  when  co‐producing 
texts. The aim of this work‐in‐progress paper is to present the preliminary hypotheses and findings of an on‐going research 
project at Aalborg University, Denmark, which explores university students’ uses of collaborative writing tools like Google 
Docs  when  doing  collaborative  project  work.  The  research  project  has  a  special  focus  on  the  various  effects  on  the 
collaboration process of students’ various usage of the commenting functions of online writing tools. 
 
Keywords: peer learning; response‐giving, academic writing, data logging, online collaborative writing, project work 

1. Introduction 
Online  collaborative  writing  tools  offer  possibilities  and  pose  challenges  to  students’  development  of 
information literacy and academic writing skills. The present paper reports from an on‐going research project 
on  these  tools’  effects  on  students’  collaborative  writing  processes.  The  project  combines  data  logging 
methods with qualitative inquiry, and offers insight in an emerging field of study. The main research question 
to  be  explored  is:  How  is  online  writing  in  Google  Docs  organised  and  negotiated  by  students  in  higher 
education in relation to collaborative project work? 

2. Related work 
Zhou et al. report from studying Google Docs in a collaborative writing activity among university students, that 
Google Docs were considered a useful tool for group work, which altered the means of communication. When 
collaborating  through  Google  Docs,  students  became  less  dependent  on  Facebook  and  text  messaging,  but 
continued using e‐mail as their primary communication method (Zhou et al. 2012). Zhou et al. recommend for 
further  research  to  monitor groups’  actual  usage  of  Google  Docs  and evaluate  the  use  of  editing  comments 
during the activity, in order to explore the collaboration processes. 
 
Knain (2009) explored students’ text development processes by analysing the editing history of co‐produced 
online documents. He identified several approaches to text co‐production, and found students to be adding 
text  more  than  revising  the  texts.  Previous  studies,  as  well  as  students’  projects  on  the  use  of  collaborative 
writing tools (Kraglund et al. 2013), point out that giving and receiving response is crucial for improving the 
quality of written work. This research project thus focuses on how the use of Google Docs’ tools for giving and 
receiving response are negotiated and practiced among students. A number of hypotheses in relation to this 
are being explored: 
ƒ We  assume  that  students’  negotiations  on  and  use  of  the  comment  and  discussion  functions  may 
influence the quality of their academic writing. 
ƒ We assume that students’ use of the comment and discussion functions may influence their identities as 
students (how they are positioning themselves and how they are being positioned). 
ƒ We  assume  that  students  with  varying  educational  backgrounds  might  encounter  different  challenges 
when learning to work and write collaboratively. 
ƒ We assume that the affordances of producing text through online collaborative writing tools will affect the 
phases of writing and students’ understanding of public or private status of unfinished pieces of text. 
The  research  project  will  explore  the  use  of  Google  Docs  at  various  Master’s  level  programmes  at  Aalborg 
University, Denmark. The project applies a mixed methods approach combining data logging of Google Docs 
activities with observations and group interviews of students using Google Docs. For a specific student group 
their use of an online collaborative writing tool is just one among many features of a complex working process. 

692
 
Lars Birch Andreasen et al. 

Taking this into account, students’ use of Facebook in relation to their work and collaboration processes will 
also be captured and analysed. 

3. Theoretical perspectives 
The  research  design  is  guided  by  the  following  theoretical  perspectives  and  assumptions  on  collaborative 
online writing. 

3.1 Collaborative writing and critical reflection 
It  is  a  common  assumption  that  reflective  thinking  leads  to  deeper  learning  processes,  and  that  critical 
reflection engages students in evaluative thinking about their own ideas and processes (Higgins et al. 1992). 
Furthermore,  it  is  assumed  that  learning  through  collaboration  stimulates  critical  reflection,  because  it 
provides  students  with  the  opportunity  to  articulate  their  reasoning  and  perhaps  become  aware  of 
shortcomings and strategies they did not think of on their own (ibid., p. 53). 
 
In  this  study,  students’  collaboration  can  partly  be  observed  through  their  use  of  commenting  functions  in 
online writing tools. Thus, we assume that this technical feature may enable, or even encourage, students to 
engage in collaborative learning processes by reflecting and responding upon the works of others. Tracks of 
commenting in the collaborative documents will be perceived as virtual dialogues that reflect students’ meta‐
communication during the writing of academic texts. The activity of commenting or creating meta‐dialogues 
can be examined by textual analysis as social and intellectual negotiation on different levels: 
ƒ negotiation  and  development  of  inter/subjectivity:  Formation  of  identities,  roles  and  positions  reflected 
through the commenting’s implicit representation of selves and others. 
ƒ negotiation of understandings of the collective task: Commenting on aims, focuses and dispositions of the 
group work. 
ƒ negotiation  and  development  of  knowledge:  Critical  thinking  through  reflecting  upon  and  questioning 
one’s own work as well as the work of others. 
ƒ negotiation of final form and content of the project: Commenting on textual structures, style and phrases 
throughout the writing process. 
Analysis of the peer commenting and feedback within these four levels of negotiation will reveal insights into 
stages and strategies in collective academic writing processes. The students’ writing strategies will be analysed 
based  on  Lowry  et  al.’s  (2004)  taxonomy,  and  we  will  explore  the  degree  to  which  students  are  engaged  in 
collaboration,  i.e.  learning  through  social  and  intellectual  interaction,  or  cooperation,  i.e.  piecing  together 
individual contributions to a joint task without notable reflection or negotiation. Do the students discuss each 
other’s perceptions and ideas? Do they merely accept others’ contributions without questioning? Or do they 
mainly  promote  their  own  perspectives?  Put  in  Gregory  Clark’s  words:  Do  they  act  like  tourists,  who  never 
leave  their  own  mental  territory,  or  do  they  interact  like  travellers  by  transcending  the  individual  and  the 
familiar to explore new grounds together? (Clark 1998). 
 
In the study of Kraglund et al., some students’ statements seem to suggest that online commenting actually 
invites  travelling  together  through  collaborative  critical  thinking.  They  perceive  the  commenting  function  as 
“suitable for questioning and responding critically on each other’s texts”, which make “both parts reconsider 
their own thoughts” (Kraglund et al. 2013, Appendix 2, p. 23). The commenting feature can cause changes to 
one’s collaborative strategy by for instance “continue the writing of some piece, where I otherwise wouldn’t 
normally have interfered”, as a student described (ibid., p. 47). 
 
The study will apply a critical approach to the collaborative impact of online commenting activities. According 
to Higgins et al. (1992), critical reflection depends on whether the respondent takes a checklist approach or an 
interactive  approach  when  commenting  on  the  work  of  others  (ibid.,  p.  67).  Responding  through  checking 
facilitates simple awareness, whereas an interactive peer response will motivate critical thinking. We expect 
that signs of critical reflection can be detected in connection to first comments (provider) as well as second 
comments (receiver), depending on whether the intention of the comments is a matter of 1) understanding 
the  other’s  perspective,  2)  correcting  the  other’s  understanding,  or  3)  travelling  together  through  mutual 
development of knowledge. 
 

693
 
Lars Birch Andreasen et al. 

3.2 Keeping face across boundaries 
One  of  the  key  findings  from  the  student  project  was  reluctance  among  students  toward  presenting  and 
sharing their drafts with their group members. Several students described how they preferred not to perform 
their  actual  writing  in  the  shared  Google  document.  Instead,  they  would  first  compose  their  text  in  Word 
before pasting it into the shared document. As a student described this practice: “it’s a bit daunting to sit and 
complete  something  in  Google  Docs,  because  people  can  monitor  your  drafts”  (Kraglund  et  al.  2013,  p. 52). 
This reluctance toward sharing unfinished work and the feeling of being monitored can be understood through 
Goffman’s notion of “face” and the related concepts of “front” and “back stage” (Goffman 1959). In this way, 
Google  Docs  makes  it  possible  for  others  to  monitor  and  participate  in  the  writing  process,  contrary  to  co‐
operative  tools  where  drafts  are  private  and  hence  backstage  before  shared.  Based  upon  this  preliminary 
finding, we aim to further explore how, when and why students decide to (or not to) share their drafts and 
other types of unfinished work. 

4. Research design 
The research design of the study will be based on a mixed methods approach, which combines quantitative 
and  qualitative  research  methods  (Denzin  2010;  Johnson  and  Onwuegbuzie  2004).  We  will  follow  students 
from two master programmes, one within humanities and one within technical sciences. Selecting one class at 
each programme, the data production will involve a survey of all students in the participating classes, focusing 
on three aspects: 1) the students’ use and perception of technologies such as Google Docs and Facebook for 
online  writing,  2)  the  students’  experience  with  collaborative  writing  processes,  and  3)  the  students’ 
educational backgrounds and experience with academic writing. 
 
Based  on  findings  from  the  survey,  we  aim  to  study  the  collaboration  and  negotiation  processes  of  one  to 
three student groups within each of the two programmes. In order to map significant patterns in the groups’ 
collaboration, we aim to document their online and offline working processes. All involved participants will be 
secured anonymity,  and  agreed  consent  will  be  obtained from  all  informants  in  relation  to data  logging and 
observations. 
 
Methods and approaches to producing online data includes data logging of writing activities in Google Docs, 
which  will  be  subjected  to  data  analysis  in  relation  to  the  revision  history  and  the  students’  use  of  the 
comment  function.  As  we  are  likely  to  collect  a  substantial  amount  of  revision  history,  the  analysis  will  be 
based  on  summary  and  visualisation  tools  developed  by  Southavilay  et  al.  (2013).  Following  this,  we  will 
conduct content analysis of selected examples of the students’ writing and how these are related to the use of 
the comment function. We also aim to log data on the students’ use of Facebook for organising their writing 
activities through the ‘Digital Footprints’ facebook app. 
 
Methods  and  approaches  regarding  offline  data  involve  observations  of  the  students’  collaborative  writing 
processes, primarily based on field notes and video recordings of project group meetings. Selected groups of 
experienced university students will be involved as explorers who observe and interview the students. Focus of 
the analysis will be on the social interaction and negotiation that take place during the collaborative writing 
practices, which involve mutual positioning and choice of specific strategies for group work in relation to both 
oral  and  written  communication.  Other  types  of  data  may  be  relevant  in  relation  to  the  students’  group 
meetings  ‐  e.g.  sound  recordings  of  group  discussions  and  photos  of  students’  handwritten  notes  or 
whiteboard drawings. 
5. Conclusion 
We expect from this study to develop the understanding of groups’ collaboration and negotiation processes in 
relation to creating and coordinating a shared text. We expect to shed light on how the commenting function 
may  affect  the  students’  approach  to  such  negotiation  processes,  and  to  specify  an  understanding  of  how 
different  online  and  offline  resources  (e.g.  Google  Docs,  whiteboards,  handwritten  notes,  Facebook  etc.) 
interplay in relation to collaborative writing, and how various usage patterns and student roles develop. We 
expect to find a significant variation in the students’ approaches to collaborative online writing. A further aim 
of the study is to be able to develop pedagogical guidelines for the use of Google Docs in relation to project 
work and collaborative online writing processes. 
 

694
 
Lars Birch Andreasen et al. 

References 
Bang, J. and Dalsgaard, C. (2005) “Samarbejde – cooperation eller collaboration?”, Tidsskrift for universiteternes efter‐ og 
videreuddannelse, Vol. 2, No. 5, pp 1‐12. 
Bruffee, K.A. (1984) “Collaborative Learning and the ‘Conversation of Mankind’”, College English, Vol. 46, No. 7, pp 635‐
652. 
Clark, G. (1998) “Writing as Travel, or Rhetoric on the Road”, College Composition and Communication, Vol. 49, No. 1, pp 9‐
23. 
Denzin, N.K. (2010) “Moments, mixed methods and paradigm dialogs”, Qualitative Inquiry, Vol. 16, pp 419‐427. 
Goffman, E. (1959) The Presentation of Self in Everyday Life, Doubleday, Garden City, N.Y. 
Higgins, L., Flower, L. and Petraglia, J. (1992) “Planning Text Together. The Role of Critical Reflection in Student 
Collaboration”, Written Communication, Vol. 9, No. 1, pp 48‐84. 
Johnson, A.B. and Onwuegbuzie, A.J. (2004) “Mixed Methods Research: A Research Paradigm Whose Time Has Come”, 
Educational Researcher, Vol. 33, No. 7, pp 14‐26. 
Knain, E. (2009) “Et praksisbasert kategorisystem for vurdering av tekstutvikling i Wiki”, Digital Kompetanse, Vol. 4, No. 2, 
pp 86‐103. 
Kraglund, D., Mills, M.E., Sørensen, N. and Palm, T.F. (2013) Digital Tools in Project Groups. Unpublished project report, MA 
programme in Human Centered Informatics, Aalborg University. 
Lowry, P.B., Curtis, A. and Lowry, M. R. (2004) “Building a Taxonomy and Nomenclature of Collaborative Writing to Improve 
Interdisciplinary Research and Practice”, Journal of Business Communication, Vol. 41, No. 1, pp 66‐99. 
Southavilay, V., Yacef, K., Reimann, P. and Calvo, R.A. (2013) “Analysis of Collaborative Writing Processes Using Revision 
Maps and Probabilistic Topic Models”. In: Proceedings of the Third International Conference on Learning Analytics 
and Knowledge (LAK'13). New York: ACM, pp 38‐47. 
Zhou, W., Simpson, E. and Domizi, D.P. (2012) “Google Docs in an Out‐of‐Class Collaborative Writing Activity”, International 
Journal of Teaching and Learning in Higher Education, Vol. 24, No. 3, pp 359‐375. 

695
Facilitating Collaborative Online Learning: Experiences From a 
Finnish‐Scottish Project for Vocational Educators 
Sarah Cornelius1 and Blair Stevenson2 
1
School of Education, University of Aberdeen, Aberdeen, UK 
2
School of Vocational Teacher Education, Oulu University of Applied Sciences, Oulu, 
Finland 
s.cornelius@abdn.ac.uk 
blair.stevenson@oamk.fi 
 
Abstract: This paper outlines work in progress to support an international project, titled Collaborative Online Learning in 
Global Education (COLIGE), which aims to engage vocational educators in collaboration with international peers to enhance 
their  understanding  of  the  nature  of  learners  in  different  contexts  and  expand  opportunities  for  developing  global 
education  competences.  A  case  study  of  a  collaboration  process  co‐designed  for  participants  of  a  Vocational  Teacher 
Education  Programme  in  Finland  and  the  Teaching  Qualification  for  Further  Education  in  Scotland  is  outlined  and 
facilitators’ reflections on designing and supporting online collaboration for a multi‐national group are detailed. The paper 
draws on the concepts of task ownership, character and control (Kirschner et al. 2004) to explore facilitators’ experiences. 
Findings suggest that facilitators play multiple roles, which include designing activities within programme constraints and 
resources;  allowing  appropriate  learner  control  and  authentic  engagement  with  meaningful  tasks;  encouraging  task 
ownership; and engaging in live online facilitation with sensitivity to learner needs and co‐facilitator approaches. Successful 
design  of  international  online  collaboration  also  requires  articulation  of  assumptions  about  approaches  to  teaching  and 
learning, and opportunities for meaningful socialisation and development of shared cultural understandings. The findings 
have implications for vocational educators planning or developing international online collaboration and inform effective 
methods for the development of intercultural activities for vocational educators. 
 
Keywords: collaborative online learning, vocational education, global education, facilitation, online teaching 

1. Introduction 
The  use  of  technology  provides  expanding  opportunities  for  international  collaboration  between  learners  in 
different contexts. Mobile and web technologies have been successfully employed to support virtual cultural 
exchange  and  collaborative  activity  between  learners  enrolled  in  institutions  from  different  countries,  for 
example  in  language  learning  (e.g.  Lee  and  Markey  2014;  Lazar  2014),  and  cross‐disciplinary  collaboration 
(Cochrane et al. 2011). However, a dearth of literature exists with respect to online collaboration in vocational 
contexts. This paper outlines work in progress as part of the COLIGE (Collaborative Online Learning in Global 
Education)  project  to  support  collaborative  online  learning  for  the  participants  of  a  Vocational  Teacher 
Education Programme in Finland and the Teaching Qualification for Further Education (TQFE) in Scotland. The 
aims  of  the  project  are  to engage  vocational  educators in  collaboration  with  international  peers  to  enhance 
their  understanding  of  the  nature  of  learners  in  different  contexts  and  expand  opportunities  for  developing 
global  education  competences.  This  paper  outlines  the  collaboration  process  and  details  the  facilitators’ 
reflections on designing and supporting online activities for this multi‐national group of vocational educators. 
The process and facilitators’ experiences are explored in relation to the concepts of task ownership, character 
and control (Kirschner et al. 2004).  

2. The collaboration process 
Working within the existing curricula of the two vocational education programmes in Scotland and Finland, a 
collaboration  project  was  initiated  in  2014  to  provide  an  opportunity  for  international  collaboration  for  a 
cohort of vocational teacher education students which: 
ƒ aligned with existing course structures and timetables. The two courses ‐ ‘Global Education’ (Finland) and 
‘Successful  Learners  in  Further  Education’  (Scotland)  ‐  are  underpinned  by  national  standards  for 
practitioners,  and  have  distinct  objectives  and  structures.  They  adopt  similar  blended  delivery  models, 
including face‐to‐face and online activities, independent study and facilitated collaboration.  
ƒ used technologies with which learners were already familiar. Routinely used technologies, including email, 
virtual learning environments (VLE) and web conferencing software were employed.  

696
 
Sarah Cornelius and Blair Stevenson 

ƒ involved  meaningful  and  achievable  tasks.  The  process  required  careful  design  of  a  common  project  to 
ensure that collaboration was manageable within time constraints and had direct relevance to practice in 
order to avoid overburdening participants. 
The  collaboration  involved  the  participants  of  the  two  programmes  undertaking  an  activity  that  included 
several key tasks, supported by pre‐activity briefings and local support and discussion. A template (available as 
a  word  document  from  www.slideshare.net/sarahcornelius)  provided  structure  and  instructions  under  the 
following tasks: 
ƒ Task 1: Scottish participants described details of their teaching practice class environment and context to 
the Finnish students, focusing particularly on learner characteristics and needs; 
ƒ Task  2:  Finnish  participants  discussed  Scottish  class  details  during  their  course  sessions  and  designed  a 
lesson plan relating to a global education theme that they deemed appropriate for the Scottish classroom 
context with which they were paired; 
ƒ Task  3: Scottish participants reviewed and commented on the lesson plans; and 
ƒ Task  4:  Participants  met  online  in  real  time  to  discuss  general  issues  and  challenges  associated  with 
globalising education. 
Tasks  1,  2  and  3  were  facilitated  using  email  and  VLEs,  whilst  Task  4  required  the  use  of  web  conferencing 
software available via the University of Aberdeen.  
 
The activity was particularly meaningful in the context of the Finnish course, since it formed a major element 
of  course  work.  For  the  Scottish  participants,  the  activity  complemented  course  content  on  learners’ 
characteristics  and  needs,  and  offered  an  additional  perspective  that  could  be  brought  into  an  assignment 
task.  Overall  the  project  design  attempted  to  address  the  problem  of  how  to  provide  global  education  in  a 
local context. This was tackled in meaningful stages which could be undertaken in an authentic environment 
and with opportunities for cognitive feedback. This design approach aligns with recommendations for effective 
task character for collaborative learning environments as outlined in Kirschner et al. (2004). 
3. Research process 
An action research approach was used for enquiry into the development of the collaborative process with data 
collected  to  outline  the  students’  and  facilitators’  perceptions  of  outcomes  as  well  as  support  process 
evaluation  and  inform  planning  for  future  collaboration.  Data  include  in‐session  evaluations,  post‐session 
questionnaires  and  recordings  of  reflective  discussion  between  the  facilitators.  This  paper  focuses  on  the 
facilitation role, and draws primarily on the transcript of semi‐structured discussion between the facilitators. 
Content  analysis  was  undertaken,  focusing  on  the  question  ‘What  was  done  to  facilitate  collaboration?’ 
Findings  presented  here  reveal  the  importance  of  ‘behind  the  scenes’  facilitation,  careful  preparation  to 
develop  an  activity  with  a  high  level  of  task  ownership  and  appropriate  task  character,  and  exploration  of 
assumptions by facilitators. The following sections highlight the complex role of the joint facilitation offered by 
the tutors. 

3.1 ‘Setting the scene’ for effective collaboration 
The collaborative process was developed in response to the facilitators’ desire to capitalise on an opportunity 
for international collaboration. A face‐to‐face meeting and online discussions revealed synergies between the 
two  programmes  and  a  common  wish  to  provide  meaningful  international  learning  experiences  for 
participants.  Planning  discussions  revealed  similar  underpinning  principles  and  curriculum  structures  so 
development  activities  focused  on  finding  practical  ‘first  steps’  that  would  engage  current  students  in 
collaboration while fitting in with existing studies.  
 
A significant facilitator role during the early stages was to ensure ‘buy in’ and commitment to the collaborative 
process. This was facilitated for the Finnish participants by building the activity into a substantive assignment 
task  in  the  course  design.  In  addition,  the  Finnish  group  of  learners  were  already  ‘well  versed’  in  the 
expectations for individual contributions in online environments as a result of previous engagement in online 
collaborative  activities.  In  the  Scottish  context,  getting  students  to  invest  in  the  activity  required  a  careful 
‘build  up’  during  which  ‘seeds  were  planted’  about  the  opportunity  for  collaboration  and  participants  were 
reassured about feasibility and the commitment required. Participants had to be convinced that the task was 

697
 
Sarah Cornelius and Blair Stevenson 

manageable,  particularly  in  terms  of  the  technologies  being  used,  and  that  it  would  not  be  a  significant 
addition within the context of existing course tasks and schedules. In both cases, face‐to‐face discussions were 
held to clarify the purpose of the collaboration and to motivate participants. 
 
Due  to  the  need  to  fit  in  with  the  previously  scheduled  timetables  for  both  programmes,  the  initial 
collaboration process was planned over a relatively short timeframe – with Tasks 1, 2, and 3 allocated 1 week 
each. This short timeline was seen to restrict opportunities for personal introductions and the development of 
deeper,  shared  understandings  of  the  different  international  contexts.  This  factor  is  notable  since  Lee  and 
Markey (2014) emphasise the need to allocate sufficient time to online collaboration, and, although tasks were 
completed effectively, participants in this activity also expressed a desire to have more time available. 
 
During  the  early  stages  of  the  process,  facilitators  aimed  for  high  levels  of  task  ownership  (Kirschner  et  al. 
2004)  by  encouraging  a  sense  of  belonging  and  commitment  to  the  international  group  through  the 
development of an activity that demanded individual accountability and a positive interdependence between 
the  multi‐national  participants.  To  complete  the  activity  participants  relied  on  each  other  to  adequately 
complete  the  tasks  assigned  to  them  in  order  to  complete  their  own  work.  Furthermore,  they  provided 
interpretation and explanation of locally relevant information to support each other’s work, with facilitators 
also contributing as appropriate.  

3.2 Facilitating international real‐time collaboration 
Limited time was available for synchronous communication, therefore the live online session was planned to 
allow  groups  with  similar  professional  interests  to  meet,  pairing  up  those  students  who  had  worked  with 
similar contexts in the activity, and discussion of general issues of global education. The agenda was full, yet a 
majority  of  participants  reported  that  they  enjoyed  the  session,  found  it  useful,  and  appreciated  the 
opportunity  to  speak  directly  to  international  peers.  Student  feedback  also  indicated  strong  interest  in  an 
expanded collaboration process and more real‐time discussion. 
 
Active discussion during the synchronous online session was facilitated by the fact that the Finnish participants 
had several months experience of live online interaction before taking part in the collaborative activity, and 
understood  that  they  should  ‘join  in  and  get  active  quickly’.  For  the  Scottish  participants  live  online 
engagement was a relatively new experience. These students had used web conferencing software only twice 
before  meeting  the  Finnish  students  online,  but  no  significant  issues  were  faced  by  participants  during  the 
session. 
 
The experience of jointly facilitating the live online session revealed several assumptions that could have been 
discussed  more  fully  by  facilitators  to  ensure  an  effective  learning  experience.  Key  issues  concerned 
approaches  to  task  control  (Kirschner  et  al.  2004),  with  both  facilitators  assuming  that  a  learner‐centred 
approach  would  be  appropriate.  In  part  this  assumption  may  have  been  based  on  a  common  interest  in 
vocational education, where learner‐centred approaches and active learning predominate, but it is recognised 
that  co‐facilitation  in  intercultural  contexts  may  require  additional  clarification  of  facilitators’  approaches  to 
teaching and learning and their expectations of task control. 
 
Facilitators’  reflections  also  revealed  the  importance  of  adopting  a  similar  approach  during  the  live  online 
session.  It  was  assumed  that  the  facilitator  whose  web  conferencing  system  was  used  would  take  the  lead, 
which  led  to  some  uncertainty  about  facilitator  roles.  Assumptions  were  also  made  about  learners’  needs. 
Additional  discussion  to  ensure  a  shared  understanding  of  these  issues  would  have  led  to  a  more  effective 
learning environment for some individual participants.  
4. Conclusions ‐ the role of the facilitator 
The  effectiveness  of  the  collaborative  process  in  this  intercultural  setting  required  facilitators  to  commit  to 
supporting  each  others’  course  outcomes  and  learners.  Findings  suggest  that  in  order  to  support  effective 
collaboration facilitators in similar settings should: 
ƒ Find synergies between programmes; 
ƒ Design opportunities for manageable and meaningful collaboration involving realistic tasks simplified into 
non‐trivial parts (create appropriate task character); 

698
 
Sarah Cornelius and Blair Stevenson 

ƒ Motivate participants to ‘invest’ in the collaborative process (encourage task ownership); 
ƒ Provide opportunities for socialisation; 
ƒ Facilitate the development of shared cultural understandings; 
ƒ Set appropriate expectations for participation and engagement; 
ƒ Explore assumptions about teaching and learning approaches (ensure appropriate task control); and  
ƒ Share information about facilitation preferences and learner needs.  
These  actions  may  support  the  brokering  of  dispersed  ‘local  communities  of  practice  into  an  overarching 
International  Community  of  Practice’  (Cochrane  et  al.  2011)  with  further  implications  for  effective 
international online collaboration. 
 
Whilst  the  collaboration  process  was  deemed  by  participants  as  effective,  a  number  of  areas  for  further 
development  have  been  identified.  These  include  the  enhancement  of  opportunities  for  socialisation  and 
cultural exchange over a longer timeframe to support a shared understanding of contexts, and development of 
stronger relationships to build the relevance of the activity and encourage implementation of lessons. At this 
stage in the collaboration process, it is also notable that one Scottish participant taught the lesson designed by 
Finnish peers. This extension of the collaboration beyond the scope of the activity suggests the possibility for 
scaffolding within online environments as described by Hmelo‐Silver et al. (2007). Work is also underway to 
expand  research  of  the  ‘proof  of  concept’  process  within  an  action  research  framework  to  explore  online 
collaboration to provide intercultural learning experiences.   

References 
Cochrane, T., Bateman, R., Buchem, I., Camacho, M., Gordon, A., Keegan, H. and Rhodes, D. (2011) MLearning 2.0: 
fostering international collaboration In Candel Torres, I., et al. (Eds.), ICERI2011: 4th International Conference of 
Education, Research and Innovations (pp. 42‐51). Madrid, Spain: IATED. 
Hmelo‐Silver, C.E., Duncan, R.G. and Chinn, C.A. (2007) Scaffolding and achievement in problem‐based and inquiry 
learning: a response to Kirschner, Sweller, and Clark (2006), Educational Psychologist, Vol. 42, No. 2, pp. 99‐107. 
Kirschner, P., Strijbos, J., Kreijns, K. and Beers, P.J. (2004) Designing electronic collaborative learning environments, 
Educational Technology Research and Development, Vol. 52, No. 3, pp. 47‐66. 
Lazar, I. (2014) EFL learners’ intercultural competence development in an international web collaboration project. The 
Language Learning Journal, DOI 10.1080/09571736.2013.869941. 
Lee, L and Markey, A. (2014) A study of learners’ perceptions of online intercultural exchange through Web 2.0 
technologies. ReCALL, DOI 10.1017/S0958344014000111. 

699
Gauging the Quality of Online Learning by Measuring 21st Century 
Engagement 
Stephanie Edel‐Malizia1 and Kathleen Brautigam2 
1
The Pennsylvania State University, University Park, Pennsylvania, USA 
2
Brautigam Education Services, Milton, Pennsylvania, USA 
sae12@psu.edu 
kmbrautigam@verizon.net 
 
Abstract: This research explores 21st Century engagement as an indicator of online instructional quality. How do you move 
from  having  a  policy  of  providing  quality  online  learning  to  actually  determining  the  magnitude,  amount,  or  volume  of 
quality  learning  experiences  provided  in  a  particular  course?  Like  many  institutions  providing  online  learning,  we  are 
engaged in a process of exploring the most effective way of improving the quality of courses.  Online learning is steeped in 
the tradition of providing a typical type of experience for learners, with common elements that have become the status 
quo for over the past 20 years and largely replicates industrial models where top‐down, passive methods of instruction are 
the  norm.  High  quality  instruction  contains  specific  elements  that  will  improve  the  potential  for  teaching  to  engage 
students  through  socio‐emotional,  behavioral  and  cognitive  means  (Fredricks,  Blumenfeld,  and  Paris,  2004).  These 
elements  have  been  well  researched  primarily  in  the  context  of  face‐to‐face  primary  and  secondary  education. 
st
Csikszentmihalyi's Flow model (1990) (1996) can be applied to gage levels of engagement in relation to 21  Century Skills. 
Indicators of Engaged Learning are provided by the 1995 work of the Council for Educational Research and Development, 
and  North  Central  Regional  Educational  Laboratory,  “Plugging  in:  Choosing  and  using  educational  technology”  (Jones, 
Valdez, Nowakowski, & Rasmussen). The Indicators of Engaged Learning provide indicators and definitions of teaching and 
learning approaches and are used to document the use of technology in the classroom as related to student engagement. 
This  study  stems  from  the  belief  that  these  elements  of  face‐to‐face  teaching  are  just  as  important  to  the  quality  of 
teaching and learning in an online environment, including traditional higher education students as well as adult students.  
As  seen  in  numerous  scholarly  publications  focusing  on  contemporary  higher  education,  there  are  a  growing  number  of 
academics that are wondering if the quality of online instruction has kept up with its explosive growth.  This research seeks 
to create a process for evaluating online course design for the purposeful creation of instruction that will engage students 
through  socio/emotional  engagement  (interactions  and  reactions),  cognitive  investment  (intellectual),  and  behavioral 
engagement  (participation)  as  measured  by  indicators  of  engaged  learning and  gaged  through use  of  the  Flow  model  to 
determine the level at which students will be engaged and to use this quality measure to improve course design. 
 
Keywords: engaged learning, 21st century, online learning, quality, instructional design, and indicators 

1. Introduction  
A transformative goal of instructional design would be to create an environment that supports and promotes 
intrinsic motivation in order to create optimal learning experiences for contemporary students preparing for 
careers in a global society during in the age of the knowledge worker.  This research project is an opportunity 
to  revisit  research‐based  indicators  of  socio‐emotional,  cognitive,  and  behavioural  engagement,  as  seen  in 
online courses and assignments, in order to evaluate the potential level of student engagement in an online 
course.  
 
Like many institutions providing online learning, we are engaged in a process of exploring the most effective 
way of improving the quality of courses.  Online learning is steeped in the tradition of providing a typical type 
of experience for learners, with common elements that have become the status quo for over the past 20 years. 
 
As a pilot study, online courses will be reviewed for 21st Century engagement based on a rubric intended to 
encourage and support an engaged learning environment.  This rubric will be developed based largely on the 
st
research  by  NCRE,  shared  in  the  publication  titled  enGauge  21   Century  Skills:  Literacy  in  the  Digital  Age 
(1998).  
 
This research in progress will examine examples of online courses that illustrate varying degrees of engaged 
learning as measured through quantitative and qualitative review of course syllabi with emphasis of analysis 
being placed on student assignments and activities Csikszentmihalyi’s FLOW Model (1990) will then be used as 
a gage to determine the level at which students will be engaged.  
 
 

700
 
Stephanie Edel‐Malizia and Kathleen Brautigam 

2. Measuring quality through 21st century engagement 
As seen in numerous scholarly publications focusing on contemporary higher education, there are a growing 
number  of  academics  who  are  wondering  if  the  quality  of  online  instruction  has  kept  up  with  its  explosive 
growth.  This research seeks to create a process for evaluating the potential of online course design for the 
purposeful  creation  of  instruction  that  will  engage  students  through  designing  for  socio/emotional 
engagement  (interactions  and  reactions),  cognitive  investment  (intellectual),  and  behavioral  engagement 
(participation).  Can engagement be measured through indicators of engaged learning and engaged through 
use of the Flow model to determine the level at which instruction has been designed to engage the learner.  

2.1 Indicators of engaged learning 
In relation to use of technology in the classroom, “Indicators of Engaged Learning” are identified in the 1995 
research Plugging in: Choosing and using educational technology, by the Council for Educational Research and 
Development, and North Central Regional Educational Laboratory (Jones, B. F., Valdez, G., Nowakowski, J., & 
Rasmussen, C.).  These indicators have been repurposed as indicators of engaged learning in online courses, 
and  have  been  categorized  as  Instructional  Approach,  Teaching,  and  Learning  (see  Figure  1  Indicators  of 
Engaged Learning).   

2.2 Types of engagement 
Indicators  of  Engaged  Learning  are  tied  to  three  types  of  engagement,  which  include  socio‐emotional, 
cognitive  and  behavioural  engagement.  Cognitive  engagement  is  described  as  being  thoughtful  with  an 
example  being  when  instruction  challenges  students  to  draw  upon  basic  skills  to  engage  in  higher  level 
thinking  and  requires  students  to  interact  with  the  curriculum  in  a  deep  and  thoughtful  manner.  Socio‐
emotional  engagement  is  described  as  being  affective,  including  interactions  and  reactions  with  an  example 
being  when  students  have  strong  ties  to  the  community  of  learners.    Behavioral  engagement  is  described 
having a high level of class participation and interactions beyond course requirements.   

2.3 Level of engagement  
Csikszentmihalyi's  Flow  model  (1990)  (1996)  can  be  applied  to  the  Indicators  of  Engaged  Learning  to  show 
levels of engagement in relation to 21st Century Skills.   
 
Flow refers to the intrinsic motivation to learn where the learner experiences a “state of dynamic equilibrium”. 
When in the Flow the learner’s perceptions of challenges to perform or to produce are aligned and in balance 
with the learner’s capacity to succeed. The learner with skills lower than needed to succeed or who does not 
feel challenged becomes apathetic. If skills are much lower than need to be successful, the learner becomes 
anxious  or  becomes  negative.  Low  challenges  presented  to  highly  skilled  learners  lead  to  complacency  and 
then boredom.  

3. The need for research 
More  and  more  students  are  attracted  to  online  learning  as  an  option  for  higher  education.   According  to 
“Grade Change: Tracking Online Education in the United States, 2013” (Allen, I.E. & Seaman, J. 2014):  
ƒ 7.1 million of higher education students are taking at least one online course.  
ƒ The percent of academic leaders rating the learning outcomes in online education as the same or superior 
to those as in face‐to‐face instruction grew from 57% in 2003 to 74% in 2013.  
The eleventh annual report on the state of online learning in U.S. higher education from the Babson Survey 
Research  Group,  Pearson  and  the  Sloan  Consortium  includes  data  responses  from  more  than  2,800  colleges 
and universities. Quality issues can become evident through observations of teaching effectiveness, faculty‐to‐
student ratios, attrition rates, student satisfaction, and institutional resources invested in online delivery.  With 
the  world  at  their  doorstep,  there  are  so  many  options  available  to  online  students  that  institutions  cannot 
compete solely from technical innovation.  Instead, we need to attract more learners by providing them with 
better  education  quality  than  they  can  get  from  the  competition.    We  need  to  create  optimal  learning 
experiences for contemporary students preparing for careers in a global society, ready to become a part of the 
knowledge worker economy. 
 

701
 
Stephanie Edel‐Malizia and Kathleen Brautigam 
 

 
Figure 1: Indicators of engaged learning 

702
 
Stephanie Edel‐Malizia and Kathleen Brautigam 

4. Research questions and scope 
As a result of this research project, we will be able to: 
ƒ Assess  the  quality  of  online  courses  using  21st  Century  indicators  of  engaged  learning  as  aligned  with 
socio‐emotional, cognitive and behavioral elements. 
ƒ Utilize  a  rubric  that  would  encourage  and support  an  engaged  learning  environment throughout  course 
design, development, and revision. 
5. Discussion 
Outcomes  and  achievements  of  this  pilot  will  be  shared  in  terms  of  anecdotal  evidence  and  quantitative 
examples of how engagement indicators can be used to improve the quality of online course.  Successes and 
failures will also be shared as a reflection that will generate next steps in the online course quality initiative.   
 
Based  on  the  findings,  courses  lacking  21st  century  engagement  will  be  revised  and  re‐evaluate  for  quality 
improvement.    Courses  found  to  have  high  levels  of  engagement  will  be  identified  as  exemplars  for  use  in 
revisions of other courses and the design of new courses.  Exemplars of specific components of high quality 
online  courses  and/or  the  redesign  of  course  elements  will  be  shared  with  attendees,  along  with  the 
st
evaluation process used to determine the level of quality based on 21  century engagement indicators. 

References  
Allen, I. E., & Seaman, J. (2014). Grade change: Tracking online education in the United States. Babson Survey Research 
Group. Retrieved from: http://www.onlinelearningsurvey.com/reports/gradechange.pdf 
Bloom, B. S. (Ed.). (1956). Taxonomy of educational objectives: Book 1, Cognitive domain. New York: Longman. 
Bransford, J. (2000). How people learn: Brain, mind, experience, and school. Washington, DC: National Academy Press. 
Csikszentmihalyi, M. (1990). Flow: The psychology of optimal experience. New York, NY: Harper & Row Publishers, Inc. 
Csikszentmihaly, M. (1996). Flow: The Psychology of Optimal Experience. 
Dewey, J. (1938). Experience and education. New York: Simon & Schuster. 
Fredricks, J., Blumenfeld, P., and Paris, A. (2004). School Engagement: Potential of the Concept, State of the Evidence. 
Review of Educational Research. Vol. 74, No. 1, pp. 59 
Johnson, D. & Johnson, R. (2004). The Three Cs of Promoting Social and Emotional Learning. Chapter 3 from the book by 
Zins, et.al. (2004). Building Academic Success on Social and Emotional Learning.  
Jones, B. F., Valdez, G., Nowakowski, J., & Rasmussen, C. (1995). Plugging in: Choosing and using educational technology. 
Washington, DC: Council for Educational Research and Development, and North Central Regional Educational 
Laboratory. 
st st
Ledward, B.C. and D. Hirata. (2011). An overview of 21  century skills.  Summary of 21  Century Skils for Students and 
Teachers, by Pacific Policy Research Center. Honolulu: Kamehameha Schools – Research & Evaluation 
st
Lombardi, Marilyn M.  and Oblinger, Diana G. (2007). Authentic Learning for the 21  Century: An Overview. ELI Paper 
1:2007 
Moore, Janet. (2010). A Quality Scorecard for the Administration of Online Education. The Sloan Consortium.  Rubrics: 
Constantly Seeking Quality. http://sloanconsortium.org/node/18236 
North Central Regional Educational Laboratory & the Metiri Group. (2003). enGuage 21st century skills: Literacy in the 
digital age. Naperville, IL: Author 
National Survey of Student Engagement. (2012). Promoting Student Learning and Institutional Improvement:  Lessons from 
NSSE at 13. Bloomington, IN:Indiana University Center for Postsecondary Research. 
Newmann, F., Wehlage, G. G., & Lamborn, S. D. (1992). The significance and sources of student engagement. In F. 
Newmann (Ed.), Student engagement and achievement in American secondary schools (pp. 11–39). New York: 
Teachers College Press. 
Shernoff, David J.; Csikszentmihalyi, Mihaly; Shneider, Barbara; Shernoff, Elisa Steele: (2003). Student engagement in high 
school classrooms from the perspective of flow theory. School Psychology Quarterly, Vol 18(2), 158‐176.  

703
Educating for Competencies Development in Higher Education With 
Technology 
Maite Fernandez1, Georgeta Ion2 and Elena Cano1 
1
Universitat de Barcelona, Barcelona, Spain 
2
Universitat Autònoma de Barcelona, Barcelona, Spain 
maite.fernandez@ub.edu 
georgeta.ion@uab.cat  
ecano@ub.edu 
 
Abstract:  This  communication  is  part  of  the  project  "The  impact  of  educational  evaluation  in  the  development  of 
competencies  at  the  University.  The  perspective  of  the  first  graduates"  (R  +  D  project  with  reference  EDU2012  ‐  32766) 
funded  by  the  Ministry  of  Economy  and  Competitiveness,  in  which  seven  Spanish  universities  participated:  University  of 
Barcelona  (UB),  Polytechnic  University  of  Catalonia  (UPC),  University    Rovira  i  Virgili  (URV),  Autonomous  University  of 
Catalonia  (UAB), University of the Balearic Islands  (UIB), University of Granada (UGR) and the Open University of Catalonia 
(UOC) in four different degrees: Primary Education, Industrial Electronic Engineering, Pharmacy and Computer Engineering. 
The aim of this  research is to analyze the impact of educational assessment in the development of competencies at the 
University,  starting  from  the  perceptions  of  the  first  graduates  trained  in  the  new  European  Higher  Education  Area. 
Furthermore,  by  gathering  the  opinions  of  the  students  and  their  evolution  over  the  first  years,  the  study  makes  use  of 
qualitative methodologies to explore the best practices carried out, thereby allowing the accreditation of both specific and 
transversal  competencies.  In  this  communication,  we  will  present  the  results  of  open  questionnaires  filled  in  by  “old” 
diploma  holders’,  comparing  them  to  the  results  of  first  “new”  European  Higher  Education  Area  graduates  in  order  to 
identify  which  kind  of  competencies  they  perceive  to  have  acquired  and  to  know  what  factors  or  processes  students 
attribute to the development of such competencies. We will focus, in particular, on the use of new technologies to foster 
learning  and  improve  the  competence‐assessment  process.  The  paper  provides  empirical  data  regarding  the  role  of 
competencies in the acquisition of specific and transversal student competencies. Our research provides evidence about 
the perception of the new promotion of graduate students after the Bologna process implementation and could suggest 
future improvements in university study plans in order to include ICT tools in competencies development. The results show 
that  despite  the  change  of  the  paradigm  in  higher  education,  the  learning  and  evaluation  methods  didn’t  change 
fundamentally, and the implementation of new requirements of the European Higher Education Area remains in hands of 
the teachers and university leaders.  
 
Keywords: competencies, higher education, technology, assessment, student perceptions 

1. Introduction  
The  new  European  Higher  Education  Area  (EHEA)  has  a  fundamental  role  in  the  improvement  of  university 
training around the role of the demands of the world of work, converting it in a challenge, the fact of knowing 
and  evaluating  what  is  the  educational  role  of  the  university,  what  it  must  incorporate  and  which 
characteristics  the  new  university  degrees  must  have  beyond  the  role  of  vocational  training.  In  this  new 
educational context, university training must integrate in a harmonious way the basic competencies related to 
vocational guidance, as well as, the tranversal competencies related to the all‐round training of the individuals, 
(Bolívar, 2008; Rué, 2007; Zabalza, 2007; Jornet et al, 2011). For this reason, it is not difficult to affirm that it 
would be necessary that the Spanish university system should improve its training in the competencies of its 
graduates  and  consequently,  the  quality  of  the  university  (Vila,  Dávila  &  Ginés  Mora,  2010;  Villa  &  Poblete, 
2011; Blanco, 2009; Benito, 2005). What is more, knowing which indicators must be evaluated is not sufficient, 
but  it  is  also  necessary  to  define  the  exact  level  of  compliance  that  is  demanded  from  the  student  in  each 
indicator (Valderrama, et al, 2009; Villardón, 2006; Quesada, Rodríguez & Ibarra, 2013; Prades, 2005). 
 
In the Spanish Higher Education context, the final of the academic course 2012‐2013 has marked the end of 
the first promotion of graduates in the framework of the Bologna Process. Hence, we consider that this is a key 
moment to gather information regarding the perception of the students in the acquisition and development of 
competencies and also about the opinion of the faculty and other staff members about what is the role of such 
competencies. The information gathered will permit some orientation for the improvement of the university 
system and provide some quality assurance systems for official university education.  
 

704
 
Maite Fernandez, Georgeta Ion and Elena Cano 

2. Methodology  
For this study, the methodology and the plan of work have been designed based on the objectives proposed 
and the goals pursued. Therefore, a detailed bibliographical and documental analysis has been conducted by 
all the members of the team, and although it has been more intensive in the first phase, it will be extended 
through the whole life of the project. Secondly, a mixed study has been proposed, that starts with a qualitative 
methodology based on the accounts, discussion groups and interviews and which contrasts the emerging data 
with  those  gathered  from  the  questionnaires  (open  and  closed).  Seven  universities  from  the  Spanish  state 
participated  in  the  study:  University  of  Barcelona  (UB),  Polytechnic  University  of  Catalonia  (UPC),    Rovira  i 
Virgili  University  (URV),  Autonomous  University  of  Barcelona  (UAB),  University  of  the  Balearic  Islands  (UIB), 
University  of  Granada  (UGR)  and  the  Open  University  of  Catalonia  (UOC);  in  four  different  degrees:  Primary 
Education, Industrial Electronic Engineering, Pharmacy and Computer Engineering.  
 
In this communication, we will present the results of open questionnaires filled in by “old” diploma holders’ (a 
total of 89), comparing them to the results of first “new” European Higher Education Area graduates (a total of 
35). 
 
The  themes  about  which  the  opinion  of  the  students  was  requested  make  reference  to  the  process  of  the 
acquisition of specific and transversal competencies. This opinion was contrasted with the opinion of degree 
holders, namely those students that have finished their studies in their study plans before the creation of the 
European Higher Education Area. Technological competence is one of the key transversal competencies for the 
inclusion in today’s society based on knowledge. For this reason, question 11 of the questionnaire to graduates 
asked them to respond to the following affirmation: “The use of technologies favour learning and improve the 
processes for the evaluation of competencies”. 
 
The questionnaire was administered online, by means of a form in Google Forms until the month of December. 
For the analysis of the results, a process of identification of the emerging units of meaning has been carried 
out and subsequently, these have been grouped in categories of higher order. From here, a descriptive analysis 
of  the  results  obtained  has  been  conducted  on  each  of  the  factors,  themes  and  dimensions  that  have 
responded to the scope of this study: the perception of “old” diploma holders’ first “new” European Higher 
Education Area graduates regarding the acquisition and development of competencies.  
3. Results 
Firstly, we are interested in analysing the way those students who have completed their studies in the Bologna 
system perceive the acquisition of vocational competencies. These opinions are compared with the perception 
of the degree students. The data disaggregated in terms of competencies are shown in the following graph. 

 
Figure 1: Competencies acquired and developed by students 

705
 
Maite Fernandez, Georgeta Ion and Elena Cano 
 
The  competence  of  “Spirit  of  enterprise,  ability  to  take  initiatives”,  which  in  theory  should  appear  more,  as 
indicated in the new European Higher Education Area, is a competence which the students assure they have 
acquired and developed to a lesser extent in the “new” undergraduate degrees.  
 
The “Ability to work in a team” is one of these cases, both from the perspective of the “old” diploma holders as 
well  as  from  those  of  “new”  graduates,  has  been  the  competence  which  has  been  most  worked  on  at  the 
university. On the other hand, the skill of “Capacity to learn and stay up‐to‐date with learning” which is one 
the principles to be worked on in the “new” undergraduate degrees, appears only in 25% of the contributions 
of the students and therefore, very few have assured that they have acquired and developed it.   
 
The  competencies  where  the  greatest  difference  between  the  “old”  and  “new”  undergraduate  degrees  has 
been  encountered  are  on  the  one  hand,  those  of  “Determination  and  perseverance  in  the  tasks  given  and 
responsibilities taken”, and on the other, the “Spirit of enterprise, ability to take initiatives”. In both cases, the 
graduates of the “old” studies perceive to have developed more than the “new” graduates. This is possibly due 
to the fact that when “new” graduates encountered a process of transition or in very initial phases of the study 
plans of their degrees, they showed to be more critical with the functioning of their university institution given 
they were witnesses to this process of change.   
 
Finally,  regarding  the  competence  which  we  focus  on  in  this  communication,  that  of  “Skills  in  the  use  of 
information and communications technologies”, this has been evaluated quite positively; 40% of the students 
have assured to have developed it, but at the same time, within this competence, the contributions of open 
character  of  the  students  in  responding  to  this  question  about  which  competencies  they  believed  they 
acquired  at  the  university,  has  permitted  us  to  confirm  that  within  that  label,  the  students  integrate  other 
types  of  learning  and  areas  of  knowledge.  Some  of  this  learning  was  linked  to  the  use  of  technology  (for 
example,  programming  themes  or  the  use  of  the  online  platform,…)  and  to  very  specific  applications,  while 
other students link it to the capacity of the critical analysis of the information available on the Net, this being a 
complicated label to separate from other competencies like that of learning to learn or the capacity of critical 
analysis and synthesis: 
“Search of informative resources”. 
“Search  and  evaluate  all  the  updated  and  reliable  information  on  new  medication  and  other 
products of healthcare interest”. 
“Capacity to draw conclusions, synthesise and analyse texts”. 
Finally,  with  regard  to  question  11  of  the  questionnaire  to  graduates  about  the  statement  “The  use  of 
technologies  favours  learning  and  improves  the  processes  of  the  evaluation  of  competencies”;  77%  of  the 
students compared to only 20% have assured that the use of new technologies does not have to necessarily 
favour the processes of the evaluation of competencies, and one of the students has not responded at all to 
this question. The following statements emphasise some of the contributions of interest: 
“If one knows how to use the technologies, then it is a “yes” and if not, then it is a “no”.  
“Completely agree. If the new technologies are well used, this favours attention and motivation, 
and therefore, learning”. 
“I think that the use of technologies is necessary nowadays and it clearly favours the carrying out 
of certain tasks (…)”. 
Therefore,  as  can  be  confirmed  thanks  to  the  statements  of  the  students,  the  graduates  of  the  “new” 
undergraduate  degrees  assure  that  the  use  of  new  technologies  can  always  be  positive  to  educate  through 
competencies in Higher Education, provided that, on the one hand, it is used adequately, and furthermore, it is 
used as a complement and not as the principal tool without overlooking other learning methods including the 
traditional ones. 
4. Conclusions 
This  communication  confirms  the  results  of  the  PROFLEX  study  and  in  the  context  of  our  study  on  labour 
insertion by the Agency for the Quality of the University System of Catalonia (AQU), in the way that some of 
the competencies in which the university contributes most is the “Ability to work in a team” while the one that 

706
 
Maite Fernandez, Georgeta Ion and Elena Cano 

is  least  worked  on  is  the  capacity  to  negotiate  and  detect  needs,  linked  to  the  competence  “Spirit  of 
enterprise, ability to take initiatives”. 
 
With  respect  to  the  process  of  attribution  of  transversal  competencies  which  is  placing  emphasis  on  the 
reasons or the causes that have generated these competencies, the students whether they are from diploma 
or  degree  study  plans  evaluate  them  very  positively  in  contrast  to  other  characteristics  that  these  degrees 
could have: the importance of continuous evaluation and activities related to case studies  and the resolving of 
problems  as fundamental pillars for the acquisition and development of the competence, among them, “Skills 
in the use of information and communications technologies”. 
 
With respect to the technology competence, the majority of the students assure that the use of technologies 
does  indeed  favour  the  development  of competencies, basically  if  the  use  of  this  technology has been  used 
well,  provided  that  it  serves  the  learning  objectives  to  be  achieved  and  it  is  not  just  a  substitute  for  certain 
traditional technologies but rather complements them. Therefore, the students perceive that the technologies 
should  have  an  added‐value  in  university  education  but  always  taking  into  account  that  the  figure  of  the 
teacher is irreplaceable.  
 
In the way of a future research on the one hand the evolution of the perceptions of the new diploma holders’ 
about their competencies’ acquisition should be analysed, searching for changes on the value and role of the 
assessment. On the other hand, these perceptions of the students should be compared to the faculty staff and 
academic  leaders’  point  of  view  to  have  a  complete  overview  about  the  current  topic:  competencies 
development in the new European Higher Education Area.  

References  
Benito, A. and Cruz, A. (2005) Nuevas claves para la docencia universitaria en el EEES, Narcea, Madrid. 
Blanco, A. (2009) Desarrollo y Evaluación de competencias en Educación Superior, Narcea, Madrid. 
Bolivar, A. (2008) El discurso de las competencias en España: educación básica y educación superior, Revista de Docencia 
Universitaria, monographic number II “Formación centrada en competencias (II)”.  
Hager, P.J. and Holland, S.S. (Ed.) (2006) Graduate Attributes, Learning and Employability, Springer, The Netherlands. 
Jornet, J.M., González, J., Suárez, J.M. and Perales, Mª J. (2011) Diseño de procesos de evaluación de competencias: 
consideraciones acerca de los estándares en el dominio de las competencias, Bordón, Vol 63, No. 1, pp 125–145. 
Kuhn, C. and Zlatkin‐Troitschanskala, O. (2011) Assessment of competencies among university students and graduates — 
Analyzing the state of research and perspectives, Arbeitspapiere Wirtschaftspadagogik, Johannes Gutenberg 
University Mainz. 
Lowden, K., Hall, S., Elliot, D. and Lewin, J. (2011) Employers’ perceptions of the employability skills of new graduates, Edge 
Foundation, Glasgow. 
Prades Nebot, A. (2005) Competències i EEES, aprenentatge de competències i avaluació de les competències, Universitat 
de Barcelona, Barcelona. 
Quesada, V., Rodríguez, G. and Ibarra, M.S. (2013) ActEval: Un instrumento para el análisis y reflexión sobre la actividad 
evaluadora del profesorado Universitario. Revista de Educación, Vol 362. 
Rué, J. (2007) Enseñar en la Universidad. El EEES como reto para la educación superior, Narcea, Barcelona. 
Valderrama, E., Rullán, M., Sánchez, F., Pons, J., Cores, F. and Bisbal, J. (2009) La evaluación de competencias en los 
Trabajos Fin de Estudios, in XV JENUI, Barcelona. 
Vila, L. E., Dávila, C.D. and Ginés Mora, J. (2010) Competencias para la innovación en las universidades de América Latina: 
un análisis empírico, Revista Iberoamericana de Educación Superior, Vol 1, pp 5–23.  
Villa, A. and Poblete, M. (2011) Evaluación de competencias genéricas: principios, oportunidades y limitaciones, Bordón, 
Vol 63 No. 1, pp. 147–170. 
Villardón, L. (2006) Evaluación del aprendizaje para promover el desarrollo de competencias, Educatio siglo XXI, Vol 24, pp. 
57–76.  
Zabalza, M.A. (2007) “Simulación práctica de la guía para la planificación didáctica de la docencia universitaria”, [online] 
http://www.uib.es/ice/cfp_univ/3.pdf 

707
Digital Literacy Development Among Chinese International 
Postgraduate Students in a UK University 
Mengjie Jiang and Palitha Edirisingha 
University of Leicester, Leicester, UK 
mjj16@le.ac.uk 
pe27@le.ac.uk 
 
Abstract:  Digital  literacy  is  gaining  recognition  as  an  important  research  focus  in  technology‐enhanced  learning,  and 
developing  digital  literacy  has  become  a  priority  within  higher  education.  However,  developing  digital  literacy  remains  a 
challenge in a context where students’ experience, skills and orientations of technological uses vary widely. With the large 
influx of international students at UK universities, teaching postgraduate students’ digital literacy is demanding. Because 
Chinese  international  postgraduates  now  constitute  a  significant  proportion  (about  25%)  of  UK  postgraduates,  UK 
universities  need  to  be  sensitive  to  varying  degrees  of  digital  literacy  among  these  students.  This  research  investigates 
digital  literacy  skills  among  Chinese  international  postgraduate  students  in  a  UK  university.  The  study  employs  mixed 
methods including a questionnaire survey, interviews and observations. 
 
Keywords: digital literacy, internationalisation, technology‐enhanced learning 

1. Introduction 
With  the  rise  of  technology‐enhanced  communications  and  digitally  mediated  content,  the  potential  of 
learning  technologies  and  the  significance  of  developing  digital  literacy  have  been  well  documented  (JISC, 
2011). Currently Chinese international students make up about a quarter of UK postgraduate students (Adams, 
2014).  This  internationalisation  within  higher  education  is  a  key  driver  of  research  on  digital  literacy  among 
international students. 

2. Research questions and methods 
This  study  investigates  how  Chinese  international  postgraduate  students  at  an  English  university  experience 
new technologies for coursework during Master’s programmes and how they develop their digital literacy skills. 
The research questions are: 
ƒ What  digital  literacy  skills  do  Chinese  international  postgraduate  students  have  when  they  start  their 
Master’s programmes? 
ƒ What  are  the  challenges  in  developing  digital  literacy  among  Chinese  international  postgraduate 
students? 
ƒ How can Chinese international higher education students be better supported in developing their digital 
literacy? 
The  study  is  set  in  ‘pragmatism’  worldview.  It  employs  mixed  methods  with  sequential  explanatory  design. 
Quantitative data are collected through online questionnaires to capture factual information (e.g., ownership, 
access  and  usage).  Photographic  journaling  (Gourlay  &  Oliver,  2012),  with  the  ‘day  experience’  elements 
(Riddle  &  Arnold,  2007),  will  precede  focus  group  meetings.  Students  will  take  photos  of  their 
academic‐related  activities  that  require  digital  literacy  skills  (photographic  journaling)  and  take  notes  to 
provide  details  of  these  activities  (‘day  experience’  method).  Focus  groups  and  individual  interviews  will  be 
arranged,  followed  by  observations  with  access  to  artifacts  to  provide  a  comparatively  realistic  view  of 
participants’ Internet skills.   

3. Research background 

3.1 The digital divide 
There has been much discussion of the digital divide (e.g., Warschauer, 2002). Between the UK and China, this 
divide takes the form of access to the Internet at an affordable cost and permission to use online content. On 
access, Graham et al. (2011) revealed that Internet penetration in China is between 41% and 50% whereas the 
UK  possesses  above  60%  Internet  penetration.  The  divide  not  only  manifests  itself  between  developing  and 
developed countries, but also inside individual countries. China Internet Network Information Center (CNNIC, 
2013) reported roughly 60% Internet users in urban areas but only 23.7% in rural areas. 

708
 
Mengjie Jiang and Palitha Edirisingha 

Examining  the  digital  divide  in  terms  of  ‘have’  and  ‘have‐nots’  has  been  under  critical  scrutiny.  Warschauer 
(2002) argued that the digital divide not only encompasses the broad concept of physical access, but also the 
accessibility of extra resources enabling people to use technology well. Given the digital divide between China 
and  the  UK,  and  between  areas  within  China,  variations  in  digital  literacy  skills  among  Chinese  international 
students need to be studied. 

3.2 Learner experience studies 
Studies of learners’ experience of digital technologies are increasing because students are involved in learning 
where  digital  technologies  play  important  roles.  The  claim  that  ‘digital  natives’  (Prensky,  2001,  p.1)  have 
considerable  technological  competence  because  of  their  early  exposure  to  digital  environments  has  been 
critically  examined.  Dahlstrom  (2012)  provided  evidence  of  digital  natives’  ownership  of  digital  devices.  But 
digital  natives  do  not  make  up  a  homogenous  group  regarding  their  access  to  skills  and  experience  of 
technologies, and among them preferences vary in using technologies for academic purposes (Jones & Shao, 
2011).   
 
To  date,  studies  on  digital  literacy  and  learners’  experience  with  technologies  have  focused  on  students  in 
Western contexts and seldom distinguished students’ nationalities (e.g., Jones & Lea, 2011). Wang et al. (2003), 
in  a  survey  of  92  students  at  China’s  Northeast  Normal  University,  showed  that  these  students  had  low 
awareness  of  digital  resources  and  intellectual  property  rights,  but  research  on  Chinese  students’  digital 
literacy is rare. 

4. Proposed conceptual framework for the research 
Multiple  terms  (e.g.,  information  literacy,  media  literacy,  and  digital  literacy)  saturate  the  discussion  of 
‘literacy’ today and cause confusion. The connotations of digital literacy overlap with those of other literacies, 
though  digital  literacy  is  not  an  accumulation  of  separate  skills  that  could  fit  all  demands  (JISC,  2011).  This 
paper  adheres  to  the  default  term  digital  literacy.  Labels  in  relation  to  the  concepts  matter  less  than  the 
concepts attached to practices (Bawden, 2001).   
 
Digital literacy refers to strategies that information users employ to perform tasks in a digital environment. It 
not  only  includes  physical  use  of  the  hardware  and  software  but  also  represents  the  ability  to  interpret 
mediated content (Jones & Flannign, 2006).   
 
The proposed conceptual framework (Figure 1) draws on literacies and other associated terms. According to 
Bawden  (2008),  the  concept  of  digital  literary  needs  to  be  located  among  literacies  and  to  incorporate 
meanings from terms where literacy is absent like information technology fluency (IT fluency).   
 
Developing  digital  literacy  tends  to  involve  interconnected  fragments  rather  than  a  strict  linear  process 
(Society of College, National and University Libraries, 2011). Calvani et al (2009, p. 161) envisaged four primary 
interconnected  aspects  of  digital  literacy  –  ethical  (interacting  through  ICT  in  a  responsible  way),  cognitive 
(access, selection and evaluation), technological (exploring new technological contexts in a flexible way) and 
integration of these three aspects. 
 
SCONUL  (2011)  proposed  the  notion  of  an  information  literacy  landscape  which  is  useful  in  developing  a 
framework of digital literacy. It considers one’s aptitude, background and experience with technologies – all of 
which  are  grounded  in  the  conception  of  learning  (Shuell,  1986).  Developing  digital  literacy  may  involve 
learners reflecting on their experience and modifying existing skills. Indeed, Beetham et al. (2009, p. 11) stated 
that learners’ interpretation of current experience is highly affected by previous learning and ‘digital literacies 
cannot be bolted onto existing practices and prior conceptions’. 
 
IT fluency, proposed by the US National Research Council (NRC, 1999, p. 2) is useful in discussing digital literacy, 
which  consists  of  three  types  of  skills:  ‘Contemporary  skills’  (competency  to  use  current  technologies), 
‘foundational  skills’  (understanding  of  principles  and  concepts  related  to  technologies)  and  ‘intellectual 
capabilities’  (ability  to  apply  technologies  in  creative  ways  to  solve  problems).  IT  fluency  implies  having 
intellectual capacity to make best use of technology according to the context.   
 

 
709
 
Mengjie Jiang and Palitha Edirisingha 

Martin  and  Grudziecki  (2007,  p.  258),  in  the  DigEuLit  project,  proposed  a  processes  framework  of  digital 
literacy.  The  first  level  is  digital  competence,  encapsulating  understandings,  knowledge,  attitudes  and  skills. 
The second level is the application of digital competence in professional contexts, and the third level is ‘digital 
transformation’,  attained  when  digital  practices  enable  innovation  and  inspiration  in  a  professional  field. 
Martin and Grudziecki’s digital literacy processes seem to be the application of SCONUL’s information literacy 
in a digital environment. 
 
Jenkins et al. (2006, p. 8) stressed that the core of literacy has been transformed towards ‘one of the individual 
expression to community involvement’. Jenkins et al. (2006) emphasised participatory gap, transparency and 
ethics  challenges  of  new  media,  and  the  social  and  cultural  aspects  of  literacy  needed  to  interact  in  a  large 
community.  They  also  mentioned  cognitive  skills  needed  to  deal  with  large  bodies  of  information  and  to 
experiment with complex configurations of data.   
 
The  UK  ‘Futurelab  Innovation  in  Education’  report  (Hague  &  Payton,  2010)  suggested  digital  literacy, 
containing ‘functional skills’, ‘creativity’, ‘critical thinking and evaluation’, ‘cultural and social understanding’, 
‘collaboration’, ‘the ability to find and select information’, ‘effective communication’ and ‘e‐safety’.   
 
Based on the above review of literature on key aspects of digital literacy skills, a conceptual framework for the 
current study was developed (Fig. 1). 

Problem
solving
Ethical
Identities

E-safety

Social
participation

Technological
skills
Individual digital literacy
Intercultural landscape
understanding

Distributed
technology
Critical
thinking
Functional
Creative concept
appropriation

Figure 1: The conceptual framework for the study 
The  foundation  is  students’  individual  digital  literacy  landscapes  including  beliefs,  orientations  about 
usefulness  of  technologies,  attitudes  and  prior  experience  with  technologies.  Then  there  are 
interconnected  parallel  digital  literacy  skills.  This  study  will  focus  on  problem  solving,  ethical  issues  and 
critical thinking skills through investigating participants’ digital practices, and reading and writing activities 
in digitally mediated content. 

References 
Adams, R. (2014) “Almost a quarter of postgrad students at English universities are Chinese”, The Guardian, 2 April.[Online]. 
Available at: 

 
710
 
Mengjie Jiang and Palitha Edirisingha 

http://www.theguardian.com/education/2014/apr/02/quarter‐postgrad‐student‐english‐universities‐chinese 
(Accessed: 07 May 2014). 
Bawden, D. (2001) “Information and digital literacies: a review of concepts”, Journal of Documentation, Vol. 57, No. 2, pp. 
218–259. 
Bawden, D. (2008) “Origins and Concepts of Digital Literacy”, in Lankshear, C and Knobel, M. (eds.) Digital literacies – 
Concepts, Policies and Practices. New York: Peter Lang, pp. 18‐32. 
st
Beetham, H., McGill, L. and Littlejohn, A. (2009) “Thriving in the 21  century: Learning literacies for the Digital Age (LLiDA 
project).” [Online] Available at: http://www.jisc.ac.uk/media/documents/projects/llidareportjune2009.pdf (Accessed 
15 Oct 2013). 
Calvani, A. Fini, A. and Ranieri, M. (2009) “Assessing digital competence in secondary education – Issues, Models and 
Instruments”, in Leaning, M. (ed.) Issues in information and Media Literacy: Education, Practice and Pedagogy. Santa 
Rosa, California: Informing Science Press, pp. 153‐172. 
CNNIC (January 2013) “Statistical Report on Internet Development in China”. [Online]. Available at: 
http://www1.cnnic.cn/IDR/ReportDownloads/201302/P020130312536825920279.pdf (Accessed: 09 May 2014). 
Dahlstrom, E. (2012) “ECAR Study of Undergraduate Students and Information Technology 2012.” Louisville, CO: 
EDUCAUSE Center for Applied Research. [Online]. Available at: http://www.educause.edu/ecar (Accessed: 10 May 
2014). 
Graham, M., Hale, S. A. and Stephens, M. (2011) “Geographies of the World's Knowledge.” London, Convoco! Edition. 
[Online]. Available at: http://www.oii.ox.ac.uk/news/?id=680 (Accessed: 1 May 2014). 
Gourlay, L. and Oliver, M. (2012) “JISC: IOE Digital Literacies Baselining Report”. [Online]. Available at: 
http://diglitpga.jiscinvolve.org/wp/files/2012/03/IOE‐DigLits‐Baselining‐Report‐1.0.pdf (Accessed: 29 April 2014). 
Hague, C. and Payton, S. (2010) “Digital literacy across the curriculum: a Futurelab handbook.” [Online]. Available at: 
http://archive.futurelab.org.uk/resources/documents/handbooks/digital_literacy.pdf (Accessed: 6 May 2014). 
Jenkins, H., Clinton, K., Purushotma, R., Robison, A. J. and Weigel, M. (2006) Confronting the Challenges of participatory 
st
culture: media education for the 21  century. Chicago: The MacArthur Foundation. 
st
Jones, B. R. and Flannigan, S. L. (2006) “Connecting the Digital Dots: Literacy of the 21  Century”, No. 2, EDUCAUSE 
QUARTERLY. 
Jones, C. and Shao, B. H. (2011) “The Net Generation and Digital Natives: Implications for Higher Education”. A literature 
review commissioned by the Higher Education Academy. [Online]. Available at 
http://www.heacademy.ac.uk/assets/documents/learningandtech/next‐generation‐and‐digital‐natives.pdf (Accessed: 
25 April 2014). 
Jones, S. and Lea, M, R. (2011) “Digital literacies in higher education: exploring textual and technological practice”, Studies 
in Higher Education, Vol. 36, No. 4, pp. 377–393. 
JISC (2011) Developing Digital Literacies: Briefing Paper in support of JISC Grant Funding 4/11, April 2011. [Online] Available 
at http://www.jisc.ac.uk/media/documents/funding/2011/04/Briefingpaper.pdf (Accessed 17 April 2014). 
Martin, A. and Grudziecki, J. (2007) “DigEuLit: concepts and tools for digital literacy development,” Italics, Vol. 5, No. 4, pp. 
249‐267. 
NRC (1999) Being fluent with information technology. Committee on Information Technology Literacy, Computer Science 
and Telecommunications Board, Commission on Physical Sciences, Mathematics and Applications, National Research 
Council. Washington DC: National Academy Press. 
Prensky, M. (2001) “Digital natives, digital immigrants: do they really think differently?” On the Horizon, Vol. 9, No. 6, 
pp.1‐6. 
Riddle, M., and Arnold, M. (2007) “The day experience method: A Resource Kit.” [Online]. Available at: 
http://www.matthewriddle.com/papers/Day_Experience_Resource_Kit.pdf (Accessed: 28 April 2014). 
SCONUL (2011) “The SCONUL seven pillars of information literacy: A research lens for higher education,” SCONUL working 
group on information literacy, April 2011.” [Online]. Available at: 
http://www.sconul.ac.uk/sites/default/files/documents/coremodel.pdf (Accessed 1 May 2014). 
Shuell, T. J. (1986) “Cognitive Conceptions of Learning,” Review of Educational Research, Vol. 56, No. 4, pp. 411‐436. 
Wang, Q., Lin, X., and Mao, R. (2003) “Survey on undergraduate and postgraduate students’ information literacy”, Journal 
of Library Science in China, Vol. 6. 
Warschauer, M. (2002) “Reconceptualising the digital divide”, First Monday, Vol. 7, No. 7.   

 
711
The Comparison of Achievements‐System Benefits for Free and Paid 
Online Learning Courses  
David Kalenda 
University of Hradec Králové, Hradec Králové, Czech Republic  
d.kalenda@email.cz 
 
Abstract:  Achievements  are  modern  tools  enhancing  the  attractiveness  of  a  game  and  increasing  the  rate  of  its 
replayability in the eyes of video game players, the target customers of game developers. Achievements system is a sort of 
a  meta‐game,  a  game  in  a  game,  a  superstructure  which  is  not  obligatory  for  full  completion  of  the  game  itself.  It  is 
represented in video game digital distribution systems or on community web portals by icons with texts describing what to 
do or simply how to obtain the particular achievement. In addition, it is possible to acquire a special reward for completing 
the achievement or set of achievements. It motivates players to submit superior performance involving motor skills, logic 
or wit. Mainly because of these reasons is the involvement of achievements in education beneficial. The e‐learning systems 
will contain a number of achievements for the courses and the enrolled students will be awarded for the accomplishment 
of the achievements by a special course completion certificate, remarkable personal profile avatars, multimedia material 
thematically related to the course instructor or the organizing institution etc. A motivation to meet not only the mandatory 
requirements,  but  also  to  support  the  willingness  to  dig  deeper  into  the  issues  of  individual  courses,  aiming  at  human 
playfulness, curiosity and desire to collect and assemble, is the main carrier of the Achievements‐system based education 
support  method.  The  aim  of  this  work  is  to  compare  the  benefits  of  the  Achievements‐system  usage  by  free  and  paid 
online  learning  courses  measured  by  the  increase  of  students  who  successfully  completed  the  course  beside  those  who 
attended it. The free e‐learning courses are suffering from a malady stemming from its very nature ‐ absolutely unlimited 
accessibility for everyone. The number of the enrolled students is extremely high, it reaches tens of thousands among the 
most popular courses, but because of the fact that there is no force which makes the students complete the course, except 
their inner motives, the number of students who complete the course is only a fraction of the original quantity. There is an 
opposite  situation  in  the  area  of  paid  courses.  There  are  much  less  enrolled  students  than  in  free  courses,  but  the 
percentage of successful course completion is much more positive among others due to the financial pressure. Increased 
course  completion  motivation  is  assumed  by  the  usage  of  the Achievements‐system  in  both  free  and  paid  courses,  with 
more  significant  increase  in  the  free  environment  because  of  the  more  diversified  structure  of  enrolled  students  and 
therefor higher tendency to playfulness, increased interest in the issue or incentive to deeper study of the subject by non‐
conformist methods. These theoretical assumptions are to be confirmed or disproved by the results of a research after the 
real deployment of the Achievements‐system in the online learning courses in practice. 
 
Keywords: achievements, education, motivation, e‐learning 

1. Introduction 
Achievements  are  modern  tools  enhancing  the  attractiveness  of  a  game  and  increasing  the  rate  of  its 
replayability in the eyes of video game players, the target customers of game developers. Achievements want 
to make an impress on a gamer, not for themselves only but especially for the mother‐game which they are an 
integral part of. 
 
Achievements system is a sort of a meta‐game, a game in a game, a superstructure which is not obligatory for 
full completion of the game itself. The most popular achievement frameworks were developed by Microsoft 
(Xbox  360)  and  Valve  (Steam  –  PC).  Based  on  the  framework  provided  by  Microsoft,  the  community  has 
developed intriguing gaming practices where the individual games become pieces of a larger whole (Jakobsson 
2011). 
 
It is represented in video game digital distribution systems or on community web portals by icons with texts 
describing  what  to  do  or  simply  how  to  obtain  the  particular  achievement  (see  Figure  1).  In  addition,  it  is 
possible  to  acquire  a  special  reward  for  completing  the  achievement  or  set  of  achievements.  Achievements 
stimulate  gamers  to  better  performances  and  motivate  them  to  reach  further,  higher  and  faster  than  the 
majority  of  members  of  gamers  community.  Achievements  also  motivate  players  to  submit  superior 
performance involving motor skills, logic or wit. 
 
There are also web sites which give to the achievements‐system a little twist. Stack Overflow, a question and 
answer Web site, uses a reward system called badges to publicly reward users for their contributions to the 
community. Badges are used to reward positive behavior by relating a user's site identity with their perceived 

712
 
David Kalenda 

expertise and respect in the community. A greater number of badges associated with a user profile in some 
way indicate a higher level of authority, leading to a natural incentive for users to attempt to achieve as many 
badges as possible (Grant, Betts 2013). 

 
Figure 1: Sample of an achievement from the History course with an image, title and text description (Source: 
Own) 
Gamification is growing increasingly prevalent as a means to incentivize user engagement of social media sites 
that rely on user contributions. Badges, or equivalent rewards such as top‐contributor lists, clearly appear to 
be valued by users who actively pursue and compete for them (Easley, Ghosh 2013). 

2. The dark side of being successful 
Achievements  in  video  games  are  a  recent  phenomenon  throughout  all  the  conceivable  platforms  from  the 
console manufacturer representatives Sony, Microsoft and Nintendo to the personal computers. 
 
The success of the achievements in video games had a negative influence on the video games in general – all 
the new video games launched on some of the platforms were persuaded to include achievements. According 
to Jakobsson (2011), this has been done by a set of rules every retail game has to follow in order to reach the 
standard.  Because  of  this  console  manufacturers'  pose  there  arose  the  situation  of  artificially  added 
achievements into all the video games. There was also an increase in the lack of creativity in the challenges the 
achievements  were  bringing  to  gamers  and  the  loss  of  the  exclusivity  and  originality  hallmark.  The  first  big 
bubble was blown but the popularity of achievements is still very high. The competition between commercial, 
independent and freeware games and their achievements is fierce and so the designers are trying to develop 
original approaches to the classic style of video game achievements. 

3. Motivation in education 
Mastery motivation is defined as a psychological force that stimulates an individual to attempt independently, 
in a focused and persistent manner, to solve a problem or master a skill or task which is at least moderately 
challenging for him or her (Morgan, Harmon, Maslin‐Cole 1990). 
 
A motivation to meet not only the mandatory requirements, but also to support the willingness to dig deeper 
into the issues of individual courses, aiming at human playfulness, curiosity and desire to collect and assemble, 
is the main carrier of the Achievements‐system based education support method. 
 
Achievement  goal  researchers  and  theorists  have  relied  primarily  on  the  distinction  between  performance 
goals and mastery goals in differentiating competence‐based strivings (Elliot 1999). The Achievements‐system 
has the power to unionize all the goal‐types in one place and furthermore adds the factor of entertainment to 
them. 

4. Achievements‐system in e‐learning courses 
The e‐learning systems will contain a number of achievements for the courses. The quantity of achievements 
will be determined by the characteristics of the concrete course, varying from one to hundreds. The enrolled 
students  will  be  awarded  for  the  accomplishment  of  the  achievements  by  a  special  course  completion 
certificate,  remarkable  personal  profile  avatars,  multimedia  material  thematically  related  to  the  course 
instructor or the organizing institution like behind‐the‐scene photos, videos, instructors' stories or other form 
of entertaining and also interesting multimedia content. For each such an achievement will be monitored the 
statistics  of  percentage  successful  completion  by  all  the  students  who  have  attended  the  course  since  the 
achievement has been introduced, which will add to the motivation a factor of exclusivity, too. 

713
 
David Kalenda 

The guidelines for the achievement's fulfillment can be written down precisely or, in case of making the solving 
more difficult, the hint can be represented only by achievement's graphical icon. Creativity in the designing of 
an  achievement  is  very  important  and  more  than  welcome.  The  more  demanding  will  be  the  solving  of  the 
achievement, the more attractive reward will be offered for the accomplishment. 

5. Free and paid e‐learning courses 
The  aim  of  this  work  is  to  compare  the  benefits  of  the  Achievements‐system  usage  by  free  and  paid  online 
learning  courses  measured  by  the  increase  of  students  who  successfully  completed  the  course  beside  those 
who  attended  it.  The  free  e‐learning  courses  are  suffering  from  a  malady  stemming  from  its  very  nature  ‐ 
absolutely  unlimited  accessibility  for  everyone.  The  number  of  the  enrolled  students  is  extremely  high,  it 
reaches  tens  of  thousands  among  the  most  popular  courses,  but  because  of  the  fact  that  there  is  no  force 
which  makes  the  students  complete  the  course,  except  their  inner  motives,  the  number  of  students  who 
complete the course is only a fraction of the original quantity. 
 
There is an opposite situation in the area of paid courses. There are much less enrolled students than in free 
courses, but the percentage of successful course completion is much more positive among others due to the 
financial pressure. This is assumed after the enrollment for several courses offered by the education platform 
Coursera,  e.  g.  Online  Games:  Literature,  New  Media  and  Narrative,  Organizational  Analysis  or  Fantasy  and 
Science Fiction: The Human Mind, Our Modern World. 

6. E‐learning courses completion motivation 
Sun,  Tsai,  Finger,  Chen  and  Yeh  describe  thirteen  critical  factors  in  six  dimensions  influencing  e‐learner 
satisfaction. In the learner dimension those factors are learner attitude toward computers, learner computer 
anxiety, and learner Internet self‐efficacy. The factors of instructor response timeliness and instructor attitude 
toward  e‐Learning  were  identified  in  the  instructor  dimension,  and  e‐Learning  course  flexibility,  e‐Learning 
course  quality  in  the  course  dimension.  The  technology  dimension  factors  were  technology  quality  and 
Internet quality. Finally, perceived usefulness and perceived ease of use were identified in design dimension 
and diversity in assessment and learner perceived interaction with others in the environmental dimension (Sun, 
Tsai,  Finger,  Chen,  Yeh  2008).  Increased  course  completion  motivation  is  assumed  by  the  usage  of  the 
Achievements‐system  in  both  free  and  paid  courses,  with  more  significant  increase  in  the  free  environment 
because  of  the  more  diversified  structure  of  enrolled  students  and  therefor  higher  tendency  to  playfulness, 
increased interest in the issue or incentive to deeper study of the subject by non‐conformist methods. These 
theoretical  assumptions  are  to  be  confirmed  or  disproved  by  the  results  of  a  research  after  the  real 
deployment of the Achievements‐system in the online learning courses in practice. 

7. Conclusion 
It is very important to support human motivation to education by any means necessary. And is there a better 
way to do it than the path of entertainment? This some kind of rhetorical question shows that there is no need 
for such questions, because human race is a playful one and its whole‐life need for education is irresistible and 
persistent. 

Acknowledgements 
This work was supported by the project No. CZ.1.07/2.2.00/28.0327 Innovation and support of doctoral study 
program (INDOP), financed from EU and Czech Republic funds. 

References 
Easley, D., Ghosh, A., (2013) Incentives, gamification, and game theory: an economic approach to badge design, 
Proceedings of the fourteenth ACM conference on Electronic commerce, 359‐376. 
Elliot, A. J., (1999) Approach and avoidance motivation and achievement goals, Educational psychologist, 34(3), 169‐189. 
Grant, S., Betts, B., (2013) Encouraging user behaviour with achievements: an empirical study, Mining Software 
Repositories (MSR), 10th IEEE Working Conference on, 65‐68. 
Jakobsson, M., (2011) The achievement machine: Understanding Xbox 360 achievements in gaming practices, Game Studies, 
11(1), 1‐22. 
Morgan, G. A., Harmon, R. J. and Maslin‐Cole, C. A., (1990) Mastery motivation: Definition and measurement, Early 
education and Development, 1(5), 318‐339. 
Sun, P. C., Tsai, R. J., Finger, G., Chen, Y. Y., and Yeh, D., (2008) What drives a successful e‐Learning? An empirical 
investigation of the critical factors influencing learner satisfaction, Computers & Education, 50(4), 1183‐1202. 

714
Assignments in a Nutshell 
Lisa Oakley and Orlagh McCabe 
Manchester Metropolitan University, UK 
l.oakley@mmu.ac.uk  
O.mccabe@:mmu.ac.uk 
 
Abstract: This research project seeks to identify the advantages and disadvantages of using podcasts and other e‐learning 
technologies  to  support  students  with  assessments.  Through  a  range  of  mediums  students  were  asked  about  their 
experiences  of  engaging  with  e‐learning  strategies  and  their  subsequent  effect  on  assignment  writing.  This  work  in 
progress outlines the context of this research and the feedback received to date. 
 
Keywords: podcasts, Socrative, assignments, SurveyMonkey, peer‐mentoring 

1. Introduction 
Educational  institutions globally  are  integrating new  technologies  into  their  learning  systems  to  support and 
enhance  the  student  experience.  It  is  increasingly  necessary  for  HE  practitioners  to  have  a  certain  level  of 
understanding  of  new  technologies  and  e‐learning  systems  and  to  be  able  to  assess  the  impact  of  these 
technologies on student learning performance (Blasco‐Arcas,2012). 
 
Abuse studies is a single/combined undergraduate programme representing a  unique provision only delivered 
at Manchester Metropolitan University. Limited prior understanding of this academic area has led to increased 
anxiety  around  assessments.  Although  a briefing  is  delivered  for  each assessment,  students  continue  to feel 
concerned about misunderstanding the assessment criteria. 
 
Therefore, this academic year ‘Assignment in a Nutshell’ podcasts were introduced which provided a summary 
of the requirements of the assignment and marking criteria for the final assignment in each core unit across 
the  undergraduate  programme.  This  e‐learning  approach  was  combined  with  verbal  and  written  briefings. 
These were posted on the unit VLE . 
 
There are two aims to the current study. The first is to use a triangulation of emergent technologies (Podcasts, 
SRS, E‐questionnaires) to evaluate the impact of student engagement with assessment podcasts. The second is 
to evaluate the use of peer mentoring via student‐designed assignment podcasts, again using the triangulation 
described above.  

2. Theoretical background 
Advances  in  technology  are  changing  how  students  and  tutors  interact  in  the  classroom  and  can  promote 
interactivity (Blasco‐Arcas, 2012). This is seen as pivotal to effective learning (Bannan‐Ritland, 2002). There is a 
significant need for tutors to prepare future graduates for a digital global economy that is characteristic of the 
21st century.  
 
There  are  many  advantages  to  using  SRS  with  students.  For  example,  increased  participation  (Draper  and 
Brown,2004), increased understanding (Edmonds and Edmonds,2008). SRS also offer students a dual form of 
feedback  providing  an  opportunity  to  reflect  on  comprehension  of  materials  and  identify  areas  that  require 
additional support (Chui,2013) 
 
Tynan & Colburn (2006) suggest the use of podcasts is valuable and a large proportion of students use them. 
However, research from Walls et al (2010) contradicts this and suggests many students do not like podcasts 
and may not want to use them. Therefore it is important to understand how this particular cohort of students 
will engage with e‐learning technologies in a peer learning context. 
 
Peer  learning  incorporates  a  range  of  practices  that  promote  reflection  on  feedback,  making  students  more 
likely to engage with the assessment process. (Blasco‐Arcas,2012) This can subsequently impact future work 
and promote sustainable high quality learning which is already evidenced through good honours in this subject 
area. 

715
 
Lisa Oakley and Orlagh McCabe 

3. Research methodology 
The  mixed  methods  approach  chosen  for  this  research  allowed  the  intentional  collection  of  qualitative  and 
quantitative  data  to  combine  the  strengths  of  each  approach  in  addressing  the  research  aims  (Pasick  et  al, 
2009).  Quantitative  research  can  produce  generalisable  information  and  qualitative  research  provides 
information about meaning and context. Creswell et al (2010) argue that merging quantitative and qualitative 
data allows a more complete understanding of a problem and validates results. 
 
Obtaining  good  quality  qualitative  evaluative  feedback  from  students  is  a  complex  process  (Yao  &  Grady, 
2006).  Skewing  of  data  or  a  propensity  to  positive  or  negative  feedback  have  led  researchers  to  call  for  
alternative  methods  of  collecting  student  feedback  from  those  traditionally  used  (Fenwick,  2001).  The 
researchers were mindful that obtaining rich student feedback is imperative for improving practice in higher 
education  (Yao  &  Grady,  2006).  In  order  to  conduct  the  evaluation  students  will  be  asked  to  provide  key 
feedback in two demonstrable ways. Firstly via an e‐survey on Survey Monkey disseminated via a web link on 
the unit VLE.   Secondly using the exit ticket on ‘Socrative’ (student response system) to determine their level 
of understanding and their development needs.  
 
To date an e‐survey has been designed and disseminated on SurveyMonkey, This survey is still open and the 
researchers are still gathering data. Therefore, the results presented here are interim. The advantages of using 
E‐questionnaires  are  ‘shorter  performance  cycles,  shorter  requires  responding  time  and  being  a  cheap 
method’(Ritter, 2007) 
 
The  e‐survey  was  made  available  to  all  students  from  units  which  had  incorporated  the  ‘assignment  in  a 
nutshell’ podcasts. The survey met with BPS ethical guidelines and included an informed consent form prior to 
commencement  of  the  survey.  The  link  to  the  survey  was  sent  to  each  student  by  their  university  email 
address  and  posted  on  Facebook.  The  informed  consent  form  provided  information  about  the  study  and 
ensured students of their anonymity in the process as well as ensuring they understood that participation was 
voluntary  and  they  could  withdraw  at  any  point.  Details  of  confidentiality,  data  protection  and  researcher 
contact details are available on the consent form.   
 
The quantitative data collected has been analysed using descriptive statistics and the qualitative data has been 
subject to a thematic analysis using Braun and Clark’s (2006) model.  
 
28 students have completed the survey to date and they represent students from all levels of the programme 
(Of total respondents 36% were first year, 41% second year and 23% final year).  91% of all respondents had 
listened to at least one ‘assignment in a nutshell’ podcast.  9% of students in the current study did not access 
or  engage  with  the  podcast  overall.  The  percentage  of  respondents  indicates  that  the  majority  of  students 
have engaged with the podcast. 
4. Preliminary findings and discussion 
Students were asked to detail their reasons for accessing the podcast.) the thematic analysis identified three 
key  themes,  understanding,  auditory  learning  &  learner  needs  (comments  in  italics  are  quotes  from  the 
survey).  
 
The  main  recurrent  theme  identified  was  about  understanding.  Students  repeatedly  noted  that  they  felt 
listening to the podcast enhanced their understanding of the assignment “ I listened to it so that I got a better 
understanding of the assignment I needed to do”. Belenger (2005) supports this idea noting the  replaying of 
podcasts facilitates students understanding. 
 
The second theme was ‘auditory learning’ a number of students said they found listening rather than reading 
an easier way to assimilate the information “find it easier to listen to things rather than reading stuff all the 
time”. Auditory learners comprise 30% of the student population, these types of learners gain superior support 
from  listening  to  podcasts  (Ralph  &  Olsen,  2007).  The  final  theme  was  around  learner  needs.  One  student 
noted  that  a  verbal  format  was  important  due  to  her  specific  learning  needs  “Easier  to  understand  the 
assignment  if  someone  is  to  talk  me  through  it  due  to  my  learning  needs,  being  dyslexic  it  helps  me  a  lot”. 
Students who did not access the podcast did not provide any feedback on why they had not.  
 

716
 
Lisa Oakley and Orlagh McCabe 

The  majority  of  students  suggested  that  the  podcast  impacted  their  approach  to  the  assignment  (see  graph 
below). 

 
The  respondents  replied  to  the  statement  ‘the  assignment  in  a  nutshell  podcast  was  useful  ,  53%  said  they 
strongly  agreed and 47% said they agreed, no students reported that it was not useful. 

 
Students provided free text comments to explain why they had found the podcast useful. There were three 
main  themes.  These  were  clarity,  accessibility  and  succinctness.  Most  of  the  comments  reflected  that  the 
podcast  aided  clarity  of  understanding  the  assessment  requirements  and  the  marking  criteria,  “It  helped  to 
clarify what the details of the assignment were”, “All information regarding the assignments could be found on 
the podcast, including exactly what the assignment was on and the marking criteria”.  
 
The second theme was accessibility, students commented on being able to access the podcast at any time and 
the ability to listen to it repeatedly “I could refer to it anytime”, “the opportunity to take extra notes, pause if I 
wanted  to,  and  re‐listen”.  Ribar  &  Chavez  (2010)  futher  support  this  idea  by  suggesting  one  of  the  most 
positive aspects of podcasting is that it is an ‘anytime, anywhere’ technology. 
 
The final theme was succinctness, students reflected that the podcast provide a short but clear overview of the 
main  points  of  the  assignment,  which  they  found  useful  in  preparing  “It  helped  me  plan  and  structure  the 

717
 
Lisa Oakley and Orlagh McCabe 

assignment,  as  it  was  clear  and  to  the  point.”  Simplicity,  convenience  and  time  saving  have  been  noted  as 
elements of best practice around the use of podcasts (Hew, 2009) 88% of students stated that listening to the 
assignment podcast changed how they approached the assessments. 
 
The  survey  asked  students  to  provide  suggestions  for  improvements  to  the  podcast.  Many  students  said  no 
improvements were needed. The few who did make suggestions stated that they would like podcasts used for 
all assignments and to ensure the sound quality, which was quiet in one podcast.  
 
A final question on the survey asked students to identify their preferred briefing method. Students were able 
to choose from verbal in‐class briefing, written briefing and assignment podcast, the results are shown on the 
graph below.  

 
Therefore,  the  majority  of  students  chose  all  three  methods.    A  combination  of  methods  was  favoured  by 
students  to  allow  multiple  opportunities  to  engage  with  briefing  material  in  different  formats.  “  I  do  prefer 
having the briefing via podcasts and especially verbally in class, as I feel tutors offer extra information when 
discussing  the  assignments  that  they  may  not  have  included  on  written  material;  This  supports  Smith  et  al, 
2009 research which states that podcasts are no replacement for a passionate instructor.  
 
These preliminary findings have indicated that student engagement with podcasting positively impacts upon 
their understanding, learning and preparation for assessments. This research now aims to further evaluate the 
impact of podcasts  in a peer learning environment to develop guidelines for best practice in the use of this 
technology for assignment preparation.  
 
Emergent technologies have greatly influenced pedagogic practice in the Higher Education sector globally. This 
research begins to touch upon some of the bespoke ways in which these technologies can be used to enhance 
learning,  promote  inclusion  and  support  high  quality  learning.  Further  research  in  the  social  sciences  now 
needs  to  address  the  impact  of  the  ‘individual’  learner  when  engaging  with  technologies  such  as  student 
response systems (Fies and Marshall, 2006)  and the training and resources needed by educators to develop 
sustainable programmes which foster such an approach. 
References 
Blasco‐Arcas, I. Buil, B. Hernández‐Ortega and Javier Sese, F. (2013).Using clickers in class. The role  of interactivity, active 
collaborative learning and engagement in learning performance,"  Computers & Education, 62, , 102‐110. 
Berlanger, Y. (2005). Duke university iPod first year experience final evaluation. Retrieved from. 
http://cit.duke.edu/pdf/reports/ipod_initiative_04_05.pdf. 
Braun, V. and Clarke, V. (2006) Using thematic analysis in psychology. Qualitative Research in Psychology, 3 (2). pp. 77‐101.  
Creswell, J.W; Klassen , A.C; Plano Clark, V.L. Clegg Smith, K. (2010) Best Practices for Mixed Methods Research in the 
Health Sciences. OBSSR 
Draper, S.W. & Brown, M.I. (2004). Increasing interactivity in lectures using an electronic voting system.  Journal of 
Computer Assisted Learning, 20,  81–94. 

718
 
Lisa Oakley and Orlagh McCabe 

Fenwick, T. J. (2001). Using student outcomes to evaluate teaching. A cautious exploration. In C. Knapper & P. Cranton 
(Eds.), Fresh approaches to the evaluation of teaching (New Directions for Teaching and Learning, No. 88) (pp. 63–
74). San Francisco: Jossey‐Bass. 
Fies and Marshall (2006) Classroom response systems: A review of the literature. Journal of Science Education and 
Technology. 15, 101‐109 
Hew, K. F. (2009). Use of audio podcast in K‐12 and higher education: a review of research topics and methodologies. 
Education Technology Research and Development, 57, 333–357 
Pasick, R. J., Burke, N. J., Barker, J. C., Galen, J., Bird, J. A., Otero‐Sabogal, R., et al. (2009). Behavioral theory in a diverse 
society: Like a compass on Mars. Health Education Behavior, 36(5), 11S–35S. 
Ralph, J., & Olsen, S. (2007). Podcasting as an educational building block in academic libraries. Australian Academic & 
Research Libraries, 38(4), 270–280. 
Smith, S.D; Salaway, G; Caruso, J.B. (2009) The ECAR study of undergraduate students and information technology. 
http://net.educause.edu/ir/library/pdf/ers0906/rs/ers0906w.pdf accesed 26/6/14.  
Sue, V. M. & Ritter L.R. (2007) Conducting online Surveys, Barnes and Noble 
Tynan, B. & Colbran, S. (2006). Podcasting, student learning and expectations. 23rd ASCILITE Conference.Sydney. 
Vogt, M., Scaffner, B., Ribar, A., & Chavez, R. (2010). The impact of podcasting on the learning and satisfaction of 
undergraduate nursing students. Nursing in Practice,10(1), 38–42. 
Walls, S. M., Kucsera, J. V., Walker, J. D., Acee, T. W., McVaugh, N. K. & Robinson, D. H. (2010). Podcasting in education: are 
students as ready and eager as we think they are? Computers and Education, 54, 2, 371–378. 
Yao, Y & Grady, M.L. (2005) How do faculty make formative use of student evaluation feedback?: A multiple case study.  
Journal of Personnel Evaluation in Education, 2005, 18: 107‐126 Springer 
 

719
Developing a Cohesive Mobile Learning Framework 
Jenni Rikala 
University of Jyvaskyla, Department of Mathematical Information Technology, Jyvaskyla, 
Finland 
jenni.p.rikala@jyu.fi 
 
Abstract: This paper is a work in progress exploring the development of a cohesive mobile learning framework. The study 
draws upon empirical evidence gathered in four case studies and literature review. The ongoing study is important as the 
coherent  framework  could  help  planning,  implementing  and  evaluating  mobile  learning  as  well  as  developing  mobile 
learning solutions. Despite the fact that research in the field of mobile learning has been done widely and the fact that it is 
an  ascending  trend  worldwide,  one  clear  challenge  is  that  the  mobile  learning  solutions  have  not  deeply  rooted  in  the 
educational contexts or practices. The unfortunate reality is that the majority of classrooms look the same way as they did 
100 years ago and that the teachers mainly prefer conventional technologies to simply automate their traditional activities. 
To  tackle  this  challenge,  this  research  argues  that  there  is  a  need  for  a  cohesive  theoretical  mobile  learning  framework 
which can explain and help the process that at best can lead to pedagogically sensible and sustainable way to utilize mobile 
technologies in the educational contexts. The study is divided into three separate parts. The first part includes qualitative 
research and constructive work. The information found in the literature review about the core elements and characteristics 
of  mobile  learning  was  used  as  a  background  in  constructive  work  when  developing  a  mobile  learning  evaluation 
framework. This framework was then used in the second part of the research, which included four case studies. The case 
studies  were  studied  through  the  developed  framework  and  they  indicated  that  the  medium  level  aspects  of  mobile 
learning were realized comparatively well, but that there were also factors that should be added to the framework. The 
third  ongoing  part  of  the  study  will  include  further  development  of  the  framework  and  tests  in  a  selected  educational 
context.  
 
Keywords: mobile learning, framework, mobile technology, pedagogical practices 

1. Introduction 
One globally increasing trend is mobile learning, which can be understood as learning with mobile devices in 
various contexts (O’Malley et al. 2005). There is a consensus among the researchers that mobile technologies 
have  great  potential  to  improve  teaching  and  learning.  However,  the  concept  of  mobile  learning  is  still 
developing  rapidly  and  the coherent  theoretical  framework  is  missing  (Traxler  2007).  As  a  consequence,  the 
mobile  learning  pilots  and  trials  have  been  characterized  by  short‐term,  small‐scale  studies  driven  by 
enthusiastic teachers (Hýlen 2012) and mobile technologies still have not rooted to the educational contexts or 
practices.  Technologies  are  often  employed  to  reproduce  old  pedagogies  and  textbooks  still  are  the  most 
common and widespread resources (Ferrari, Cachia and Punie 2011).  
 
The  aim  of  this  work  in  progress  study  is  to  bridge  the  gap  between  theory  and  practice  by  developing  a 
cohesive mobile learning framework. The study draws upon empirical evidence gathered in four case studies 
and literature review.  

2. Developing a mobile learning evaluation framework 
In  this  study,  the  core  aspects  identified  by  Koole  (2009)  and  Kearney  et  al.  (2012)  in  their  respective 
frameworks  provide  an  evaluation  framework  in  which  the  case  studies  were  analysed.  Both  of  these 
frameworks  suggest  that  mobile  learning  has  certain  elementary  characteristics  that  separate  it  from  other 
types of learning. Koole (2009) highlights aspects such as the device, learner and social aspect. Kearney et al. 
(2012), in turn, highlight the characteristics such as personalization, authenticity, collaboration, and the spatial 
and temporal aspects of the mobile learning environment. 
 
Based  on  these  two  frameworks,  an  evaluation  framework  was  developed  (see  Figure  1).  The  evaluation 
framework  consists  of  two  levels,  namely  core  level  and  medium  level.  Since  the  mobile  technologies  have 
unique ability to support learning anywhere and anytime, the aspects such as context, time and space form 
the core of the framework. The learner aspect, device aspect and social aspect, in turn, form the medium level 
of  the  framework.  An  Individual  learner's  cognitive  abilities,  memory,  emotions,  motivation,  attitudes,  and 
experiences are in a significant role in the learning process (Koole 2009). On the other hand, the device aspect 
should  not  be  forgotten  either  and  social  aspect’s  importance  as  a  part  of  the  learning  process  cannot  be 
underestimated  (Koole  2009).  In  a  sense,  the  mobile  learning  process  is  continually  reshaped  by  interaction 

720
 
Jenni Rikala 

between the learner, device and social relations (Koole 2009). In this study, these core level and medium level 
aspects provided an evaluation framework in which the case studies were analysed. 

 
Figure 1: Developing the mobile learning evaluation framework 

3. The case studies 
The second part of the study included four mobile learning case studies, which were conducted in the context 
of Finnish basic education in the autumn of 2012. Each case was unique in terms of its mobile application and 
participants, but the phenomenon under the examination was in all the cases the same; mobile learning. The 
data were collected by multiple methods; teacher interviews, student questionnaires, and observations. 
 
The  case  studies  indicated  that  the  medium  level  aspects  were  realized  comparatively  well.  The  mobile 
learning activities were motivating and meaningful to students and in most cases the mobile application suited 
well  for  students.  No  major  technical  problems  occurred  during  the  experiments  and  the  students  strongly 
agreed that the use of mobile devices and applications was easy. The social aspect was slightly questionable as 
the  mobile  technology  was  not  directly  used  to  mediate  collaboration.  Nevertheless,  in  all  cases  the  mobile 
application encouraged social interactions with the peers and with adults.  
 
The  core  level  aspects  were  more  challenging.  The  context  where  the  mobile  devices  were  used  was 
interspersed with traditional classroom learning and unfortunately the implementations were not as authentic 
and spontaneous situations as they at best could have been. One reason for this was that in all the cases the 
activities needed to be relevant to the school curriculum.  
 

721
 
Jenni Rikala 

One very significant observation was that the pedagogical aspect is very important. A teacher's contribution is 
significant  as the  teacher  is planning the  situations  in  which  the  mobile  devices are used,  the  learning  goals 
and contents and how learners are going to use devices to achieve the learning goals.  
 
In  the  teacher  interviews  there  were  also  aspects  that  were  emerging  outside  the  frameworks.  These  are 
teacher's competencies, ICT integration strategies and technological, social and cultural changes. It is obvious 
that technological, social and cultural changes do and will influence teaching and learning. These changes were 
mentioned in teacher interviews. Also, the teacher's competencies were mentioned several times during the 
teacher  interviews.  One  obvious  challenge  when  implementing  mobile  learning  according  to  the  teachers  is 
the  fact  that  whether  the  school  provides  necessary  equipment.  This  is  related  to  school's  ICT  integration 
strategies. 

4. Reconstructing the mobile learning framework 
Based  on  the  findings  of  the  case  studies  and  literature,  the  first  version  of  an  improved  framework  was 
constructed (see Figure 2).  

 
Figure 2: The improved mobile learning framework 
The  core  characteristics  of  the  mobile  learning  process  are  the  learner  (L),  device  (D) and  social  (S)  aspects. 
These  aspects  also  intersect,  which  means  that  learners  may  move  within  different  physical  and  virtual 
locations and participate and interact with each other as well as with information and systems (Koole 2009). 
The learner, device and social aspects are also highlighted in many earlier studies (see Figure 3) which have 
been aiming to develop a mobile learning framework. 
 
The pedagogical practices strongly influence on the learning activity, mobile learning process, as well as mobile 
learning  experience.  The  pedagogical  practices  are  for  instance,  highlighted  by  Parsons  et  al.  (2007).  Social, 
cultural  and  technological  changes  have  an  influence  on  the  core  curriculum,  ICT  integration  strategies  and 
teacher's competencies which, in turn, have an influence on the pedagogical practices such as mobile learning 
activity design and its implementation.  
 
Finally, the mobile learning experience is seen as the result of the mobile learning activity and mobile learning 
process.  The  characteristics  that  are  incorporated  into  mobile  learning  experience  include,  among  others, 
spontaneity and personalisation. The decisions about the context, for instance, can affect the spontaneity. 
 
In other words, the current framework (see Figure 2) highlights the aspects such as pedagogy, context, learner, 
device and social interactions. Also Crompton (2013, p. 3‐4) has argued that these are the central constructs of 
mobile learning. 
 

722
 
Jenni Rikala 

 
Figure 3: Aspects which are highlighted in nine earlier studies  

5. Conclusions 
The  aim  of  this  work  in  progress  study  is  to  bridge  the  gap  between  theory  and  practice  by  developing  a 
cohesive  mobile  learning  framework.  The  development  process  of  the  mobile  learning  framework  was 
discussed.  At  best,  the  cohesive  mobile  learning  framework  could  help  development,  implementation  and 
evaluation of mobile learning solutions, but work still remains to be done. 

Acknowledgements 
The case studies were part of the project Personal Mobile Space funded by Tekes (the Finnish Funding Agency 
for  Technology  and  Innovation)  and  led  by  Professor  Pekka  Neittaanmäki  and  Marja  Kankaanranta  from  the 
University of Jyvaskyla, Finland. 

References  
Crompton, H. (2013) 'A Historical Overview of M‐learning. Toward Learner‐Centered Education', in Berge, Z. and 
Muilenburg, L. (eds.) Handbook of Mobile Learning, New York: Routledge, pp. 3–14. 
Ferrari, A., Cachia, R. and Punie, Y. (2011) ‘Educational Change through Technology: A Challenge for Obligatory Schooling in 
Europe’ in Kloos, C.D., Gillet, D., Crespo García, R.M., Wild, F. and Wolpers, M. (eds.) Towards Ubiquitous Learning: 
th
Proceedings of the 6  European Conference of Technology Enhanced Learning, Springer, Berlin, Heidelberg, pp. 97–
110. 
Hýlen, J. (2012) Turning on mobile learning in Europe. Illustrative initiatives and policy implications, UNESCO working paper 
series on mobile learning, De fontenoy, France: The United Nations Educational, Scientific and Cultural Organization. 
Issa, G.F., Al‐Bahadili, H. and Abuhamdeh, M. (2011) A scalable framework to quantitatively evaluate success factors of 
mobile learning systems, International Journal of Mobile Learning and Organisation, 54(5), pp. 299–316. 
Kearney, M., Schuck, S., Burden, K. and Aubusson, P. (2012) Viewing mobile learning from a pedagogical perspective. 
Research in Learning Technology, 20. 
Koole, M.L. (2009) 'A Model for Framing Mobile Learning', in Mohamed, A. (ed.) Mobile Learning: Transforming the 
Delivery of Education and Training. Edmonton, AB, CAN: Athabasca Univeristy Press, pp. 25–50. 
Mostakhdemin‐Hosseini, A. and Tuimala, J. (2005) 'Mobile learning framework', in Isaias, P, Borg, C., Kommers, P. and 
Bonnanon, P. (eds.) Proceedings of the IADIS International Conference on Mobile Learning. 
O´Malley, C., Vavoula, G., Glew, J.P., Taylor, J., Sharples, M., Lefrere, P., Lonsdale, P., Naismith, L., Waycott, J. (2005) 
Guidelines for learning/teaching/tutoring in a mobile environment. MOBIlearn WP 4 ‐ Pedagogical Methodologies 
and Paradigms.  
Ozdamli, F. and Cavus, N. (2011) Basic elements and characteristics of mobile learning. Procedia – Social and Behavioral 
Sciences, 28, pp. 937–942. 

723
 
Jenni Rikala 

Parsons, D., Ryu, H. and Cranshaw, M. (2007) A Design Requirements Framework for Mobile Learning Environments, 
Journal of Computers, 2(4), pp. 1–8. 
Sharpies, M, Taylor, J, and Vavoula, G (2007) 'A theory of learning for the mobile age’, in R Andrews, and C 
Haythornthwaite (eds), The sage handbook of e‐learning research, SAGE Publications Ltd, London, pp. 221–48. 
Tan, Q, Zhang, X., Kinshuck and McGreal, R. (2001) The 5R Adaptation Framework for Location‐Based Mobile Learning 
Systems. 10th World Conference ofn Mobile and Contextual Learning, Bejing, China: Bejing Normal University, pp. 87–
94. 
Traxler, J. (2007) Defining, Discussing and Evaluating Mobile Learning: The moving finger writes and having writ . . . . The 
International Review of Research in Open and Distance Learning, 8(2). 
Wei, Y. and So, H.‐J. (2012) 'A Three‐level Evaluation Framework For a Systematic Review of Contextual Mobile Learning', in 
Specht, M., Sharples, M. and Multisilta, J. (eds.), CEUR‐WS.org, pp. 164–171.  

724
Increasing Student Response Rates for Online Course Evaluation 
Stefani Woods and Maryanne Fisher 
Saint Mary’s University, Halifax, Nova Scotia, Canada 
stefani.woods@smu.ca 
mlfisher99@gmail.com 
 
Abstract:  The  adoption  of  e‐learning  techniques,  tools  and  strategies  by  academic  institutions  creates  a  situation  where 
feedback  from  learners  is  particularly  important  for  providing  insight  into  the  success  of  the  implementation.  However, 
research  indicates  that  student  response  rates  for  online  course  evaluation  are  low,  and  that  the  few  students  who  do 
comply  are  motivated  due  to  greatly  disliking  or  liking  an  aspect  of  the  course.  In  this  paper,  we  address  the  issues 
surrounding low student response rates, and one potential method to increase these rates. After reviewing the importance 
of student evaluation, some of the solutions that have been previously offered and the issue of instructor bias, we offer a 
potential  solution  to  increase  response  rates  for  online  course  evaluation.  We  performed  a  small‐scale  study,  whereby 
online  instructors  either  conducted  “standard”  practice,  (i.e.,  a  prescribed  written  message  posted  on  the  homepage  of 
each online course), personal e‐mail to students about the importance of feedback, or personal short video message, also 
on the importance of feedback, that was then posted on the homepage of the course. At the time of writing, our institution 
has  just  closed  the  window  for  course  evaluations,  and  we  are  unable  to  report  on  the  results  of  our  intervention. 
However, we predict the video condition will yield the largest increase in response rates, as the students directly see the 
instructor who is soliciting feedback. The e‐mail condition should yield increased response rates, albeit lower than in the 
video condition, but still in excess of the prescribed message from our institution. If so, we will conclude that instructors do 
not need to provide extra course credit or withhold grades in order to solicit feedback. Instead, instructors must increase 
the feeling of being a member of a learning community, with the importance of feedback clearly outlined.  
 
Keywords: course evaluations, evaluations, student evaluations, instructor evaluations, online evaluations, response rates, 
participation rates, course evaluation return rate 

1. Introduction  
At  the  end  of  each  academic  course,  students  volunteer  to  complete  a  course  and  instructor  evaluation. 
According to research, students taking online courses complete these evaluations at a much lower rate than 
in‐class students. The hypothesis of this paper is to determine if the student completion rate for online course 
evaluations  improve  with  increased  faculty  presence  and  communication.  After  reviewing  the  literature  to 
highlight the importance of student evaluations and various strategies, we discuss a small‐scale empirical study 
we performed. We asked faculty teaching online courses to explain, in a personalized way, the importance of 
student  evaluations  for  modifying  the  course  for  future  learners,  allowing  for  instructor  improvement,  and 
helping the institution have better programs. Our goal is to show that it is not necessary to provide extra credit 
or punitive measures to increase response rates, but instead building a community of learners who recognize 
the importance of feedback. 

2. Literature review  
Students’  evaluations  are  often  considered  reliable  measures  of  teaching  performance  and  academic 
accountability,  as  well  as  a  tool  for  students  to  express  their  learning  experience.  For  students,  it  is  an 
instrument to provide feedback about the course and instructor. Students want to know their voice is heard 
and acted on (Johnson 2002). Faculty members regard it as a tool to assess teaching performance and learning 
gaps  in  curriculum.  These  results  are  critical  in  determining  if  the  faculty  member  is  effective  in  teaching. 
Accordingly,  student  evaluations  are  most  often  used  for  assessing  teaching  tenure  and  promotion.  Still, 
evaluations  are  often  biased  by  personality  traits,  in  that  faculty,  who  are  classified  by  students  to  have  a 
positive personality, may have higher student evaluations (Waters, Kemp, and Pucci 1988). This finding shows 
students  want  to  have  a  personal  connection  with  their  teachers  whereas  students,  who  evaluate  teachers 
poorly,  may  have  a  negative  attitude  (Waters,  Kemp,  and  Pucci  1988).  In  an  online  environment,  instructor 
presence and the ability to project a positive connection with students are essential. Unlike traditional paper‐
pencil  course  evaluations  completed  in  the  classroom,  online  course  evaluations  are  completed  online  at  a 
time convenient for students. The lack of a set time is relevant, as Bean (1978) found that the completion of 
student  evaluations  are  influenced  by  others  surrounding  them,  which  suggests  that  someone  must  be 
present, either physically or virtually, to motivate students to complete the evaluations. This social presence is 
key. Simply leaving it to the convenience of the student is a problematic (Dommeyer, Baum, & Hanna 2002). So 
the  question  remains:  how  do  we  influence  and  motivate  online  students  to  complete  the  online  course 

725
 
Stefani Woods and Maryanne Fisher 

evaluations? Existing response rates at Saint Mary’s University for online courses tend to be between 5‐25%, 
whereas traditional paper‐pencil formats tend to be between 60‐80%. Comparably, this has been documented 
elsewhere and can be attributed to the idea students do not see a direct benefit to completing evaluations. 
 
In Figure 1, the research framework shows that as instructor presence and frequent communication increases 
so does student completion rates for online course evaluations. 

 
Figure  1:  Online  course  evaluations  completion  rates  increase  as  instructor  presence  and  communication 
increase 
Educators worldwide struggle with low student response rates in online course evaluations. As shown in Table 
1, researchers have tried several different strategies to increase rates. The most effective are those with some 
direct benefit to the student, like extra points or withholding grades. 
Table 1: Strategies used to increase student response rates in online course evaluations and their effectiveness 

726
 
Stefani Woods and Maryanne Fisher 

As seen in Table 1, higher response rates occur when students receive a direct benefit. However, most faculty 
members do not wish to assign extra credit, and administrators do not want to withhold grades from students 
(Higgins and Erffmeyer 2010). So there is a dilemma with trying to find a balance between increasing student 
response  rates  and  establishing  a  benefit  for  students  to  complete  an  online  course  evaluation.  To  address 
this, we propose another solution, which is to increase the students’ awareness regarding the importance of 
the online evaluations via an online learning community.  
 
The  issue  of  low  response  rates  is  particularly  challenging  at  our  institution,  where  there  are  two  distinct 
course  delivery  modes,  classroom‐based  and  fully  online,  using  the  same  Instructor  Course  Evaluation  (ICE) 
system.  The  evaluation  statements  are  identical  for  both  classroom  and  online  evaluations.  Evaluations  are 
managed by Senate, so faculty members do not have the freedom to conduct their own evaluations, despite 
the  fact  that  many  ICE  statements  are  not  relevant  to  the  online  environment.  Thus,  we  conducted  a  small 
scale  study  to  determine  how  to  improve  response  rates  while  not  providing  extra  credit  or  withholding 
grades. 

3. Methodology 
We performed a small‐scale empirical study to test the hypotheses of whether frequent instructor presence 
and communication contributes to higher student completion rate for online course evaluations. Eight online 
course  instructors  were  randomly  assigned  to  one  of  three  conditions.  In  the  first  condition,  which  we  call 
“Senate  announcement”  (Appendix  C),  a  prescribed  written  message  is  posted  on  the  homepage  of  each 
online  course.  This  message  is  from  Senate  and  outlines  the  importance  of  course  feedback.  In  the  second 
condition, we asked five instructors to e‐mail students and, in their own words, tell students that evaluations 
help the instructor modify the course for future learners, allows for improvement of the instructor, and helps 
the  institution  have  better  programs.  In  a  third  condition,  we  asked  five  instructors  to  create  a  short  video 
message that was then posted on the front page of the course, outlining the same three points in their own 
words. We also purposely invited instructors to participate if they had taught the course previously, so that we 
can  compare  previous  response  rates  generated  via  the  “Senate  announcement”  to  the  email  or  video 
intervention.  Therefore,  we  intend  to  compare  completed  online  student  evaluation  surveys  between 
instructors across the three conditions, but also at a within‐instructor level to document any differences. 

4. Results and discussion 
At  the  time  of  this  submission,  our  institution  closed  the  window  for  course  evaluations,  and  therefore  we 
were unable to report on the results of our intervention. However, the data will be analyzed and presented at 
the conference in October. We predict the pattern in Table 2. 
Table 2: Strategies used to increase student response rates in online course evaluations and their effectiveness 

Based  on  the  work  of  Bean  (1978)  and  Waters,  Kemp,  and  Pucci  (1988),  instructor  presence,  instructor  and 
student interaction, and instructor’s positive personality traits should increase response rates. Therefore, we 
expect that the video condition (Appendix A) will yield the largest increase in completion rates, as the students 
directly  see  the  instructor  who  is  soliciting  feedback.  The  e‐mail  condition  (Appendix  B)  should  also  yield 
increased response rates, albeit lower than in the video condition, but still in excess of the prescribed message 
from  our  institution.  If  this  pattern  is  found,  then  we  will  be  able  to  conclude  that  one  does  not  need  to 
provide  extra  course  credit  or  withhold  grades  in  order  to  solicit  feedback.  Instead,  one  must  increase  the 
feeling of being a member of a learning community, with the importance of feedback clearly outlined.  

5. Summary 
To  summarize,  this  study  highlighted  the  effectiveness  of  established  strategies  used  to  increase  student 
completion rates for online course evaluations. While the most effective strategies awarded online students 

727
 
Stefani Woods and Maryanne Fisher 

with an incentive that directly benefited them, this study suggests that faculty presence, social interaction, and 
frequent communication may increase student response rates for online course evaluations without the use of 
an award system.  

Acknowledgements 
We would like to acknowledge and thank the following professors and staff for their participation in this study: 
Dr. Jodi Asbell‐Clarke, Dr. Sandra Orser, Stewart Downing, Randolph Corney, Dr. Edna Keeble, Dr. Maryanne 
Fisher, David Wilson, Dr. Veronica Stinson, and Barb Bell. 

Appendix 1 
This  is  a  screen  shot  of  online  course  homepage  showing  the  embedded  video  message.  It  also  shows  a 
notification announcing the availability of the course evaluation link. 

 
Appendix 2 
This is a copy of one personal e‐mail message sent from a faculty member to online students. 

 
Appendix 3 
This is a copy of the standard University Senate announcement sent to students enrolled in online courses. 

728
 Stefani Woods and Maryanne Fisher 

References 
Anderson, H. M., Cain, J. & Bird, E. (2005). Online student course evaluations: Review of literature and a pilot study. 
American Journal of Pharmaceutical Education, 69 (1), 34‐43. http://www.ajpe.org/aj6901/aj690105/aj690105.pdf  
Bean, L. H. (December 1978). Effects of the social circumstances surrounding the rating situation on students’ evaluations 
of faculty. Teaching of Psychology (5)4, pp. 200‐202. 
Dommeyer, C.J., Baum, P., & Hanna, R. (September/October 2002). College students’ attitudes towards methods of 
collecting teaching evaluations: In‐class versus online. Journal of Education for Business, (78)1, pp. 11‐15. 
Ernst, D. (October. 10, 2006). Student evaluations: a comparison of online vs. paper data collection. Presentation at the 
EDUCAUSE Annual Conferences, Dallas Oct. 9‐12, 2006. 
http://www.educause.edu/Resources/StudentEvaluationsAComparisono/156307  
Johnson, T. (2002). Online student ratings: Will students respond? Paper presented at American Educational Research 
Association Annual Meeting, 2002. 
http://www.armstrong.edu/images/institutional_research/onlinesurvey_will_students_respond.pdf 
Higgins, Teresa and Erffmeyer, Robert. (Apr 2010). Exploring Online Course Evaluation Response Rates. Poster Presentation 
for University of Wisconsin Eau Claire Office of Research and Sponsored Programs. 
http://digital.library.wisc.edu/1793/46982 
Waters, M., Kemp, E., & Pucci, A. (December 1988). High and low faculty evaluations: Descriptions by students. Teaching of 
Psychology (15)4, pp. 203‐204 

729