Incorporating an e­Portfolio System into the Assessment of a Personal  Development Planning Module – Implications for Delivery  Alison Caswell & Jill Taylor Faculty of Health, Leeds Metropolitan University 

Aim 
To report on the use of the PebblePAD e­portfolio system with Level 1 biology  students in the context of a Personal and Professional Development module.

Introduction of PebblePAD 

• 

Tutor Reflection 

Introduction 

• 

• 

• 

•  • 

There is significant interest in the use of e­portfolios in the Personal  Development Planning (PDP) process as they have a number of  potential advantages including: ¨ The ability to store material in a form that is readily accessible and  portable; ¨ The ability to incorporate tools that facilitate the development of  skills such as action planning and reflection; ¨ The ability to incorporate tools that allow material to be selected  easily and presented in a range of high quality formats.  There are also potential disadvantages/problems including: ¨ Substantial infrastructure requirements; ¨ Incompatibility between the systems resulting in lack of portability; ¨ Increased demands on staff and students in relation to ICT skills; ¨ Emphasis on using the technology to the detriment of the  development of other skills; ¨ Use of the technology purely for relatively mechanical exercises  such as skills audits rather than as a tool for fostering reflection etc. ¨ Student resistance to using electronic media.  PebblePAD is an e­portfolio tool which has been developed by the  University of Wolverhampton.  It has three main elements: ¨ A file store for deposition of material (assets); ¨ A series of asset generation tools for action planning, recording of  reflections etc. with the latter offering options with varying degrees  of structure/support; ¨ Tools for the sharing of material as individual assets or in the format  an e­portfolio.  The e­portfolio element provides a range of presentation formats  together with options to link assets.  In addition, there is a facility for tutors to provide electronic feedback  when assets or an e­portfolio are submitted. 

•  •  • 

• 

The opportunity to trial PebblePAD with the 2005­2006 Level 1 Human  Biology cohort was a spin off from the Enhancing Learner Progression  Project, one of the regional pilots in the JISC Distributed e­Learning  Programme investigating the use of e­portfolios to support students at  key transition points in the student lifecycle.  It was recognised that to enable PebblePAD to be used effectively, it  would be necessary to move some sessions from a classroom to an IT  laboratory, and to offer some module materials electronically.  As a consequence a blended mode of delivery evolved, and students  were required to submit both an e­portfolio and a physical portfolio.  The basis of this approach was partly pragmatic in terms of what was  achievable in the time­scale, but it was also recognised that it would be  better to continue some activities, e.g. those relating to group working  skills, in their original format.  However, even where students were using  paper­based materials in a classroom setting, they were encouraged to  record their reflections using PebblePAD.  Electronic materials plus a link to the PebblePad system were provided  via the VLE (Web CT) provision for the module. 

• 

Outcomes – Assessment 

•  •  •  •  •  •  • 

Background 

Of the 44 students in the cohort, 6 failed to submit for assessment (5 also  failed to submit for other modules) and 2 chose to produce only a  physical portfolio.  Of the 36 students who submitted electronic material, 3 submitted  individual assets whilst the remainder produced an e­portfolio.  Four other students had problems with linking files to their portfolios, but  in 3 of these cases, the problems were resolved quickly and easily..  In general, the students who did not submit their e­portfolio correctly  and/or had other technical problems did not attend the training sessions.  The marks ranged from 70% to 22% with an average of 53.6%.  Three students failed the assessment at the first attempt.  A fourth  student also obtained a mark below 40% but as this was due to the  technical problems with file linking outlined above, this student was given  an optional deferral.  These outcomes are broadly in line with previous years although direct  comparisons are not possible because the University has changed its  requirements in relation to submission of work. 

•  • 

• 

• 

•  •  • 

• 

BSc (Hons) Human Biology is a multidisciplinary bioscience course.  Personal and Professional Development is a 15 Credit Level 1 core  module.  The module is structured around the PDP process in that it begins with  exercises to help students to audit their current skills status etc. and to  identify what will be required of them during the first semester, then  provides opportunities for skills development and concludes with an  assessment of progress plus action planning for the following semester.  The module is assessed via a portfolio in which students are required to  provide evidence that they have addressed each of the above areas,  together with two further areas (critical thinking and research skills). 

Outcomes – Student Evaluation 

•  •  •  •  •  •  •  •  •  •  •  • 

References 
Enhancing Learner Progression (ELP) Regional e­Portfolio Collaboration:  http://www.bradford.ac.uk/acad/tqcg/resources/elp/JISC_ELP/ELP_01.htm  PebblePAD: http://www.wlv.ac.uk/default.aspx?page=7024.  Race, P (2005) Making Learning Happen, London, Sage.  Yorke, M. (2001) Formative Assessment and Relevance to Retention.  Higher Education Research and Development, 20, pp. 115­126. 

Acknowledgement 
Funding for the PebblePAD licences was provided through the JISC  Distributed E­Learning Programme. 

Students were asked to complete an evaluation form electronically when  they submitted their e­portfolio.  This included questions specifically focused on the e­learning elements.  Students were asked to respond on a scale of 1 to 5 where 1 = strongly  agree, 3 = neutral, and 5 = strongly disagree.  A total of 25 students completed the evaluation.  In relation to sources of module information, 17 said they had found the  module handbook helpful while 22 had found the Web CT site helpful.  18 also claimed that they had made greater use of the Web CT site than  the module handbook.  Only 3 students wanted more exercises overall, but 8 would have liked  more computer­based exercises.  9 students felt they had enjoyed using PebblePAD and 5 were neutral.  10 students felt PebblePAD had been easy to use and 7 were neutral.  10 students felt they had received adequate help in relation to using  PebblePAD and 11 were neutral.  12 students felt it was easier to record thoughts/reflections in PebblePAD  than on paper and 6 were neutral.  11 students felt that constructing the e­portfolio was more enjoyable than  assembling the paper portfolio and 7 students were neutral.  In relation to preference for a wholly e­portfolio, responses were spread  evenly across the 5 categories. 

One fascinating aspect was how use of PebblePAD drove the  development of e­learning more generally within the module and three  examples of this are outlined below:  1.  A paper­based learning styles questionnaire was replaced with a  questionnaire produced by Phil Race (Race, 2005) which is  designed to encourage students to think about their approach to  and motivation for learning.  This was made available to students in  electronic format together with generic feedback.  Students were  encouraged to evidence that they had done this activity through the  production of a reflection;  2.  A class exercise designed to help students think about how they  could maximise their learning in different teaching situations was  converted into an electronic survey.  Once the students had  completed this exercise, class results and Tutor feedback were  released via Web CT;  3.  Written communication exercises relating to arrangement of  material within paragraphs, conversion of information into tables,  and flow charts etc. were made available electronically.  This both  allowed the students to do these exercises more readily through  “cutting and pasting”, and gave them the opportunity to develop  their word processing skills.  The changes to delivery greatly increased the opportunities for Tutor  feedback, e.g. in response to class surveys.  There was also a strong stimulus to create new learning materials.  For  example, for the session on preparation on assessment, the Tutor  produced a PowerPoint diary of a fictitious student who made mistakes  leading to failure in assessment.  There were several positive references  to this in the students’ reflections.  The two key lessons for the future are:  1.  To develop the skills needed to produce the e­portfolio at a much  earlier stage in the module;  2.  To encourage the students to share at least one reflection with the  Tutor for feedback at an early stage.  There were technical reasons why these strategies were not  implemented, but the Tutor could have been more active in trying to  resolve the problems.  In the former case, this was because the Tutor  was aware that students tend not to produce their portfolios until just  before submission is due.  However, with hindsight. it would have been  beneficial to encourage students to start earlier.  In the latter case, the  Tutor did not appreciate that this could be done relatively easily.  This  has to be regarded as a missed opportunity given that there are clear  benefits both of identifying students who are struggling to develop their  reflective skills, and of having an opportunity for formative assessment  and feedback during the first few weeks of the course as this can impact  on retention (Yorke, 2001). 

Conclusions 

•  • 

Overall, the pilot was successful and several lessons have been learned.  We are now extending the pilot with other Level 1 cohorts in the Faculty. 

Master your semester with Scribd & The New York Times

Special offer for students: Only $4.99/month.

Master your semester with Scribd & The New York Times

Cancel anytime.