Professional Documents
Culture Documents
A SISTEMELOR DE EVALUARE
A PROGRAMELOR
EDUCAIONALE *
Florin C RBUN REAN
Drago-C lin SAB U
Comparative Analysis Regarding
the Evaluation of Educational Programs
Abstract
The major changes that occurred in the higher
education systems across Europe led to changes
in the functioning of educational programs. These
changes have emphasized the need for quality
assurance mechanisms. This article begins with
a brief presentation of the quality assurance
methods and models, focusing afterwards on
the European quality assurance systems used
in higher education. Some of these systems
are analyzed and then we look at the evaluation
processes and procedures used to ensure the
quality of three master programs from Romania.
Comparing the quality assessment models used
in some European countries we can state that
the criteria and the procedures utilized are quite
diverse. Only two criteria have been identified as
common to all models, and few more which were
common only to some systems. We also found
that the beneficiaries satisfaction is an indicator
used rather often in assessing the quality of
the three master programs from Romania. We
conclude that the evaluation process has gain in
significance and its evolution is likely to be tied
to the activity of international quality assurance
networks which began to develop guidelines
for the national agencies. In addition to that, we
witness an increase in standardization.
Key words: evaluation, educational programs, accreditation, agencies, comparative
analysis.
Revista Transilvan
de tiine Administrative
1 (28)/2011, pp. 5-30
1. Introducere
Calitatea programelor educaionale este o component important a oricrui sistem
de nvmnt superior, fapt indicat i de dezvoltarea a numeroase reele a ageniilor
de asigurare a calitii (ENQA, INQAAHE). Ageniile naionale folosesc modele i
metodologii proprii pentru evaluarea programelor educaionale sau a instituiilor
de nvmnt superior, iar varietatea acestora este mare, chiar i n prezena unor
ghiduri internaionale de evaluare a calitii.
n contextul descris mai sus, prin aceast lucrare dorim s analizm cteva din
sistemele de evaluare a programelor educaionale de pe continentul european, realiznd
o analiz detaliat a sistemului de evaluare naional i totodat o analiz comparat
privind procedura de evaluare a calitii n cadrul a trei programe educaionale de
masterat din Romnia.
2. Metode de asigurare a calitii
Evaluarea, acreditarea, auditul sau benchmarking-ul sunt metode (Lubinescu,
Ratcliff i Gaffney, 2001, p. 18) des ntlnite n aprecierea calitii programelor sau
instituiilor de nvmnt superior; utilizarea lor de ctre organizaiile de asigurare
a calitii nefiind uniform (ENQA, 2003, p. 8). Datorit faptului c ageniile de
acreditare nu se limiteaz la folosirea unei singure metode, ci realizeaz un mix al
acestora, vom explora n continuare semnificaia acestor concepte.
Evaluarea este definit de Vlsceanu, Grunberg i Prlea (2007, p. 25) ca un proces
general de analiz critic i sistematic care conduce la judeci i recomandri cu
privire la calitatea unui program sau a unei instituii de nvmnt superior. Evaluarea
este efectuat prin proceduri interne sau externe.
Acreditarea este privit de autorii menionai n paragraful anterior ca un proces
prin care organizaii (ne)guvernamentale sau private evalueaz calitatea unei instituii
de nvmnt superior sau a unui program educaional n vederea recunoaterii
formale a ndeplinirii unor criterii sau standarde minime predeterminate. Rezultatul
acestui proces este acordarea unui statut i uneori a unei licene de operare ntr-un
cadru de timp. (Vlsceanu, Grunberg i Prlea, 2007, p. 31).
Auditul este un proces de revizuire a unei instituii sau a unui program care se
focalizeaz pe responsabilitate i pe verificarea atingerii scopului i obiectivelor
(Vlsceanu, Grunberg i Prlea, 2007, p. 31).
Benchmarking-ul este o metod standardizat de colectare i raportare a datelor
operaionale critice ntr-un mod n care s permit compararea performanelor diferitelor organizaii sau programe, n vederea stabilirii de bune practici, diagnosticarea
problemelor n ceea ce privete performana i identificarea punctelor forte
(Vlsceanu, Grunberg i Prlea, 2007, p. 31).
Din cele trei definiii rezult c evaluarea, acreditarea i auditul sunt procese, iar
benchmarking-ul, dei nu este precizat explicit, este, de asemenea, un proces. Din
punctul de vedere al subiectului toate cele patru metode examineaz att instituii
ct i programe.
6
Dei nu este precizat clar ceea ce rezult n urma utilizrii auditului, n general
este un raport (Vlsceanu, Grunberg i Prlea, 2007, p. 32) care documenteaz dac
procedurile stabilite pentru asigurarea calitii sunt utilizate (Harvey, 2004 apud van
der Krogt, 2005, p. 6) i dac scopul i obiectivele stabilite au fost atinse (Vlsceanu,
Grunberg i Prlea, 2004 apud van der Krogt, 2005, p. 6).
Definiiile date benchmarking-ului (American Productivity and Quality Center,
1993 apud Schofield, 1998, p. 14) evideniaz dou trsturi specifice ale acestuia,
care l individualizeaz n contextul celorlalte trei metode. Prima dintre ele privete
procedura de baz a acestei metode, mai exact, realizarea unei analize comparate a
organizaiei/programului cu o instituie sau program educaional ale crui activiti
sunt considerate performante n domeniu. A doua caracteristic e mai degrab un
produs al primei trsturi, un efect secundar care const n gsirea i adoptarea celor
mai bune practici (Fielden, 1994 apud Schofield, 1998, p. 14)
Elementul distinctiv al auditului ine de faptul c acesta se focalizeaz pe
verificarea procedurilor i proceselor adoptate anterior pentru asigurarea calitii.
Aceast trstur se regsete n multe dintre definiiile auditului (a se vedea Harvey,
2004-2011), iar unele dintre ele (a se vedea CHEA, 2001 i Vlsceanu, Grunberg i
Prlea, 2004) plaseaz responsabilitatea utilizrii acestuia n sarcina instituiilor care
deruleaz programul educaional.
Evaluarea este o form de revizuire a calitii (CHEA, 2001) care nu se limiteaz,
asemeni benchmarking-ului, la compararea instituiei, a programului sau a activitilor
desfurate n cadrul acestora cu cazuri de bun practic din domeniu. Nu se limiteaz
nici la verificarea existenei unor proceduri care s asigure calitatea, cum se ntmpl
n cazul auditului. Evaluarea este o metod nu att de specializat precum sunt
cele dou metode menionate mai devreme. Acest lucru creeaz flexibilitate i
permite utilizarea evalurii n scopuri pentru care auditul sau benchmarking-ul ar fi
insuficiente sau nepotrivite.
Acreditarea este un proces care include elemente din fiecare metod menionat
mai devreme. Aceasta difer de evaluare prin faptul c este un proces care asigur un
standard minim sau de excelen al unui program sau instituie, implic ntotdeauna
benchmarking, se bazeaz pe criterii ale calitii, nu pe consideraii politice, iar
rezultatul acestui proces poate fi pentru sau mpotriva acreditrii programului sau
instituiei (Dowidar, 2005). Aadar, procesul de acreditare implic ntr-o mai mic sau
mai mare msur celelalte trei metode de asigurare a calitii programelor educaionale
sau a instituiilor de nvmnt superior.
Se poate afirma c din cele patru metode, auditul i benchmarking-ul au o
utilizare relativ restrns. Acest lucru se ntmpl din cauza limitrii lor la verificarea
procedurilor, respectiv la compararea performanelor organizaiei sau programului cu
cele ale unor cazuri de bun practic. Acreditarea i evaluarea pot utiliza proceduri din
benchmarking sau audit, sau le pot ncorpora n ntregime n procesul de examinare.
3.2. HETQMEX
10
Exist agen ie
de acreditare?
i cea extern sau acestea sunt tratate mpreun. n timpul aplicrii instrumentului nu
am colectat doar date privind existena documentelor, ci i locaiile acestor documente.
n acest fel, baza de date rezultat n urma aplicrii acestui instrument a devenit un
punct de plecare pentru urmtoarea faz a cercetrii.
Pornind de la baza de date creat n etapa precedent i de la o analiz a datelor
disponibile, a fost creat al doilea instrument de cercetare (a se vedea Tabelul 2). Au
fost utilizate date aparinnd sistemelor de evaluare a calitii din cele apte ri
trecute n Tabelul 2, aceste ri fiind rezultatul unor limitri care vor fi descrise n
seciunea urmtoare.
Tabelul 2: Gril de analiz a criteriilor
ar
Criteriu
Bulgaria
Danemarca
Elve ia
Germania
Irlanda
Lituania
Ungaria
Total ri
5.1. Bulgaria
de baz ale acesteia, iar cea de-a treia este o funcie de suport pentru primele dou.
Mergnd mai departe, la nivel de criterii i caracteristici ale criteriilor se poate observa
c nivelul de detaliere nu este foarte ridicat, fapt ce confer libertate de decizie
evaluatorilor.
5.2. Danemarca
Organizaia responsabil cu asigurarea calitii este Instituia de Acreditare (ACE
Denmark); o agenie de acreditare afiliat la Asociaia European pentru Asigurarea
Calitii n nvmntul Superior i care realizeaz evaluri ale programelor
educaionale, ns nu instituionale.
n evaluarea programelor educaionale, agenia utilizeaz cinci criterii grupate
n trei categorii. Cele trei categorii sunt cererea existent pe pia care s justifice
existena programului de studiu; predare bazat pe cercetare; i profil academic, nivel
de studiu i asigurarea intern a calitii (Ministerial Order no. 1402 of 2009, Anexa 1).
Prima categorie este identic cu primul criteriu, care presupune c universitatea
care furnizeaz programul educaional trebuie s identifice poteniali angajatori pentru
viitorii absolveni i trebuie s descrie situaia pieei muncii pentru acetia (Ministerial
Order no. 1402 of 2009, Anexa 1).
A doua categorie cuprinde un singur criteriu care pretinde universitilor ca
programul de studiu s fie bazat pe cercetare i s fie conectat la un mediu de cercetare
de nalt calitate. Mai mult, programul trebuie s fie organizat de cercettori activi,
care trebuie s fie tot aceia care predau ntr-o bun msur studenilor (Ministerial
Order no. 1402 of 2009, Anexa 1).
A treia categorie conine trei criterii, primul dintre ele fiind legat de profilul
academic al programului de studiu i de rezultatele nvrii. Acest criteriu stipuleaz
c trebuie s existe o legtur ntre rezultatele nvrii, numele programului i titlul
pe care absolvenii sunt ndreptii s-l foloseasc (Ministerial Order no. 1402 of
2009, Anexa 1).
Structura i organizarea programului de studiu este al doilea criteriu i implic
susinerea rezultatelor nvrii, cerinele de admitere i de examinare a studenilor.
Se menioneaz, de asemenea, c spaiul fizic trebuie s corespund programului i
numrului de studeni. Ultimul criteriu presupune includerea programului de studiu
n sistemul universitii de asigurare a calitii.
Modelul de evaluare utilizat de ACE Denmark urmrete asigurarea unei potriviri
ntre piaa muncii i ceea ce ofer programele educaionale, asigurarea c universitatea
va facilita integrarea profesional a absolvenilor i c programele educaionale sunt
dezvoltate prin cercetare.
5.3. Elveia
Organizaia responsabil cu evaluarea calitii i cu acreditarea este Centrul Elveian pentru Acreditare i Asigurarea Calitii n nvmntul Superior. Este membr
a ENQA (www.enqa.eu/agencies.lasso) i este singurul organism de la nivel naional
activ n domeniul asigurrii calitii.
14
B.
Eficacitate educa ional
C.
Managementul calit ii
Standarde
Standarde definesc nivelul minim obligatoriu de
realizare a unei activit i n educa ie
Indicatori de performan
relevante ntr-o oarecare msur. Astfel potrivit unei persoane intervievate evaluarea
extern este important pentru autorizarea i acreditarea programelor de studii, iar
o alt persoan consider c evaluarea extern aduce un plus de obiectivitate, fiind
realizat de persoane neimplicate n activitatea organizaional. Pe de alt parte
evaluarea intern este considerat important pentru managementul programului
educaional, i fiindc aduce informaii de profunzime, care nu pot fi colectate i
nelese dect din interiorul organizaiei. Importana celor dou tipuri de evaluare
a fost foarte bine identificat de persoanele intervievate, acestea indicnd punctele
forte ale fiecrui tip de evaluare.
n ceea ce privete evaluarea intern aceasta se realizeaz cu o frecven mult
mai ridicat dect cea extern, cu precdere anual, pe cnd evaluarea extern fie la
doi ani, fie cnd este nevoie de autorizarea i acreditarea programelor de studii.
Frecvena cu care se realizeaz evaluarea influeneaz cu siguran nivelul de calitate
al unui program educaional, evalurile semestriale i anuale identificnd problemele
existente la nivelul departamentului i ofer posibilitatea remedierii acestora ntrun timp adecvat. Totodat intersectarea evalurii interne cu evaluarea extern poate
scoate n eviden probleme noi, i totodat gradul de subiectivism existent la nivelul
evalurii interne. Se pot totodat compara rezultatele evalurii interne cu cele externe,
n cazul n care metoda i indicatorii utilizai corespund, i identific astfel o serie de
probleme care in de orientarea, strategia departamentului sau managementul acestuia.
Metodele precizate de persoanele responsabile cu evaluarea programelor educaionale implic toi actorii procesului educaional, i beneficiarii acestuia, realizndu-se pe mai multe planuri, astfel nct perspectiva asupra nivelului de calitate a
programelor educaionale s fie ct mai general. Se utilizeaz metode cantitative
(cum ar fi sondajul de opinie pentru a identifica satisfacia beneficiarilor), sau
metode calitative (interviul), dar i o serie de analize care vizeaz fie aspecte bugetare,
fie performanele unor activiti de cercetare, fie curricula programului educaional.
Totalitatea acestor metode de msurare a calitii utilizate duc la identificarea
tuturor aspectelor care influeneaz calitatea programului educaional, i totodat la
gestionarea i coordonarea informaiilor colectate n vederea elaborrii unei strategii
de mbuntire a nivelului de calitate existent.
Ne mai putem da seama de faptul c nu exist o metod unic acceptat ca fiind
necesar i suficient n procesul de cuantificare a nivelului calitii programelor
educaionale, persoanele intervievate preciznd cel puin trei metode de msurare
a calitii. Ponderea cea mai mare o dein metodele cantitative i cele calitative care
utilizeaz indicatorul satisfacia beneficiarilor.
n ceea ce privete implicarea tuturor participanilor direct interesai n realizarea
evalurii programelor educaionale, persoanele intervievate au precizat c se ine
cont de evalurile cadrelor didactice, a studenilor, a absolvenilor i angajatorilor
prin aplicarea unor interviuri sau chestionare. O persoan intervievat a precizat c
evaluarea nu este suficient de axat pe nevoile actorilor externi: administraia public,
24
Asigurarea calitii n nvmntul superior este prezent (ntr-o mai mare sau
mai mic msur) n majoritatea rilor din spaiul european. A devenit o component
nsemnat a sistemului educaional i va continua s aib un rol important n viitor.
Comparnd modelele de evaluare a calitii aplicate n rile incluse n studiu
cu modelele teoretice revizuite, se poate spune c singurul aspect pe care acestea
l au n comun este infrastructura, criteriu de asigurare a calitii inclus n aproape
fiecare sistem.
Discrepana existent ntre modelele teoretice prezentate n prima parte a lucrrii
i cele utilizate de ctre ageniile responsabile cu evaluarea calitii programelor
educaionale ar putea fi parial explicat prin faptul c primele modele de evaluare a
calitii (SERVQUAL) au fost dezvoltate pornind de la serviciile furnizate de sectorul
privat (servicii bancare, de brokeraj), servicii ale cror trsturi sunt diferite de
caracteristicile celor furnizate de ctre instituiile de nvmnt.
Diferene au fost identificate nu doar ntre modelele teoretice i cele utilizate
n evaluarea calitii programelor educaionale, ci i ntre sistemele de asigurare a
calitii folosite de ctre ageniile de acreditare din diferite ri. Astfel, dintre cele
mai des ntlnite zece criterii doar dou (managementul i structura programului;
resurse umane) sunt utilizate n toate cele apte ri analizate. Cele mai puin ntlnite
criterii, dintre cele zece menionate anterior, sunt cele care privesc studenii i cele
care vizeaz justificarea existenei programului.
O asemenea varietate a abordrilor n asigurarea calitii pare s fie mai degrab o
consecin a particularitilor ntlnite la nivelul fiecrei ri i a lipsei unor standarde
comune. Din punctul de vedere al unor metode sau modele comune de evaluare a
calitii exist dou evoluii relativ recente Reeaua European pentru Asigurarea
25
30