3r examen

Teoria i disseny curricular: aspectes teòrics i aplicats

Bloc 3: Avaluació de la Formació (AdF)

*NO només s’avalua el que passa a l’aula i els aprenentatges, també s'avaluen tots els elements que
influeixen en l’actuació (necessitats, elements, eines, recursos, acció formativa, etc.)

7. Avaluació de programes (I i II)

*Exercicis inicials:

a) Perquè és important i quins avantatges té realitzar l’avaluació d’un programa formatiu?

Per veure què no funciona per arreglar-ho i què funciona per continuar fent-lo així, per veure si s’han
complert els objectius en l’acció formativa i en quina mesura i per què, per veure si les necessitats
que es van detectar prèviament s’assoleixen, analitzar les mancances i els impactes en els discents +
eficàcia i eficiència.

b) Quina és la importància de l’AdPF en el perfil professional de la Pedagoga.

Pel pedagog és important elaborar un programa per poder garantir la qualitat de les accions
formatives, comprovar si segueix un mètode pedagògic rigorós. És la entitat que vetlla pels nostres
interessos professionals.

1
 Disseny, Seguiment, Avaluació de P i P

c) Pluja d’idees, aspectes avaluables d’una acció formativa

Recursos HUMANS Recursos FUNCIONALS Recursos MATERIALS Elements del PROGRAMA

- Competències dels - Nombre d’hores de la - Espai (il·luminació, - Rúbrica d’avaluació

docents formació temperatura, - Objectius
- Quantitat de docents - Cronograma acústica…) - Si es dóna resposta a les
- Relacions - Pressupost - Material fungible necessitats
Interpersonals - TIC (equipament - Continguts (criteris)
- Organigrama tecnològic) - Metodologies/
- Tasques del docent - Intranets, campus estratègies utilitzades
- Ràtio professors/ virtual… (són adequades?)
alumnes - Avaluació
- Gestors/
organitzadors de la
formació
- Persones que
mantenen en
condicions les aules

7.1. Definició d’avaluació de programes formatius (AdPF):

Procés sistemàtic de recollida d’informació… → No improvisat

→ Necessitat d'organitzar els seus elements
→ Sistematitzar/temporalitzar les seves fases
→ Assignar els recursos
→ Construir/seleccionar instruments, etc.

… que implica un judici de valor… → Valorar la informació recollida

Adjudicar valor - mèrit

… orientat a la presa de decisions → Utilitat d’avaluació

Presa de decisions orientada a la millora,
perfeccionament, innovació, control,
acreditació,...

2
 Disseny, Seguiment, Avaluació de P i P

7.1.1. Definició: l’AdPF com a MILLORA

Procés sistemàtic per obtenir informació objectiva i útil per recolzar la millora, la optimitació, el
perfeccionament, del disseny, el desenvolupament i els resultats de la formació…

Per promoure la comprensió dels èxits i fracassos de la formació… com a motor de canvi per a la
presa de decisions de millores pertinents.

S’utilitza per prendre decisions relatives a:

- Ajudar als gestors/planificadors, formadors… a buscar alternatives millors.

- Optimitzar l’acció formativa.
- Millorar el programa de formació (però ja abans d’acabar-lo).

En el procés d’avaluació com a instrument de millora, de canvi, es valora tot: conceptualització,

disseny, desenvolupament, avaluació, resultats, transferència/impacte, etc…

7.1.2. Definició: l’AdPF com a CONTROL

Èmfasi en el control de la formació, en la petició de responsabilitat (accountability), etc., més des

d’una perspectiva sumativa, d’eficàcia, eficiència,...

- Complementarietat, NO contraposició
- Són un CONTINU

S’utilitza per prendre decisions relatives a:

- Responsabilitats a les persones/institucions.

- Contribució de la formació a les polítiques institucionals.
- Costs/benefici de la formació.
- La inversió a realitzar en formació, repetició de programes, etc.

7.1.3. Naturalesa de l’AdPF: Control vs Millora

La selecció d’una o d'una altra perspectiva incideix en:

● La selecció d’instruments
● Qui intervé en l'avaluació → Informants i equip avaluador.
● A qui informem

○ Normalment, si es tracta de millora, s’informa a tothom, a totes les persones

implicades.
○ Si es tracta de control, s’informa als responsables.

● L’ús dels resultats

3
 Disseny, Seguiment, Avaluació de P i P

Optimitzar/Millorar Controlar
Avaluació “formativa”? Avaluació “sumativa”?

Adequar al context, als Aprobar, certificar, acreditar,

Finalitat
participants… Perfeccionar… mèrits…

Instrument de canvi Instrument de control de

Ús Suggerències de millora qualitat.
Merit/valor per a la institució

Decisions internes programa Decisions institucionals,

Utilitat
per a la millora responsabilitat institucional…

Avaluadors Normalment interns o mixtos? Normalment externs o mixtes?

Personal participant en el Direcció, potencials usuaris,...

Audiència
programa

- Com millorar el programa? - Què conclusions s'extreuen

- Quines estratègies, recursos, dels resultats?
Resposta a diferents qüestions són les més adequades per -Que programa és més
aconseguir els objectius? eficaç/eficient?
…

7.2. Raons per l’AdPF

➢ Optimitzar l’acció formativa i perfeccionar el producte (però ja abans d’acabar-lo, en el

procés).

En el procés d’avaluació com instrument de millora i canvi, es pot desenvolupar des d’una
perspectiva sistemàtica:

○ Disseny, respon a ANF…

○ Desenvolupament, metodologia, avaluació,...
○ Recursos, materials, espais,...
○ Resultats, transferència/impacte,...
○ Personal docent, gestor,...

➢ Recolzar a l’equip de gestió del programa en el seu desenvolupament i millora.

➢ Detectar efectes secundaris (no previstos) del programa.
➢ Valorar la satisfacció de necessitats detectades.
➢ Valorar la consecució dels objectius plantejats.
➢ Rendir comptes (justificar inversió, costos, …).
➢ Cancel·lació / reedició d’un programa.
➢ Acreditació del programa.

4
 Disseny, Seguiment, Avaluació de P i P

7.3. Algunes característiques de l’AdPF

- Al servei de la millora, independent i compromesa amb la realitat.

- Qualitativa i no només quantificable.
- Procesual, no només final.
- Democràtica i participativa → Que participin tots els implicats, informants (triangulació
d’informants + instruments i metodologies).
- Colegiada no individualista → Normalment ho porten a terme un grup de persones
(subjectivitat).
- Externa - interna (mixta).
- Potenciar el diàleg amb els resultats obtinguts.
- Informe públic → Lo ideal és que l’informe d’avaluació sigui públic per tal que no es pugui
malinterpretar.

7.4. Dimensions de l’avaluació de programes formatius

5
 Disseny, Seguiment, Avaluació de P i P

7.5. Procés de planificació (fragment de la pràctica 3)

2. Objectius d’avaluació

3. Pla d’avaluació (moments [inicial, continua, final i diferida], finalitats, objectes, indicadors, criteris,
instruments, fonts d’informació, agents avaluadors, etc.). Concreció dispositiu recollida d’informació.
Veure graella orientativa:

Moment d’avaluació:

Finalitat:

Informants -
Objecte/VV/
Objectius Criteris Instrument Fonts Altres…
Indicador
d'informació

4. Construcció dels instruments de recollida d’informació.

7.6. Objecte - Moment - Finalitat (objectius) → Moment inicial

*Exemple del que es pot avaluar.

*No es poden avaluar aprenentatges !!! (només espais, distribució, selecció de l’alumnat,
etc.)

FINALITATS (Per a què? /

MOMENT (Quan?) OBJECTE (Què?)
Objectius)

- Context institucional i Aquesta avaluació diagnòstica,

formatiu que es desenvolupa
- Disseny del programa prèviament a l’inici de la
- Recursos humans formació, pretén conèixer el
- Recursos i medis punt de partida de dita
- Materials didàctics formació. Podent-se apuntar
INICIAL - Alumnat com a objectius principals de
-… dita formació:

- Valorar el context aula,

institucional, sociolaboral, etc.
- Valorar el disseny del
programa formatiu.

6
 Disseny, Seguiment, Avaluació de P i P

- Avaluar els criteris de selecció

i característiques del
professorat, tutors, etc.
- Valorar la disponibilitat dels
medis i recursos pel
desenvolupament de la
formació.
- Avaluar el procés de selecció,
agrupació, etc. de l'alumnat.
-…

7.6.1. Avaluació inicial - Decisions o propostes de millora

- Modificar / ajustar el disseny o algun dels elements curriculars (objectius, continguts,

estratègies, avaluació, etc); per exemple, si no s’adequa a l’ANF previ, al col·lectiu, si no hi ha
coherència interna, etc.
- Modificació / Adequació d’espais.
- Introducció / Modificació / Reorganització de recursos, materials didàctics, etc.
- Modificació dels criteris o processos de selecció docent i/o discents, etc.
- …

7.7. Objecte - Moment - Finalitat (objectius) → Moment continu - procesual

FINALITATS (Per a què? /

MOMENT (Quan?) OBJECTE (Què?)
Objectius)

- Desenvolupament i gestió del Aquesta avaluació procesual

programa
- Recursos i medis
- Materials didàctics
- Recursos humans
- El clima social de l’aula,
cultura, institucional, etc.
- Abast parcial dels objectius
CONTINU - PROCESUAL
del programa.
-…
(formativa), que es
desenvolupa mentre s’aplica el
programa, té com a propòsit
principal l’optimització, ajust,
millora, etc. de la pròpia
formació, objectius principals
de dita formació:
- Analitzar el
desenvolupament, gestió i
desviacions del programa
- Valorar l’ús, idoneitat,
pertinença, … del context, els
recursos, medis i materials
didàctics.

7
 Disseny, Seguiment, Avaluació de P i P

- Valorar l’actuació del docent,

dels diversos tutors, gestors,
etc.
- Valorar el clima social, la
cultura, les relacions, etc….
- Valorar l'eficàcia parcial del
programa
- Conèixer el percentatge
d'alumnat que assoleix els
objectius parcials de la
formació.
- Conèixer el percentatge
provisional de alumnat que
abandona la formació.

7.7.1. Avaluació contínua - Decisions o propostes de millora

- Reajustament d’objectius, estratègies, cronograma, etc.

- Millorar el manteniment, utilització dels medis, recursos i espais, etc.
- Incorporar nous recursos, activitats de motivació, orientació (acadèmica, laboral, etc.), reforç
o ampliació per a l’alumnat…
- Recolzar i oferir formació al docent per a la millora de les seves funcions, millorar el disseny
de materials didàctics, resolució de problemes a l’aula, etc.

7.8. Objecte - Moment - Finalitat (objectius) → Moment final / diferit

FINALITATS (Per a què? /

MOMENT (Quan?) OBJECTE (Què?)
Objectius)

- Eficacia (resultats assolits en Aquesta avaluació sumativa,

referència als esperats, hi ha
que considerar també els
resultats no esperats o
indirectes.
- Costos de tots els recursos
empleats.
FINAL
- Eficiència (relació objectius
assolits i costos generats).
- Satisfacció de necessitats
formatives inicials.
- Satisfacció de l’alumnat amb
la formació.
- Certificació i abandonament
que es realitza per finalitzar
l’acció formativa, té com
propòsit principal (no únic)
conèixer els logros? de la
formació.
Podent-se apuntar com
objectius principals d’aquesta
avaluació:
- Valorar el desenvolupament,
gestió i desviacions del
programa
- Determinar la eficacia i

8
 Disseny, Seguiment, Avaluació de P i P

de l’alumnat. eficiencia de la formació

- Determinar el grau de
satisfacció de l'alumnat de la
formació
- Conèixer el percentatge
d'alumnat que assoleixen la
certificació, promoció, etc.
- Conèixer el % d’alumnat que
abandona
- ...

- Transferència (canvis en el Aquesta avaluació de

lloc de treball com a
conseqüència de la formació
realitzada).
- Impacte (com a conseqüència
de la formació, quins
DIFERIT canvis/beneficis, s’han produït
en l’organització o en el
treballador).
transferència i impacte, que es
realitza un temps després de
finalitzar l’acció formativa.
Podent-se apuntar com
objectius principals d’aquesta
avaluació:
- Delimitar la transferència al
lloc de feina dels
aprenentatges adquirits.
- Determinar l’impacte en
l’organització de la formació
rebuda.

7.8.1. Avaluació final - Decisions o propostes de millora

- Certificar la qualitat de la formació, reedició (o no) de l’acció formativa.

- Redisseny de la formació per a la seva millora.
- Establir estratègies per evitar l’abandonament o no acreditació de l’alumnat.
- Canvi / millora d’espais, recursos i materials didàctics, etc.
- …

7.8.2. Avaluació diferida - Decisions o propostes de millora

- Redisseny de l'acció formativa (actualització competències programades i de tipologia

recursos, materials, etc.).
- Millorar la coordinació i la coherència de la formació amb les necessitats i realitat del lloc de
treball.
- …

9

7.9. Tipologia de programes - Indicadors
Àmbit social, socio-sanitari,
socio-educatiu, socio-laboral,
etc
Àmbit de formació /
desenvolupament
professional en l’empresa
Àmbit formatiu genèric
Disseny, Seguiment, Avaluació de P i P
Poden ser programes de:
- Promoció cultural.
- Prevenció de
drogodependència.
- Vida saludable.
- Economia domèstica.
- Tècniques de cerca de feina.
- Etc.
Formació desenvolupada en el
context d’una institució,
amb l’objectiu d’adquirir
competencies, habilitats,
professionals, etc.
Pot ser qualsevol tipus de
formació no classificable en les
dues categories anteriors.
10
Possibles indicadors a
considerar:
- Canvis d’actitud.
- Integració en un medi.
- Assumpció voluntària de
noves responsabilitats, rols,
etc.
- Millora de la dieta mantenida
en el temps.
- Realització de l’activitat física.
- Augment de les entrevistes
d’ocupació.
- Realització d’una recerca
activa d’ocupació.
- Etc.
Possibles indicadors a
considerar:
- Major autonomia
professional.
- Major productivitat.
- Major qualitat en l'actuació
professional.
- Menor nombre d'incidents i
accidents.
- Menor nombre de reclamació
de clients.
- Promoció professional.
- Augment del sou.
- Etc.
Possibles indicadors a
considerar:
- Major domini en l’àmbit de la
formació.
- Canvi d’actitud /
comportament.
- Major autoestima.
- Etc.
 Disseny, Seguiment, Avaluació de P i P

7.10. Criteris

Els criteris poden ser diversos segons l’objectiu i variable a avaluar. Per exemple:

- Pertinença: Adequació d’una formació a la política i/o context de la formació.

- Actualitat: Adequació dels objectius a les necessitats reals.
- Objectivitat: Adequació a les lleis i principis científics.
- Aplicabilitat: Possibilitat de posada en pràctica dels objectius proposats.
- Suficiència: Grau amb que una formació satisfà les necessitats detectades.
- Eficàcia: Nivell d’èxit, d’assoliment, dels objectius assignats.
- Eficiència: Grau d’implicació de recursos humans, materials i funcionals.
- Comprensivitat: Grau d’optimització aconseguit.
- Rellevància: Grau d’importància de la formació per cobrir les necessitats individuals i socials.
- Coherència: Grau d’adequació entre sí de diferents components-elements d’una formació.

7.11. Subjecte/Objecte i informants de l’AdPF: avaluació 360º

La inclusió i nomenclatura dels “informants” ha d’adaptar-se a la tipologia de programa, d’institució,

etc…

11
 Disseny, Seguiment, Avaluació de P i P

7.12. Equips avaluadors

“Les persones que porten a terme l’avaluació haurien de ser dignes de confiança i ser competents
com a avaluadors de manera que els resultats de l’avaluació abastin la mateixa credibilitat i
acceptació” - Sanders, 1998

- L’avaluador ha de ser un expert amb formació, competència tècnica en avaluació (disseny,

desenvolupament, explotació,...), coneixement i experiència en aquest àmbit, integritat,
imparcialitat, detressa en ‘’relacions públiques, … Difícilment una persona reunirá totes
aquestes característiques per lo que es conformen equips d’avaluació (comissió tècnica
d’experts)

- Considerar la realització de la metaavaluació (de disseny, desenvolupament,...) com a

control de qualitat (membre extern o intern).

*Metaavaluació: Avaluar l’avaluació.

7.12.1. Equips avaluadors multidisciplinars i interns - externs - mixtes

PUNTS FORTS PUNTS FEBLES

- Millor coneixement del - Qüestionament de la

context, de la cultura
institucional, de l’objecte
avaluat, de les dinàmiques
internes, etc.
- Resultats i propostes de
Avaluació INTERNA (des de
millora més fàcilment
dins)
acceptables pels implicats,
oferint menor resistència a la
seva aplicació, augmentant així
les possibilitats de millora i
influència sobre el programa
- Menys costos econòmics.
objectivitat, imparcialitat,
capacitat, credibilitat social o
independència.
- Menys ús d'estàndards,
instruments, criteris, etc.
habituals en la EDP; fent
possible considerar elements
secundaris.
- L’aportament econòmic del
programa repercuteix en la
institució i el evaluador depèn
de la institució.

- Afavoreix la independència, - Menor coneixement, de les

objectivitat, imparcialitat i
credibilitat social.
- Major qualitat tècnica i ampli
Avaluació EXTERNA (des de
ús d’estàndards, instruments,
fora)
criteris, etc. habituals i
contrastats en l’AdP,
considerant aspectes clau.
dinàmiques internes, cultura
institucional, de l’objecte
avaluat, etc.
- Els resultats i propostes de
millora a mesura resulten més
difícil l’acceptació per part dels
implicats, oferint major
resistencia a la seva aplicació,

12
 Disseny, Seguiment, Avaluació de P i P

reduint així les possibilitats de

influència i millora sobre el
programa.
- Major cost economic.

7.13. Models d’AdPF

● No existeix un model ideal, dependrà de l’encàrrec rebut, de la finalitat, els recursos, etc.
● Diversitat de classificacions i orientacions:

○ Procesuals.
○ A objectius (eficàcia/eficiència) i resultats.
○ A l’impacte.
○ Altres més holístics,…

7.13.1. Models d’AdPF: Models d’avaluació de l’impacte de KIRKPATRICK i Peiró

Model KIRKPATRICK

13
 Disseny, Seguiment, Avaluació de P i P

Model PEIRÓ

- Abans del nivell 1 (Nivell 0): Avaluació de INPUTS, programació i execució (adequació
d’objectius, idoneïtat de la planificació, etc.).

- Entre el nivell 2 i 3: Eficiència, recursos invertits per aconseguir els objectius (rentabilitat,
cost - benefici,...)

- Afegeix al nivell 4: Considera també els canvis en la situació personal (ascensos, retribucions,
etc.).

7.13.2. Models d’AdPF: Model procesual de qualitat de LE BOTERF

Associa el concepte qualitat amb diferents moments de les accions formatives:

QUALITAT DE QUALITAT
QUALITAT QUALITAT DE
CONNEXIÓ D’APLICACIÓ DE LES
D’ORIENTACIÓ CONCEPCIÓ
PEDAGÒGICA COMPETÈNCIES

Moment polític Moment enginyeria Moment realització Moment aplicació

Adequació i Moment de disseny Moment d’interacció Capacitat de transferir

consistència d’una de la FRM. formador-participant i utilitzar les
política de formació competències en el
acord amb les Enginyeria de la FRM. (elements rellevants: lloc de treball.
necessitats dels consecució objectius,
(elements rellevants: relacions (elements rellevants:
clients. coherència,...) pedagògiques, transferència, eficàcia,
(elements rellevants: mètodes de manteniment de les
pertinència, …) motivació…) competències,...)

7.14. Algunes dades a mode de curiositat (no és temari d’examen)

Aspectes que s’avaluen en la formació en empreses:

- El 90% de les accions formatives avaluen la satisfacció del participant → Utilitzant

qüestionari, entrevista formal o informal.
- El 87% de les empreses avaluen l’assoliment d’objectius (però només afecta al 50% d’accions
formatives) → Utilitzant qüestionaris, proves escrites i formacions
- El 62% de les empreses avaluen la transferencia en el lloc de treball (però només afecta al
40% d’accions formatives) → Entrevista a supervisors, observacions, avaluació d’exercici.
- El 36% de les empreses avaluen l’impacte de la formació (però només afecta al 20% d’accions
formatives) → Entrevista a supervisors, observació, avaluació de l’exercici.

14
 Disseny, Seguiment, Avaluació de P i P

7.15. Dificultats per avaluar l’impacte i la rentabilitat de la formació

- Dificultats per aïllar efectes de la formació, entre la resta de variables i processos.

- Problemes per mesurar efectes i traduir-ho a €.
- Dificultat per accedir a determinades dades de la empresa.
- Els recursos necessaris per realitzar l’avaluació de l’impacte augmenten el cost de la
formació.
- Falta de preparació dels professionals.
- Falta de recolzament dels òrgans directius, no considerant-se important conèixer l’impacte,
prioritzant sovint la quantitat a la qualitat de la formació.

15