i :

11

I¡ ,
1;1
,','
;', " ; "~
',"1' "'::::1.::1'<
,', '.:1'

I

I I
' '

t

'!~ 1"",

.,

-.

r
I ~~? . I' .. I I .":

';;i;':>i¡

.1

.~:.: ~)).<~} !:~~~"! ~~.'

:i ;! " "

SVINV1I~O~d

3:a NOIJVil'lvifi"":' I

.!;

,

IW I [¡ ,! I'1:
~:

UI
,1i

1 3:L~Vd

I

..

'. !
:

I

,I I

. ~.~.~. ... "-;-

.'~.~. . ,,;~ .

_'

.,.I
i..

(

CAPITULO PRIlVIERO

lVIODELOS DE EVALUACIÓN DE PROGRAMAS EDUCATIVOS
.. !;:
<

·t·,

..•

\~~~
. ~-.",;.

"j;~:f; ;
~t

:.:~:

. :ot'i
,~' ;)~'. ::.;
• :.~ .'7.. . ,.•.

...

. ~.~.- ..
~,.~;

~j-I .

¡

.

,.', l
;

'.'

Santiago CASTILLO ARREDONDO Sarnuel GENTO PALACIOS. UNED. ;
l'

1
'~

L_

I ,

,:

~

'.--.:

..

,

..•.

?' .

_ confirmación
,1', •

'?--~"::~.. ':~.;
';~

evidente de la coherencia entre las' conclusiones' alcanzadas y los planteamientos teóricos sobre las mismas,

'" Para la recogida d~ datos q~e c~nduc~~ a la ~<;~}~~~Jl~j~ic~~~ .. ~ de valor. la ',e..y,a.lua~:lºn F;~;¡.l~l!!.~y~'j¡l.(tlllza tfenf~a'sit)as'na~s",pf¡e~

FIG3

?R.nlCIPIOS

OPERAl'IVOS

•, .
lO •... M

..•

~ o

•...

[
o-

"

r
r

r

c :

':

~
'..::.:,'

"

"

..
,

"

..., ~

. ~.1

......

:;.'

33
J \

,./J
.

:.':'

.. -.,: :':'
'

,

'.'

......

:".

'.'

._

.

.... : .

.

'.-

.

:

..

'

.. ':'
.Ó»,

....

",'

-_

'0

....
_. 0'0"

.oooo.-.: ~
-'

•.

-;- .-

-:

.'

¡l.

I

ferenternente .en la observación en sus diversas modalidades (GENTO, S., 1994b). De estas últimas subrayamos como más generalizadas las siguientes: observación no participante; observación participante; qg~~~9n emograñca: ,y observación de instalaciones, materiales y r~~~~s.· . .' ~..t!~rn~.¡p~rticipante es aquella que llevan a cabo obseren la elaborucíón/desarrollo o efectos del pro. Este modalidad de observación está particularmente indicada cuando las actividades que se valoran son públicas.

¡,;nó; implicados

j., .':
I
,

En todo caso, IQs observadores han de asegurarse de que su presencia ~'"U1t!!re el clima social del desarrollo de! programa (que puede serlo si . aparece el rniedor'nervios isrno. oposición emocional. etc i: por el contrario, han de promover que ocurran en 1I11 cluua de m.ixim« norrual id.ul. Es evidente que esta normalidad se consigue en mayor medida cuando la observación está inserta en un proceso de contactos hubituales: por d contrario. la observación de carácter puntual puede romper el clima que regularmente impregna al grupo responsable del programa . . A1:l1i"observación participante esta particularmente indicada cuando .~!-I!I"-'~~!PV'" '< .. -r-: e~grama 'réviste un alto grado de conñdencialidad.:o cuando los que lo desarrollan están en una actitud totalmente defensiva frente al evaluador, con lo que puede aparecer el riesgo de que su presencia sea considerada como la de un espía. Característica fundamental de la observación participante es que el evaluadoo 'r;, tP~Re.!.q.e .proragonisra integral en todos los momentos y aspectos ..~fesponsabilidad será la de uno más de grupo. A ello deberá aña. - ;.-'. dle.su especi dedicación a la descripción de lo que ocurre dentro de dicho grupo y acuanto afecte al programa que se evalúa
• .

.

-

•... ;

;.:.

.<~
:~.'. 1::'

,

>

..
, <1
o".'

·r·

l':' ,
f -i

I
o

I

. <'1

I j •

. r~·::···'?{Q~.serv<a~lin ..~~~·lOgráfíca" entendida como un proceso de, gac~te.rpre(a~i.ya"l supone un análisis en profundidad de la ",.',"'. ~1:Freillidad;,eri"huestrQ caso del propio programa. El observador. en . esta técnica, trata de percibir la realidad sin una concepción previa de la misma: por el contrario, su misión es.recoger el significado de las ac'''-:'9,U~S los implicados. quienes pondrán de manifiesto las propias. de. ,. é,m~J¡:}~~one-~apartir de su perspectiva cultural o particular percepción e. a realidad, .J~~9bsery'áci6I}.. de instalaciones, materiales y resultados .se pro: ~~~;~~2I?Je.;!~!llenl.os fijos. por lo que no es preciso que se lleve a .. cab(j"con la presencia de otras personas.por tanto, el evaluador puede llevarla a cabo en solitario. limitandose a recoger y a describir los aspectos que vaya detectando. Las conclusiones a las que llegue sobre tales elementos serán el resultado de la acumulación de evidencias que vayan apareciendo,

:,.:'1>\'..

tft

34
¡

1

- :.

'.

v '

.(

:

," ....

:.::...

:

.
".,",

o: ..

:.. ,.
:.\

.:

"

.,~,~ .
"V¡C;'';';:;'.)

1

I

:.-

I I I I

Tal como hemos señalado, un rasgo fundamental d~l'¡';~Xi!l~a.cip'ij cualitativa ,r ~isPJJle!1t~~ su.flexibilidad. 'Esta característica afectará, no sól¿'""a.'íos' r pectos a considerar como fundamento de la evaluación, sino también a la planificación del proceso mismo. Con.tQ..Q.9,.,..r~sul¡íl!i;.<!e,jJ}!!uSí.l~n;,.r,.pn~Yistaslas ~ p.EiJlci¡;íf~:S fases a·,~~g,4is,·/Y que sintetizamos en torno a las siguientes: observación generalizada: recopilación de impresiones: intercambio de impresiones: y elaboración del informe,

as- .

I
!I
,1
';

1

1

1-

_. I":"laobservación generaliza.QA c.6ímitW~~~'pu~to de partida de 1<\ evaluación del programa. Podrá ilevarse.a cabo.sin.necesidad de tener un {eSquema previo excesivamente cerrado. la realidad que vaya apareciendo pondrá de manifiesto los aspectos más relevantes para el mejor conocimiento del programa: serán éstos. precisamente, sobre los que ~e concentrará la observación por el evaluador. 2": la recopilación de imp'resion~~guirá ala observaciónEsta fase constituye un apoyo fundamental. ., á':q ti h'anY'<de:irecogerse t,¡¡s . JIUID.i.(1i~ffi¡;.jp9Ie~,m!~ ap,U[!!4c<w:<ydas~imp:r.es.iQU~~~B.9..ll&~n en. e1.'l"

;ii ,1

e'

. -"...

. ....¡;¡¡,.

¡,•.•

;JW'..

parece aconsejable sustituir la descripción escrita que realiza el obser. ; ','yador por el empleo de instrumentos electrónicos de registro (tales como el rnag. " .netotón o el video). Por el contrario. la recogida de las impresiones directamente 'por el evaluador parece ofrecer mayor riqueza inrerpretativa (por las apreI '<;iaciones de tipo personal que éste formula). junto al mantenimiento de un mayor ! clima de naturalidad entre las personas objeto de observación. .
, '''I-~'

.·,~r~ ,. ~':::1~.:· No

."

'~~r.

.'

' .. '

~I_~'
!
. , 1 .

I
-1

': 1

,""~~>'... ,..
,·:,·(!'L' .•. ~:;
. "t.·: .

.
,
.woe<-

..

C3~.'

!'-~oc); '1 . :... ,~ti.mQ~. '. ).! ..... : . '1.! :
~ I . ;' ~ :~ .

am.,~i·Y;I1pijcados;:en~el~~q~i'dad~ag~ ij;~.-;~f,i.carl~,.spqt1.a;IuldifS.~le,,~íUf. Este inter' •. :7f}¿:,~~;iT :':'cambio podrá' producirse con qui~nes .estén afectados por el programa .. ~ ':-';:.. .' (tales como profesores. alumnos, directivos, padres. personal no docente, ¡ ::,/\,:,. pero también podrá llevarse a cabo ~~~~E.~.f~Mi~;f ,,;;,;¿' :;~

;";;Vg::: :

bio de." .. ... -.W~

'T .• «t,

'Q'~iIüt;8ñe'f'rawCb~hr":'" de ..1as P 00Cl011..

, . ,~:.·:it,:¡~{f tll ..

.

,

. .:'

.. .

~ .

I ~I

i" . En cualquier caso. el cambio de impresiones hará que las apreciaciones iniciales seconfumen. se corrijan. se 'perfilen o se completen, según proceda, hasta darías carácter definitivo.
~.: •

!.

:L ·1' Tj

I.

~~ La elaboración ~

del informe de ;.eva1uaciÓn~~rá;Ja:J~e

este informe ~: incluirán, .además .de la

-4:.s~.1~J~~ seguido, : ~e~pr~ces.o
35

final= En

.q~~~"'JW:ya llegado.

r:s~,~~os;.~lJteru<1~s (impresiones y las. propuestas

detmlt.l7'~J~ 2.~!us~9.~es a las,' q,l\cse .•. denv.el,1 dejo anterior. Este

~--------------------------------~

«:

.
"

"

:-. ":".

"""

"""

":"
"" "

:-

"

,

"." ""

j
":"
-t ' "

"

:

;"::

informe podrá ser. también, sometido a la consideración de los implicados o de profesionales expertos. que lo matizarán antes de llegar a la redacción definitiva.

~ , ~~ºE RIGOR CIENTÍFICO

1
,r
.:

.,
"

r '-

,-i'

. ~,. Con harta 'frecuencia nos encontramos con valoraciones de tipo cuantitativo en las que los criterios de validación generalmente aceptados (COOK. TD, y Ct\J.\tlPBEL. D.T. 1989) no se cumplen en las mismas. Pero. en todo C3S0. tales criterios de validación no pueden ser aplicados de modo directo y cal CU3] en las evaluaciones de cipo cuahtativo (POSAVAC. EJ. y eA.REy. R.G .. 1989: 2.38) Por este motivo. han comenzado a desarrollarse criterios que: permitan jUlg~lr el nivel de validez que ofrecen estas lu rnas evaluaciones ¡U0iCOLN, Y.S. y GUBA. E.G .. 1985). Entre tales criterios. traemos aquí como más relevantes los siguientes: contraste: credibilidad: confirmación: validez externa: '! autenticidad.
ú

~I
..

l"'

••

.,"

, ~/'Para lograr.

.1l~~t1 ~~.
iss:-: :'

niveles aceptables de aceptabilidad, los observadores toman tre'cuentemente sus notas de campo y registran las interpretaciones de tales observaciones. Posteriormente. los registros son sometidos a la apreciación de independientes: si las interpretaciones deesras últimas coin. 'de los propios observadores. este criterio de contraste habrá demos-

z.

~"

,:

"";""-.,

:
1""\ ~

.. '

no pueden intrcducirse en una red de verificación cuantitativa. las observaciones cualitativas sanan credibilidad cuando encajan en un . ",' ¡Uít~q,e~~cj(:)Oado de s-ignificación ~ón' múltiples controles 'de .....- _ ' .~q,~t~1''esta manera. la credibilidad .. De se retuerza mediante la : iÍi~istencia ea<aspectos tales como 105 siguientes: la prolongada presencia en ~g!-~ql~!!, ~J:>e~mp!,eo d~. ~ikr~n[es fuentes de información; el uso ~de .las mterpretaciones de lo observado con otros evaíuadores y .'cQ,'iifijar~j,p.AAt.es.en el programa.·

.,''~<>Aunque

'~f~1f
:

.•

"

Puesto que los intentos por lograr la total objetiviuau en la evaluación han resultado estériles (PATTON. \I.Q .. 1~:-S6J.. ourece más conveniente utilizar el s:~UiSre;de.Jas interpretaciones d-;· !OS ocservcuores ccn otros evaluadores des in;E~9.s"qtie examinen[as :1L'{~S .~:!'';:l;:~~() ::r!";!!1i.lks :. 'os ~r~!S!íos de los pro: . 'jEI procedimiento seguido para .a venricac.on ,je: cumciimienro de este criterio es similar el descrito en ;::! contraste.
36

--------

-

-----------

l"

.:'- ~ vali?e~ ext~rna ; ~segulr idénticos En el ámbito de la ciona eficazmente en

~~~~ referencia a.1~.PQs.ib.~líc;mq,,~~ lH?!f~9[.,,~,B.r~w~~ ~' resultados con otro~gruP.Q~ ~m~.Hl!W1~~Fy,~~Had9'''' ' evaluación cualitativa. para demostrar si un programa fundiferentes situaciones y con distintas personas {os eva- r

I I

I

r.

Estas descripciones pueden utilizarse para determinar si el programa va a .'·:Tfunc~o,nar en o(rasc.ircunstanci~s .. siempre que p~eda asegurarse que los propositos y los parucipantes son similares a los estudiados,

.t~~',:

,~l!~ili~~.1.etal.ladas ?~~e~ª~ion.~e~, 'i ~.e.~~f;1.;,e,~J,qns~;.,~e~~ste mod~,. ~~,e.l¡¡"PQslble homQg~flelgad de PfOp?~l.~WitY"9~:,p~clpantes. ¡tS~J .corno el grado de equivalencia del proceso y de·los't'e'sultá'dos:a.>!·,~,'<· ,"

.J4'.Jen r-1:<'-#'!d.~
~¡ ." .

La evaluación de programas tiene generalmente lugar en conrextos en los que .' inciden multitud de factores que los hacen inestables (estrés. miedo. esperanza. azresividad. conflicto. ambición. incertidumbre. etc.). 't¡' -:, Dado. 'pues. que no es posible llevar a cabo una evaluación de tipo laboratorio la que se controlarían totalmente las circunstancias de la misma), ,~e~eñQ.¡¡lIl p;¡i~Os'i4.~i'tfélíticidad, de~J.ae.v.~Ú:iíi¿rQ¡(::cié.~~Qtqgr~I!m;.~Jg.s¡~~l1~'· ¡ ';,,ALINCOLN. YS. y GL-'BA. EG.: POSAVAC. E.l. y CAREY, R.O. 1989: 240-1):

r;

, "'E~~ti",,:\Jí!!;'1is

",,0l¡!,~a¡Qre,y _i~it!:'ados;/'¡eUt'
OS!~rt~~a

"':;~:i~~~m!F~~~~~i~~~el~'~~fJrn;~e'es

dddf

.. I
v-

Aunque; en teoría. parece que tales factores de autenticidad pueden también .é.~;:~e'~n la evaluación cuantitativa (COOK. TD., LEVITON. Le. y SHADISH. \ .:~~~J~~,~\)la realid~~. sin e~bargo. ~o~e de mani~est~ que no se han cuidado 9~5). t~{muctio en la evaluación de tipo tradicional cuantitativa (LINCOLN. YS. y

L.;':~f.'

I I I I I
I

,i~t8~~~:~.G ..1985).
I

:N:;<.-:

:.-,
mixto, .

"
'nú~to '~re"Ode_ sólo 00 o?elim¡nar aportaoíones.de lostipos 1"
11.~t'!Zg~s q~
'''''' ..

,f ~!~~gma '.'. - .!t_ue
J
•., ,,', Á'ñffin~ ,
~.j~~

.1

'.t

é'

,

\Q:y1"lAbj~g9o, sino sobre.f9.dp':Úíteghit.f'PQp'~~jllm9.~Jº~

.:. ~ ,"'<
./-.'

r,
~.:
~.'

,Aúoque no siempre las opiniones de los diferentes autores son en esto total, ' : mente .coincidentes. la mayoría de ellos. especialmente los más modernos: se::! ñalan que el paradigma mixto cuantitativo-cualitativo representa la mejor opción •. para el análisis de programas (COOK. TD. y REIHARDT. CS .. 1986; 'MAXWELL G.S .. 1985: ROSSMAl\l. G.B. y WILSON. B.L, 1985; LIGHT R.J. l., y PILLEMER. D, B.. (984) ..

.:.:- .
,":,

.....

:-, :

...

"

"

.:'

~
',.:'0-:;

.~".

,

'

.. '.

_La práctica educativa pone. por su parte. de manifiesto que, junto a la cuantificación de posibles resultados de un programa. existen implicacione s y aun efectos que sólo pueden percibirse convenientemente a través de un enfoque cualitativo: tal. por ejemplo. los componentes de lo que recientemente viene denominándose "curriculurn oculto". Ante tales efectos. que aparecen sin haberse podido prever. el enfoque exclusivamente cuantitativo carece de eficacia Pero es que. incluso. los datos cuantitativos precisan ser convenientemente interpretados: esta tarea requiere un enfoque eminentemente cualitativo 'Por el contrario. también sucede. a veces. que una evaluación planteada inicialmente bajo el paradigma cualitativo Ik:;a a sistematizar impre sioncs. que dan origen a hipótesis cuya confirmación requiere comprobacionev nurncncus de los resultados de un progrhrna. Finalmente. si roda evnluacion tiene en )1 misma un coste en t¿nllJrll'" de recursos personales. materiales y tiempo de duración. es obvio que I;.¡ cstuuacron de este coste sólo puede hacerse en términos cuantitativos. No cabe. por tanto. sino concluir que el uso del enfoque cualu arivo en combinación con otro cuantitativo. contribuid a reforzar la credibirilidad en IJ evaluación de pro~xamas. ..

t!
~ ..
',' .

..

. ~M~Jt~.BFcIir~!1~as:ión ideal y abs[ract~ de una re,alidad. inexistente ....c.tlcp."';;basa.da n elucubraciones o referentes teoricos. Representa. e pues, una concepción teórico-hipotética de una realidad. concepción que puede :Q:i>rorptÍpo;'para intepretar a través de ella situaciones concretas que ';$ ,"'< -:-pr~c~iC<! '(GE:"iTO. S.. 1994a: 67)

. Aun cuando el grado de máxima perfección. implícita en el concepto de rno. dele, determina la imposibilidad de que pueda encontrarse [al cual en la realidad concreta, constituye sin embargo el marco ideal en el que aspiran a encuadrarse las .realizaciones prácticas: es. por tanto. una guía que marca un desideratum 3 perseguir, la utopía hacia la que caminar, pero que nunca se alcanza en su plenitud) " A lo largo de los últimos veinte años se han desarrollado al menos 50 modelos diferentes de evaluación de programas. Esta abundante discrepancia pone de manifiesto la dificultad de llegar a puntos de acuerdo y la complejidad del fenómeno mismo de la evaluación: pero también constituye un síntoma de la expansión del propio fenómeno evaluador (SCRIVEN. M .. 198-+). Con el propósito de establecer una cierta sistematización conceptual entre los modelos aparecidos, agruparemos los modelos uuhzados "::1 d ámbito de la evaluación de programas educan vos dentro de los unos siguientes: el conductista-eticientisra: el de corte hurnanrsiico: 'í ~i holístico (F1C .J). 38

-

--

-

-

-

---

~.:.."

:-".

. PRESENTACIÓN los sistemas e instituciones inCQ~.,@Il la evaluación Mno de ..los componentes fundamentales' de su funcionamiento. Lo que e en'con ~1I0 no es otra cosa que controlar la catídad ;Cte.sus prqce~os :t,; .,p~ápar¡Jd!t,~der,a1 reto inexcusable de una permanente mejora. ,e L~ educación no puede ser en esto una excepción. En efecto, nuestra L~y í,:·!:;'Qrgánic~de Ordenación General del Sistema Educativo (LOGSE) manifiesta que ~eg~> la calidad de la enseñanza es uno de los retos fundamentales de la eduló"q.;~el futuro' (Ley 1/1990 de 3 de Octubre: preámbulo). Precisamente uno ..,~19~l(~t9res de calidad que la mencionada ley enuncia es el de la programación óC~ñt,~(an 55.b). Por ello. insiste en señalar entre los componentes inexcusables ue ha.de incluir la evaluación de nuestro sistema educativo la valoración de los .",ó" e;(,s educativos y de la propia enseñanza y aprendizaje (un. 2.3.j.; 62). por tanto. ante una,hechQ,trasceo~ntab,.eflN~a.:!@dag..s:g~, .. "fio.sqcuciones y de nuestmssistemaseduearivoe lá~~a¿¡ói{;¡je" ". n,' ~;;S,xigenciaineA\ldj.ble;~esá.;búsqued;kpttigresiva:~:Y;:Perm3.l.l~[e , . ,.. :.~ ,1!9}:B~P'~Sla necesidad es, si cabe. aún más imperiosa a partir de "¡. !;\,~:yor áutonqmía que en el diseño de proyectos y pro~as curriculares tie~f4't;'~_:·q.~~}~:instituciones educativas y los profesores en su c0nJ.p"nto. ! ,; ;'A ;esca preocupación fundamental responde el capítulo "que ahora presen'. "~: , os .. A través de nuestro prolongado contacto con profesores y centros edu'$¡;!?~,f~Rvos~mos llegado a concluir, qp.,e el,.profe~Qr.:drR,~~~jó.P:_:pn?fe~iQU~~'" :!,f',¡¡§jJ'l:iiMipre;;a::.'UJla síntesis organizativa .Y..;.~4\í.c,~hq~~PJ~mÜ\'l:, oprener:¡;los""" :1;~~ulcados en la situación en.que.sezencuemrasé'ero la sistematización y descripción de esa síntesis merodológica supone, \ID P'{~SLd~ reflexión .indu~ lij{.a;.o.:deductiva que no siempre se lleva a cabo.e

7

&l~ .aCC4.~ic41~~~Qs .

!¡E:'~~'~; ¡

¡1
I

I I I I I

~ I
'.

',1

I
'
.

'1
I

J

, .J

Pretendemos. en este capítulo, colaborar con quienes muestran interés por que el profesor encuentre marcos modélicos con los que identificar su propia ~". síntesis operativa: o. cal vez. referentes que le permitan reconceptualizar su propia , acción profesional. Invitamos. pues. a una lectura cri~o.\Otinrerpret:J.tiva 'de los p~j" eval~~t.ivos.modelos y métodq~;gue se desc~~q ~szw<:iaIn~IlIe (F1C ¡j.

,>;:~.
'"

I I

:5

11
!

:

-~.

l'

FIG 1

SECUENCIA CONCEPTUALIZADA

DE MODELO- Consecucrón (Tylerl

,léi¡jÍ~úmtiyo.~-t--~

Conductistaeficientistas

- Pl:II1í Iicación

<!1;

(Cronbachi - Clf'P r Srufflel - CSE 1.-\ Iki n 1 - Figura ISla 'e

~~ ,--_.f.>_~_~_.-;._.i_¡~_~~_Y_O_--,+-+--~~l

- Conrraposrcum 0''::1 - Atención al cherue (Scrivern - Cruica arnsuca ( Eisner:

~------------

- Evaluación

responderue

rStake

i

:.'

.

- Evaluación ilurninativa (Parlert y Harnilrorn - Evaluación hotísuca L'-'Ie Donald I

I
.: :!r~.~:;;J;:{
<'~ ;: ~.'.

tePnrodi~ft2~1

--I·~¡ '-__

Y_lod_e_IO_s_-.Ji----

.•••

:!__

"_!e_'IO_u_·O_s_---'

.)~{~i4 "'.: ;~t·;,

.• )f%,~t;:-~ncia -uvos
",

de conceptualizacion de..modelos de evaluación de programas

eUUC3-

:

. OBJETIVOS
A lo largo de este capírulo pretendemos los siguientes objetivos: .• Clarificar el marco teórico que sirva para una sistematización conceptual de los enfoques sobre la evaluación de programas educativos. , ~ ~ describir losdndicadores más relevantes de los rnodelos-suia que marcan , las ten<kn~ias investigadoras elJ.C1 ámbito de la evaluación de tales programas. • Estructurar los métodos más difundidos que. centrados en la evaluación de .dichos programas educativos. constituyen referentes interpretari vos de utilidad en , ,e~a:M!~i!9 profesional. . ,.

'~

.
"

.

\

':'i'

j,

!

;26

I

--

-__

_ __

------

-

--

i.. _

identificativos de~los' f11~.frdos ~9ev.a:1~acióo."gS'?, ¡;>jo-< . üea~~,g~.SPf:r;t,o rasgos,<:lll.~puede.9. ~e~19~~u:.q;,~~~~~vara percepción de la '>;i.,\ ~eñdenclás'~valuativas y para el contraste de actuaciones concretas ':' ¡"con las mismas. < gra .. '.

'._,\i~.l,?~:~Je~enros

.~.~D7~ARROLLO
-,

DE CONTENIDOS
evaluativos

~~'

.~.

-Ó:

,

. 1.- Paradlgrnas

I

¡ 1 ~..

Entendemos el término paradigma c0!Yi,;I;m.'.lf~Q,9,~ ~¡;S~(~QSi;l J.deológicp '~,,~W;~'!!'%~9~'.utiIi~amos para '~terp.f~t?-r Wl.~~.~1 paradigma. ~tbí1enra "per se" a una incidénéia\bb¡'Pírn':mJtíd:'~ino más bien ~C;\~;erp;.r~,t~~¡R,~;~e, \~ misma bajo un pris"'n~,SB.~..'iEe,l~L9~terrnina~0,,,,En cuandd modalidad interpretati va. el rérrninó paradigma está más próximo al de enfoque (GENTO. S,. 199.:J.bl

O."

_Rdiri¿ndonos
'~·:t':

• ·.?tiii
~ /': '.
.>,

~ <"']2> ;7~;f:i·.
.z

::,:J;~

:,;'~!::.
••,

~,r!;,"i
,~:J
. ",

"'>.'
.:-:1, ,'"
~'''·'!:;·i~!

al ámbito de 10$ programas educativos. el paradigma eva-» ',u _ofle !lIP.1SSQc~p~ualización general del-rnodo.rnas apropiado para lle-. p~mtVát'uación:~4.C!,~sta conceptualización se derivarán los modelos. métodos. técnicas. procedimientos e instrumentos evaluativos más apropiados . Aunque resulta difícil delimitar claramente los diferentes paradigrnas. la dominancia de sus características fundamentales nos lleva a estructurarlos en tres tipos básicos, a saber: cuamisarivo ..cualü:uive'y..mixtQ.,. -; ~~un cuando es di ficil e nc o nrr ar modelos que puedan incluirse ex¿íusivamence dentro de un sólo paradigma. les diferenciaremos de acuerdo con l~'pr~dominancia en aquél en que se sinian. ' ' La elección de uno u otro paradigma evaíuativo se hará atendiendo al tipo de programa a analizar. a los criterios de evaluación que se establezcan. a la técnicas e instrumentos de evaluación que se vayan ,a utilizar y al cipo de informe o conc1usiones a [as que quiera llegarse (COLAS. M.P. Y REBOLLO. M.A., L993: 14~~. 9)·

iJ;:':\; ,,;~'~:,-, .
.

<..

''
.
.L.

•• -"1"'.: ,'~~Jj~lijW.1,"
.

"q;~:..~~.~ ... .~ ~ '

•.. •. "':;nl~~r~DT0

_

! L,
~~\r:

El paradigma experimental cuantitativo üenae;'á;la máxima objetividad de da-t9@~ara lo cual establece una sistematización estricta en, e! seguimiento del.pro-s :~si§2.'.~valuadOr y.un diseño que des~J:l1,9.q~:,l, .resujtadospuméricoen estadísticos

rF'lG2J.
' Este rigor en la definición previa del procedimiento obliga al evaluador a seguírlo.con escaso margen de-flexibilidads lo que i~~ful~~~~.~o?ifi.cac~ón ~!!,~b~

:,

.,.'" .::!:"

. .'

.,'

27

:

'

..
.,

~ . .....

"

..
"

. .:'"
• • o" •

'

...... : :-.':-

:

.,

. . - .. _' ...

«llñi~i6L~ I.;~ .,
\ ~.- ,~

jetivos intermedios, incluso si el desarrollo de dicho procedimiento pone e-elieve la aparición de supuestos no contemplados en la previsión inicial. Por otra parte, y aun cuando en cualquiera de los dos paradigrnas sea preciso contar con evaluadores con elevado sentido ético y con dominio profesional de misión, éfLeFd~tipo"cuantirativoel evaluador se sitúa a mayor.distancia de los ~~s,e.rl la:'.e.y~~acióri: esto. que parece ser una garanua de objetividad e los datos que recoja, represenra al mismo tiempo una dificultad para percibir la personal de-los. implicados y para captar componentes que inciden en el programa pero que no h n sido previstos en la planificación inicial.

'~¡:¡~'..r

.' ":·~§:VA-lblI&TIVAS

I

I "<~; . ~iJ~~<i~t~~~· ·( ", '.: ,y.•.•. . ..~,:/,: .k~.,,~: })f'~::\~:;"'~:!-/ ',< I" /-:); J';::. _
Aspecto.
-.. : .••...•.
":.-': .

1.4n~j:nicas de tipo interrogativo en' sus modalidades de tipo oral y. especralmei1té;1.·S.cñF.Q1P¡if~ce~ .pis .propias para obtener informaciones que puedan j'!"~~U:m~~lte cuantificablés y sometidas a tratamiento estadístico. Para la aplicación de estas técnicas habrán de elaborarse o manejarse instrumentos evaluativos que respondan a las caracrenstícas derlas mismas rGENTO. 1994b).

en todo caso. peculiar de la evaluación cuantit at iva serán las se utilicen para eltratarnienro de datos numéricos obDad~ e::cará~ter pr?pio de: .Ia e:valua~i~n de prog~amas. parecen más in.··c!i~~cias las técnicasestadisricasde tipo descriprivor Cfrl.A'S. M.P, y REBOLLO. 'i' _:,~~' X}{A ..; 1993: 156), entre las que cabe citar las de análisis ... factorial: escalas:~f::t¿~~~:(: . ~' -..--iQflai~Wl~:¡is.-9.\! '<~Qrr:c;sp,oflql!ncÜ.l,c¡'¡¡sters., o

. . .' .. :t~;,$~frata de la reorganización de la informacion que ya se posea. :11 objeto de . /~:":'::¡{~!~,. ,'cerla más asequible y manejable: dicha información ~:'~struC;tl.\ra generalmente> , ..):-.t!' . ~~¡y;iab.l7~ p categorías qUI!. van a valorarse: cada ~na de ellas podrá iferentes estimaciones cuantitauvasen distintos ámbitos.
1t.: ';'

.

l'r~f;'JC~'<~~¡:(OS t ..
.

l

~:</C':·S : " ~::;. .{ .
í

l

·''fd~·,r>'
:~,!

). ·~;·'~.i. 'í\~'''~'~;':¡:IDli~tnatriz,C<! datos, Con 'a iatrccuccion

podrán estrucrurarse y constituir de los ordenadores en el ámbito de la in·~veSt!2:J.c:ón evaiuativa. se .!~@ crcduciendo un irrioortante desarrollo de prog~m~ diseñados al efec:o. -.:,ue 0t":-e:':.!!1 matrices de base para la introducción de
,. .

Las variables y los ámbitos de ponderación

'J ,"

2!
". 0-'

. . .... :.'
~'

o

o.

.'
•• 'o ••

-c- ~.•
"

f:
::-

}
::
"

"

r: .....
,,:--. ~:
.-:'

~..

',

.:: -c.~ .

.

','

o"

<'...

.... <.:.

"

FIG 2
"

·PARADIGMA EVALUATIVO CUANTITATIVO, .: i "., . .' .
PRINCIPIOS OPERATIVOS

7"

.1:
'J,',

(i~
~~p

a.l'!

~g
<11l1
QlCO

~~ ..,'0

~<

J~

~i
~ ... •...
C.

~~

QllII

(1"1-'

~Ott

gg

1:'!
:0"

l}8' tt

i! J fG\
l

;!
J

~

~

.o •.... ¡,g-

t~

r

...
,

.

f

•.•.••

" L.:,
~. ,~

i

~.

1""
..

~

i,'

..
J

. i{ ';,

"

~-,.. .
'

;~. .

. :'~.
','
•• ~~ ~~ ,'.

t'~~~'

~

";-

•..~ ..:

~ .

"

• •• .::0',';_

·.1·.••.•.

.; .... , 1 .L~;
~ :~

~.,
•.1 -:

.-'-

~

__ ~

__ ------

__

-'!".

!f2fS~(~.f.C.iÓll la técnicayde los instrumentos de

de evaluacion

I I I l. >' , I
e ,

.
,.

1 ."
• l' ....

La selección de las técnicas evaluativas a utilizar y de los instrumentos a manejar dependerá de aspectos como los siguientes: el tipo de investigación evaluativa que vaya a realizarse: la hipótesis de partida que desee comprobarse: la población y muestra de la misma; el grupo de personas a quienes afecta el programa y el tipo de centro educativo en que se ubica dicho programa: y la~ ~~~i'~ue.YiJ.Y'ln ~,.\.,1(ililélfs~: .

!iiJi.t:-j,·pgi4a

y tratamiento de datos

Una vez elegidos' la técnica y los instrumentos de evaluación a emplear. Será preéi~~s~kccionar la muestra de la población a que afecta el programa. Tras ello. se proceder:i al empleo de los instrumentos. que ofrecerán el acopio de datos que constituirán la base de la evaluación. Tales datos serán oportunamente recogidos ~:g~~~~?S mediante los procedimientos estadísticos que convenga.

.

:.;.~.. 1r14~1-t~!.;~;A:~. .'2 :.'.' ~:, 'I~¡' \;·<~C'.'
,'9::.:~:

Los datos estadísticos arrojarán una configuración de las variables que fueron definidas a part~r de la hiPO.' tesis de partida. Estos datos o resultados, han de ser ; /'" . , .",...: ~\lf.R~~~;~t9.~retadQ~.,\deacuerdo con c,ncenos de tIpO clentlfic~ expe¡;'.:; ):,: t « ~.; . 'Y":;;.i~'~ •. se requenra. pues. una evidencia científico- marernauca, de carácter es,.,d. ~.,,,: : ',. {;:..,";'.:.¡~;f.~;(' iadísticó. de la confiabilidad de los datos. lo que requerirá someter los J con:,".. . {f~~'.:~t?~.·ciásta~iónde tipo cuantitati va. . ~"~ ...•. ,,\-i» ¡",..l., i~~·:1:\(""""?·...::t: .r··..: h, •.• · ~?;;l;~X ,,'. :,.;' ;.~:c;::ona creciente utilización de los ordenadores han aparecido programas in; l "::'~I i'1:. ~:.~:.-;'.,.:;,,~~;;,., .formáricos que facilitan los cálculos estadísticos v que, por tanto. resultan es, . _,'!~.' .• ",t. ·,:,peci~mente útiles para la eva!~a~i?n de ti'p0 .cuanritativo .. Entre tales programas. ';~¡~,:1~,i,.,,~!.<mencl~)Oarnos su mayor difusión los siguientes (COLAS. M.P. Y REBOLLO. por
'.',

1.f r,i

.'

.

4

~~:' I ..:.;.',' ,. L1;:' I
rJ8, ', c.3'/"
1.,.

:')\~A., {A,*>*:;\~~~Z;¡..169~:. "" ~~~tiNSQ~~~~~~: ;i~~~iB~R~;!I';'~ ~9~~~~S~S~
.'

'.. /<,·>.(StatlStlcal ..
i"

Packaze for the SOCial Sciences),

-

el SAS y el BMDP,

";'~-i' ~~f" .

':<;

; '.,'
,'.

_fa'Ebración

del informe

.:~ , ;._\ ..'...~~

j(¡':;'l

.
'

I

.

"
<.

.

::~"".', Tras la puesta en evidencia de la uceptabilidad científica de los datos obre " , nidos. será preciso proceder a la interpretación de los mismos. De este modr se llegará a la formulación de las conclusiones que se ob re n g an e o m '.resultado de la evaluación, A partir de aquí. los evaluadores proccdertín a ; t.'~;l~~,t1J.~Jqn del.informe, que abarcará la descripción del proceso seguido, I( .;",.. , H~pps obtenidos. l os niveles de confianza' de los mismos. '! I 'C úsiones alcanzadas. El informe incluirá. además. las ·pr09uest:J.s . r~fíf.fbclón, modificación o inclusión que proceda formular sobre d prograr jáñ81kado . 30

~:z~::~{~:·:.~ ... .
. ~ ::
'

-...•...

, :"0;":'
. ".!

-

.

.'
.

......

~ .

r
1 ... :'., ~:' ~j~S
I 1

D~,RlGOR GIENT~FiC<t)
. ..... .,.,

..
, .'

. . '.

,,~.-

.,.?~f.~tf;.mri'hf1D'IS~~~urar la.c~.dal:tf~#iCa

''íí:!i@''~ ..

.~p'bt;t;r:uqoS, ~~ pj'S$~d establecer ~4P~.;&f4!~~que r\!~p1piliqa.d a los resultados. Entre tales garantras

de 'I?S resultados numéricos permitan dotar de crepodemos referirnos a las

.~

~;~~~~nJ~S:
r-}y:.
_~.

.'
'·,i.

.f~~Yldái"lteld:';,zue'smi
. Cuando de una población determinada extraemos una muestra sobre la

t. -',

' .

r ' r
r'

;"C!l~ ~f;túamospara obt.ener una serie de datos es[O.dís{ic6s.ltIQmill~ffi~~pr~~,~ÜIi.

es. ;~~jJm,E;~'.la de ~arep.~~e,n~!lF.~!:i~~~~s1M;~l~Q,,~9f .. , C:p'~rah~lo'QdillOS 01:){~Nd9S atoda ·1~;.pobla~n~.I,ls.Q;;;~ ,otr~ J. A este fin. deben aplicarse fórmulas matemáticas que faciliten el '. hallazgo ~~I e.rI8.rm,~~s(ral (GA~~~.-\. NI.; 1982.: .!.3~: SI~,~RA. R .. 1?83: 209)~!;r¡llmeote. se.otorga credibilidada la,muest{'iIi,cuan,dQUa probabilidad ~~~~s~',e,s inferior al 5~.
,
. t.

•• I I ·1 I I

."·;'~:í;~.t.;i(' .~,.;~.!~ " ~:.

.. ?{):~<'
?'.

. tía suele generalmente requerirse a los instrumentos de medida. para M. y ' .....jque~~n:.·-n,te,;imidé"'7:r;;;'~üCt':d~i~(SCHAPIRO. .~p..+N-4!!.. ~'" . +H~:19 5; 156). S" -... :: _. 'v'" ... ,.. ;:. léJ"uni

Yi'

<.

o

',...,

Q

r, ••....
-,

'"Y,.r,
.

.- .. \'!'if:"
" -.

:Ia ..~ual'~¡O;"" . ' . ,__ ,¡~:.

;~~,

,.'.'

_

....

,

.

."..

,

...

"'~ ."iít'O:,q~~.,,. " )::"já;'
», ;~
"

'J I
',.

-'liM"mide lo que se pretende que mida" (SIERRA, R.. 1983:'

.....•.:. ':.:;;:,
'~'.

~~.
~:

.,

I

ri~".
,..
.;

.

~"

.
!.

:,. ..

1-'

,i:;·t " ... . diferencia entre validez y fiabilidad resulta con frecuencia difícil de 'e$.:',..... i :,¡ . «: ,::~r%asta el punto de llegar a afirmarse que la fiabilidad es, p'~~.ci~;amenté:'~f '.,~';:: ~i' 1:10 dela validez (GENiO. S.. 1989: 124). . . .. . }.::r ~Desde' el punto de vista práctico. suele (:·Órisia~se~!Ia.{fiabilid'[(:f;co~QJ, . ,.q~,~ ""j~ e*e ..Ias punruaciones.que 0~9rm1.~~b1e (Hfe't~lá'persistenci~:de~ las¡púri~t9i~s1-~WíCl()«sñ'ptita el;;nUsK 1 ./;Si8"fiilftl'ftrhenWde·éváluaci6n ed¡'dife'reÍüe's mb¡j¡~htO~1fSCHAPIRO. M. y í'!?SARD'Y .: H.. i985). Puede. por tanto entenderse la fiabilidad como "la • ~'<~1CáCtirud los ~~tos. en el sentido de su estabilidad. repetición o precisión" de .,.~(FOX.D.J.. 1981. 4041. . .;..~. '-¡.> ." ,
.t~,.;.:~·t'.~:~ .I~'~'..
, .: '.

'.!:.

_ ::-

ore~~

31

--,---

:,'.

··e:

:

. '":1 . .c . . :._.:·).-i

¡..
I

.' Significación

~.a1QmYm~q~p~..I,?~ ,9.-e estadísticos

!!!l'De

pace referencia~ al..nivel de representatividad de los ob~enid,?s en la muestra en relación con los 4Wg$;;'$~¡~}ii,,~,e,?bteº~~ enla poblacióñ (GENTO. S., 1989: 127). . En general. suelen aceptarse como significativos aquellos estadígratos (o estadísticos calculados) que obtienen niveles de confianza iguales o superiores al esta forma se estima que el posible error aleatorio carece de importancia. por lo que se puede asegurar que los parárnetros (o estadísticos en la p~blación) serían muy parecido~ a los obtenidos en la muestra .

" .... fI térmi~o significación

• L~eaa

cualitativo

1
1
',fl . ' ,

~~PTO
.. '

"'"$~ ..;""!r •.••• ~ --

j'4.

El paradigma

cualitativo,

también

denominado

a ;veces fenornenológico.

se

. " ¡ :' :~:" ",}~ .

. ;:.;I
j

~:f:¡',?;<c~< i;:'~
. j',,}..:.!,

y persona! de la información. utilizando,' ,~ás ,I?as<;tdosen el contacto con los implicados ",1 ' ' ,'/ '~,,~~~tl$JPW~íJS' Esta mayor implicación personal del evaluador en ::',:¡- ,.,: ~ ..,:- ·,;>c:l.,p'r~e~~r~og~aa'" . de mfonn~ción sobre el p:ograma le lleva a una mayor comprenslón del mismo y de quienes han de ejecutarlo (POSA V.-\c. E.J. y <',I.,:y'!" ..;: ,:.:·CAREY. R.G .• 1989: 229- 40). o .'y.>.-;:.....• ::El~desarrollo de la evaluación de tipo cualitativo no-implica el seguimiento "a .
_lii'iUfW~;S~9!15Sj2.~,inmeodiata . ,:. para ello ttln,~~$..\4t~~~n~os

:·::~;'::··:'~~·.~~J:}:::;\~~i¡1i\iYm!Jl?tie.de ~~;~~~~a",deun planpr~~!am~nte ~Va<;1.o,: Aunque al c~men~a: se partirá sl~mpre de unas referenc,tas básicas. el proceso mls~o Ira, .1,:·.'~L·;~~:~;~'5ttl\J~J , F..mprob~c~.ones,.qu~ sean convent.ente~ y .los puntos que requieran, . .' 'J.... ,"."~~:, • ..".,, o? . ,:" h" (FlG 3) .' '.-",1. :.:··:A~.-·I,f').;,!:- ·-.··-:':!li4·_.~~: .. M . .; parece. a primera vista. que nos sitúa ante un mayor en las apreciaciones de los evaluadores, debido a la .. ",';L·.:'.i··:':i';'·~:,::;;:':~,'f-;, qificqltag de encontrar un único punto de vista objetivo sobre el propio programa l.',', . ".:j: ·(ALEXANDER. H. A .. 1986). Al objetodeévitarel sesgo de subjetividad y de , r "'. { .. : darcanicte'r válido a la inrorrnación recopilada de modo cualitativo suelen uti. '~"-::. . lízarse recursos tales como los sizuientes:

~J ::;.:;~.tH;t.\\1::~. ;~
r,

~::~···;t~o.'¡-1·~rI!~,,':·,,' ,,~. ri~~.gó.:de"s.ubjetividad

~t'f1Y¡;~,;~~;:J~1:~:;' ~'~~r~~tiYEl;iíamdigmacualitativo

['.:
.

.

-

,

', :f ;

:-{..:-' ..<

. . ...: i~Rgid~ de. información a través de diferentes fuentes. promoviendo E 'además la combinación de opiniones: . - ~~qpilació¡¡.mediante síntesis cualitativas de un abundante número de obserY¡l<;:;o{l~s: . . - corroboración de la evidencia mediante el empleó de múltiples fuentes illJ¿pe~dienres: . ,. "'. . .' ...1.. . . . '., - cb.nnfI11ación de las conclusiones de los implicados en el programa: alcanzadas. a través de las opiniones

'.,

J

:::. '..::•... -~. ~~ . . :... .~:

••••• IIIIIII••••••
: .

~....

••••

----

... , ':!;--:: .-

~~

.. :.... :.

Sign up to vote on this title
UsefulNot useful

Master Your Semester with Scribd & The New York Times

Special offer for students: Only $4.99/month.

Master Your Semester with a Special Offer from Scribd & The New York Times

Cancel anytime.