Diciembre

2012

InformefinaldelproyectoReflexinpedaggicaenbaseacasosydominio delenguajeacadmicoenlaformacininicialdocente:unapropuestade medicinparainformaralastrayectoriasformativas

SoledadConcha CarolinaHernndez FranciscadelRo FranciscaRomo LorenaAndrade

FacultaddeEducacin,UDP

 INDICEDECONTENIDOS I.Introduccin..........................................................................................................................................3 II.Resumendelproyecto.....................................................................................................................3 III.Marcoterico.....................................................................................................................................4 3.1Lareflexinpedaggicaenbaseacasos.....................................................................4 3.2Alfabetizacinpedaggica.................................................................................................6 3.3Reflexinpedaggicayescritura:losgnerosescritosdelaformacin inicialdocente.................................................................................................................................7 3.4Laevaluacindelareflexinpedaggicaescrita....................................................8 3.5Lenguajeacadmico ...........................................................................................................10 IV.Objetivosespecficos: ...................................................................................................................11 V.Encuestaaformadoresdeprofesores ....................................................................................11 VI.Marcometodolgicodelestudio.............................................................................................14 6.1Procedimientosdeconstruccindelinstrumentoydelasrbricas...........14 6.1.1ResumendelaconstruccindelinstrumentoRPECydesurbrica........14 6.1.2ProcedimientosdeconstruccinyvalidacindelarbricaLenguaje Acadmico.....................................................................................................................................23 7.EstudioFinal.....................................................................................................................................35 7.1Procedimientosdeseleccindelamuestra...............................................................35 7.2Procedimientosdetomadedatos...............................................................................36 7.3Procedimientosdeanlisisdedatos.............................................................................36 7.5Resultadosdelestudioprincipal..............................................................................................37 7.5.1AnlisiscomparativosentreUniversidades ............................................................37 Anlisisderelacinentrevariables.....................................................................................42 7.Conclusiones......................................................................................................................................42 8.Discusin..............................................................................................................................................45 Anexo1:pruebadereflexinpedaggicaenbaseacasos.................................................51 Anexo2:rbricadelenguajeacadmico(LA)..52 Anexo3:rbricadereflexinpedaggicaenbaseacasos...54 Anexo4:resumendelprocesodejuiciodeexpertosparalarevisinyvalidacin delarbricaRPEC55 Anexo5:ManualdeAplicacindelinstrumento..56 2

 I.Introduccin ElinformequesepresentacontienelosresultadosfinalesdelproyectoReflexin pedaggica en base a casos y dominio de lenguaje acadmico en la formacin inicial docente: una propuesta de medicin para informar a las trayectorias formativas,financiadoporelConsejoNacionaldeEducacin. En este estudio se entiende la reflexin pedaggica en base a casos, como la capacidad para analizar los fundamentos tericos de las decisiones pedaggicas observadasenunaclasedictadaporotroprofesor,usandoparaellodemanera articulada los distintos saberes relevantes a la pedagoga: disciplinarios, de didctica general, de didctica especfica, del desarrollo de los nios, de los contextosdelaenseanza. Comosediscutirenesteinforme,elconceptodereflexinpedaggicaharecibido extensaatencinenlaliteraturaespecializadayhasidoabordadodesdeencuadres tericos diversos. Este trabajo se funda particularmente en la evidencia recogida en estudios que comparan la cognicin de los profesores novatos y la de los expertos, segn los cuales una de las caractersticas diferenciadoras clave de ambos grupos es la capacidad de analizar una sala de clases en base a conocimientosespecializados,particularesalaprofesindocente.Astambin,el estudiosebasaentrabajosqueproponenquelaescrituraesunmedioprivilegiado para evaluar y para ensear a los estudiantes a reflexionar pedaggicamente durantesuformacin. Respecto de su contenido, el Informe incluye una descripcin de las actividades realizadasduranteelsegundosemestredelao2012,ascomolarespuestaalas observaciones al primer informe realizadas por la contraparte: construccin de rbricadelenguajeacadmico,marcotericorevisado,tomademuestraprincipal, codificacin, anlisis de resultados y construccin de manual de aplicacin del instrumento. II.Resumendelproyecto En este estudio se dise y aplic un instrumento para evaluar eldesempeo en reflexin pedaggica en base a casos y lenguaje acadmico de estudiantes de ltimoaodelacarreradePedagogaenEducacinBsica.Enelestudioprincipal, 82 estudiantes, provenientes de tres universidades diferentes de Santiago, analizaron por escrito una clase de Lenguaje y Comunicacin, presentada en un video de aula. Los productos fueron codificados para determinar la calidad de la reflexin pedaggica en base a casos que realizaron los estudiantes, as como el dominio que poseen de los recursos lingsticos propios del lenguaje acadmico. Porltimo,seanalizunaposiblerelacinentreambasmedidas.

Un estudiopiloto antecede a la investigacin aqu descrita, que tuvo el objeto de explorar y validar los procedimientos metodolgicos. Parte clave del piloto lo constituy la consulta a formadores de profesores nacionales e internacionales y docentesdereconocidatrayectoria,parafijarunaexpectativadedesempeodelos estudiantesenestudio,lacualserecogeenlarbricadeReflexinpedaggicaen baseacasoselaboradaporlasinvestigadoras. Losdatosdelestudioprincipalseanalizaronparadeterminarelcomportamiento de los instrumentos, para dilucidar niveles de desempeo y para explorar la hiptesis de que el dominio de lenguaje acadmico pudiera explicar los desempeosenreflexinpedaggicaenbaseacasos. Unobjetivoclavequeseproyectaparaestetrabajoesqueelinstrumentodiseado pueda ser utilizado en distintas instituciones formadoras de profesores, para evaluarlacapacidaddesusestudiantesparareflexionarpedaggicamenteenbase acasos.Enesesentido,sinembargo,esimportantedestacarqueelpresenteesun estudio an exploratorio, pues si bien se ha construido un instrumento vlido y confiable, resta su aplicacin en otros contextos y por otros actores para determinarsureplicabilidadencondicionesdistintasaladeestainvestigacin. III.Marcoterico Lareflexinpedaggicaharecibidogranatencinenlaliteraturadurantedcadas, por su asociacin con la enseanza efectiva. Los estudios, sin embargo, son diversosrespectodelamaneraenqueconceptualizanestanocin,loqueponeen cuestionamiento su valor, tanto como la posibilidad de identificar mtodos sistemticos para desarrollar este tipo particular de razonamiento entre los futurosprofesores. Uncuerporeducidodeestudioshaexploradolaideadequelaescrituraesunbuen medio para desarrollar la reflexin pedaggica en programas de pedagoga. Esta propuesta se basa en la nocin de que escribir no es meramente un medio de comunicacin, sino tambin una oportunidad para construir y transformar nuestrosconocimientos. Se ofrece aqu una revisin de trabajos tericos y empricos que sustentan la propuesta de que la escritura puede ser un medio para aprender a reflexionar pedaggicamente, tanto como para evaluar y monitorear el desarrollo de esta capacidad en los profesores en formacin. Esta revisin incluye asimismo una descripcin de la nocin de lenguaje acadmico, para dar sustento terico a la exploracindeunarelacinentrelacapacidadparareflexionarpedaggicamente porescritoyeldominioderecursossofisticadosdelalenguaydeldiscurso. 3.1Lareflexinpedaggicaenbaseacasos Unarevisindelateoradisponiblesobrereflexinpedaggicarevelaquesetrata deunapreocupacincentralenelreadeEducacin.Losestudiosqueexploranla ideadequelosfuturosprofesoresdebenaprenderapensarreflexivamentesobre

la enseanza se basan en distintas conceptualizaciones: reflexin crtica pedaggica (Harrington et. Al. 1996), reflexin prctica (Luk, 2008), habilidad reflexiva(Braun&Cumpler,2004),pensamientopedaggicoreflexivo(Lee,2005), razonamiento pedaggico (Youngs & Bird, 2010; Herman, 1998) y enseanza reflexiva (Silcock, 1994). Esta heterogeneidad terica ha sido discutida por distintosautores,quienessostienenque,apesardelarelevanciadesuobjetode estudio, el concepto se ha vuelto un tanto confuso en la literatura disponible (Mclellan,2008;Silcock,1994;Lee,2005;Braun&Crumpler,2004). Lamayoradelosartculosrelacionadosconreflexinpedaggicahacenreferencia alrazonamientopedaggicodeShulman(1987)yalasreflexionesenlaprcticay sobrelaprcticadeSchn(1983).Losdosautoresestudianlanocindereflexin enrelacinconlaprcticaprofesionalycompartenlaideadequelosprofesores pueden reflexionar sobre sus decisiones instruccionales, lo que a su vez les permitemejorarsuprctica.Shn(1983)esengeneralreferidoporsupropuesta de que los expertos pueden reflexionar sobre su conocimiento especializado durantelaprcticayfueradeella.Mientrasqueenelprimercasolareflexinda sustento a una prctica experta, en el segundo, permite revisar las decisiones y mejorarlaprcticaenelfuturo.ElrazonamientopedaggicodeShulman(1987)es especfico de la enseanza y ocurre cuando los profesores razonan sobre cmo transformar su conocimiento disciplinario de modo que pueda ser comprendido porlosestudiantes. Parasustentarlatomadedecisinyeldesarrolloprofesional,losprofesoresdeben apoyarse en una base slida de conocimiento (Darling Hammond & Bransford, 2005;Berliner,1986;BenPeretz,2011).Lapropuestaesqueloseventosdelaula pueden ser entendidos y analizados por referencia a distintas fuentes de conocimiento especializado, las que deberan estar disponibles para la reflexin. Darling Hammond & Bransford (2005) proponen que la reflexin durante la enseanza requiere que los conocimientos caractersticos de la enseanza estn representados en dos niveles: esquemas que sustentan acciones rutinarias y eficientes y conocimiento profundo que sustenta la innovacin y el pensamiento creativo,cuandolosesquemasnoseansuficientesparalidiarconlaspreguntasde losestudiantesuotrasconductasinesperadas. Losprofesoresnovatosnoserantancapacesdereflexionarenlaaccin,comoslo sonlosexpertos.Estosedeberaaunabaseprecariadeconocimiento,alafaltade habilidades metacognitivas, o al hecho de que las complejidades de la enseanza nodejaranespaciodeatencindisponibleparalareflexin(DarlingHammond& Bransford,2005;Berliner,1986;Schemp&Woorons,2006;Carter&Richardson, 1989; Davis, 2006; Borko & Livingston, 1989). Berliner (1986) encontr siete rasgosquecaracterizanalosprofesoresexpertosyquelosdistinguenconclaridad de los novatos: infieren en base a su observacin de eventos y objetos del aula, categorizan los problemas (categorizacin de orden superior), rpidamente identificanpatronesdeconducta,sedemoranmsenexaminarlosproblemasdel aula, son sensibles a los cambios en el contexto de la enseanza, son flexibles (planeansobrelamarcha,loqueseoponealafijacinfuncionaldelosnovatos)y autorregulansuconducta.

Noobstantelacapacidadlimitadaderealizarestetipoderazonamientodurantela enseanza, los expertos coinciden en que los profesores novatos deberan ser capaces de reflexionar sobre eventos del aula, como parte de su proceso de convertirse en profesores expertos (Berliner, 1986; Darling Hammond y Bransford, 2005; Carter & Richardson, 1989; Schemp and Woorons, 2006; Davis, 2006). Se tratara de la capacidad de analizar situaciones de aula en base a distintossaberes,unejercicioqueexigerevisardequmanerasepresentanestos saberes a los futuros profesores durante su formacin, de modo que estn disponiblesparaestetipodeanlisis. Siguiendo esta idea es que Carter y Richardson (1989) proponen un mtodo de enseanza para la formacin inicial docente que denominan conocimiento estructurado en torno a eventos. Este mtodo, muy similar a la propuesta de conocimientosituadobasadoencasosdeKimyHannafin(2008),proponeque se presente a los profesores en formacin articuladamente distintas fuentes de conocimiento, en torno a eventos del aula. Los estudiantes de pedagoga seran luegoenfrentadosacasosdeaulaquedebenanalizardesdedistintasperspectivas (manejo de aula, tipos de preguntas, organizacin del espacio, evaluacin, entre otros),considerandonosoloquycmoseenseaenunasalaenparticular,sino tambinlasexplicacionesquesustentanlasdecisionesdeunprofesor,tantocomo qupodracambiarparamejorarlaenseanza. Adems del anlisis de caso, otras experiencias de aprendizaje como la observacin de aulas, los talleres de enseanza con expertos, el anlisis de protocolos de pensamiento en voz alta de profesores expertos, son experiencias quepuedenfavorecerquelosfuturosprofesoresvisualicenlaenseanzacomoun procesodetomadedecisinyaprendanainferirestasdecisionesporreferenciaa distintosdominiosdeconocimientoqueadquierendurantesuformacin(Schemp &Woorons,2006). 3.2Alfabetizacinpedaggica Mclellan(2008)introduceelconceptodealfabetizacinpedaggicaparareferirse a la capacidad de comprender y producir discurso al interior de la comunidad acadmicadelaEducacin.Sudescripcindelconceptosebasaenlosprincipios delaescrituracomomedioparaaprenderyconsideralaalfabetizacincomouna herramienta cognitiva que puede promover el desarrollo del conocimiento pedaggico.Ensuspalabras: Pedagogical literacy is, therefore, the fundamental competence of being able to read, understand and criticize the documents that make up the professional knowledge base of teaching and learning. Furthermore, because reading material is better understood when it requires to be manipulatedthroughsituatedwritingtasks(Langer&Applebee,1987)the constructionofwrittenrepresentationsaboutteachingandlearningcanbe powerfulcatalystsforteachereducationstudentsownlearning(p.1987) De acuerdo con la autora, en orden a aprender cmo ensear, un estudiante de pedagogadebeatravesarunprocesoqueincluyeleeryescribir.Unprofesorque

hatenidolaoportunidaddeleersobrelateoraylaprcticadelaenseanzayel aprendizajepuedeaccederalconocimientocontenidoenesostextos,pararazonar con ellos sobre su prctica. Sin la representacin de ese conocimiento, la enseanza se limita a la ejecucin automtica y los profesores no pueden ser flexibles(adaptarsealoinesperado)omejorarsusprcticas. Escribirenlaformacindeprofesoresesvistoporlaautoracomounaoportunidad deconstruirelconocimientopedaggicodiscursivamente.Porejemplo,enrelacin con el conocimiento pedaggico del contenido de Shulman (1987), esa manera nica de pensar que permite a los profesores transformar el conocimiento disciplinario en formas que el aprendiz puede comprender (Mclellan, 2008, p.1988),laautoradeclaraquesepuederepresentarsimblicamentetantocomoen accionespedaggicas.Siserepresentasimblicamenteatravsdelaescritura,el conocimiento pedaggico del contenido puede ser transformado por los estudiantesalavezqueobservadoporsusinstructores. Al representar su conocimiento terico y prctico por escrito, los futuros profesorestienentambinlaoportunidaddehacerdeesteconocimientounobjeto de reflexin; pueden manipularlo, integrarlo, reestructurarlo, controlarlo y transformarlo.As,enelcontextoespecficodelaformacindeprofesores,escribir es una oportunidad para transformar el conocimiento, las creencias y las percepciones sobre la enseanza. Asimismo, permite dejar un testimonio escrito de este proceso constructivo, que entrega informacin a los formadores de profesoresrespectodelprocesodeaprendizajedesusestudiantes. 3.3Reflexinpedaggicayescritura:losgnerosescritosdelaformacininicial docente Hay disponibles algunos estudios que han explorado el uso de la escritura como medio para desarrollar hbitos de una reflexin pedaggica basada en fuentes relevantes de conocimiento (Davis, 2006; BarksdaleLadd et al., 2001; Le Fevre, 2011;Braun&Cumpler,2003;Lee,2005;Luk,2008).ComoexplicaDavis(2006), distintastareasdeescrituraqueseutilizanenlaformacininicialdocentetienen el potencial de promover la integracin de distintos conocimientos y la reflexin en base a ellos. Entre otras, el dilogo, la investigacinaccin, la investigacin realizada por profesores, la escritura reflexiva y el anlisis de casos. Todas estas tareasinvolucranlareflexinarticuladadeaspectosclavesobrelosaprendicesyel aprendizaje, sobre el conocimiento disciplinario, sobre la evaluacin y la enseanza,sobreloscontextosdelaenseanza. En su propio trabajo con diarios reflexivos en la formacin inicialdocente, Davis (2006)sugierequeellenguajeesunmediadorenelprocesodeaprendizajedelo que ella llama reflexin productiva. En este tipo de escritura, los estudiantes entregan evidencias para secundar sus afirmaciones, hacen propuestas alternativas, cuestionan supuestos, identifican los resultados de la enseanza, evalan y juzgan la enseanza. Por su parte, la reflexin improductiva se caracteriza por una escritura centrada en la descripcin de situaciones de enseanza, listas de ideas sin relacin y una perspectiva crtica y de juicios sin fundamentoemprico.

 Muy similar es el trabajo de Luk (2008), quien ofrece una exploracin ms detalladadelascaractersticasdiscursivasdediarosreflexivosevaluadoscomode altacalidadporformadoresdeprofesores:nexoscontrastivos(sinembargo,porel contrario,etc.)quereflejanlaconsideracindedistintasperspectivas,discusiones o posturas; marcadores de modalizacin (verbos en condicional, o expresiones comopodraser,seraposible)quereflejanqueelescritorasumequehaydistintas manerasdeensearynosolucionesnicasyverdaderas;movidasdiscursivasde evaluacinysugerencias,enlugardesolosecuenciasdescriptivas;presentacinde evidenciasparasustentarafirmaciones. Se puede encontrar tambin otro cuerpo de investigaciones que exploran tareas escritas como medios para desarrollar la reflexin pedaggica, pero que conceptualizan la reflexin de forma diferente; por ejemplo, como una oportunidad para relacionar el mbito personal con el profesional (Barksdale Ladd et al, 2001; Braun & Cumpler, 2004; Le Fevre, 2011), como cuando se recuperan experiencias previas de aprendizaje, de modo que los futuros profesoresrecuerdencmoeraserestudiantesyquestrategiasdeenseanzales ayudabanms.Lasmemoriassociales,lasnarracionesdenios,lasautobiografas, entreotrosgnerosmsnarrativos,sepresentanenlaliteraturaespecializadaen relacin con la nocin de que el conocimiento pedaggico se puede representar narrativamente, lo que afecta la percepcin y las decisiones de los docentes (Le Fevre, 2011). En este marco, se promueve que los estudiantes de pedagoga escribanparadarvozyreflexionarsobresusteorasimplcitas,susactitudesysu conocimientosobrelaenseanza. 3.4Laevaluacindelareflexinpedaggicaescrita Hay disponibles pocos estudios que reporten la construccin de instrumentos vlidos y confiables para evaluar la reflexin pedaggica (Youngs y Birds, 2010; Fund, Court y Kramarski, 2002). Es posible encontrar, tambin, algunos trabajos que reportan estudios de casos de reflexin pedaggica (Luk, 2008; Lee, 2005; Davis, 2006), junto con detalles de los procedimientos de anlisis. No obstante escasas,esinteresantelacoincidenciaqueexisteentreestasinvestigaciones. Enprimerlugar,respectodelafuncionalidadqueatribuyenalejerciciodeevaluar la reflexin pedaggica por escrito, todos ellos sostienen que la escritura es un medio privilegiado para evaluar y para ensear a los futuros profesores a reflexionarpedaggicamentedurantesuformacin.Hayinclusoevidenciadeque la aplicacin sistemtica de ejercicios de reflexin pedaggica escrita logra, gradualmente, mejorar las capacidades de los estudiantes en esta tarea (Fund et al., 2002). Lo anterior incluye retroalimentaciones recursivas a los estudiantes respecto de su nivel de logro, en base a un modelo y criterios de evaluacin determinados. En segundo lugar, los autores coinciden en su diagnstico de la amplitud y vaguedad del concepto de reflexin pedaggica y de la necesidad de modelos y procedimientos para sistematizarlo, de manera que sea posible transferirlo a los estudiantes.Seargumentasobrelaimportanciadefamiliarizaralosestudiantesno

solo con los criterios de evaluacin, sino que tambin con las caractersticas discursivas de la reflexin pedaggica, para promover una comprensin ms profunda de lo que constituye este ejercicio y cmo se construye con palabras (Luk,2008). Entercerlugar,llamalaatencinquelatotalidaddelosautoresgradalacalidad de la reflexin pedaggica en polos que van desde la mera descripcin de lo observadoorealizadoylosjuiciossinfundamentos,hastaunareflexinprofunda o crtica que involucra afirmaciones con fundamentos, distintas perspectivas de anlisis y articulacin entre distintos conceptos. Dos elementos diferenciales de los trabajos referidos merecen ser resaltados. Por una parte, Youngs y Birds (2010)agreganaestoscriteriosdeevaluacinlanecesidaddequelosestudiantes demuestrenunslidodominiodelosconceptostericosqueutilizanpararealizar suanlisis.Enestalgicaseconsideradebajonivelnosoloquesecometanerrores conceptuales, sino tambin que se utilicen los conceptos de manera vaga o imprecisa, o que se nombren solamente en lugar de usarlos para realizar el anlisis.Porotraparte,Fundetal.(2002)relevanlacapacidaddelosestudiantes para situarse, en el ms alto nivel de la rbrica, en un marco conceptual ms amplio,ofreciendogeneralizacionesconceptuales. Si bien hay diferencias en la manera en que los distintos autores abordan el problema de la escritura en relacin con la reflexin pedaggica escrita, hay tambin coincidencias en sus propuestas de un uso sofisticado de la lengua necesariopararealizaresteejercicio.Luk(2008)yDavis(2006)optanporrealizar anlisis discursivos de las muestras recogidas, para derivar caractersticas constantes en los trabajos de mayor nivel. De estos estudios es posible concluir que el ejercicio reflexivo requiere de un dominio sofisticado de recursos de la lengua, que permita a los estudiantes establecer relaciones entre las ideas presentadas, como los conectores, las relaciones lgicas y los marcadores discursivos. De hecho, Luk (2008) sostiene que el dominio discursivo es una variablequenecesariamenteseentrecruzaeneldesempeodelosestudiantes,lo que justifica la necesidad de una enseanza explcita. Recurriendo al trabajo de Bereiter y Scardamalia (1987), Fund et al (2002) involucran en su modelo de evaluacin la nocin de que en los niveles ms altos de reflexin pedaggica, los estudiantes deben poder coordinar una mayor cantidad de ideas (conocimientos tericos, experiencia, creencias) y transformarlas en su conjunto para construir conocimientonuevoporescrito.Esteplanoformal,segnproponen,eselquese grada a lo largo de la rbrica, de modo que el nivel ms alto sealcanzano solo incluyendo informacin sobre qu se ensea y cmo, sino que siendo capaz de reflexionarcoordinadamentecontodoslosconceptosrelevantesparaeseanlisis. Porltimo,esimportantedestacarlaspropuestasdeYoungsyBirds(2010)yFund etal.(2002)respectodequeesposibleaspiraralaconstruccindeinstrumentos para ser usados al interior de la formacin inicial docente (embedded assessments) con niveles de confiabilidad y validez adecuados. Segn proponen Youngs y Birds (2010), es de la mayor importancia que los formadores de profesores trabajen colectivamente en la aplicacin de estos instrumentos y que stospuedancoincidirconsuscreenciasyconcepcionesrespectodelaEducacin.

 Siguiendo el trabajo de Snow y Ucelli (2008), entendemos el lenguaje acadmico como un registro de la escritura que es comn en la cultura escrita del mundo acadmico. En trminos de sus caractersticas, se trata de un dominio lxico, gramaticalydiscursivoquepermiteempaquetarideascomplejasyabstractasal escribir, tanto como comprender los textos de la escuela y de las comunidades acadmicas. Se utiliza este registro escrito en diversas comunidades acadmicas, detalmaneraqueesposibledistinguirparticularidadeslingsticasencadaunade ellas,tantocomoelementoscomunes. Quienes producen gneros escritos acadmicos al interior de comunidades particulares, no solo poseen dominio lingstico, sino tambin saberes disciplinarios, de modo que logran construir discursivamente el conocimiento de sucomunidad.InspiradoseneltrabajodeHallidayyMatthiesen(2004),estudios comoeldeSchleppegrelyOliveira(2006)asumenquelasformaslingsticasson inseparables de los contenidos. En otras palabras, los escritores expertos de una disciplina particular construyen sus teoras, argumentos y opiniones en forma discursivaenuntexto,usandolosrecursosdellenguajeacadmico.As,parapoder acceder a ese conocimiento en la lectura o para poder construir conocimiento nuevo por escrito, los universitarios que ingresan a una comunidad acadmica deben poder dominar gradualmente los gneros de dicha comunidad y sus convencionesdiscursivas. Adicionalalusodelenguajetcnico,infrecuenteyabstracto,unacuestinclavedel lenguajeacadmicoesquepermiterelacionarvariasideasenunamismaporcin del texto (una oracin, un prrafo), por medio de relaciones de dependencia gramatical(clusulasanidadas)ydeconectoreslgicos,entreotrosrecursos.Esta tarea requiere ser capaz de gestionar grandes porciones de informacin simultneamente y de organizarlas lgicamente, un ejercicio muy propio de la escritura acadmica y escasamente necesario en la comunicacin oral coloquial (Durst,1987;Crowhurst,1981;Concha,Aravena,ColomayRomero,2010;Concha yParatore,2011). Respectodelaorganizacindeideasaunnivelmsglobal,lostextosescritosen este registro presentan evidencia de que se ha planificado la entrega de informacin,puesestasepresentaenunordenlgicoyseintroduceycierracon afirmaciones que la abordan de manera general. Lo anterior da cuenta de una consideracin del lector potencial del texto, tanto como de las maneras convencionalesenquesemarcaeneltextoestainteraccinconotrouotrosque leern. Este orden lgico suele estar acompaado de marcadores discursivos (en primer lugar, respecto de lo anterior, etc.) u otras formas lingsticas que encabezanseccionesdeltexto,reflejandolafuncinquecumplenestasltimasen unesquemadeorganizacinmayor. 3.5Lenguajeacadmico

10

Justamenteenrelacinconeldominiodisciplinario,escaractersticodellenguaje acadmico el uso de conceptos abstractos o procesos como sujetos oracionales (metforasgramaticales).Unescritorquedominaunadisciplinaparticularpone enposicindesujetogramaticalunanocinabstractacomolamigracincampo ciudad,ladidcticadelalengua,elmanejodelaula,parapoderpredicarrespecto deellas.Lohacetambincuandorecogeunaseriedeelementosyamencionados en categoras abstractas (este fenmeno recin descrito, este proceso, esta jerarqua),reflejandosucomprensinprofundadelconocimientorespectodelcual escribe. Asimismo, dado que comprende que escribe en el marco de una comunidad de personasquecontribuyenalaconstruccindeunconocimientotericoqueaspira a la objetividad, el escritor asume una postura despersonalizada respecto de sus dichos, que se marca en el texto con formas lingsticas como el se impersonal (sedice,sesabeque,etc.)(SnowyUcelli,2008). Ensuconjunto,todasestasconvencionesquecaracterizanallenguajeacadmico resultanserseleccionesqueunescritorrealizacuandoadecuasuparticipacina contextos comunicativos reales, dentro de los cuales reconoce determinadas convenciones que son valoradas por una comunidad, tanto como medios para construir y acceder al conocimiento experto de dicha comunidad . Estas convenciones son clave para la participacin en las comunidades discursivas (Carlino,2007;Tapia,BurdilesyArancibia,2003)ysontambinherramientasque danformaalconocimiento(Soto,2005). IV.Objetivosespecficos: Lossiguientessonlosobjetivosespecficospropuestosparaesteestudio: 1. Definir, en conjunto con formadores de profesores y con docentes de reconocidatrayectoria,unaexpectativadedesempeodelosestudiantesde ltimoao,respectodesuhabilidadparareflexionarpedaggicamenteen baseacasosydesudominiodelenguajeacadmico. 2. Disear y validar un instrumento para medir la reflexin pedaggica en basoacasosyeldominiodelenguajeacadmicodeestudiantesdeltimo aodelacarreradePedagogaenEducacinBsica. 3. Determinarqumbitosdeconocimientoutilizanlosestudiantesenestudio paraanalizarlaprcticaenaulaydequmaneraarticulandichossaberesal reflexionarpedaggicamenteenbaseacasos. 4. Determinar en qu medida el dominio de lenguaje acadmico podra explicar la capacidad de reflexionar pedaggicamente por escrito de los estudiantesenestudio. V.Encuestaaformadoresdeprofesores Una cuestin clave de los instrumentos de medicin es que puedan evaluar constructos que sean valiosos para la comunidad en la que se espera utilizarlos.

11

Conelobjetodeverificarlarelevanciadelatareaanlisisdecasoenlaformacin inicial docente, se procedi a aplicar una encuesta a los acadmicos de las universidades que participaron del estudio principal. Los resultados de esta encuestarevelanquesetratadeunatareafrecuenteentrelosencuestadosyque sus caractersticas son homlogas a las condiciones de evaluacin que plantea el instrumento construido en este estudio. Los resultados de esta encuesta confirman, adems, la tendencia de una encuesta previa recogida durante el estudiopiloto,entreformadoresdeprofesoresdeotrasuniversidades. A los profesores de las universidades participantes en el estudio principal se les pidi contestar, voluntariamente, una breve encuesta online sobre las tareas que les solicitan realizar a sus estudiantes. Especficamente, se les consult por la realizacindeanlisisdecasosensusclasesylascaractersticasdeeste. Participaronenlaencuestaonline24profesoresdelaUniversidaddeLosAndes, 12 de la Universidad del Pacfico y 16 de la Universidad Diego Portales. La gran parte de los profesores que contestaron la encuesta (43,1%) realizan clases de didcticaespecfica,seguidoporlosdocentesdeprcticaprofesional(29,4%).

Delos52profesoresquecontestaronlaencuesta,un76,5%(39)respondiques solicitabaasusestudiantesrealizaranlisisdecasosdeenseanza.Esteresultado estara sealando que el ejercicio que se les pidi resolver a los estudiantes participantesdelestudioesunatarearelevanteensuformacinyvaloradaporsus profesores.

12

 Con respecto al tipo de anlisis de caso que los profesores piden realizar a los estudiantes, casi la totalidad seala que los estudiantes deben describir el aula observada (94%), analizarla (97%), aplicar conceptos revisados en clases al anlisis (97%) y realizar recomendaciones para la mejora de la enseanza y el aprendizaje(91%).Estosresultadosconfirmanlacoincidenciaqueexisteentrelas caractersticas de la tarea que suelen solicitar los formadores de profesores encuestados y los mbitos de evaluacin del instrumento que aqu se describe y quesehadenominadoReflexinpedaggicaenbaseacasos. Con respecto al producto que deben entregar de sus anlisis, un 73% de los encuestadosrespondiquelosestudiantesdebenentregarunproductoescrito.En menor medida (61%) sealan que los estudiantes deben entregar un Producto oral (por ejemplo: una presentacin oral). En el caso de que se entregue un producto escrito, la longitud solicitada es entre tres carillas (34,5%) y ms de 3 carillas(44,8%).

13

Finalmente,conrespectoalcasoquesepresentaalosestudiantes,losprofesores respondieron que este se deriva de una observacin directa (92%) y en forma escrita (88,5%). En menor medida, pero an de forma frecuente, el caso se presentaenlaformadeunvideo(68%sealquesyun32%queno). Como en los resultados recogidos en la encuesta previa descrita en el informe preliminardelestudio,estosltimosconfirmantambinlacoincidenciaentrelas tareas solicitadas por los formadores encuestados a sus estudiantes y las caractersticasdelinstrumentoconstruidoenelestudioquesereporta. VI.Marcometodolgicodelestudio 6.1Procedimientosdeconstruccindelinstrumentoydelasrbricas Enelestudioquesereporta,seconstruyuninstrumentodenominadoReflexin Pedaggica en Base a Casos (RPEC), una rbrica de RPEC y una rbrica de Lenguaje Acadmico. Dado que en el informe preliminar entregado a la contraparte se ofreci un anlisis detallado del proceso de construccin del instrumentoRPEC,sepresentaenestedocumentounresumendedichoproceso. Respectodesurbrica,sinembargo,seincluyeaceldetalledelltimoprocesode revisin derivado del anlisis de los datos recogidos en la muestra piloto. Por ltimo, se ofrece un detalle de los pasos seguidos para construir la rbrica de LenguajeAcadmico(LA). 6.1.1ResumendelaconstruccindelinstrumentoRPECydesurbrica Elinstrumentoconstruidoduranteelestudiopiloto,RPEC,constadedospartes: Un video de 15 minutos que presenta fragmentos que representan los distintosmomentosdeunaclase,editadosyetiquetadossegnsufuncin, ademsdeunadiapositivainicialquepresentaelobjetivodelaclaseyun esquemadesuestructura. Un reactivo que invita a escribir un anlisis de caso a partir del video, utilizando para ello los distintos saberes adquiridos a lo largo de la formacin inicial: disciplinarios, de didctica general, de didctica especfica,deloscontextosdelaenseanza,entreotros. Respectodelvideo,duranteelestudiopilotoseutilizunfragmentode15min.del iniciodeunaclasedeLenguajeyComunicacinenuncuartobsicodeuncolegio particular subvencionado. En las muestras recogidas, sin embargo, fue posible constatarquelosestudiantesexpresabanlanecesidaddeconocerlatotalidaddela claseparapoderjuzgarrespectodelafuncindelaseccinobservada,tantocomo elobjetivodelaclaseparapodercompararloconloefectivamentelogrado.Porlo mismo, se opt por mantener el mismo video para el estudio principal, pero editadodemodoquefueraposibleverunaporcindecadaunadelaspartesdela clase,alasqueseagregademsunadiapositivainicialquepresentalaestructura de la clase y su objetivo, adems de diapositivas inmediatamente previas a cada

14

seccin, que la anuncian (ej: comienza la lectura, comienza la discusin, cierre, etc.). Asimismo,seobservenlosdosmomentosdelestudiopiloto(prepilotoypiloto) que el fragmento seleccionado poda afectar la capacidad de los estudiantes de atraer su conocimiento terico al anlisis, dada la diferencia en la densidad de saberesquesubyacenalatomadedecisionespedaggicaendistintosmomentos de una clase (es mayor, por ejemplo, mientras se dan las instrucciones o se presenta un contenido y menor, por ejemplo, cuando los estudiantes realizan un trabajodeaplicacinindividualyelprofesorsolocirculaporlasalaparamantener elorden).Estesegundoproblemaseresuelvetambinconlamodalidaddevideo editadoquerepresentalatotalidaddelaclaseyexplicitasuobjetivoyestructura. Respecto del reactivo, se opt por solicitar a los estudiantes que escribieran el anlisis de una clase, considerando la enseanza como un ejercicio de toma de decisiones basado en conocimientos expertos. De modo de provocar este tipo de anlisis,sesolicitaalosestudiantesqueserefieranaloquehacelaprofesora(qu hace),alamaneraenquelohace(cmolohace)yalosprincipiosquesubyacenal quyelcmoensea(porquenseadeestamanera).Paraesto,selespideque utilicenlosdistintossaberesadquiridosalolargodesuformacin,losqueselistan para ellos en el reactivo. Adicionalmente, se sugiere que propongan vas para mejorarlaenseanza.Eldiseodelatareasebasaprincipalmenteenlostrabajos deCarteryRichardson(1989),KimyHanafin(2008),SchempyWoorons,(2006), Fundetal.(2002)yLuk(2008)1. Respecto de la rbrica RPEC, se trata de una escala basada en los principios derivados de la revisin bibliogrfica incluida en este informe, tanto como en la opinin de formadoras de profesores convocadas a un proceso de juicio de expertos. De esta forma, las investigadoras han contrastado los principios ofrecidos en la literatura relevante, con aquellos que valoran formadoras de la comunidad acadmica nacional, un procedimiento que agrega validez al instrumento.

1VerenanexoelinstrumentopruebadeRPEC

15

Tabla1.CriteriosdeEvaluacindeReflexinPedaggicaenBaseaCasosyfuentes Es importante destacar, adems, que los procedimientos de validacin de la rbricapermitieronquesusnivelesfueranajustadosenrelacinconlasmuestras recogidas en el piloto. De esta manera, no solo se favorece la consistencia entre codificadores,porlavadeasegurarlaproductividaddelosnivelesdelarbrica, sinoqueselograuninstrumentosensiblealdesempeodeestudiantesnacionales. La siguiente tabla resume los criterios de evaluacin de la rbrica y su procedencia:
CRITERIOSDEEVALUACINDEREFLEXINPEDAGGICAENBASE ACASOS A.Inferirrazonesoexplicacionesquesubyacenalasdecisiones pedaggicasdeunprofesoroprofesoraobservado B.Articulardistintosdominiosdeconocimientorelevantesala enseanzayelaprendizaje,enunareflexinescrita. FUENTES Paneldeexpertos Davis,2006 Schemp&Woorons,2006 Carter&Richardson,1989 Paneldeexpertos Davis,2006 Carter&Richardson,1989 Silcock,1994 Luk(2008) Lee(2005) Paneldeexpertos DarlingHammond&Bransford,2005 Berliner,1986 BenPeretz,2011 YoungsandBird,2010 Paneldeexpertos Davis,2006 Lee,2005 Luk,2008 YoungsandBird,2010

C.Slidodominiodeconceptostericosutilizadosparaanalizary comprenderlatomadedecisionespedaggicas.

D.Untipodeanlisisenelqueseentreganfundamentosparalas afirmaciones,seconsiderandistintasperspectivas(porejemplo, distintasexplicacionesparaunfenmenoobservado,odistintos dominiosdeconocimientorelevantes),seevalayseofrecenvas alternativasdesolucin.Enelnivelbajo,setratadedescripcionesde eventosyconductas,noseanalizalatomadedecisiones,seentregan opinionessinfundamentos.

Respecto de los denominados dominios de conocimiento relevantes a la enseanzayelaprendizaje(puntoBdelatablaprecedente),larbricaconsidera yadaptalapropuestadeDavis(2006).Acontinuacinsepresentandostablas:una de ellas presenta una traduccin de los dominios propuestos por la autora y, la otra,laadaptacinquehicieronlasinvestigadorasdesupropuesta,agregandouna nuevo dominio de didctica especfica. En la tabla, la nueva propuesta se ilustra conloscontenidosrelativosacadadominioderivadosdelvideoqueseutilizen esteestudio. Dominios de conocimiento relevantes para la enseanza y el aprendizaje, Davis (2006)traduccin. Tabla2.Dominiosdeconocimientorelevantesparalaenseanzayelaprendizaje

16

Aprendicesy aprendizaje Ideasalternativaso ideasdelos estudiantes Conocimientoprevio yexperiencias Involucramientoy motivacin Colaboracin Resultadosde aprendizaje Estudiantes individuales Similitudesentre estudiantes Procesosde desarrollocognitivoy social Contextosocialdela enseanza

Conocimiento sobrela asignatura Naturalezadela ciencia Naturalezadel conocimiento cientfico Investigacin cientfica Contenidosdela ciencia Conexionesentre conceptos, hechos,teoras, etc.

Evaluacin/calificacin Mtodos Tiempoasignado Metasdeevaluacin Distintosenfoquesy usos Alineacinentre evaluacinymetasde enseanza,ideasdelos estudiantesy actividades Efectividaddela evaluacin

Instruccin Introduccinalaclase Cierredelaclase Conexionesconactividades previasofuturas Manejode(grupo, materials,actividades) Materiales,guasdetrabajo Construccindelaclase, usodepropuestas existentes Representaciones instruccionales Actividades Metasdeenseanza Preguntasgua Tiempoinstruccional Seguridaddelaprofesorao profesor Secuenciadeenseanzay surelacinconlasmetas

AdaptacindeDavis(2006):ejemplificadoconcontenidosobservadosenelvideo utilizadoenesteestudio Tabla 3. Adaptacin Dominios de conocimiento relevantes para la enseanza y el aprendizaje

17

Aprendicesy aprendizaje

Conocimiento sobrela asignatura Conocimiento Cuentosde previodelos tradicinoral, estudiantes sudefiniciny sobrelaformade sus serdelosadultos caractersticas mayoresycmo estructurales este (estribillo) conocimientose usapara Puntuacin: comprenderel signosde cuentonarrado interrogacin enclases,en especialal Ortografa personaje (tildeen principal esdrjulas) Involucramiento delos estudiantesen laactividad suintersy motivacinpara participardelas discusionesque proponela profesora,para responderasus preguntas Preguntasde losestudiantesy comentarios Cmorevelansu comprensinde laclase,delos contenidos tratados;su inters,su motivacin. Vocabulariode losnios vinadre, cargocito:qu revelanestos usosrespectode sudominiode vocabulario.

Evaluacin/calificacin Procedimientosde Evaluacin formativa: Demostrar comprensinglobal, identificandoidea principal,usando mapasconceptuales (ideaprincipaly detalles),escogiendoel mejorttuloparala historia. Demostrar comprensinde conceptospresentados enclases:responder preguntasde definiciones(qu significaidea principal), parafraseando.

Instruccin: general Manejode grupo: explicitacinde lasreglas, aplicacin asistemticade lasreglas,estilo proactivoo reactivo Climapositivo: llamaralosnios porsunombre, noalzarlavoz, sonrer, participar activamentedela conversacin. Estructuradela clase(inicio, desarollo,cierre) Objetivodela clase:determinar ideaprincipalde uncuento Tomadeturnos (interacciones deaula): predominiodela profesoraenla tomadeturnos, oportunidadesde losestudiantesde proponertemaso tomarlapalabra; tiempopara responderalas preguntas, retroalimentacin especfica. Refuerzo positivo(ej:me gustalamanera enqueRobertose estportando) Premios(tiempo extraderecreo porterminarel trabajo)

Instruccin: especfica Momentosdela lectura(antes, duranteydespus) Lecturaenvoz alta(entonacin, pausas,etc.) Preguntas abiertasysu relacinconla comprensinyel desarrollodel lenguajeoral(ej: qucreenque pasara continuacin) Descripcinde personaje principal Enseanzade vocabulario (palabrasen contexto,pobre discusindesu significado,faltade oportunidadespara usarlas) Estrategiasde lectura (predicciones, conexiones) Enseanzade comunicacinoral (modelajede discursoextendido y descontextualizado; oportunidadesde losestudiantes paraproducerese tipodediscurso: oraciones completas, parafraseo Enfoque comunicativo functionalparala enseanzadela lengua(seensea vocabularioy ortografaenel contextodeun cuentoledoy comprendido)

Se resume a continuacin las etapas del proceso de construccin de la rbrica RPEC,lasquefuerondetalladasenelinformepreliminar: 18

a) Revisinbibliogrfica b) Elaboracindelaversin1delinstrumento c) Expertas en formacin de profesores y en didctica de la lengua, de tres universidades (Viviana Galdames, Universidad Alberto Hurtado; Beatriz Figueroa, Universidad de Concepcin; Soledad Aravena, Pontificia Universidad Catlica) responden al instrumento y opinan respecto de sus contenidos y su redaccin. Este ejercicio contribuye a fijar un nivel de desempeo sobresaliente en la rbrica, adems de una revisin de sus contenidos. d) Aplicacindeprepilotodelaversin1delinstrumentoa10estudiantes e) Anlisisdelasmuestras f) Expertasinternacionales,JeanneParatore(BostonUniversity)yPaolaUcelli (HarvardUniversity)analizanlaversin1 g) Revisindelinstrumento,construccindelaversin2 h) Aplicacin de la versin 2 del instrumento a 8 profesoras de Lenguaje y ComunicacindeSantiago,quehabanobtenidolaAsignacindeExcelencia Pedaggica(AEP).Esteejerciciocontribuyeafijarnivelesdedesempeode larbrica. i) Anlisisdelasmuestrasobtenidas j) Decisindevolveralaversin1,ajustedelinstrumento

Distintos mecanismos fueron utilizados para revisar y validar los contenidos y procedimientos de codificacin de la rbrica RPEC. El proceso involucr la consultadeexpertosytresrondasdecodificacin,unaconmuestrasrecogidasen elprepilotoydosconlasmuestrasdelpiloto.Cadaetapafueseguidadejornadas internasderevisindelsealadoesquema. Sereproducenresumidamentelasetapasdelprocesoderevisinyvalidacindela rbrica RPEB (descritas en el informe preliminar) y se ofrece, en mayor detalle, unadescripcindelaltimarevisinposterioralaaplicacinpiloto: a)Tresformadorasdeprofesores,especialistasendidcticadelalengua(Marcela Guajardo, Universidad Andrs Bello; Rosa Miranda, UDP y Soledad Aravena, Universidad Catlica), analizaron una seleccin de muestras producidas por formadoresdeprofesores,profesoresAEPyporestudiantesdelestudiopiloto.Las expertasclasificaronlasmuestrasentresnivelesdedesempeo(bajo,medio,alto) yjustificaronoralmentelasrazonesquesubyacanasusdecisiones.Astambin, analizaronlaprimeraversindelarbricadeevaluacindereflexinpedaggicay aportaronconsugerenciassobresuscontenidosynivelesdelogro2. b)Revisindelarbrica,enbaseacomentariosdelasexpertas. c)Codificacindemuestrasrecogidasenunaaplicacinprepiloto(5muestrasde estudiantes de cuarto ao de pedagoga de la Universidad Alberto Hurtado y 5 muestrasdeestudianteshomlogosdelaPontificiaUniversidadCatlicadeChile).
2Verenanexoelresumendeloscomentariosdelasexpertas.

19

 d) Anlisis de resultados de la codificacin y transformacin de la rbrica en un primeresquemadecodificacin,enformatoexcel. e)Codificacindemuestraspilotoconprimeresquemadecodificacin. f) Anlisis de resultados y revisin del primer esquema de codificacin. Construccindelesquema2decodificacin. g)Segundacodificacindemuestraspilotoconsegundoesquema.Respectodelos procedimientos de codificacin, este esquema se aplic a las muestras por secuencias, entendidas estas como porciones de texto dedicadas a un mbito o momentodelaclase.Cadaunadelasdoscodificadorassegmentensecuenciaslas muestrasantesdeaplicarloscriteriosdecodificacin.Respectodecadasecuencia secodific: Qu se hace con palabras: describir un evento instruccional, evaluar la instruccin,sugerircmomejorarlainstruccin. Qutipodeconocimientoseusaparareflexionar:conocimientosobreel lenguaje, sobre ensear y aprender, sobre didctica de la lengua, sobre contextosdelaenseanza,sobreeldesarrollodelosnios,sobrelaprctica (adquirido en la prctica, no involucra teora); conocimiento de sentido comn(nodemuestraexperticiaenlaenseanza). Cmo se presenta el conocimiento: con o sin lenguaje tcnico, correctamenteoconerrores,porreferenciaamarcostericosomtodosde enseanza,porreferenciaaautores. Qu profundidad presenta la reflexin: una afirmacin categrica sin fundamentos, una afirmacin expresada en primera persona, una afirmacin fundamentada con razones, una afirmacin fundamentada con razones,evidenciasy/oejemplos. Qu recursos discursivos se usan para reflexionar: conectores o nexos que expresan adversatividad, causalidad, consecuencia, adicin, distribucinopropsito3. De los resultados de la aplicacin piloto, derivaron conclusiones relativas a la funcionalidad del esquema utilizado y su comportamiento psicomtrico, que se detallaron en el informe preliminar. Se reproduce aqu el detalle de aquellas conclusionesquedieronorigenalaltimarevisindelesquemadecodificacin. No resulta operativo ni justo analizar las muestras por secuencias: la codificacin se hace engorrosa, extensa y dependiente de que los codificadores tengan conocimientos sobre lingstica, todo lo cual obstaculiza la potencial replicabilidad de la rbrica. En muchas ocasiones losestudiantesamplanunatemticapresentadaenunasecuencia,enotra secuencia ms adelante en el texto; dicho de otro modo, el anlisis de un mbito del aula observada puede presentarse distribuido a lo largo del texto,porloquesololuegodeleerlatotalidaddeltextosepuedejuzgarla
3Verenanexoesquemadecodificacinaplicadoenelpiloto

20

calidad con la que se analiz dicho mbito. Adicionalmente, el criterio utilizadoporloscodificadoresparafragmentarlostextosensecuenciasno resultadeltodoobjetivo,loqueafectalaconsistenciaentrecodificadores. Es necesario revisar los niveles de logro para avanzar en su productividad: los anlisis no permiten encontrar ejemplos de todos los niveles de logro al interior de cada una de las modalidades discursivas (describir,evaluar,sugerir),comomostraronlosgrficosdefrecuenciapor nivel de logro. De esto se deduce que, si bien las tres modalidades discursivas ocurren en las muestras, estas no describen niveles de desempeoindependientesentres.Enatencinaestaconclusin,seopta porretomarlaideaclaramenteexpresadaenlateoradequeenlaactividad de reflexin pedaggica, la predominancia de la descripcin es el polo de bajacalidadyelanlisisenbaseadistintosconocimientosydesdedistintas perspectivaseselpolodealtacalidad. El esquema de codificacin no produce resultados que respondan claramente respecto del dominio que demuestran los estudiantes del conocimiento que utilizan paraanalizar:lacodificacintiendeenfocarse enlosconceptosutilizados,enelusodepalabrastcnicas,enlamencinde autores o enfoques, sin lograr una mirada ms amplia de cmo esas ocurrencias revelan, en su conjunto, un dominio terico que sirva a los estudiantesparaanalizarelaula(siesconfuso,muygeneraloinespecfico, adems de correcto o incorrecto; si recurre a modelos o enfoques para analizarlasdecisionespedaggicas). La mecnica de codificacin con el esquema privilegia ocurrencia de conceptos a la aplicacin de dichos conceptos en el contexto de distintas perspectivas, alternativas, mbitos de anlisis: los estudios que proponen maneras de evaluar la reflexin pedaggica reconocen que losanlisisdemejorcalidadpuedenverenlasdecisionesdeunprofesor distintas consideraciones relativas a la enseanza, la evaluacin, el desarrollo de los nios, etc., tanto como distintas posibilidades para explicarellogroofracasodeestasdecisionesypararesolverloserroresen el futuro. Esta multidimensionalidad es una expresin concreta de la diversidaddeconocimientosqueseactivanenelanlisis,tantocomodela capacidaddeatraerlosarticuladamentealatarea.Noobstanteestecriterio est contenido en la rbrica, en la mecnica de codificacin las codificadoras lo asimilaban a cantidad de contenidos, por lo que no resultabatanrelevantequeestosfuerandiversosrespectodelosdominios delapedagogaqueabordaban.

Por todo lo anterior, las investigadoras construyeron una ltima versin de rbrica RPEC que conserva los criterios de evaluacin de la anterior, pero los reordena en una lgica de desarrollo que va desde la mera descripcin hasta el anlisisdesdedistintasdimensionesyconfuertedominioterico.Sepuededecir que conserva los mismos criterios, pero evita que sean codificados de manera fragmentaria, pues analiza cmo son funcionales unos a otros. Por esta razn es

21

que la nueva versin opta por una escala holstica: se considera que permite evaluarlosdistintoscriteriosenrelacin,enlugardedarlesuntratodeelementos aisladosqueocurrenono.Porejemplo,sigueconsiderandolapresenciadeautores olamencindeenfoques,peroresguardaqueestosseanpartedeunaexplicacin respecto de un determinado mbito de la enseanza. As tambin, permite con justiciaevaluarlaprofundidaddelanlisisofrecidorespectodecadaunodeestos mbitos,puesnoexigequeestasecompleteenunasolasecuenciasinoalolargo deltexto. La siguiente tabla resume los resultados promedio obtenidos por la totalidad de losparticipantesdelestudioprincipal,alaplicarlarbricaRPEC: Tabla4.ResultadospromedioobtenidosparalarbricaRPEC Participantes Resultados Vlidos82 Media2,6 Perdidos0 Desv,tp.,81 Respecto de la distribucin de los resultados obtenidos de la aplicacin de la rbrica RPEC, se observa que esta tiene un comportamiento similar a lo normal, comoseobservaenelsiguientegrfico. Grfico1.HistogramaRbricaReflexinPedaggica

Por su parte, se obtuvieron buenos niveles de confiabilidad entre codificadores durantesuaplicacin.Losclculosserealizaroncomosedetallaacontinuacin: a) Al comienzo del proceso de codificacin, una primera ronda con 15 muestras (18% de la muestra total) que se codificaron de manera independienteconun100%dedoblecodificacin.Conesteprocedimiento seobtuvouncoeficienteKappade0,61(p<0.01). b) Una segunda ronda de codificacin independiente sin doble codificacin, de20muestrasporcodificador. c) Unatercerarondadecodificacinde13muestras(16%delamuestratotal) con 100% de doble codificacin. Con este procedimiento se obtuvo un coeficienteKappasignificativode0,51(p<0.05)

22

d) Cuartarondadecodificacinindependientesindoblecodificacindelresto delasmuestras. 6.1.2ProcedimientosdeconstruccinyvalidacindelarbricaLenguajeAcadmico Unodelosobjetivosdeclaradosdelestudioquesedescribeconsistienexplorarla hiptesisdequelacapacidaddelosestudiantesparareflexionarpedaggicamente porescritopudieraestarrelacionadaconsushabilidadesdeproduccinescrita.De hecho, en la bibliografa revisada, Luk (2008) sugiere una posible interferencia entreambosmbitosdedesempeo,quepodrajustificarlanecesidaddeofrecer unaformacinexplcitaalosestudiantessobrelascaractersticasdiscursivasdela reflexinpedaggicaporescrito,durantelaformacininicialdocente. A continuacin, se ofrece un resumen del proceso de construccin de la rbrica quesehadenominadoLenguajeAcadmico(LA),lacualsebasaprincipalmenteen eltrabajodeSnowyUcelli(2008).Esimportanterecordarallectorquelanocin deLArefiereaunconjuntoparticulardeconocimientosyhabilidadesasociadosa la produccin escritaen comunidades acadmicas y noahabilidades generaleso bsicasdeaplicacintransversalacualquiercontextodecomunicacin. La rbrica LA fue elaborada y sometida a distintos procedimientos de ajuste y validacin antes de alcanzar la versin definitiva que se utiliz para codificar las muestras del estudio principal. En este proceso, se recurri a las muestras recogidasdurantelosestudiospilotoyprepiloto(enadelante,estudiopiloto)yal juicio de experto. Se han incluido en las explicaciones que siguen, solo las dimensiones, subdimensiones y el nivel ms alto de la rbrica (nivel 4), con el propsito de facilitar la comprensin de los cambios realizados en las fechas especificadas. a) Septiembre,21:Primeraversinyjuiciodeexpertointernacional Dimensin Subdimensiones Nivelmsaltodelarbrica(nivel4) Densidad Elanlisisposeegrandensidadinformativa, informativa loquesemanifiestaenelusofrecuentede: nominalizaciones y subordinaciones de diversanaturaleza. Organizacin El anlisis presenta una variedad de recursos que permiten organizar lgicamente el texto. Entre ellos: marcadores discursivos (en primer lugar, parafinalizar,porunaparteporotra)que evidencian esta organizacin, frases que engloban o anuncian el texto, uso de conectores variados para introducir las subordinaciones y conectores con mayor poder anafrico (no obstante, si bien, a pesardeloanterior,adicionalmente).

23

 Lxicoacadmico

Involucramientodelautor

El anlisis presenta un lxico acadmico que permite formular categoras para explicar,ampliaroreformularelcontenido. Utiliza lenguaje directo (evita rodeos o falsaspartidas,mspropiasdelaoralidad)y palabras tcnicasquepermitenevidenciar elmanejodeltema. El anlisis se presenta de manera despersonalizada. As, se evidencia el uso dela3persona(singularoplural)ymarcas deimpersonalidad(se).

Esta primera versin fue aplicada a 14 muestras del estudio piloto. Dos personas codificaron el total de los casos, con el objetivo de detectar posibles dificultades en la codificacin y, luego, poder remediarlas. Este primerejercicionohizoevidenteproblemasmayoresconlasdimensiones. Este diseo inicial fue presentado, adems, a Paola Ucelli, asesora internacionaldelproyecto,quiensugiricambiosenlalneadesepararla dimensin lxico acadmico en subdimensiones, considerando que se trataba de fenmenos discretos, susceptibles de ser analizados por separado. b) Octubre,16:Segundaversinyaplicacinamuestraspiloto Dimensin Subdimensiones Nivelmsaltodelarbrica(nivel4) Densidad Elanlisisposeegrandensidadinformativa, informativa loquesemanifiestaenelusofrecuentede: nominalizaciones y subordinaciones de diversanaturaleza. Organizacin El anlisis presenta una variedad de recursos que permiten organizar lgicamente el texto. Entre ellos: marcadores discursivos (en primer lugar, parafinalizar,porunaparteporotra)que evidencian esta organizacin y uso de conectores variados para introducir las subordinaciones y conectores con mayor poder anafrico (no obstante, si bien, a pesar de lo anterior, adicionalmente), ms propiosdelaescrituraacadmica. Acadmico El anlisis presenta un lxico acadmico Lxico variado y usado correctamente, que permite formular categoras para explicar, ampliaroreformularelcontenido. Tcnico El anlisis presenta palabras tcnicas que permiten evidenciar el manejo del contenido. Lenguaje Utiliza lenguaje directo (evita rodeos o directo falsas partidas, ms propias de la oralidad) 24

Involucramientodelautor

entodoeltexto. El anlisis se presenta de manera despersonalizada. As, se evidencia el uso dela3persona(singularoplural)ymarcas deimpersonalidad(se).

Esta segunda versin fue aplicada a 10 muestras del estudio piloto (5 por codificadora) con el fin de detectar posibles dificultades en la codificacin y, posteriormente, solucionarlas. Los problemas revelados en la aplicacin se concentraron en la dimensin Lxico. Principalmente, se hizo evidente la imposibilidaddecodificarconsistentementeellxicotcnico,enausenciadeun inventariodepalabras,validadodesdelateora,especficamente,delmbitode lapedagogaydeladidcticadelalengua.Porestarazn,seresolvirealizar una tercera versin en que el codificador pudiera asignar un puntaje equivalentealusodepalabrastcnicasyacadmicas,enlaeventualidaddeque estassesolaparanyfueradifciljuzgaraculdelasdoscategoraspertenecan. c) Octubre,23:Terceraversinyaplicacinamuestraspiloto Dimensin Nivelmsaltodelarbrica(nivel4) Densidad informativa Organizacin El anlisis posee gran densidad informativa, lo que se manifiesta en el uso frecuente de: nominalizaciones y subordinadasdediversanaturaleza. El anlisis presenta una variedad de recursos que permiten organizar lgicamente el texto. Entre ellos: marcadores discursivos (en primer lugar, para finalizar, por una parte por otra) que evidencian esta organizacin, frases que engloban o anuncian el texto, uso de conectores variados para introducir las subordinaciones y conectores con mayor poder anafrico (no obstante, si bien, a pesar de lo anterior, adicionalmente El anlisis presenta un lxico acadmico que permite formular categoras para explicar, ampliar o reformular el contenido. Utiliza lenguaje directo (evita rodeos o falsas partidas, ms propias de la oralidad) y palabras tcnicasquepermitenevidenciarelmanejodeltema. El anlisis se presenta de manera despersonalizada. As, se evidencia el uso de la 3 persona (singular o plural)ymarcasdeimpersonalidad(se).

Lxicoacadmico

Involucramiento delautor

Nuevamente se seleccionaron 10 muestras del estudio piloto para revisar el funcionamiento de la versin 3. Esta medicin consideraba que los tres criterios pertenecientesaladimensinLxicosepodandescribirennivelesdedesempeo que progresaban de forma homognea a lo largo de los niveles de la rbrica. Sin embargo,seobservqueestostrescriteriossecombinabandediversasmaneras, porloquelarbricanorespondaalarealidaddelamuestra.Adicionalmente,en esta correccin qued clara la dificultad de determinar con objetividad qu

25

constituyerealmentelxicoacadmico,dadoquenohaydisponibleuncorpusde palabrasacadmicasdelacomunidadchilena. Porotraparte,sepudoconstatarqueotroscriteriossesolapaban,loquegeneraba dudasenlacorreccin.Ejemplodeestosepresententreloscriteriosfrasesque engloban y metforas gramaticales, ya que un mismo enunciado poda formar parte de ambos criterios o, por el contrario, quien no usaba enunciados de este tiporesultabadoblementepenalizado. Debido a lo anterior, se decidi eliminar la dimensin de Lxico acadmico y simplificar la nocin Densidad informativa en un recurso lingstico ms fcilmentedistinguibleydiscretocomoeslametforagramatical,clasificandoesta entornoa3tipos,estosson,nominalizacionesdeconceptosabstractos,verbosde procesosustantivadosyconceptosabstractosquefuncionencomohipernimos. Por ltimo, se opt por separar la nocin de Organizacin de los conectores discursivos,enelnimodehacerlarbricamsinformativa,yaqueevidenciamos, pormediodelasmuestras,quelavariedaddesubordinadasnosecorrespondecon elgradodecomplejidadquepuedateneruntexto,porlotanto,elfocosevolcar hacia el tipo de conector utilizado y a la cantidad de informacin que este logra retomaryrelacionar.Paraello,serecurriaunarbricaconstruidayvalidadaen estudiosanteriores(ConchayParatore,2011;Concha,Coloma,AravenayRomero, 2010). d) Octubre,29:Cuartaversinyaplicacinamuestraspiloto Dimensiones Nivelmsaltodelarbrica(nivel4) Metforas gramaticales y referentes Eltextopresentaevidenciadelostres abstractos fenmenosquesiguen: a) Nominalizacionesenlasque conceptosabstractosestn utilizadoscomoagentes(elenfoque comunicativoesabordadoporla profesora,elobjetivodela profesora) b) Verbosdeprocesoqueaparecen sustantivadosyfuncionancomo sujeto(eldesplazamientodela profesora(envezdelaprofesora sedesplaza). c) Conceptosabstractosusadospara agruparsecuenciasreferidas anteriormente(ej:elfenmeno recindescrito..,esteproceso observado,esteproblema) Involucramientodelautor El anlisis se presenta de manera despersonalizada. As, se evidencia el usodela3persona(singularoplural) ymarcasdeimpersonalidad(se). Relacioneslgicasyconectores El texto demuestra dominio de los recursos de la coherencia local. Utiliza

26

Organizacindeltexto

adecuadamente una variedad de relaciones lgicas y conectores ms complejos, propios de la escritura acadmica, que reflejan una mayor transformacineinterrelacinentrelos contenidos presentados (poder anafrico). Se presentan recursos lingsticos, utilizados correctamente, para organizar la totalidad del texto y facilitar su lectura. Hay, por ejemplo, marcadores discursivos (ej: en primer lugar, respecto de, por otra parte, etc.) al comienzo de cada prrafo o seccin y/o frases que engloban o anuncian el contenidodeltextocompleto.

Con esta versin de la rbrica, se evalu la confiabilidad intercodificador. Para esto, 14 casos de la muestra piloto fueron codificados por dos codificadores independientes. Los coeficientes Kappa obtenidos para cada una de las dimensionessepuedenapreciarenlasiguientetabla. Tabla5.Coeficienteskappadimensionesrbricalenguajeacadmico Dimensindeanlisis Coeficientekappa Metforas 0,07 Involucramiento 0,47* Relaciones 0,13 Organizacin 0,20 *significativoap<0.05 El bajo grado de acuerdo entre los codificadores, motiv un nuevo ajuste a la rbrica. Deladiscusindelosresultadosserevelqueenladimensin Organizacin del textoloscodificadoresaplicabancriteriosdiferentes,dadoquelaescalaobligabaa fijarse solo en los recursos lingsticos, lo que simplificaba en extremo la complejidad de las capacidades de los estudiantes para organizar el texto. Se observ que esta capacidad no se limitaba a marcadores discursivos, sino a estrategias de diversa naturaleza y que no necesariamente se recogan en los nivelesdelarbrica. Ante la imposibilidad de contar con referentes tericos para clasificar las partes del tipo de texto hbrido que estbamos obteniendo en el estudio piloto (entre descripcin,evaluacin,argumentacinyanlisis),lascodificadorasaportaronuna descripcin de los tipos de organizaciones ms frecuentes detectados en las muestraspiloto,evidenciandounaseriedeopcionesparaorganizarlainformacin. La reflexin que se deriva es que no se puede decir que la RPEC sea un gnero discursivo establecido y, por lo mismo, resultaba injusto exigirlo. Siguiendo esta idea,yconelfindeevitarimponerunasolaestructurauniformeenlarbrica,las 27

descripciones aportadas por las codificadoras fueron organizadas en niveles considerandounagradacinrespectodecuntahabilidadrevelabanparaimponer unaorganizacinnuevaaltexto;esdecir,quenodependieradelacronologadel video,niqueusaralasseccionesdelreactivocomopartes.Adems,seuscomo criteriodegradacinquelaestructurautilizadaabarcaralatotalidaddeltexto,lo quedacuentadeunaplanificacinenlaentregadeloscontenidosyunaconciencia dequeeltextoserledoporotroquenecesitadeesaestructuraparacomprender. Tabla6.NivelesTiposdeorganizacin Tiposdeorganizacin niveles Eltextoseorganizapredominantementeorganizadoenbaseala 1 cronologaocausalidaddehechosobservadosenelvideo. Eltextosepresentapredominantementeorganizadoapartirdelas preguntasdelreactivo:questenseandolaprofesora,cmoensea, porquenseaas. Eltextosepresentapredominantementeorganizadoapartirde distintosfocostemticos,queseintroducenconmarcadoresdeltipo respectode,enrelacincon. 2 3

Eltextosepresentapredominantementeorganizadoenbaseaalgn 4 principioterico.Porejemplo,seorganizaporseccionesdela planificacin(contenidos,metodologa,evaluacin),oporuna metodologadeenseanza(ej:lostresmomentosdelalectura). Comoseobserva,lostiposdeorganizacindelainformacindetectadosenlas muestras revelan dos cuestiones clave del constructo Lenguaje Acadmico y ampliamente documentados en la teora sobre produccin escrita. Por una parte,quehayetapaseneldesarrollodelaorganizacintextualenlasqueel nivel ms bajo corresponde a escribir de un tirn sin planificacin, usando una lgica cronolgica o causal que recoge los hechos de la realidad tal cual fueron presentados, en lugar de imponer una nueva estructura al texto (BereiteryScardamalia,1987).Porotraparte,queenelnivelmsaltonosolo seubicanlostextosquerevelanunaplanificacinevidentede lainformacin, sino adems ms dominio de la teora analizada en el video. En efecto, los textosmsestructuradosloestabanenbaseaseccionesderivadasdelateora delapedagogayladidcticadelalengua. Adicionalmente,sedecidireducirladimensinRelacioneslgicasyconectores, ante la evidencia de que mientras un codificador pona su atencin solo en los conectores, el otro contemplaba, adems, las relaciones lgicas, lo que incida fuertemente en el criterio para ubicar un anlisis en uno u otro nivel y, por lo tanto,laconsistencia.Porestemotivo,seredujoestadimensinsoloaconectores. Con estos ajustes, se doblecodificaron 10 muestras y se midi el coeficiente Kappaparaevaluarlaconsistenciaentrecorrectores. Tabla7.CoeficientesKappadimensionesrbricalenguajeacadmicofinal Dimensindeanlisis CoeficienteKappa Metforas 0,80 Involucramiento 0,44* 28

Conectores 0,40 Organizacin 1 *significativoap<0.05 Como se observa, se obtuvo una consistencia perfecta en la dimensin de organizacin,porloquesedecidiconservarla.Lasdemsdimensionestuvieron buenosresultados,salvoladeInvolucramiento.Serevisentreloscodificadoresel bajoresultadoobtenidoenladimensin Involucramientoysedeterminquelos erroressedeban,msbien,alaconfusindelnmerodeerrorescontabilizadosy, noaunerrorenlarbrica.Conestadecisin,seinicialacodificacinfinal. 6.2Procesodecodificacinconlamuestradelestudioprincipal Para asegurar la confiabilidad, durante la codificacin se consideraron dos instanciasdedoblecodificacin:alinicioyenmitaddelproceso. a) Noviembre, 14: Primera ronda de doblecodificacin. Se midi la consistenciaconunn=14. Tabla8.CoeficientesKappadoblecodificacinprimeraronda Dimensindeanlisis CoeficienteKappa Metforas 0,87 Involucramiento 0,50* Conectores 0,55* Organizacin 1 *significativoap<0.05 Alcanzadoesteniveldeacuerdo,sedecideguardarestosdatosysedapasoauna rondadecodificacinde20muestrassindoblecodificacin. b) Noviembre, 19: Segunda ronda de doble codificacin, esta vez con un n=10. Tabla9.CoeficientesKappadoblecodificacinsegundaronda Dimensindeanlisis CoeficienteKappa Metforas 0,61 Involucramiento 0,58* Conectores 0,61* Organizacin 0,64* *significativoap<0.05 Dado que se mantiene un buen nivel de acuerdo, se contina con la codificacin conelrestodelamuestra,sindoblecodificacin. Notasdesala Cabe destacar que durante la codificacin con esta rbrica, se tomaron algunos acuerdosquefacilitaronlaaplicacindelarbrica: 29

1. Sehizounadistincinconlosmodalizadoresyelusodemetforas. LaconstruccinCreoque+metforanoseconsiderametfora,porquesegnla rbricalametforadebeestarenposicindesujetoyenestecaso,sibieniniciala clusula,noeselsujetodelaoracinprincipal,sinoquepasaraaserpartedeuna oracinsubordinada. LaconstruccinEnmiopinin+metforasseconsidermetfora,puestoque el modalizador en mi opinin tiene funcin de complemento, por lo que la metforaseselsujetodelaoracin. 2. Sehizounlistadodetipodeconectores,amedidaquefueronapareciendo enlarevisin,paraasegurarlaconsistenciaenlacodificacin. Coloquiales Yaque,sinoque,porque,pero,pues,esdecir,por Conectores ejemplo,para,porloque,esdecir Acadmicos Sinembargo,noobstante,si(condicional),porel contrario,an,cuando,mas,aunque,porlotanto. Eltiempototalparalacorreccindeestetemfuede15horas,aproximadamente. 6.3Resultadosdeanlisisdeconfiabilidadlarbricadelenguajeacadmico Adicionalalosclculosdeconfiabilidadentrecorrectoresyadescritos,yconelfin deponerapruebaelesquemadecodificacindelenguajeacadmico,sellevarona cabounaseriedeanlisisestadsticosdelcomportamientodelosdatosrecogidos: 1. Descripcin general de comportamiento de los datos para cada dimensin de anlisis de la rbrica (metforas gramaticales, involucramiento, conectoresyorganizacin) a. Media,desviacinestndar,yfrecuencias. 2. Comportamientopsicomtricodelarbrica a. anlisisdenivelesdelarbrica b. correlacintemtest 3. Confiabilidaddelinstrumentoysusdimensiones a. AlfadeCronbach Enprimerlugar,sellevacabounanlisisdescriptivodelosdatosparacadauna delasdimensionesdeanlisis.Estosanlisisserealizaronconlamuestratotalde sujetosalosqueselesaplicesteesquemaenelestudioprincipal,n=82. En la tabla se puede observar la media obtenida para cada dimensin (de una escaladevaloresentreel1yel4)ytambinladesviacinestndarparacadacaso. Tabla10:Descriptivosparacadadimensindeanlisis Dimensin de Media DS anlisis Metforas 1,97 0,75 30

gramaticales Involucramiento Conectores Organizacin

2,63 2,37 2,32

0,92 0,48 0,45

Como se puede apreciar en la tabla anterior, el rendimiento a travs de las dimensionesevaluadases,engeneral,uniformeybajo. Perosi noscentramosen analizarelniveldedificultad,losdatosmuestranqueeltipodeanlisismetforas gramaticalesobtieneellogromsdescendido.Loanteriortieneparticularinters para un estudio como este, pues justamente las metforas gramaticales se reconocenen la literatura como un tipo de recurso que requiere necesariamente de dominio discursivo y terico. En efecto, ser capaz de referirse a una porcin anterioreneltextocomoestefenmenooesteprocesopedaggicorequiereno solodelahablidadpararecogerporcionesdetextopormediodelaanfora,sino tambin del conocimiento terico que permite seleccionar correctamente la categorasemnticaconlaqueserealizardichaanfora. Enlosgrficossiguientes(histogramas)sepuedeapreciarlafrecuenciaconquese otorgaronlosdiferentespuntajesdelarbricaencadaunadelasdimensionesde anlisisevaluadasenlarbricadelenguajeacadmico. Grfico2:HistogramadeladimensinMetforas

Este grfico demuestra que el valor 2 es la calificacin ms frecuente para esta dimensin. Por su parte, mientras los valores 1 y 3 estn prudentemente presentes,elvalor4(demayordificultad)tieneunabajafrecuenciadeaparicin. Lo anterior estara sealando que los estudiantes no demuestran capacidad para utilizarlostrestiposdemetforasgramaticalesenestudio.Lamayorasolopuede utilizaruntipo(nivel2)ycercadel20%deellossolopuedeutilizardostipos. 31

Grfico3:HistogramadeladimensinInvolucramiento

Elgrficoanteriormuestraque,mientraselvalor1fueconpocafrecuenciausado en la codificacin, el valor 2 est sobrerepresentado. Esto sealara que hay un predominio de muestras (nivel 2) en las que los estudiantes no asumen con claridadlaconvencinacadmica,puesalternanendistintosmomentosdeltexto laprimeraconlatercerapersona.Loanteriorpuededeberseaquelasreglasque rigen el gnero RPEC no estn claramente definidas para los estudiantes en sus carreras,noobstantesabemosporlosresultadosdelaencuesta,queesungnero que se utiliza. Un porcentaje menor, sin embargo, asume sistemticamente la perspectivadespersonalizadaquecaracterizaallenguajeacadmico(nivel4). Grfico4:HistogramadeladimensinConectores

El grfico de frecuencias de la dimensin Conectores muestra que los niveles intermediossonlosnicosqueseutilizaronparacalificarlasmuestras.Losvalores 1y4noaparecen,loqueestaraindicandounproblemaconestadimensindela 32

rbrica. Lo ms probable es que sea necesario agregar niveles intermedios, que permitandiferenciarmuestrasentrelosniveles2y3.Porsuparte,pareceserque los niveles 1 y 4 deben ser modificados pues son improductivos con estudiantes comolosdeesteestudio.Enadelante,losanlisisqueserealicenpararelacionarla rbricaLAylarbricaRPECnoconsiderarnladimensinconectores,enatencin alosproblemasdelarbricaquepudieraestarsealandoesteresultado. Contodo,losresultadosobtenidossonevidenciaqueconfirmalodichorespectode laescaladeinvolucramiento:esposiblequesilosestudiantesconocieranmejorlas reglas discursivas del gnero, habran utilizado un discurso ms acadmico con mayorfrecuenciadeconectoressofisticados.Otraposibilidadesque,dadoquelos anlisis recogidos son muy simples (como se observa en los resultados de la rbrica RPEC), estos no requieren de hacer relaciones lgicas entre distintas dimensiones, lo que en la literatura revisada, se asocia con uso de variedad y complejidaddeconectores. Grfico5:HistogramadeladimensinOrganizacin

Enelcasodeladimensinorganizacin,sepuedeobservarquesibientodoslos nivelesdecalificacinestnrepresentados,estaesunadimensindealtonivelde dificultadpueselnivelsuperioreselqueseutilizaconmenorfrecuencia.Comoen 33

elcasodeladimensinmetforasgramaticales,losniveles3y4deestaescala involucrannosolamentehabilidaddiscursiva,sinotambinconocimientoterico. Evidentemente el nivel 4 exige un dominio slido de conocimientos tericos que permitanorganizarlatotalidaddeltextoenbaseacategorastericas,capacidad queapareceescasamentefrecuente. En efecto, esta dimensin de la rbrica considera la capacidad de imponer una organizacindiscursivaapartirdeseccionesclaramentedefinidas,queabarquen latotalidaddelainformacinincluidayquerevelenhabersidoplanificadasenun proceso de transformacin del conocimiento. Los resultados, sin embargo, demuestran que la mayora de las muestras se agrupan en torno al nivel 3 que correspondeaunaorganizacinconbaseendistintosfocostemticos(ej:elclima deaula,elmanejodisciplinario,etc.)que,sibienrevelandominiodeconocimiento relevante a la pedagoga, este no es suficiente para imponer una estructura a la totalidaddeltexto. Valelapenadestacarqueunaimportanteproporcindelosestudiantesseagrupa en torno a los niveles 1 y 2 que tienen en comn que no revelan una capacidad para imponer una estructura al texto, sino que se valen de la estructura de la realidad (en este caso, de la narrativa del video) o del reactivo. Lo que estos resultadossealanesqueprcticamentelamitaddelosestudiantessonescritores ingenuos que solo se mueven en el nivel del contenido (qu decir) y no consideranelnivelretrico(cmodecir),comoproponenBereiteryScardamalia (1987). En resumen, los histogramas permiten analizar el comportamiento psicomtrico de la rbrica LA, ya que es posible observar en ellos la frecuencia con que los sujetosfueroncalificadosencadaniveldelogroencadaunadelasdimensionesde anlisis.Enprimerlugar,esimportantehacernotarqueen3delasdimensionesde la rbrica de lenguaje acadmico todos los niveles de logro fueron utilizados, lo que da cuenta de una buena descripcin general de los mismos y una buena capacidaddediscriminardiferentesnivelesdelogro. A pesar de lo anterior, es importante relevar que en las dimensiones involucramiento y conectores algunos niveles de logro no fueron o fueron poco productivos,loqueestaraapuntandoalanecesidadderevisarlos.Lapresenciade estasirregularidadesesunaposiblecausadelbajoniveldecorrelacinqueexiste entre las distintas dimensiones de la rbrica LA. En efecto, los ndices de correlacinentredimensionesnosonsignificativos,loqueseconfirmaalcalcular el ndice de Alfa de Cronbach, que resulta especialmente bajo (0,17). En futuras aplicaciones ser necesario explorar distintos niveles de logro para estas dimensionesdelarbrica. Por otra parte, una anlisis ms detallado de las correlaciones entre el puntaje totaldelinstrumentodelenguajeacadmicoycadaunadesusdimensionesarroja un problema de colinealidad con la dimensin de organizacin, lo que se puede interpretar como una potencial relacin lineal entre esta dimensin y el puntaje totaldeltest(IC>15).

34

No obstante lo anterior, al calcular un puntaje total de la medida lenguaje acadmico (promedio entre todas las dimensiones evaluadas), cada una de las dimensionespresentaunacorrelacinsignificativatemtest,todasalnivelp<0,01. Enestesentido,sepuedeafirmarqueeltestcomoconjuntoescapazdedistinguir adecuadamente a los estudiantes de distinto nivel de rendimiento. En otras palabras,larbricaestarasiendocapazdediscriminarentre sujetosenunnivel msgrueso,sibienesmenossensibleparacaptardiferenciasentreellosaunnivel decategorasespecficas. Losndicessepuedenapreciarenelgrficoacontinuacin. Grfico6:Correlacintemtest

VI.EstudioFinal

Lamuestraprincipaldelestudioestuvoconstituidapor82estudiantesdecuarto ao de la carrera de Pedagoga en Educacin General Bsica, provenientes de institucionesuniversitariasdediferentenivelderendimientoenlapruebaINICIA. Lasinstitucionesseclasificarondeacuerdoasuspuntajespromediodelogroenla pruebaINICIArendidaenlosaos2010y2011,enlosnivelesalto,medioybajo. Paraesto,serealizunrnkingdelasuniversidadesenbasealpuntajeINICIAde la prueba de conocimientos disciplinares. Para el nivel alto, se seleccion a una universidad que hubiera estado dentro de los primeros 5 lugares del rnking en ambosaosyparaelnivelbajo,aunauniversidadquehubieraestadodentrode los5ltimoslugaresdelrnkingenlosdosaosmencionados.Finalmente,parael nivel medio se seleccion a una Universidad que no cumpliera con los dos requisitosanteriores,esdecir,queseencontraradentrodelosnivelesmediosde rendimientoenlapruebaINICIA,agrupandosiempreambosaos. 35

7.1Procedimientosdeseleccindelamuestra

 7.2Procedimientosdetomadedatos Latomaprincipaldedatossellevacaboenunamodalidaddeaplicacingrupal. Se solicit la cooperacin a los profesores de cuarto ao de carrera de las institucionesseleccionadas,demodoquecedieranunmdulodeclasesduranteel cuallosestudiantesrespondieranelinstrumento. Todoslosestudiantesparticipantesfueroninformadosdelosobjetivosdelestudio y todos firmaron un consentimiento que autorizaba el uso de sus respuestascon finesdeinvestigacin. Las aplicaciones grupales comenzaron con la observacin (2 veces o ms, segn necesidad declarada por los estudiantes) del video a analizar. Durante la observacin se les solicit tomar notas, para luego pasar al anlisis individual solicitado en las instrucciones del reactivo. En todas las aplicaciones, una de las investigadoras estuvo presente en la sala de clases durante todo el proceso para explicar el objetivo de la investigacin, dar las instrucciones, mostrar el video y resolverdudas. 7.3Procedimientosdeanlisisdedatos Los datos recogidos en el estudio principal fueron codificados con el objeto de medirdosconstructos:reflexinpedaggicaenbaseacasosylenguajeacadmico. Elobjetivofuecontarconmedidassusceptiblesdesercomparadasenlabsqueda de relaciones entreeldominio de lenguaje acadmico y la calidadde la reflexin pedaggica. Los esquemas de codificacin de reflexin pedaggica y de lenguaje acadmico fueronambospiloteadosantesdesuaplicacinalamuestradefinitiva,comoseha descritoyaenesteinforme. Algunos principios metodolgicos clave que se cumplieron durante el estudio principalfueron: 1. El uso de esquemas de codificacin que permitieron valorar cada una de las dimensiones a evaluar, de modo de contar con una medida objetiva que refleje niveles de logro para cada dimensin. Cada dimensin de la rbrica RPEC fue puntuadaconunrangode1a5ycadaniveldelarbricaLAfuepuntuadaconun rango de 1 a 4, lo que posibilita realizar anlisis estadsticos de comparacin de promedios. 2.Lacodificacinserealizcondosasistentesdeinvestigacinconconocimientos de didctica de la lengua y formacin de profesores. Se trat de las mismas personas que participaron de la construccin de las rbricas, de modo de contar con sus comentarios expertos sobre posibles vas de mejoramiento de los instrumentos. Se realizaron, para el caso de ambas rbricas, clculos de consistenciaentrecodificadores(coeficienteKappa).

36

3. Con el fin de construir y poner a prueba los instrumentos, se llev a cabo un exhaustivo anlisis del comportamiento de los datos recogidos, tanto a nivel del puntajeglobaldelosinstrumentos,comoaniveldecadadimensinevaluada: Descripcin general de comportamiento de respuestas para cada dimensin(media,frecuencias,desviacinestndar). Confiabilidaddelinstrumentoysusdimensiones(AlfadeCronbach). Comportamientopsicomtricodelarbrica(correlacintemtest). 4. Para analizar los datos del estudio principal se llevaron a cabo los siguientes anlisisestadsticos: Anlisis diferenciado de los datos segn universidad de origen (anlisis descriptivoycomparacindepromedios) Regresinestadstica,quepermitievaluarlahiptesisdequeeldominio delenguajeacadmicoexplicalacapacidadderazonamientopedaggico. 7.4Resultadosdelestudioprincipal Lamuestraprincipaldelestudioestuvoconstituidapor82estudiantesdeltimo ao de la carrera de Pedagoga en Enseanza General Bsica provenientes de institucionesuniversitariasdediferentenivelderendimientoenlapruebaINICIA de conocimientos disciplinarios. La distribucin de la muestra se puede apreciar enlasiguientetabla: Tabla11:Distribucindelamuestra Universidad N UniversidadIniciaalto 24 UniversidadIniciamedio 35 UniversidadIniciabajo 23 Enestaseccindelinformesellevarnacaboanlisisenbaseaestamuestra,en una primera instancia con el fin de estudiar las diferencias de logro entre las universidadesdedistintonivelderendimientodelapruebaIniciay,enunsegundo momento,paraexplorarlahiptesisdequeellenguajeacadmicopodraexplicar lacapacidaddereflexinpedaggicaenbaseacasos. 7.4.1AnlisiscomparativosentreUniversidades Comoprimeranlisis,sepuedeapreciarenlassiguientestablaslasmediasdelos3 tiposdeuniversidadesparticipantes,encadaunadelasdimensionesevaluadas.En la tabla 7 se aprecian las medias en el instrumento de RPEC. En la tabla 8 las mediasenelinstrumentodeLA(cadaunadelasdimensionesypuntajetotal).Se ofrecenademsgrficosdedistribucinpormedidayporuniversidaddeorigen. Tabla12:MediasmedicinRPECdeacuerdoauniversidaddeorigen UniversidadInicia UniversidadInicia UniversidadInicia alto medio bajo Reflexin 2,54 3,14 1,86 37

pedaggica Grfico7:distribucindepuntajesRPECporuniversidaddeorigen

Los resultados obtenidos por los participantes en la rbrica RPEC estaran sealandoquelosestudiantesdelaUniversidadconIniciaaltorealizaronanlisis quesecaracterizanporsufaltadedominioterico.Msdel50%deellosprodujo anlisis superficiales (nivel 3), que si bien abordan al menos dos de las dimensiones relevantes para la toma de decisiones pedaggica (por ejemplo, didctica general y conocimiento sobre los nios), no las analizan de manera tcnicasinogeneral.Otrogrupoimportantedeesosparticipantes(msdel40%) seubicenelnivel2quecorrespondeatextospococlarosenlosqueseincluyen erroresconceptualesalavezqueexplicacionesgeneralesoimprecisasrespectode lasdimensionesrelevantesparalatomadedecisionespedaggicas. Por su parte, los estudiantes de la universidad Inicia bajo se agrupan en gran proporcin (casi un 80%) en el nivel 2 ya descrito, adems de una proporcin menor(cercanaal20%)deestudiantesclasificadosenelnivel1,caracterizadopor textoscentradosenlameradescripcindelasaccionesrealizadasporlaprofesora y/oporlosniosenlaclaseobservada. Elpromediomsaltodedesempeoenestarbricaloobtienenlosestudiantesde lainstitucinIniciamedio.Siseobservaelgrficodefrecuencias,seobservaque en este grupo los puntajes se distribuyen mejor en los distintos niveles de la rbrica,demodoquenoobstantelamayorpartedeellos(msde50%)seclasifica enelnivel3,msdel20%alcanzaelnivel4caracterizadoporanlisisqueexplican lasdecisionespedaggicasdelaprofesoradesdealmenosdosdelasdimensiones relevantes para la pedagoga, utilizando para ello conceptos tericos precisos y correctos, y fundamentos para las afirmaciones. Hay incluso en este grupo un porcentajemuymenordeestudiantesenelnivel5quesediferenciadel4enqueel

38

anlisispuedeabordaralmenostresdelasdimensionesylateoraqueseutiliza asciendeaunnivelmsampliodeenfoquesomtodosdeenseanza. Tabla13:MediasmedicinLAdeacuerdoauniversidaddeorigen Medidasde UniversidadInicia UniversidadInicia UniversidadInicia lenguaje alto medio bajo acadmico Metforas 2,25 1,88 1,82 gramaticales Involucramiento 2,33 2,74 2,78 Organizacin 2,29 2,51 2 Puntajetotal 2,29 2,38 2,20 Grfico8.PromedioLenguajeacadmicosegnuniversidad

LospromediosobtenidosporlosestudiantesdelostresgruposenLAseobservan muysimilaresybajos(entornoalnivel2enescalasde1a4).Siseobservanlas 39

frecuenciasporniveldelogroyporgrupo,sinembargo,llamalaatencinqueenel grupoIniciabajoseclasificanmsmuestrasenelnivel1queenlasdems,seguido del grupo Inicia alto. As tambin, es importante notar la baja frecuencia de clasificacindemuestrasenelnivel4enlostresgrupos. Grfico9.FrecuenciaNivelesMetforassegnuniversidad

Si se observan las frecuencias por grupo de estudiantes en la medida metforas gramaticales,llamalaatencinlarelativauniformidadderesultados.Enefecto,en lostresgruposlamayorpartedelasmuestrasseclasificanenelnivel2que,como sehadicho,caracterizaalostextosquedemuestrancapacidadparautilizarunsolo tipodedichasmetforas. Grfico10.FrecuenciaNivelesOrganizacinsegnUniversidad

Respectodelaescaladeorganizacin,losgrficosdefrecuenciaconfirmanlovisto en los promedios respecto de una predominancia de muestras clasificadas en el 40

nivel3enlostresgrupos.Estosignificaqueentodospredominaunaorganizacin en base a diversos focos temticos que se amplan, sin embargo, de manera fragmentaria;esdecir,quenologranarticularlatotalidaddeltexto.Noobstante, estosgrficossealannuevamenteunasimilitudentrelosgruposdeIniciaaltoy bajo respecto de la frecuencia de muestras clasificadas en el nivel 1 que, en este caso, corresponde a textos que no imponen una nueva organizacin al texto sino quesebasanenlacronologaocausalidaddehechosdelarealidadobservada. Grfico11.FrecuenciaNivelesInvolucramientosegnuniversidad

En el caso de la medida Involucramiento, los grficos de frecuencia sealan con claridadqueenlostresgruposlamayorpartedelasmuestrasfueronclasificadas enelnivel2quedescribetextosenlosqueseoscilaentrelaprimeraylatercera persona. Como segundo paso se llev a cabo una comparacin de promedios entre las universidades participantes, con el fin de conocer si existen diferencias significativas en las mediciones realizadas. Para esto se aplic una prueba de anlisisdevarianza(ANOVA)deunfactor(universidaddeorigen)alospromedios deRPECyalasmedidasdeLA. Losresultadosdeestapruebaarrojaronquesepresentandiferenciassignificativas (bilaterales) en el caso de la medida de reflexin pedaggica (F=29,01, gl= 2, p<0,00);unilateralesenelcasodelamedidade metforas(F=2,37,gl=2,p<0,05); y en el margen de la significancia para la medida de organizacin (F= 2,21; gl=2, p=0,05). Enlamedicinde reflexin pedaggica,launiversidaddeIniciamediopresentun logro promedio significativamente mayor que la universidad de Inicia alto (t= 3,34, gl=57, p<0,01), y a su vez, la universidad de Inicia alto present un logro promedio significativamente mayor que la universidad de Inicia bajo (t= 4,75, gl=45,p<0,00).

41

Respecto de la medida metforas gramaticales, se presentaron diferencias significativasunilateralesentrelauniversidaddeIniciaalto(mayorpromedio)yla deIniciamedio(t=1,96,gl=57,p<0,02);yentreladeIniciaalto(mayorpromedio) eIniciabajo(t=1,98,gl=45,p<0,03). Porltimo,enlamedidade organizacinlanicadiferenciasignificativaseubic al comparar el mayor promedio de la universidad de Inicia medio con la universidaddeIniciabajo(t=2,19,gl=56,p<0,03). 7.4.2Anlisisderelacinentrevariables Para contrastar la hiptesis de la existencia de una relacin entre el dominio de lenguajeacadmicoylacapacidaddeconstruirunareflexinpedaggicaenbasea casos, se llevaron a cabo 2 tipos de anlisis. En primer lugar se calcularon los coeficientes de correlacin bivariada entre la medida de reflexin pedaggica y todaslasmedidasdelenguajeacadmico. Losresultadosmostraronquelamedidadereflexinpedaggicacorrelacionabade manera significativa con las medidas de organizacin (r=0,406, p=0,001) y de puntaje total de la medida de lenguaje acadmico (r=0,206, p=0,05). El que se asocie a estas dos variables no es extrao, dado que ambas presentan un alto ndice de colinealidad (reportado en captulo anterior). Por esto es que el resultado ms relevante es la alta asociacin entre la medida de reflexin pedaggicayladeorganizacin. En segundo lugar se llev a cabo la prueba de regresin lineal, con el fin de encontrarelmejormodeloqueexplicaralamedidadereflexinpedaggica.Enesta prueba se utilizaron varios modelos de ecuaciones: partiendo con una donde se probaron en conjunto todas las medidas de lenguaje acadmico (metforas gramaticales,involucramiento,organizacin,ademsdelpuntajetotal),paraluego buscarentrelascombinacionesposibleslasolucindemayorparsimonia. Los resultados sealan que el mejor modelo es aquel en que la medida de organizacin explica el 17% (R=0,171) de la varianza de la medida de reflexin pedaggica,conunarelacinlinealsignificativa(F=15,81,p=0,00). VIII.Conclusiones Distintas conclusiones se derivan de los resultados, las que se organizan de acuerdoconlosobjetivospropuestosparaelestudio: 1. Definir, en conjunto con formadores de profesores y con docentes de reconocidatrayectoria,unaexpectativadedesempeodelosestudiantesde ltimoao,respectodesuhabilidadparareflexionarpedaggicamenteen baseacasosydesudominiodelenguajeacadmico.

42

 Del proceso de juicio de expertos llevado a cabo con formadores de profesores nacionalesesposibleconcluirquehaygrancoincidenciaentresuconcepcindelo queconstituyeunareflexinpedaggicadecalidadyloqueseproponeenlateora revisada.Dospuntosdeconvergenciaclavesehanrecogidoenlaconstruccindel instrumentoRPEC:quesetratadeunprocesodeanlisisdelateoraenlaprctica y que un buen desempeo se caracteriza por dominio terico, entendido como precisinenelusodelosconceptos.Lasexpertasconsultadascoincidieronconla teoraenqueunbajodesempeoenestatareaconsisteenanlisisbasadosenel sentido comn, que no involucran el conocimiento terico adquirido durante la formacin inicial. As tambin, que un desempeo sobresaliente (recogido en el nivel 5 de la rbrica) no solo involucra conceptos tericos sino que enfoques o mtodosdentrodeloscualesseinsertanesosconceptos. Es destacable tambin, en relacin con la expectativa de desempeo, que los resultados de la encuesta realizada entre los docentes de las instituciones participantes confirma que esta es una tarea comn en la formacin inicial en nuestropasyquelosrequisitosdemandadosalosestudiantesensusprogramas (describir el aula, analizar la teora en la prctica, hacer propuestas de mejoramiento) son equivalentes a los incluidos en este estudio. Lo anterior da cuentadequeesposibleydeseableevaluaralosestudiantesenestatareayque sus docentes esperan de ellos un desempeo homlogo al que se propone en la teorarevisadayalexpresadoporlosexpertosconsultados. 2. Disear y validar un instrumento para medir la reflexin pedaggica en basoacasosyeldominiodelenguajeacadmicodeestudiantesdeltimo aodelacarreradePedagogaenEducacinBsica. Los resultados de este estudio sugieren que es posible disear un instrumento vlidoyconfiableparamedirlaRPECyelLAdemaneraconjunta.Sibienrestara realizar sucesivas aplicaciones del mismo en distintos contextos y con distintos equiposdetrabajo,losanlisisdeconfiabilidadyladistribucindepuntajesdelas rbricasRPEC,OrganizacindeltextoyMetforasgramaticalesresultanpositivos respectodelacapacidaddiscriminativadelinstrumentoypermitenseroptimistas respecto de su posible replicabilidad. En su estado actual se trata de un instrumento confiable y vlido para ser utilizado en la investigacin y que tiene potencial para ser utilizado al interior de la formacin inicial docente con formadoresdeprofesores,luegodeponerapruebasistemticamentelavalidezy confiabilidadqueseobtengadeaplicacionesguiadasporsuManualdeuso. Enefecto,esposibleconcluirdeesteestudioquelarbricadeRPECpermiteuna codificacinconfiableyvlidacuandoesrealizadapordospersonasexpertasenla didctica especfica del rea abordada en el video, adems de sus conocimientos generales de la pedagoga. La aplicacin de la rbrica requiere de un procedimientoqueincluyeunacapacitacinyrondasdedoblecodificacin.

43

 LosresultadospromedioobtenidosenlamedidaRPECsealanque,enfrentadosa tenerqueanalizarlosfundamentostericosdelasdecisionespedaggicasdeuna profesora en una clase de Lenguaje y Comunicacin, los participantes no demuestran, en promedio, un slido dominio de los conceptos que estaran en juego, ni son capaces de atraerlos de manera articulada para referirse a las distintasdimensionesrelevantesalapedagoga. Considerando que el promedio de desempeo en RPEC se organiza en torno al nivel2delarbrica,esposibleconcluirquelosestudiantesenestudiotendierona realizar anlisis para explicar las decisiones pedaggicas de la profesora observada, pero que lo hicieron ms bien desde el sentido comn. En otras palabras,susdesempeossuperanelnivelinferiordeevaluacinquecorresponde amerasdescripcionesdeloobservado,peronodemuestrancapacidadparaatraer conceptostcnicossupuestamenteadquiridosdurantesuformacin,pararealizar esteanlisis. 4. Determinar en qu medida el dominio de lenguaje acadmico podra explicar la capacidad de reflexionar pedaggicamente por escrito de los estudiantesenestudio. Losresultadosdelestudioconfirmanlahiptesisdelaexistenciadeunarelacin entreeldominiodelenguajeacadmicoylacapacidaddeconstruirunareflexin pedaggica en base a casos, que se verifica al comparar el promedio de LA y los resultados de RPEC. Sin embargo, dada la posible relacin de colinealidad observadaentreelpromedioLAylaescaladeorganizacin,estarelacinparece estar reservada principalmente a la habilidad de organizacin. En futuras aplicacionesenqueseaposiblemejorarlasdemsdimensionesdeLAserposible repetirestaexploracinparaverificarlamagnituddelarelacinentreRPECylas dimensionesdeLA. Anlisisposterioresenestemismosentidodeterminanqueun17%delavarianza de los resultados de la rbrica RPEC se explica por la escala de tipos de organizacin, lo que seala que el mbito de lenguaje acadmico ms estrechamenterelacionadoconlacapacidaddeRPECeslaorganizacindeltexto. Lo anterior se puede interpretar como una influencia del dominio terico requeridoenambasescalas;enefecto,losdatosestaransealandoqueelnivelde logro de la reflexin pedaggica se asocia con la capacidad para imponer una organizacinaltextobasadaenseccionesreferidasacategorastericas.Enotras palabras,estosresultadosapuntanaunaasociacinentreeldominiodiscursivoy lossaberesrelevantesalapedagogaenlatareaRPEC.

3. Determinarqumbitosdeconocimientoutilizanlosestudiantesenestudio paraanalizarlaprcticaenaulaydequmaneraarticulandichossaberesal reflexionarpedaggicamenteenbaseacasos.

44

Respecto de la dimensin Tipo de organizacin, vale la pena destacar dos resultados.Primero,quelamayorfrecuenciaderesultadosseagrupaenelnivel3 que describe textos organizados en base a conceptos tcnicos (ej: respecto del climadelaula;respectodelalecturaenvozalta),perodemanerafragmentaria,de modoquenoorganizalatotalidaddeltexto,sinoquesumaseccionesdeunmodo no planificacado. Segundo, que prcticamente la mitad de los estudiantes en estudioseagrupaentornoalosniveles1y2quetienenencomnquenorevelan unacapacidadparaimponerunaestructuraplanificadaaltexto,sinoquesevalen de la estructura de la realidad (en este caso, de la narrativa del video) o del reactivo. XI.Discusin Haycoincidenciaenlaliteraturarespectodequelosprofesoresnovatosdeberan ser capaces de reflexionar sobre eventos del aula, como parte de su proceso de convertirse en profesores expertos (Berliner, 1986; Darling Hammond y Bransford, 2005; Carter & Richardson, 1989; Schemp and Woorons, 2006; Davis, 2006). Se tratara de la capacidad de analizar situaciones de aula en base a distintos saberes. Considerando este principio sustentado en la literatura disponible, los bajos resultados obtenidos en este estudio preocupan por dos razones. En primer lugar, porque se ha evaluado a estudiantes de cuarto ao de PedagogaenEducacinBsica,quedifcilmentepodrntenermsoportunidades formativas para aprender a realizar este ejercicio, en circunstancias que se reconoce la relevancia de ello para alcanzar la experticia en la enseanza. En segundolugar,porquesealanunproblemaenlosprogramasformativos. Respectodeloltimo,esdifcilsostenerapartirdeunaevaluacincomoestaque los estudiantes en estudio no posean los conocimientos relevantes para analizar las distintas dimensiones del aula observada. Sera necesaria una prueba de contenidosparasaberlo.Loquesrevelanestosresultadosesquelosestudiantes nodemuestrancapacidadparautilizaresosconocimientosenunanlisiscomoel solicitado. Lo anterior demanda una revisin de la forma en que se presentan estossaberesalosfuturosprofesoresdurantesuformacin,puessegnlosdatos aqurecogidos,lasmetodologasdeenseanzanopermitiranquelosestudiantes se representen los contenidos de modo que estn disponibles para este tipo de anlisis. Si bien hay escasa evidencia disponible, se propone que la aplicacin sistemtica de ejercicios de reflexin pedaggica escritadurante la formacin inicial podran lograr, gradualmente, mejorar las capacidades de los estudiantes en esta tarea (Fundetal.,2002).Enestesentido,uninstrumentocomoelaqupresentadopuede ser una significativa contribucin, pues provee de un modelo y de criterios de evaluacin que podran sistematizar la definicin de esta tarea, adems de las retroalimentacionesqueseranecesariohacerrecursivamenteparaimpulsareste desarrollo. Ms an, y como se ha dicho ya en este informe, las investigadoras

45

derivanenparteestetrabajodeaquellosestudiosqueproponenqueunamanera de velar para que los estudiantes puedan utilizar activa y articuladamente los distintosconocimientosadquiridosdurantesuformacinparaunanlisisdecaso de aula, es que los sealados conocimientos sean enseados en torno a casos (CarteryRichardson,1989;KimyHannafin,2008)ynosoloevaluadosenrelacin aellos. Esnotableenesteestudioquesusresultadosparecenreferiradominiosdistintos a los evaluados por la prueba INICIA. Hara falta ms datos y una exploracin sistemtica de esta hiptesis, pero llama la atencin que los resultados de la aplicacin del instrumento RPEC no se organizan de manera equivalente a los resultados INICIA. Esta hiptesis tiene sentido ya que los grupos de estudiantes participantesdeesteestudiosecorrespondenconpuntajespromedioINICIAdela pruebadesaberesdisciplinarios,considerandoqueesamedicinseenfocaensi los estudiantes saben o no esos contenidos, y no si saben utilizarlos, como el instrumento RPEC. Sera de gran inters explorar esta hebra de investigacin sobretododadoquelospuntajesINICIAdisciplinarioshantendidoacorrelacionar con los puntajes PSU y con el nivel socioeconmico de los estudiantes. En otras palabras,puespodraserqueelinstrumentoRPECevaluaraundominioquems biendependadelaformacininicialdocenteynodelorigensocioeconmicodelos estudiantes. Losresultadosdeesteestudioestnenlalneadelodichoenlaliteratura(Fundet al.,2002;YoungsyBirds,2010)respectodequeesposibleconstruirinstrumentos vlidosyconfiablesparaserutilizadosalinteriordelaformacininicialdocente (embedded assessment) para evaluar reflexin pedaggica. As tambin, se confirma que la escritura es un medio privilegiado para realizar esta evaluacin, puesproveedeuntestimoniodeestacapacidad(dejadeserunahabilidadinterna, solo mental), de modo que se hace posible evaluar su desarrollo y ensearla (Davis, 2006; Lee, 2005; Luk, 2008; Fund et al., 2002; Youngs y Birds, 2010). En efecto, este estudio contribuye a la nocin de que una manera de aprender a ser profesor, en este caso de aprender a reflexionar pedaggicamente como un profesor experto, es por medio de la escritura, en una lgica de alfabetizacin pedaggica(Mclellan,2008). Al respecto, sin embargo, este estudio confirma lo observado por Luk (2008) respecto de que las habilidades de produccin escrita de los estudiantes necesariamente interactan con su capacidad para producir una reflexin pedaggica por escrito. Los datos aqu recogidos sealan con claridad que la calidaddelareflexinpedaggicaproducidaestrelacionadaconlahabilidadpara organizar discursivamente un texto. Lo anterior es muy interesante puesto que confirmalaestrecharelacinqueexisteentreelconocimientotericoyeldominio discursivoenelregistroacadmico(SnowyUccelli,2009;SchleppegrelyOliveira, 2006).Enefecto,pareceserqueningunadelasdoshabilidadesensolitariobasta para realizar esta compleja tarea, sino que se necesita un dominio que articule ambas dimensiones. Tal como propusiera Berliner (1986), un profesor experto logra inferir de una sala de clases categoras tericas que sustentan la toma de decisiones pedaggica. El estudio que se describe aporta a esa evidencia que cuandoesareflexinpedaggicaserealizaporescrito,norequieresolamentedela

46

capacidaddeusarlosconocimientostericosparaanalizarelaula,sinotambinde undominiodiscursivoquepermitaorganizaruntextoenbaseaesascategoras. Preocupan, en este sentido, los resultados derivados de la dimensin Tipo de organizacin de la rbrica LA, pues sealan que, en promedio, prcticamente la mitaddelosestudiantesenestudioutilizaunaestrategiaingenuaparaorganizar sus textos que solo considera el nivel del contenido (qu decir) y no el nivel retrico (cmo decir), como proponen Bereiter y Scardamalia (1987). Esta estrategiaimprovisadaonoplanificadareplicaestudiospreviosrealizadosporlas investigadoras(Conchaetal.,2010;ConchayParatore,2011)conestudiantesdel sistema escolar, que estaran reflejando una debilidad en la formacin en produccin escrita de los estudiantes universitarios en estudio, que pudiera estarsearrastrandodesdelaexperienciaescolar. Porltimo,respectodelarbricaLA,sibienlosresultadosapuntanalanecesidad de mejorar las dimensiones de Conectores y de Involucramiento, los datos obtenidos de manera confiable en este estudio aproximan una descripcin del gnero RPEC escasamente documentado en la literatura. Por una parte, se confirmalasugerenciadeFundetal.(2002)respectodequelaprimerapersona singularpersisteenestetipodeescritos,unacuestinquepodraestarrevelando una particularidad del tipo de razonamiento escrito propio de la pedagoga. Mientras que Luk (2008) y Davis (2006) hacen hincapi en la necesidad de dominar los conectores lgicos y otros recursos lingsticos que permitiran articular por escrito las distintas fuentes de informacin que concurren a la reflexin pedaggica, los estudiantes de este estudio no parecen demostrar tal dominio. Similar es la situacin de las metforas gramaticales, que seran testimonio de un dominio discursivo y terico (Snow y Uccelli, 2009) que no se confirma en estos datos. Es posible que la simpleza promedio de los anlisis recogidosestuvierarelacionadaconestosresultado,entantonoseharanecesario utilizarconectoresconaltopoderanafricosinoseincluyendistintasfuentesde conocimiento en los anlisis, ni distinto tipo de metforas gramaticales si no se actualizan suficientes conceptos tericos. En futuros estudios ser necesario mejorar estas escalas para explorar una posible correlacin entre estas dos medidasdeLAyRPEC.

47

Referenciasbibliogrficas BarksdaleLadd,M.,Draper,M.,King,J.Oropallo,K.yRadencich,M.(2001)Four approachestopreserviceteachersinvolvementinthewritingofcasestories:A qualitativeresearchproject.Teachingandteachereducation17,pp.417431. BenPeretz,M(2011)Teacherknowledge:Whatisit?Howdoweuncoverit?What areitsimplicationsforschooling?TeachingandTeacherEducation,Vol.27(1), pp.39 Berliner,D.(1986)InPursuitoftheExpertPedagogue.EducationalResearcher, Vol.15,No.7,pp.513 Bereiter,C.andScardamalia,M.(1987)Thepsychologyofwrittencomposition. Hillsdale,N.J.:LawrenceErlbaumAssociatesPublishers. Borko,H.yLivingston,C.Cognitionandimprovisation:Differencesinmathematics instructionbyexpertandnoviceteachers.Americaneducationalresearchjournal, vol26,N4,pp.473498 Braun,J.yCrumpler,T.(2003)Thesocialmemoir:ananalysisofdeveloping reflectiveabilityinapreservicemethodscourse.Teachingandteachereducation N20,pp.5975 Carlino,(2007)Escribir,leeryaprenderenlauniversidad:unaintroduccinala alfabetizacinacadmica.BuenosAires:FondodeCulturaEconmicadeArgentina, S.A. Carter,K.yRichardson,V.(1989)Acurriculumforaninitialyearofteaching program.Theelementaryschooljournal,vol.89,n4 DarlingHammond,LyBransford,J(Eds)Preparingteachersforachangingworld: Whatteachersshouldlearnandbeabletodo.SanFrancisco,CA:JohnWileyand Sons,Inc. Davis,E.(2006)Characterizingproductivereflectionamongpreserviceelementary teachers:Seeingwhatmatters.Teachingandteachereducation22,pp.281301. Emig,Janet(1977)Writingasamodeoflearning.CollegeCompositionand Communication,Vol28,N2,pp.122128.NationalCouncilofTeachersofEnglish. Fund,Z.,Court,D.,Kramarski,C.(2002)Constructionandapplicationofan evaluativetooltoassessreflectioninteachertrainingcourses.Assessmentand evaluationinhighereducation,27(6),pp.485499. Harrington,H.,QuinnLeering,K.yHodson,L.(1996)Writtencaseanalysisand criticalreflection.Teachingandteachereducation,vol.12,n1,pp.2537.

48

Herman,W.(1998)Promotingpedagogicalreasoningaspreserviceteachers analyzecasevignettes.Journalofteachereducation(49),N5 Kim,H.yHannafin,J.(2008)Situatedcasebasedknowledge:Anemerging frameworkforprospectiveteacherlearning.Teachingandteachereducation24, pp.18371845 Lee,H.(2005)Understandingandassessingpreserviceteachersreflective thinking.TeachingandteachereducationN21,pp.699715 LeFevre,F.(2011)Creatingandfacilitatingateachereducationcurriculumusing preserviceteachersautobiographicalstories.Teachingandteachereducation38, pp.890898 Luk,J.(2008)Assessingteacherpracticumreflections:Distinguishingdiscourse featuresofthehighandlowgradereports.SystemN36,pp.624641. Mclellan,E.(2008)Pedagogicalliteracy:Whatitmeansandwhatitallows. Teachingandteachereducation24,pp.19861992. Newell,George(2006)Writingtolearn:Howalternativetheoriesofschoolwriting accountforstudentperformance.EnMcArthur,C,Graham,S.yFitzgerald,Jill(Eds) Handbookofwritingresearch.NewYork:TheGuilfordpress. SchempyWoorons(2006)Learningtosee:Developingtheperceptionofanexpert teacher.Journalofphysicaleducation,recreationanddance,77(6). Schn,D.A.(1983)Thereflectivepractitioner:Howprofessionalsthinkinaction. NewYork:BasicBooks. Silcock,P.(1994)Theprocessofreflectiveteaching.Britishjournalofeducational studies,vol.42,N3,pp.273285. Schleppegrell,M.yOliveira,L.(2006)Anintegratedlanguageandcontent approachforhistoryteachers.JournalofEnglishforAcademicPurposes5(2006) 254268 Schleppegrell,M.,Greer,S.yTaylor,S.(2008)Literacyinhistory:Languageand meaning.Australianjournaloflanguageandliteracy,vol.31,N2,pp.174187 Shulman,L.(1987)KnowledgeandTeaching:FoundationsoftheNewReform. HarvardEducationalReview.Volume57,Number1/Spring1987 Snow,C.yUccelli,P.(2009)Thechallengeofacademiclanguage.EnOlson,D.y Torrance,N.,TheCambridgeHandbookofLiteracy.NewYork:Cambridge UniversityPress. Soto,G.(2005)Losgenerousdiscursivoscomotecnologascognitivas.Rasal (RevistadelaSociedadArgentinadeLingstica)1,pp.3751

49

 Tapia,M.,Burdiles,G.yArancibia,B(2003)Aplicacindeunapautadiseadapara evaluarinformesacadmicosuniversitarios.RevistaSignos36(54),249257 Youngs,P.yBird,T.(2010)Usingembeddedassessmentstopromotepedagogical reasoningamongsecondaryteachingcandidates.Teacherandteachingeducation N26,pp.185198

50

Anexo1:pruebadereflexinpedaggicaenbaseacasos
Universidad Diego Portales/Unidad de Didctica de la Lengua Autoras: Soledad Concha Carolina Hernndez Francisca del Ro Lorena Andrade Francisca Romo

PRUEBA DE REFLEXIN PEDAGGICA EN BASE A CASOS Este instrumento tiene el objetivo de evaluar de manera cualitativa la capacidad de los profesores en formacin para reflexionar pedaggicamente por escrito respecto de un caso de enseanza, en base a los distintos conocimientos propios de la pedagoga. Instrucciones: A continuacin observar un video de 15 minutos de duracin, que corresponde a un fragmento de una clase de (asignatura) realizada en un (nivel escolar). 1. Antes de observar el video, lea con atencin el reactivo que se presenta a continuacin. 2. Observe el video una vez completa. Vuelva a verlo en su totalidad o en partes, las veces que estime necesario para realizar su anlisis. 3. Mientras observa el video, tome notas que puedan serle de utilidad para realizar el anlisis que se solicita. 4. Redacte en un mximo de tres carillas. 5. Se estima que usted se demore alrededor de una hora en responder. Reactivo: A partir del video observado, realice un anlisis que considere de manera integrada qu est enseando la profesora, cmo ensea, por qu ensea de ese modo y qu debera hacer para mejorar la enseanza y el aprendizaje. Para responder, utilice los distintos saberes de la profesin docente que ha adquirido en su formacin: disciplinarios, de didctica general, de didctica especfica, del desarrollo de los nios, de los contextos de la enseanza, u otros.

51

Anexo2:rbricadelenguajeacadmico(LA) Rbricadelenguajeacadmico(LA)
Metforas gramaticalesy referentes abstractos 1 Eneltexto,todos losagentes correspondena entidadesconcretas (ej:laprofesora,el curso,elvideo).Es posibleque,alo largodeltexto,se elidanestos agentesoselos recuperecon pronombres. Tampocose recuperan secuenciascon conceptos abstractos. 2 Eltextopresentaevidenciade unodelosfenmenosque siguen: a) Nominalizacionesen lasqueconceptos abstractosestn utilizadoscomo agentes(elenfoque comunicativoes abordadoporla profesora,el objetivodela profesora) b) Verbosdeprocesoque aparecensustantivados yfuncionancomosujeto (eldesplazamientodela profesora(envezdela profesorasedesplaza)el recordarlasnormas(en vezdelaprofesora recuerdalasnormas)el usodeesquemas.) c) Categorasabstractas (hipernimos)usados paraagruparsecuencias referidasanteriormente (ej:elfenmenorecin descrito..,esteproceso observado,este problema) 3 Eltextopresenta evidenciadedosde losfenmenosque siguen: d) Nominalizacione senlasque conceptos abstractosestn utilizadoscomo agentes(el enfoque comunicativoes abordadoporla profesora,el objetivodela profesora) e) Verbosde procesoque aparecen sustantivadosy funcionancomo sujeto(el desplazamiento delaprofesora (envezdela profesorase desplaza)el recordarlas normas(envez delaprofesora recuerdalas normas)eluso deesquemas). f) Categoras abstractas (hipernimos) usadospara agrupar secuencias referidas anteriormente (ej:elfenmeno recindescrito.., esteproceso observado,este problema) Elanlisissepresenta demanera despersonalizada,sin embargo,hayusode 1personasoloen lassugerencias. 4 Eltextopresenta evidenciadelos tresfenmenos quesiguen: a) Nominalizaciones enlasque conceptos abstractosestn utilizadoscomo agentes(el enfoque comunicativoes abordadoporla profesora,el objetivodela profesora) b)Verbosde procesoque aparecen sustantivadosy funcionancomo sujeto(el desplazamientode laprofesora(en vezdelaprofesora sedesplaza),el recordarlas normas(envezde laprofesora recuerdalas normas),elusode esquemas). c)Categoras abstractas (hipernimos) usadospara agruparsecuencias referidas anteriormente(ej: elfenmenorecin descrito..,este proceso observado,este problema) Elanlisisse presentademanera despersonalizada. As,seevidenciael usodela3 persona(singularo plural)ymarcasde impersonalidad (se).

Involucramient odelautor

Enelanlisis predominaeluso dela1persona singular.

Enelanlisishayunintentopor acercarsealdiscursoacadmico despersonalizado.Seutiliza paraellola1erapersona plural.Obien,hayuna predominanciadelenguaje despersonalizado,sinembargo hayunusoespordicodela1 personaendiferentespartes delanlisis.

52

Conectores

Tiposde organizacin

Eltextodemuestra unaincapacidad parautilizarlos recursosdela coherencialocal mscoloquiales. Haypredominio deconectoresms coloquialesyse presentaalgn errorensuuso.O bienpresenta mayoritariamente ideassolo yuxtapuestas,o bienunidas predominantement eporrelacionesde adicin. Eltextoseorganiza predominantement eorganizadoen basealacronologa ocausalidadde hechosobservados enelvideo.

Eltextoevidenciapredominio derecursosdelacoherencia localmspropiosdela comunicacincoloquial(pero, porque,yaque,para,etc.). Aquellosconectoresms coloquialesestnusados correctamente.Siutiliza recursosmspropiosdel lenguajeacadmico,puede quecometaerroresalhacerlo.

Eltextodemuestra unacapacidad emergentepara utilizarlosconectores caractersticosdel lenguajeacadmico. Hayevidenciadeque puedeutilizar correctamente conectoresms propiosdellenguaje acadmico(sin embargo,noobstante, sicondicional,porel contrario,mas,an cuando,etc.),sibien nopresenta variedad. Eltextosepresenta predominantemente organizadoapartirde distintosfocos temticos,quese puedenintroducircon marcadoresdeltipo respectode,en relacincon.

Eltextodemuestra dominiodelos conectores caractersticosdel lenguaje acadmico. Utiliza adecuadamente unavariedadde ellos(sinembargo, noobstante,si condicional,porel contrario,mas,an cuando,etc.),los queposeenmayor poderanafrico. Eltextosepresenta predominantement eorganizadoen baseaalgn principioterico. Porejemplo,se organizapor seccionesdela planificacin (contenidos, metodologa, evaluacin),opor unametodologade enseanza(ej:los tresmomentosde lalectura).

Eltextosepresenta predominantementeorganizado apartirdelaspreguntasdel reactivo:questenseandola profesora,cmoensea,por quenseaas.

53

Anexo3:rbricadereflexinpedaggicaenbaseacasos
CRITERIOS* 1 2 3 Analizatoma dedecisiones pedaggica Enrelacin conunaclase observadase entregauna descripcin. Enrelacinconunaclase observadasepresentaun anlisispococlaro, impreciso. Enrelacinconuna claseobservadase presentaunanlisis superficialque demuestrala intencindeexplicar latomadedecisiones delaprofesora. Elanlisis: Mencionayampla condetallesalmenos dosdelas dimensiones relevantesparala tomadedecisiones pedaggica.

5 Enrelacinconuna claseobservadase presentaunanlisisque explicalatomade decisionesdela profesora. Elanlisis: Mencionayamplacon detallesalmenostres delasdimensiones relevantesparalatoma dedecisiones pedaggica.

Cantidadde dimensiones: nombrary ampliarcon detalles

Dominio terico: precisiny correccin

Serefiereala enseanza, perocomo acciones realizadas poruna profesorao porlosnios, sinunclaro intentopor explicarla tomade decisiones. Sise mencionan conceptos tericos,se usanpara nombrar accionesyse introducen errores conceptuales.

Puedequemencioney amplecondetalles cualquiernmerodelas dimensionesrelevantes paralatomadedecisiones pedaggicas.

Enrelacincon unaclase observadase presentaun anlisisque explicalatomade decisionesdela profesora. Elanlisis: Mencionay amplacon detallesalmenos dosdelas dimensiones relevantesparala tomade decisiones pedaggica.

Lasexplicacionesno revelandominiodela teoraquesubyaceala clase.Seintroducevarios erroresconceptualesy explicacionesgenerales,no tcnicas.

Lasexplicacionesno revelanundominio slidodelateora quesubyacealaclase. Semencionan conceptosque corresponden correctamentealo observado,perose explicandemanera general,notcnica(ej: usarprediccioneses buenoparamotivara losnios). Enestenivelpueden encontrarsetambin opinionessin fundamentos.

Fundamentos paralas afirmaciones

Seclasificantambinaqu lasmuestrasque,sin cometerfrecuentes erroresconceptuales,no entregansuficiente evidenciadedominarlos conceptosmencionados (ej:seafirmaenestaclase seusaelenfoque constructivista,peroesta afirmacinnoseapoyacon evidenciaoexplicaciones).

Cadaunadeestas dimensionesse explicausando conceptos tericosprecisos ycorrectos(ej: laspreguntas abiertas promuevenla generacinde lectoresactivos). Laexplicacinno incluyemodelos, enfoqueso mtodosde enseanza. Seentregan explicacioneso evidenciasdela claseobservada, como fundamentos paralas afirmaciones.

Cadaunadeestas dimensionesseexplica usandoconceptos tericosprecisosy correctos(ej:las preguntasabiertas promuevenla generacindelectores activos),incluyendo modelos,enfoquesy/o mtodosdeenseanza (ej:cadaunadeestas estrategiascorresponde alostresmomentosde lalectura). Seentregan explicacioneso evidenciasdelaclase observada,como fundamentosparalas afirmaciones.

54

Anexo4:resumendelprocesodejuiciodeexpertosparalarevisinyvalidacindelarbricaRPEC JUICIODEEXPERTAS Anlisisderesultados Afinesdemayode2012seconvocatresexpertasformadorasdeprofesores,especialistasendidcticadelalengua,deuniversidades distintas:SoledadAravena,UniversidadAlbertoHurtado,MarcelaGuajardo,UniversidadAndrsBelloyRosaMiranda,Universidad DiegoPortales.Elobjetivodeestetrabajoeracontarconsuopininexpertarespectodelapautadeevaluacindereflexinpedaggica. Esteobjetivo,asuvez,derivadelpropsitodeconstruirunapautaquepuedanosoloreflejarlosprincipiospropuestosporlateora disponible,sinoquetambinlasexigenciasycriteriosdeevaluacinvaloradosporlacomunidadnacionaldeformacindeprofesores. Elprocedimientodetrabajofueelsiguiente: a) distribucindecuatromuestrasincluyendo:muestrasrecogidasdurantelaaplicacinprepiloto(estudiantesdedos universidades),muestrasdeprofesorasAEPydeformadoresdeprofesoresespecialistasendidcticadelalengua b) solicitudalasexpertasdeclasificarlasentresnivelesdecalidad c) discusinabiertaenbuscadeloscriteriossubyacentesalaclasificacin d) contrastedeloscriteriosdiscutidosconunapropuestainicialdepautadeevaluacin e) ajustesalapautadeevaluacinapartirdeloscomentariosdelasexpertas Adicionalmente,lasexpertashicieronalgunoscomentariosrespectodelreactivo(aquetuvieronaccesopueseranecesariopara entenderlasmuestras).Esoscomentariosfueronigualmenterecogidosysistematizados. Lasesincompletadetrabajofuegrabadaenaudioytranscrita.Posteriormente,seprocediamarcartodosloscriteriosdeevaluacin mencionadosporlasexpertas,loscualesseresumenacontinuacin.Esimportantedestacarelaltoniveldeacuerdoquesealcanzenla discusinentrelasexpertas,ascomorespectodelapropuestadepautadeevaluacinpreparadaporelequipodeinvestigacin.Lo anteriorsealaunaaltacoherenciaentrelosjuiciosdelasexpertasylaliteraturadisponible,segnlarevisinquedioorigenalapauta presentada.

Criteriosdeevaluacinrelevadosporlasexpertas Lasmuestrasdeberan: a) utilizarlateoraparaexplicarlaenseanza(inferirlateoraquesubyacealaenseanza) b) referirsealadidcticageneralyespecfica,ascomoalsaberdisciplinarioysobrelosnios c) nolimitarseadescribirloobservadoenelvideo d) nolimitarseocentrarseenjuiciossinfundamento e) fundamentarsusafirmacionesconlateoraynonecesariamenteconelconocimientoprctico(noseesperaqueegresadoslo puedanhacer) f) utilizarlateoraconprecisin;nodarrodeosniabordarlademaneragruesaogeneral,ojalusartecnolectoespecfico.Este criteriopermitiragraduarlacalidaddelasdistintasmuestras g) nocometererroresconceptuales h) idealmenteestarestructuradasdemodoquesedistinganconclaridaddistintosfocosdeanlisis i) nocentrarseencuestionessuperficiales(ladiccin,laconductadelosnios),sinoenlaenseanzayelaprendizaje

56

Anexo5:ManualdeAplicacindelInstrumento UniversidadDiegoPortales/FacultaddeEducacin/Unidaddedidcticadelalengua

PRUEBADEREFLEXINPEDAGGICAENBASEACASOS MANUALDEUSO

AUTORAS SoledadConcha CarolinaHernndez FranciscadelRo FranciscaRomo LorenaAndrade INDICEDECONTENIDOS

57

Introduccin..p.3 Elinstrumento.p.6 Pruebadereflexinpedaggicaenbaseacasosp.7 Rbricadereflexinpedaggicaenbaseacasos..p.8 Procedimientosdecodificacinp.9 Elvideop.14 Ejemplosdemuestrasp.15 1. INTRODUCCIN UnequipodeinvestigadorasdelaUnidaddedidcticadelalenguadelaFacultaddeEducacindelaUniversidadDiego Portalesllevacabounainvestigacinentrelosaos2011y2012,tendientealaconstruccindeuninstrumentoparaevaluar lacapacidaddeestudiantesdeltimoaodelacarreradePedagogaenEducacinBsicaparareflexionarpedaggicamente enbasecasos(RPEC).EsteestudiofuefinanciadoporelConsejoNacionaldeEducacin. EnesteestudioseentiendelaRPECcomolacapacidadparaanalizarlosfundamentostericosdelasdecisionespedaggicas observadasenunaclasedictadaporotroprofesor,usandoparaellodemaneraarticuladalosdistintossaberesrelevantesa la pedagoga: disciplinarios, de didctica general, de didctica especfica, del desarrollo de los nios, de los contextos de la enseanza. El concepto de reflexin pedaggica ha recibido extensa atencin en la literatura especializada y ha sido abordado desde encuadres tericos diversos. Este trabajo se funda particularmente en la evidencia recogida en estudios que comparan la 58

cognicindelosprofesoresnovatosyladelosexpertos,segnloscualesunadelascaractersticasdiferenciadorasclavede ambosgruposeslacapacidaddeanalizarunasaladeclasesenbaseaconocimientosespecializados,particularesalaprofesin docente.Astambin,elestudiosebasaenestudiosqueproponenquelaescrituraesunmedioprivilegiadoparaevaluarypara ensearalosestudiantesareflexionarpedaggicamentedurantesuformacin. Sibienrestanestudiossistemticosdeaplicacinendistintoscontextosycondistintosformadoresdeprofesores,sepropone queesteinstrumentotieneelpotencialdeserutilizadoalinteriordedistintoscursosdurantelaformacininicialdocente,con elobjetivodeevaluarlacapacidaddelosestudiantesparaanalizarunaclasevalindosedeloscontenidosrevisadosenelcurso en cuestin, adems de en otros cursos de la malla curricular. Puede, adems, ser aplicado peridicamente de manera de observareneltiempoelprogresodelosestudiantesensucapacidadparareflexionarpedaggicamenteenbaseacasos. Naturalmente, los conocimientos tericos que actualicen los estudiantes al analizar una sola clase no podrn abarcar la totalidaddecontenidosrelevantesalaformacininicialdocente;msbien,estossecircunscribirnaaquelloscontenidosen queelprofesoroprofesoraobservado/ahayabasadosusdecisionespedaggicas.Porlomismo,losformadoresdeprofesores quequisieranmedireldominioycapacidaddeutilizarotrosconocimientosparticularesenunareflexinpedaggicaenbasea casos,debernprepararotrosvideosintencionadamente,paralocualseofrecenlineamientosenesteManual. Elmodelodeevaluacinquesepropone,recogidoenlarbricaRPEC,sebasaenunaseriedecriteriosqueseresumenenla tabla1acontinuacin,yquederivantantodelaliteraturaespecializadadisponible,comodelasopinionesdeunpanelde expertasformadoresdeprofesoreschilenas:

59

 Tabla1
CRITERIOSDEEVALUACINDEREFLEXINPEDAGGICAENBASEACASOS Inferirrazonesoexplicacionesquesubyacenalasdecisionespedaggicasdeunprofesoroprofesoraobservado Articulardistintosdominiosdeconocimientorelevantesalaenseanzayelaprendizaje,enunareflexinescrita. FUENTES Paneldeexpertos Davis,2006 Schemp&Woorons,2006 Carter&Richardson,1989 Paneldeexpertos Davis,2006 Carter&Richardson,1989 Silcock,1994 Luk(2008) Lee(2005) Paneldeexpertos DarlingHammond&Bransford,2005 Berliner,1986 BenPeretz,2011 YoungsandBird,2010 Paneldeexpertos Davis,2006 Lee,2005 Luk,2008 YoungsandBird,2010

Slidodominiodeconceptostericosutilizadosparaanalizarycomprender latomadedecisionespedaggicas.

Untipodeanlisisenelqueseentreganfundamentosparalasafirmaciones,seconsiderandistintasperspectivas (porejemplo,distintasexplicacionesparaunfenmenoobservado),seevalayseofrecenvasalternativasde solucin.Enelnivelbajo,setratadedescripcionesdeeventosyconductas,noseanalizalatomadedecisiones,se entreganopinionessinfundamentos.

60

2. Elinstrumento Elinstrumentoconstadedospartes: Un video de 15 minutos que presenta fragmentos que representan los distintos momentos de una clase, editados y etiquetadossegnsufuncin,ademsdeunadiapositivainicialquepresentaelobjetivodelaclaseyunesquemadesu estructura. Un reactivo que invita a escribir un anlisis de caso a partir del video, utilizando para ello los distintos saberes adquiridosalolargodelaformacininicial:disciplinarios,dedidcticageneral,dedidcticaespecfica,deloscontextos delaenseanza,entreotros. EnesteManualseincluyeunejemplodevideo,ademsdemuestrasporcadaniveldecodificacinparafacilitarla comprensindellectordelosmecanismosdecodificacin.Enelmarcodeaplicacionesfuturas,sesugierequecadaformador deprofesorespuedarealizarsuspropiosvideosyadaptarlarbricaRPECparacodificarlosanlisisquedeestosserealicen. Comosehadichoanteriormente,restanestudiosparadeterminarsilosprocedimientosincluidosenesteManualson suficientesparagarantizarunaaplicacinvlidayconfiabledelinstrumentoendistintoscontextos. AcontinuacinsepresentaelreactivoylarbricadeRPEC:
UniversidadDiegoPortales/UnidaddeDidcticadelaLengua

PRUEBADEREFLEXINPEDAGGICAENBASEACASOS 61

 Esteinstrumentotieneelobjetivodeevaluardemaneracualitativalacapacidaddelosprofesoresenformacinpara reflexionarpedaggicamenteporescritorespectodeuncasodeenseanza,enbasealosdistintosconocimientospropiosdela pedagoga. Instrucciones: Acontinuacinobservarunvideode15minutosdeduracin,quecorrespondeaunfragmentodeunaclasede(asignatura) realizadaenun(nivelescolar). 6. Antesdeobservarelvideo,leaconatencinelreactivoquesepresentaacontinuacin. 7. Observeelvideounavezcompleta.Vuelvaaverloensutotalidadoenpartes,lasvecesqueestimenecesariopara realizarsuanlisis. 8. Mientrasobservaelvideo,tomenotasquepuedanserledeutilidadpararealizarelanlisisquesesolicita. 9. Redacteenunmximodetrescarillas. 10. Seestimaqueustedsedemorealrededordeunahoraenresponder. Reactivo: Apartirdelvideoobservado,realiceunanlisisqueconsideredemaneraintegradaquestenseandolaprofesora,cmo ensea,porquenseadeesemodoyqudeberahacerparamejorarlaenseanzayelaprendizaje. Pararesponder,utilicelosdistintossaberesdelaprofesindocentequehaadquiridoensuformacin:disciplinarios,de didcticageneral,dedidcticaespecfica,deldesarrollodelosnios,deloscontextosdelaenseanza,uotros. REFLEXINPEDAGGICAENBASEACASOS:rbricadeevaluacin
CRITERIOS* 1 2 3 4 5

62

 Analizatomade decisiones pedaggica Cantidadde dimensiones: nombrary ampliarcon detalles Dominioterico: precisiny correccin

Enrelacinconuna claseobservadase entregauna descripcin. Serefiereala enseanza,perocomo accionesrealizadaspor unaprofesoraoporlos nios,sinunclaro intentoporexplicarla tomadedecisiones. Sisemencionan conceptostericos,se usanparanombrar accionesyseintroducen erroresconceptuales.

Enrelacinconunaclaseobservadase presentaunanlisispococlaro,impreciso.

Enrelacinconunaclaseobservadase presentaunanlisissuperficialque demuestralaintencindeexplicarla tomadedecisionesdelaprofesora. Elanlisis: Mencionayamplacondetallesal menosdosdelasdimensiones relevantesparalatomadedecisiones pedaggica. Lasexplicacionesnorevelanun dominioslidodelateoraque subyacealaclase.Semencionan conceptosquecorresponden correctamentealoobservado,perose explicandemanerageneral,notcnica (ej:usarprediccionesesbuenopara motivaralosnios). Enestenivelpuedenencontrarse tambinopinionessinfundamentos.

Enrelacinconunaclase observadasepresentaun anlisisqueexplicalatomade decisionesdelaprofesora. Elanlisis: Mencionayamplacondetalles almenosdosdelas dimensionesrelevantesparala tomadedecisionespedaggica. Cadaunadeestasdimensiones seexplicausandoconceptos tericosprecisosycorrectos (ej:laspreguntasabiertas promuevenlageneracinde lectoresactivos).Laexplicacin noincluyemodelos,enfoqueso mtodosdeenseanza. Seentreganexplicacioneso evidenciasdelaclase observada,comofundamentos paralasafirmaciones.

Enrelacinconunaclaseobservadase presentaunanlisisqueexplicalatomade decisionesdelaprofesora. Elanlisis: Mencionayamplacondetallesalmenos tresdelasdimensionesrelevantesparala tomadedecisionespedaggica.

Puedequemencioneyamplecondetalles cualquiernmerodelasdimensiones relevantesparalatomadedecisiones pedaggicas.

Lasexplicacionesnorevelandominiodela teoraquesubyacealaclase.Seintroduce varioserroresconceptualesyexplicaciones generales,notcnicas.

Fundamentos paralas afirmaciones

Seclasificantambinaqulasmuestrasque, sincometerfrecuenteserroresconceptuales, noentregansuficienteevidenciadedominar losconceptosmencionados(ej:seafirmaen estaclaseseusaelenfoqueconstructivista, peroestaafirmacinnoseapoyacon evidenciaoexplicaciones).

Cadaunadeestasdimensionesseexplica usandoconceptostericosprecisosy correctos(ej:laspreguntasabiertas promuevenlageneracindelectores activos),incluyendomodelos,enfoques y/omtodosdeenseanza(ej:cadauna deestasestrategiascorrespondealostres momentosdelalectura). Seentreganexplicacionesoevidenciasde laclaseobservada,comofundamentos paralasafirmaciones.

*Alinteriordelosnivelesdelarbrica,losdistintoscriteriosseconsideranensuconjuntoparalaevaluacin,puesseproponequeconviventalcomose describe.

3. PROCEDIMIENTOSDECODIFICACION A. Perfildeloscodificadores: Larbricaquesepresentadebeseraplicadapordoscodificadoresexpertossisequieregarantizarlaconfiabilidad delosdatosobtenidos.Setratadepersonasconampliodominiodelosconceptosdedidcticaespecficacontenidos enelvideoseleccionadoyqueestn,adems,familiarizadosconlosdemsconceptosdedidcticageneral (enseanzayevaluacin),deldesarrollodelosniosuotrosquepudieranserrelevantesparaanalizarelcaso 63

presentado.Respectodesuformacin,sesugierequeestarbricaseaaplicadaporprofesionalesconttulode profesoroprofesora,quesehayanespecializadoenladidcticaespecficadelaasignaturadelcasoseleccionado. Comoseobserva,setratadeunperfilconsistenteconeldemuchosformadoresdeprofesoresquienesconstituyen losbeneficiariosdirectosdeesteproyecto. B. Procedimientodeaplicacin: Demaneradevelarporlaconfiabilidaddelosdatosobtenidosdelaaplicacindelarbrica,sesugiereelsiguiente procedimientoqueinvolucracapacitacinycodificacin: o Presentacindelarbricaalosdoscodificadoresalunsonoydiscusindesuscontenidos. o Presentacindeejemplaresdecadaunodelosniveles. o Aplicacincolectivadelarbricaatresocuatromuestras(distintasdelosbenchmarks)ydiscusinde resultados. o Codificacinindependientedemuestrascon100%dedoblecodificacin(ambaspersonascodificanlasmismas muestras),clculodeconsistenciaentrecodificadoresydiscusindediferencias.Esteejercicioserealizasobreel 15%deltotaldelasmuestrasobtenidas,ohastaalcanzarunaconsistenciaadecuada. o Codificacinindependientesindoblecodificacindeunafraccindeltotaldelasmuestras. o Codificacinindependientedeunafraccindelasmuestras,conun100%dedoblecodificacin.Clculode consistenciaentrecodificadoresydiscusindediferencias.Sisealcanzaunaconsistenciaadecuada,esposible

64

seguircodificandodemaneraindependientesindoblecodificacin.Delocontrario,sernecesariorecodificarlas ltimasmuestrascodificadasyseguirrealizandodoblecodificacinhastaalcanzarunaconsistenciaadecuada. C. Instruccionesparalacodificacin: Demaneradefacilitarlaaplicacindelarbrica,sesugierequeloscodificadoresrealicentrespasosquelos encaminarnalacodificacin. a) Leerlamuestracompleta. b) Mientrasselee,anotaraunladolasdimensionesrelevantesparalatomadedecisionespedaggica,enlamedidaenque aparezcan. c) Terminadalalectura,hacerselassiguientespreguntas: 1) Cuntasdimensionesaparecen? 2) Lasdimensionessenombranorefieren,oseamplarespectodeellasconexplicaciones? 3) Lasexplicacionessontcnicasodesentidocomn? 4) Hayerroresconceptualesenlasexplicaciones? 5) Lasexplicacionesentreganevidenciasuficientedequeelestudiantecomprendelosconceptosquenombra? 65

 D. Dimensionesrelevantesparalatomadedecisionespedaggicaqueseobservanenelvideoyconceptostericosquese puedenatraeralanlisisdecadaunadeellas: Larbricaconsideralacantidaddedimensionesrelevantesparalatomadedecisionespedaggicaqueincluyenlos anlisis.Alrespecto,acontinuacinseincluyendostablas:latabla2presentaeltrabajodeDavis(2006,p.296),enque seproponencuatrodeestasdimensionesylosposiblescontenidosasociadosacadaunadeellas;latabla3representa unaadaptacindelasealadaautora,enlaqueseamplasupropuestaacincodimensiones.Lasegundapropuesta agregaladimensindedidcticaespecfica. Paralaaplicacindeestarbricaamuestrasdeanlisisdedistintoscasos,sesugierequealmenosdosexpertos observenelvideoseleccionadoyllenenlas5dimensionespropuestas,utilizandoparaestotodoslosconceptos relevantesqueseansusceptiblesdeseranalizadosenelcasoencuestin.Enlatabla3,acontinuacin,seofreceun ejemplodellenadodelas5dimensionesdeuncasodeclasedeLenguajeyComunicacinpara4tobsicoenvideo adjunto. Tabla2:cuatrodimensionesrelevantesparalatomadedecisionespedaggica,segnDavis(2006,p.296)(traduccin)
Aprendicesyaprendizaje Conocimientosobrela asignatura Evaluacin/calificacin Instruccin

66

Ideasalternativasoideasdelos estudiantes Conocimientoprevioyexperiencias Involucramientoymotivacin Colaboracin Resultadosdeaprendizaje Estudiantesindividuales Similitudesentreestudiantes Procesosdedesarrollocognitivoy social Contextosocialdelaenseanza

Naturalezadelaciencia Naturalezadel conocimientocientfico Investigacincientfica Contenidosdelaciencia Conexionesentreconceptos, hechos,teoras,etc.

Mtodos Tiempoasignado Metasdeevaluacin Distintosenfoquesyusos Alineacinentreevaluaciny metasdeenseanza,ideasdelos estudiantesyactividades Efectividaddelaevaluacin

Introduccinalaclase Cierredelaclase Conexionesconactividadespreviasofuturas Manejode(grupo,materials,actividades) Materiales,guasdetrabajo Construccindelaclase,usodepropuestas existentes Representacionesinstruccionales Actividades Metasdeenseanza Preguntasgua Tiempoinstruccional Seguridaddelaprofesoraoprofesor Secuenciadeenseanzaysurelacinconlas metas

conelllenadoquesepropone) Aprendicesyaprendizaje Conocimientosobre laasignatura Conocimientopreviode Cuentosde losestudiantes tradicinoral,su sobrelaformadeserde definicinysus

Tabla3:ejemplodellenadodecincodimensionesrelevantesparalatomadedecisionespedaggica,adaptacindeDavis (2006,p.296),enbaseauncasodeclasedelenguajeycomunicacinpara4tobsico(vervideoadjuntoparacompararsucontenido
Evaluacin/calificacin Procedimientosde Evaluacinformativa: Demostrarcomprensin Instruccin:general Manejodegrupo: explicitacindelasreglas, aplicacinasistemticadelas Instruccin:especfica Momentosdelalectura (antes, duranteydespus) Lecturaenvozalta

67

losadultosmayoresy cmoesteconocimiento seusaparacomprender elcuentonarradoen clases,enespecialal personajeprincipal Involucramientodelos estudiantesenla actividad suintersymotivacin paraparticipardelas discusionesquepropone laprofesora,para responderasus preguntas Preguntasdelos estudiantesy comentarios Cmorevelansu comprensindelaclase, deloscontenidos tratados;suinters,su motivacin. Vocabulariodelos niosvinadre, cargocito:qurevelan estosusosrespectodesu dominiodevocabulario.

caractersticas estructurales (estribillo) Puntuacin:signos deinterrogacin Ortografa(tildeen esdrjulas)

global,identificandoidea principal,usandomapas conceptuales(idea principalydetalles), escogiendoelmejorttulo paralahistoria. Demostrarcomprensin deconceptospresentados enclases:responder preguntasdedefiniciones (qusignificaidea principal),parafraseando.

reglas,estiloproactivoo reactivo Climapositivo:llamaralos niosporsunombre,noalzar lavoz,sonrer,participar activamentedelaconversacin. Estructuradelaclase(inicio, desarollo,cierre) Objetivodelaclase: determinarideaprincipaldeun cuento Tomadeturnos (interaccionesdeaula): predominiodelaprofesoraen latomadeturnos, oportunidadesdelos estudiantesdeproponertemas otomarlapalabra;tiempopara responderalaspreguntas, retroalimentacinespecfica. Refuerzopositivo(ej:me gustalamaneraenqueRoberto seestportando) Premios(tiempoextrade recreoporterminareltrabajo)

(entonacin,pausas,etc.) Preguntasabiertasysu relacinconlacomprensiny eldesarrollodellenguajeoral (ej:qucreenquepasara continuacin) Descripcindepersonaje principalEnseanzade vocabulario(palabrasen contexto,pobrediscusindesu significado,faltade oportunidadesparausarlas) Estrategiasdelectura (predicciones,conexiones) Enseanzadecomunicacin oral(modelajedediscurso extendidoydescontextualizado; oportunidadesdelos estudiantesparaproducerese tipodediscurso:oraciones completas,parafraseo Enfoquecomunicativo functionalparalaenseanza delalengua(seensea vocabularioyortografaenel contextodeuncuentoledoy comprendido)

4. Elvideo Paraseleccionarelvideoseofrecenlassiguientesindicaciones:

68

a) Brevedad:sesugierenmximo15minutos,pueslosestudiantespuedennecesitarverlodosomsvecespararealizarel anlisis. b) Densidad de contenidos a analizar: el video debe permitir inferir de la enseanza conocimientos de los distintos mbitos sugeridos en el reactivo. Para eso, se sugiere grabar la totalidad de la clase y luego editar en 15 minutos fragmentosrelevantesdecadaseccindelaclase. c) Estructura y objetivos de la clase:esmuyimportantequeenlaedicinseincluyaunadiapositivainicialenlaquese explicite el objetivo de la clase, adems de un punteo de su estructura. Esto permitir a los estudiantes evaluar la funcionalidaddecadaunadelaspartesobservadas. d) Calidad:sesugiereseleccionarunaclasedebuenacalidad,aunquemejorable,demodoqueseaposibleinferirdiversos conocimientostericosenlosquesebasenlasdecisionespedaggicas.Adicionalmente,sesugiereevitarincluirenla edicinerroresoproblemasdemasiadoevidentesquemonopolicenlosanlisis(porejemplo,constantesproblemas demanejodegrupo),demododegarantizarqueseabordeunavariedaddedimensionesyconocimientos.

5. Ejemplosdemuestras
A continuacin se ofrecen ejemplares representativos de cada nivel de la rbrica. Estos ejemplares fueron recogidos duranteunestudioenelquesepresent,paraelanlisis,elvideodeLenguajeyComunicacinpara4tobsicoquese adjuntaaestemanual.

Ejemplonivel1

69

 70

 Ejemplonivel2

71

72

Ejemplonivel3

73

74

75

Ejemplonivel4

76

77

78

Ejemplonivel5

79

80