validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm Revista ELectrnica de Investigacin y EValuacin Educativa
LA TRIANGULACIN ANALTICA COMO RECURSO PARA LA VALIDACIN DE ESTUDIOS DE ENCUESTA RECURRENTES E INVESTIGACIONES DE RPLICA EN EDUCACIN SUPERIOR [Analytical triangulation, a resource for the validity of recurrent survey studies and reply researches in Higher Education] por
Abstract The triangulation understood as technical of confrontation and tool of comparison of different types from analysis of data (analytical triangulation) with a same objective can contribute to validate a survey study and to harness the conclusions that are derived of it. In this article we de- velop a model of validation of findings by means of ana- lytical triangulation to misalignments observed by two different generations of university students involved in the implantation of a new university curriculum. Resumen La triangulacin entendida como tcnica de confrontacin y herramienta de comparacin de diferentes tipos de anli- sis de datos (triangulacin analtica) con un mismo objeti- vo puede contribuir a validar un estudio de encuesta y po- tenciar las conclusiones que de l se derivan. En este art- culo se aplica un modelo de validacin de hallazgos me- diante triangulacin analtica a desajustes observados por dos cohortes diferentes de estudiantes universitarios invo- lucrados en la implantacin de un nuevo plan de estudios universitario. Keywords Validity. Triangulation. Higher Education, Reply Re- search, Survey Studies. Descriptores Validez. Triangulacin. Educacin Superior, Investiga- cin de Rplica, Estudios de Encuesta.
1. INTRODUCCIN Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 289 Partiendo de las aportaciones de Denzin (1970,1975,1989), Morse (1991), Cowman (1993) o Creswell (1994, 2002), se puede afirmar que la triangulacin en el campo de la educacin consiste en una estrategia de investigacin mediante la cual un mismo objeto de estudio pedaggico es abordado desde diferentes perspectivas de contraste o momentos temporales donde la triangulacin se pone en juego al comparar datos; contra- poner las perspectivas de diferentes investi- gadores; o comparar teoras, contextos, ins- Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm trumentos, agentes o mtodos de forma dia- crnica o sincrnica en el tiempo. Kelle (2001) sugiere que fueron Campbell y Fiske, en 1959, los primeros investigadores en aplicar la triangulacin en la investigacin social. Cea DAncona (1996), por su parte, sita el origen de la triangulacin en la topo- grafa, la navegacin y la logstica castrense y destaca tambin aproximaciones pioneras de la triangulacin en la investigacin social en los trabajos de Booth (finales del siglo XIX), Vidich y Shapiro (1955); Zelditch (1962); Spradley (1980). Para ste ltimo, el anlisis subjetivo de la compleja realidad social est sujeto a la familiarizacin de los analistas con un conjunto de manipulacio- nes, transformaciones, reflexiones y com- probaciones realizadas a partir de los datos con el fin de extraer significado relevante para un problema de investigacin (Sprad- ley, 1980: 70-75). El desarrollo procedimental de tcnicas concretas de triangulacin aplicadas a dife- rentes situaciones y en diferentes momentos histricos ha seguido en cada mbito disci- plinar caminos diferentes segn las necesi- dades de uso, el avance tecnolgico y la dis- ponibilidad de una instrumentacin ms pre- cisa (pensemos en la microscopa, las tcni- cas de cromatizacin, los diagnsticos clni- cos basados en instrumentacin infogrfica, electromagntica, radiolgica, bioqumica, ), el desarrollo de tcnicas de medicin apro- piadas y ms precisas o el expreso reconoci- miento de su vala como accin legitimada social, cultural o cientficamente. Su ajuste y acomodacin metodolgica como procedi- miento contrastado, de reconocido prestigio y uso estandarizado en cada comunidad de prctica ha sido diferente a lo largo del tiem- po, no cabe duda, segn se trate del campo de la ingeniera, la medicina, las ciencias jurdicas, las finanzas, el campo de lo moral, la historiografa, la geografa o el diagnstico clnico. El desarrollo de procedimientos autctonos en cada campo disciplinar est an lejos de ser tipificado desde una estructura lineal y estndar que marque tendencias y destaque patrones, pues existen tantas modalidades de triangulacin como desarrollos y necesidades de uso haya reconocido el ser humano en la historia de su existencia en los diferentes mbitos gremiales, prcticas profesionales, tecnolgicas y cientficas. Blaikie (1991:131) argumenta que el trmino triangulacin significa cosas diferentes para diferentes investigadores" As, por ejemplo, en el campo de la inves- tigacin criminolgica y judicial las tcnicas de triangulacin son procedimientos de con- traste de testimonios y pruebas que contribu- yen a reconstruir los hechos, clarificar los motivos de los delitos e imputar responsabi- lidades a la luz de las evidencias y declara- ciones. Triangular para un topgrafo es sea- lar distintos puntos en el terreno considern- dolos como vrtices de un tringulo para poder fijar en el plano la posicin relativa de esos puntos y sus distancias exactas. En el campo del peritaje arquitectnico, de las va- loraciones de siniestralidad o las auditorias empresariales, la triangulacin constituye un instrumento esencial de objetivacin de evi- dencias consistentes que permiten poner pre- cio y asignar valor a un terreno o inmueble; delimitar grados de responsabilidad en un accidente en aras de estimar daos, valorar prdidas y fijar la cuanta de las indemniza- ciones; o bien establecer el estado de salud financiero de una determinada organizacin empresarial objeto de auditoria. En el campo de la medicina y del diagnstico psicoeduca- tivo la triangulacin es un procedimiento que da garantas de que los indicios que se deri- van de los anlisis clnicos o las pruebas psi- comtricas apuntan todos hacia una misma direccin interpretativa que ha de orientar las intervenciones y tratamientos. Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 290 Los intentos de generar principios de pro- cedimientos amplios en el campo de lo social y cultural no son nuevos. A comienzos del Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm siglo pasado desde los mbitos de la Antro- pologa Social se formularon propuestas de este tipo bajo una denominacin comn de Mtodo Comparativo. Se suele admitir que Spencer, junto a Taylor y Malinowski inicia- ron con distintos matices el mtodo compa- rativo, consistente en la acumulacin de costumbres e ideas recogidas en diferentes lugares y procedente de perodos muy distin- tos, a fin de justificar esquemas de desarrollo a los que se haba llegado por una va ms especulativa (Mair, 1978). Las propuestas de Levi-Strauss (1975) con sus teoras sobre el estructuralismo suponen un paso significa- tivo en el intento de dotar de cientificidad a los estudios antropolgicos. Su aportacin principal es la comparacin estructural, con variantes en otros autores: comparacin controlada (Eggan, 1975) o la compara- cin constante (Glasser y Strauss, 1967). El mtodo comparativo en sus diferentes modalidades se ha transferido al campo edu- cativo con aportaciones centradas en la cons- truccin de teora local fundamentada, entre las que cabe destacar las aportaciones de Glasser y Strauss (1967), Ragin (1987), as como Ragin y Becker (1992). El mtodo comparado llega, incluso, a generar una rama propia en el seno de las Ciencias de la Edu- cacin denominada Educacin Comparada. En el campo educativo, es Denzin (1970) el primero en teorizar sobre triangulacin en aspectos tales como conceptualizacin, tipo- logas, rasgos y limitaciones y al cual, por ende, debemos la primera clasificacin al uso sobre esta tcnica de validacin de hallazgos mediante contraste y confrontacin. En la investigacin educativa, psicolgica y social, por su parte, la triangulacin es el procedimiento que permite aceptar como razonables las explicaciones sobre el com- portamiento y evaluacin de las personas y el funcionamiento de los grupos e instituciones.
2. PROCEDIMIENTOS DE TRIAN- GULACIN COMO RECURSOS DE CALIDAD DE LA INVESTIGACIN EDUCATIVA Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 291 En este contexto de legitimacin de proce- dimientos de validacin ante pares, fuentes, instrumentos, momentos, agentes, mto- dos, el cisma entre las aproximaciones cuantitativa y cualitativa ha sido preconizado por no pocas corrientes y autores a lo largo de las tres ltimas dcadas en base a la bs- queda de criterios de calidad que garanticen la veracidad y legitimidad de los hallazgos de investigacin. Los procedimientos de triangulacin en el campo de la investigacin en Ciencias Sociales han contribuido a su- perar la fractura paradigmtica o guerra de paradigmas (Feuer, Towne & Shavelson, 2002: 7) al ser asumido por la comunidad de investigadores que un rango de mtodos pueden emplearse legtimamente para cada tipo de preguntas y que la eleccin debe estar gobernada por el propsito y las circunstan- cias de la investigacin. Se asume as, que es posible describir el mundo fsico y social cientficamente, de tal manera que, por ejemplo, mltiples observadores pueden es- tar de acuerdo sobre lo que ellos ven. Se acepta que la investigacin cualitativa, el estudio de casos y la etnografa pueden hacer contribuciones valiosas a la investiga- cin educativa y que las evidencias que aportan los mtodos cualitativos caen dentro del rango de los mtodos que pueden consi- derarse cientficos (Erickson & Gutirrez, 2002:21). La ciencia social, y la educativa en particular, como formas del conocimiento humano operan mediante el establecimiento de categoras binarios, clasifican la realidad hasta reducirla a cdigos que a la vez que muestran y representan a la misma son capa- ces de limitarla y costreirla hasta lmites insospechados (Bericat, 1998:11). En este contexto biceflico o dicotmico habra que asumir dos tipos de consecuencias diferen- ciadas: a) no cabe mediacin entre las prcti- cas puras que han sido discernidas y, por Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm tanto, se ha de actuar optando por alguna de ellas sacrificando indefectiblemente la otra; b) cabe la dualidad y, adems, no se sacrifica ninguno de los polos. De estas dos opciones Ramos (1996:173- 174) deriva una serie de actuaciones: hacer a la vez lo uno y lo otro (compromiso), hacer lo uno y lo otro en espacios-tiempos sociales diferenciados (compartimentacin) y, final- mente, hacer lo uno y lo otro sucesivamente (oscilacin). Mas la interaccin no resulta fcil. Los procesos de permeabilizacin han encontra- do sus detractores a lo largo de la historia de la investigacin social. Ante el problema de la integracin paradigmtica se plantean di- versas posiciones bien delimitadas. Con Ar- nal, Del Rincn y Latorre (1994:38) desta- camos las siguientes: a) incompatibilidad de paradigmas (Smith y Heshusius, 1986), b) complementariedad de paradigmas (Cook y Reichardt, 1986) y c) unidad epistemolgica (Walkers y Evers, 1988). La primera posicin (incompatibilidad de paradigmas) forma parte de lo que Bericat (1998) denomina lgica segregacionista en la que aun aceptndose ambos paradigmas (cuantitativo y cualitativo) no se contempla ningn tipo de fusin entre ellos, sino que su actuacin se circunscribe a determinados problemas especficos de cada uno de ellos. Desde este posicionamiento la rigidez entre paradigmas es absoluta. Un mismo objeto de estudio A no puede ser abordado por los mtodos A y B, sino slo por el primero. Los mundos cualitativo y cuantitativo exis- ten, pero se obvian y trabajan en solitario. La segunda y tercera posiciones (comple- mentariedad y unidad epistemolgica) inte- graran lo que este mismo autor [1] denomina la lgica de integracin. En esta posicin no slo se reconoce el mrito de cada mtodo en su respectivo mbito, sino que, adems, se considera posible y fructfera su combina- cin complementaria para el estudio de mu- chos fenmenos sociales. La complementa- cin defendida y/o tratada, entre otros, por Cook y Reichardt (1986), Bryman (1988), J aeger (1988), Goetz y LeCompte (1991), Brannen (1992), Creswell (1994), Erzberger (1998), Flick (1998) o Kelle y Erzberger (1999) podra identificarse con lo que Beri- cat (1998) llama integracin en su versin atemperada. En ella se reconoce que la inte- gracin, al menos en algunos casos, es til y posible. En su versin ms radical es posible que toda pregunta o problema de investiga- cin sea abordado mediante un diseo mul- timtodo que conducira a resultados ms vlidos. Sin ser tan preciso, igualmente, resulta in- teresante la clasificacin que Morgan (1983) elabor sobre el marco de la actitud convi- vencial entre paradigmas. Este autor distin- gue cinco posiciones: supremaca, sntesis, contingencia, dialctica y todo sirve. Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 292 Bericat (1998) desecha las posiciones de la supremaca por reduccionista y la de todo sirve por su evidente ambigedad y falta de rigor. Retoma, sin embargo, las tres restantes (sntesis, contingencia y dialctica) para la va de la integracin. De hecho, este autor implementa lo que l denomina la legitimi- dad cientfica de la integracin materializn- dola en tres razones/vas para su consecu- cin: va de la complementacin, de la trian- gulacin y de la combinacin. Desde este posicionamiento existe complementacin cuando un mismo objeto de estudio es abor- dado mediante dos vas diferentes (cuantita- tiva y cualitativa) generndose dos productos distintos sobre dicho objeto. Se produce triangulacin cuando las orientaciones cuan- titativa y cualitativa se utilizan en el recono- cimiento de un mismo e idntico aspecto de la realidad social implementndose los m- todos de forma independiente, pero orienta- dos hacia una puesta en comn. Finalmente, se produce combinacin cuando subsidia- riamente un mtodo, sea el cualitativo o el cuantitativo en el otro, con el objeto de forta- lecer la validez de este ltimo compensando su propias debilidades. Un desarrollo ms Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm exhaustivo se puede encontrar en Morgan (1983), Bericat (1998) o Rodrguez (2003). Por su parte, Massey (1999:184) reconoce que algunos estudios que hacen uso frecuen- te de la idea de multiplicidad metodolgica incurren de forma sistemtica en errores conceptuales enmascarados bajo el trmino triangulacin. En la tabla que presentamos a continuacin (Tabla1), elaborada por Massey (1999) a partir de un anlisis emprico de los diferentes usos metafricos asignados al tr- mino triangulacin, resumimos un listado de concepciones errneas acerca de la llamada triangulacin metodolgica en la investiga- cin socioeducativa.
Tabla 1. Tipo de errores ms comunes en el empleo de la Triangulacin Metodolgica Error Tipo A.- Consiste en usar un segundo mtodo para demostrar la idoneidad del primero como prueba y re- quisito previo de veracidad. El caso ms extendido consiste en el empleo pruebas cuantitativas para validar hallazgos cualitativos. Error Tipo B.- Reivindica que el acuerdo entre los resultados de dos mtodos demuestra la validez del segundo mtodo tanto como el primero (el principio de mutua confirmacin, se conoce tambin como argumentacin cir- cular). Error Tipo C.- Presupone que a cada fenmeno o manifestacin social le corresponden idnticos significados. Error Tipo D.- Asume que el investigador puede llegar a transformar datos cualitativos en cuantitativos y vicever- sa tanto para escalas como para frases de respuesta a preguntas. Error Tipo E.- Asume que las proposiciones y respuestas obtenidas por diferentes mtodos pueden ser convergen- tes o divergentes, y por tanto, expresarse en trminos de acuerdo o desacuerdo. Error Tipo F.- Presupone que las fortalezas de un mtodo pueden suplir las debilidades del otro. Error Tipo G.- Afirmar que los resultados de una investigacin corresponden a dos muestras obtenidas de una misma poblacin sin que la lgica del diseo requiera una argumentacin metodolgica basada en la probabilidad y en la estadstica .
3. APROXIMACIN AL CONCEP- TO Y TIPOLOGAS BSICAS DE LA TRIANGULACIN EN LA IN- VESTIGACIN EDUCATIVA La triangulacin es un procedimiento heu- rstico orientado a documentar y contrastar informacin segn diferentes puntos de vista; de ah que se pueda hablar de diferentes tipos de triangulacin segn el foco de contraste: tcnicas, agentes, tiempos, mtodos, o tcni- cas de anlisis de datos. Denzin (1970,1978), a propsito de esta idea, contempla una clsica clasificacin que se articula en torno a cuatro tipologas bsi- cas. a) Triangulacin de datos.- Dicha triangula- cin est referida a la confrontacin de dife- rentes fuentes de datos en un estudio. La triangulacin se produce cuando existe con- cordancia o discrepancia entre estas fuentes. Adems, se pueden triangular informan- tes/personas, tiempos y espacios/contextos. b) Triangulacin terica.- Puede considerarse como una evaluacin de la utilidad y poder de diferentes teoras e hiptesis rivales en una misma investigacin. As pues, consiste en el abordaje de un mismo objeto de estudio desde distintas teoras. c) Triangulacin metodolgica.- Referida a la aplicacin de diferentes mtodos en la misma investigacin, ya como idntico mtodo em- pleado de forma reiterada en diferentes mo- mentos temporales, ya como diferentes mto- dos sobre un mismo objeto de estudio. Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 293 d) Triangulacin de Investigadores.- Dicha triangulacin equivale a lo que se conoce co- mo equipos interdisciplinares y consiste en la participacin de investigadores de diferentes disciplinas, perspectivas y experiencias en una misma investigacin, respetando las dis- tintas aproximaciones que stos realizan res- pecto de un problema. Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm En este sentido, J anesick (1994:217) aade a las tipologas abordadas una quinta triangu- lacin que denomina triangulacin interdis- ciplinaria (interdisciplinary triangulation), que bien podra identificarse con esta ltima versin. Cohen y Manion (1994:335) desta- can adems la triangulacin en el tiempo (inspirados en el uso simultneo de diseos longitudinales y transversales); y la triangu- lacin en el espacio (que superan las limita- ciones y barreras culturales de los estudios realizados en un mismo pas o subcultura y emplean tcnicas cruzadas de contraste cul- tural). Arias (2000) tambin destaca la aparicin de otra tipologa denominada triangulacin en el anlisis; aportacin sta que va a resul- tar crucial para nuestra propuesta de valida- cin por servir de elemento precipitante don- de desembocan el resto de tipologas para una comparacin final a partir de la cual se puede evaluar el grado de validez de un de- terminado estudio emprico. Con Arias (2000), podemos afirmar que la triangulacin en el anlisis es el uso de dos o ms aproximaciones en el anlisis de un mismo grupo de datos para propsitos de validacin. sta se hace comparando resulta- dos de anlisis de datos, usando diferentes pruebas estadsticas o diferentes tcnicas de anlisis cualitativo para evaluar en forma similar los resultados disponibles. Las posibilidades de triangulacin y con- traste en una investigacin educativa desde la triangulacin analtica se han estructurado en los ltimos aos en las propuestas conoci- das como Mixed Methodology. Este enfo- que ha tomado especial relevancia con las aportaciones prgmticas que segn J ohnson & Turner (2003), y Brannen (1992) aporta dicha estrategia, cuyas posibilidades de con- traste terico se resumen en dos opciones: a) Mixed Models. Mezclando acercamien- tos cualitativos y cuantitativos simultneos o paralelos a lo largo de todas las fases de la investigacin. Seis modelos mixtos ilustran estas opciones de investigacin en lo que respecta a este acercamiento simultneo, que deja fuera las opciones 1 y 8 por ser acerca- mientos monometodolgicos (J ohnson & Onwuegbuzie (2004:21):
Grfico 1 - Modelos mixtos
b) Mixed Methods. Desarrollando fases se- cuenciales de estudios cualitativos y cuanti- tativos o viceversa a lo largo del tiempo. Nueve diseos metodolgicos mixtos posi- bles de combinacin secuencial o concurren- te resultan de este enfoque derivado de las propuestas de Morse (1991) y adaptadas por J ohnson & Onwuegbuzie (2004:22): Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 294
Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm Grfico 2 - Mtodos mixtos
Nota: QUAL =Cualitativa, QUAN =Cuantitativa; la minscula denota un rango inferior de ese mtodo y la mayscula prioridad. El signo --> denota secuencia y el signo + concurrencia.
4. MODELO DE TRIANGULACIN COMO VALIDACIN ANALTICA POR FASES APLICADO A UN ES- TUDIO DE ENCUESTA El presente trabajo pretende mostrar una propuesta til de modelizacin emprica para la determinacin del grado de validez de un estudio sobre problemas asociados a la im- plantacin de un plan de estudios universita- rio. Es un hecho contrastado que la triangu- lacin como estrategia metodolgica puede resultar muy valiosa para el establecimiento de validez en los estudios empricos. Las estrategias de triangulacin permiten, por tanto, ejercer un control de calidad sobre los procesos de investigacin, ofreciendo prue- bas de confianza y garantas de que los resul- tados y hallazgos que all se proponen renen unos requisitos mnimos de credibilidad, rigor, veracidad y robustez. En todo caso, es necesario establecer pre- viamente qu fines o metas se quieren lograr con el modelo de triangulacin implementa- do. En este sentido, la mayora de autores (Erzberger & Prein, 1997; Erzberger, 1998; Kelle, 2001; Kelle & Erzberger, 1999; Kelle & Erzberger, 2003; J ohnstone, 2004) reco- nocen la existencia de tres modelos de trian- gulacin: 1) Modelo de Triangulacin como Validacin (The Validity Model) La triangulacin se convierte en la validacin mutua de los resultados obtenidos desde dife- rentes mtodos. En este contexto, los resulta- dos cuantitativos y cualitativos pueden y de- ben converger y llegar a similares conclusio- nes, razn por la cual se busca la convergen- cia como punto crucial de decisin. Los resul- tados divergentes deberan ser interpretados como indicadores de invalidez de una o varias de las metodologas desplegadas. 2) Modelo de Triangulacin Complementario (The Complementary Model) Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 295 En este modelo de triangulacin los resulta- dos cuantitativos y cualitativos pueden rela- cionar diferentes objetos o fenmenos de es- tudio y cada uno de ellos complementan al resto. As pues, la convergencia es vista en el modelo como un aspecto sin valor frente a las divergencias y contradicciones que indican Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm que los diferentes mtodos relacionan simila- res aspectos del fenmeno investigado. 3) Modelo de Triangulacin Trigonomtrico (The Trigonometry Model) En este modelo la triangulacin alcanza su sentido original, o sea, el que tiene en los campos de la navegacin, la topografa y lo- gstica castrense. De tal forma, que un fen- meno social determinado puede ser caracteri- zado desde un mtodo A a partir de de los mtodos B y C. Asumiendo el primer tipo de triangulacin (triangulacin como valida- cin) este es el modelo por fases para la vali- dacin de estudios empricos que proponemos siguiendo las recomendaciones de Onwueg- buzie & Teddilies (2003:351-383). Dicho modelo consta de 7 fases bien diferenciadas que para nuestro trabajo hemos reducido a 6 al combinar dos de ellas (3 y 4) en la ejempli- ficacin propuesta. Dichas fases son:
Figura 1. Modelo de validacin de hallazgos por fases mediante triangulacin analtica.
As pues, tomando como objeto de estudio una investigacin de encuesta y el modelo explicitado, estas son las fases desarrolladas: FASE 1: Puesta en marcha del proceso de triangulacin Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 296 El estudio implementado en dos cohortes diferentes de estudiantes universitarios que, para este estudio conformaron una sola muestra, consisti en la administracin de una escala de estimacin de 62 tems agru- pados en 9 metacategoras a 1315 alum- nos/as (cohorte 1) y 1263 (cohorte 2) de la Facultad de Ciencias de la Educacin de la Universidad de Granada con el objetivo de caracterizar el grado de importancia que di- cho alumnado conceda a una coleccin de desajustes relacionados con la implantacin de los nuevos planes de estudio. En cualquier caso, los datos procedentes de ambos aos se han analizado como un todo combinado, Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm razn por la cual no puede hablarse de trian- gulacin temporal. Sin embargo, la matriz resultante ha sido analizada mediante tres tcnicas de anlisis diferentes: Medias Arit- mticas (MA), Anlisis Factorial (AF) y Anlisis de Conglomerados (AC). Desde estas coordenadas, con Arias (2000), pode- mos hablar de triangulacin en el anlisis. La triangulacin en el anlisis consiste en el uso de dos o ms aproximaciones en el anli- sis de un mismo grupo de datos para propsi- tos de validacin de hallazgos. sta se hace comparando resultados de anlisis de datos, usando diferentes pruebas estadsticas o dife- rentes tcnicas de anlisis cualitativo para evaluar en forma similar los resultados dis- ponibles. Grficamente podemos representar nuestra propuesta de triangulacin de la siguiente forma:
Figura 2. Esquema del tipo de triangulacin desarrollada
FASE 2: Recogida de datos Como hemos sealado en el apartado in- mediatamente anterior hemos utilizado como tcnica de recogida de informacin una esca- la de estimacin de 62 tems con posibles respuestas de valores comprendidos entre 1: muy en desacuerdo hasta 5: muy de acuer- do. En cuanto a la muestra y procedimiento de muestreo, dicha escala (denominada PROAC- de problemas acadmicos-) fue administrada a las dos cohortes a un total de 2578 alumnos/as (1315+1263) de todas las titulaciones de la FCCE de la Universidad de Granada seleccionados mediante muestreo probabilstico estratificado en el que la titu- lacin y el curso actuaron de estrato primario y secundario respectivamente. FASE 3: Anlisis de la informacin reco- gida y clculo de estimaciones y tcnicas estadsticas Por la naturaleza de los datos recogidos, claramente cuantitativa, se han implementa- do diversas tcnicas de anlisis de carcter descriptivo y multivariante de interdepen- dencia, ms exactamente de agrupacin y reduccin de datos, a saber: Medias aritmti- cas, Anlisis de Conglomerados y Anlisis Factorial. Las caractersticas de las tcnicas multivariantes calculadas son los siguientes:
Tabla 2. Resumen de las principales caractersticas de las tcnicas de Anlisis Multivariante calculadas Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 297 ANLISIS DE CONGLOMERADOS ANLISIS FACTORIAL MTODO: Conglomerado J errquico MTODO DE EXTRACCIN: Componentes principales MTODO DE CONGLOMERACIN: Mtodo de Ward TIPO: Anlisis factorial de tipo exploratorio MEDIDA DE DISIMILITUD EMPLEADA: Eucl- dea cuadrtica MTODO DE ROTACIN: Varimax MTODO DE SELECCIN DE FACTORES: Criterio de Kaiser o todo l <1 eliminado Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm FASE 4: Proceso de clasificacin y etique- tado Una vez obtenidos los resultados estadsti- cos de los diferentes niveles (MA, AC y AF) del punto de triangulacin contemplado (triangulacin en el anlisis) los etiquetamos en dos o ms categoras en congruencia con el objetivo planteado. En nuestro caso, los criterios de clasificacin y las categoras contempladas son los siguientes:
Tabla 3. Criterios de clasificacin CRITERIOS DE CLASIFICACIN Y ETIQUETADO Medias aritmticas obtenidas por las categoras generales de las cohortes 1 y 2 (MA 97+98 ): Grupo 1. Categoras generales con mayor gravedad aquellas con una media 3 Grupo 2. Categoras generales con menor gravedad aquellas con una media <3 Clculo de Anlisis factorial a las dos matrices de datos de las cohortes 1 y 2 conjuntamente (cate- goras generales de la escala PROAC) (AF 97+98 ): Grupo 1. Categoras generales con mayor gravedad aquellas que integran el factor 1: Grupo 2. Categoras generales de menor gravedad aquellas que constituyen el factor 2 Clculo de Anlisis Cluster Jerrquico a las dos matrices de datos de las cohortes 1 y 2 conjunta- mente (categoras generales de la escala PROAC) (AC 97+98 ): Grupo 1. Categoras de problemas de mayor gravedad las que constituyen el cluster 2 Grupo 2. Categoras de problemas de menor gravedad las que configuran el cluster 1.
Establecidos los criterios de clasificacin para las 9 metacategoras contempladas se clasifican en uno de los dos niveles de gra- vedad propuestos, segn las tcnicas estads- ticas desplegadas. As obtenemos la siguien- te tabla clasificatoria:
Tabla 4. Resultados del proceso de clasificacin en el ejemplo propuesto METACATEGORAS MA c1+c2 AF c1+c2 AC c1+c2 PRO- PROFESORADO 2 2 2 ECA - ELECCIN DE CARRERA 1 1 1 GEA - GESTIONES ADMINISTRATIVAS 2 2 2 PRA - PRCTICAS 1 1 1 ALU - ALUMNADO 2 1 1 ASI - ASIGNATURA 2 2 2 HOR - HORARIO 2 2 2 PEA - PERSONAL DE ADMINISTRACIN 1 1 1 SEI - SERVICIOS E INSTALACIONES 1 1 1 1 >MAYOR GRAVEDAD; 2 >MENOR GRAVEDAD
FASE 5: Confrontacin y concordancia en- tre las clasificaciones acordadas en cada tc- nica estadstica A partir de aqu se han calculado diferentes ndices de concordancia entre las tcnicas de anlisis desplegadas. En este sentido, se han contemplado dos diferentes estrategias a la hora de implementar dichos coeficientes. As, si las comparaciones han sido por bino- mios se han calculado coeficientes Kappa de Cohen (Cohen, 1960), mientras que si se han tomado todas las estrategias de anlisis con- juntamente se ha calculado la concordancia cannica (Krippendorf, 1990). Los resultados de las comparaciones son los que proponemos a continuacin. En pri- mer lugar, mostramos los obtenidos por las comparaciones por binomios:
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 298
Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm Tabla 5. Resultados obtenidos por el coeficiente Kappa de Cohen y estadsticos complementarios. Pares de observadores (binomios de tcnicas estadsticas) Valor Kappa Error tp. asint.* T aproxi- mada** Sig. aproximada MA c1+c2 vs AF c1+c2 .78 .20 2.40 .016*** Ma c1+c2 vs AC c1+c2 .78 .20 2.40 .016*** AF c1+c2 vs AC c1+c2 1 .00 3 .003*** *Asumiendo la hiptesis alternativa. Medidas simtricas ** Empleando el error tpico asinttico basado en la hiptesis nula. *** Significacin estadsticamente significativa asumiendo un alfa bilateral de 0.05.
En segundo lugar, presentamos los resulta- dos obtenidos tomando ms de dos estrate- gias a la vez, es decir, los tres niveles simul- tneamente (tcnicas de anlisis de datos) teniendo en cuenta que partimos de la si- guiente matriz de datos:
Tabla 6. Matriz de partida para el anlisis de la Concordancia Cannica de Krippendorf PRO ECA GEA PRA ALU ASI HOR PEA SEI TOTAL MA c1+c2 2 1 2 1 2 2 2 1 1 AF c1+c2 2 1 2 1 1 2 2 1 1 AC c1+c2 2 1 2 1 1 2 2 1 1 n1 3 3 2 3 3 14 n2 3 3 1 3 3 13
Los datos de dicha matriz han sido someti- dos al clculo de la concordancia cannica en la modalidad propuesta por Krippendorf (1990), es decir:
Los resultados del ndice a de Krippendorf ascienden a un valor de 0,98, lo que trans- formado en porcentaje se convierte en un 98% de concordancia. Fase 6: Valoracin de la concordancia al- canzada y emisin de un juicio final Como bien puede apreciarse en una ante- rior tabla anterior (tabla 4) todos los valores de Kappa de Cohen que pueden considerarse altos. Desde esta perspectiva, podemos afir- mar globalmente que la magnitud de la aso- ciacin entre los diferentes binomios es im- portante y, por tanto, a tener en cuenta. Exis- ten numerosos estndares para interpretar los valores del coeficiente Kappa de Cohen (Landis y Koch, 1977; Fleiss, 1981), sin em- bargo, en lugar de una etiqueta interpretativa, Fleiss, Cohen y Everitt (1969) propusieron estimar el error tpico asinttico mediante la ecuacin de Fleiss (1981):
y probar la hiptesis nula Ho: k =0 con: Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 299
Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm Como puede apreciarse todos los errores tpicos asintticos obtenidos estn asociados a valores de T altos y estadsticamente significativos (p0,05), razn por la cual podemos afirmar que los tres valores de Kappa de Cohen obtenidos denotan una con- siderable concordancia que adems de alta es estadsticamente significativa. Por otra parte, el valor de Concordancia Cannica obtenido: 98% revela, adems, la alta concordancia entre las tres tcnicas de anlisis desplegadas simultneamente en un esfuerzo comn. 5. CONCLUSIONES El despliegue masivo de una coleccin de estudios (incardinados en una metodologa particular) y un conjunto de tcnicas (tanto muestrales, de recogida de informacin, co- mo de anlisis) con el fin de caracterizar un objeto comn puede considerarse como triangulacin mltiple. La experiencia que mostramos en este tra- bajo, sin embargo, slo se centra en un parti- cular tipo de investigacin (estudio de en- cuesta) y singulares tipos de recogida de in- formacin (escala de estimacin) y muestreo: probabilstico estratificado de tipo propor- cional. A cambio propone el anlisis de la informacin recopilada desde diversas fuen- tes de anlisis a fin de poder llegar a puntos de convergencia desde donde poder estable- cer convincentes argumentos de validacin. Guba y Lincoln (1985) denominaron a esto el criterio de credibilidad o isomorfismo entre investigacin y realidad. En este contexto, el modelo de validacin que proponemos desemboca irremediable- mente en el anlisis de la informacin a par- tir de la cual se modelizan categoras (bajo criterios guiados por la lgica) que finalmen- te se comparan. En el estudio que proponemos de ejemplo el fin es caracterizar el grado de importancia que un conjunto de desajustes asociados a la reforma de planes de estudio presentados en escala de estimacin tiene para una muestra representativa de alumnos de la Facultad de Ciencias de la Educacin de la Universidad de Granada. Para tal fin podran haberse des- plegado las tres tcnicas de anlisis que pro- ponemos de manera compartimental. Cada una hubiera llegado a conclusiones y hallaz- gos concretos y hubiera sido tarea del inves- tigador mostrarlos y reflexionar en torno a los mismos en el apartado de discusin. Esta estrategia, que Bericat (1998) denomina de complementacin, posee un grado de inte- gracin mnimo y su legitimidad se funda- menta en verificar el grado en que cada orientacin (o estrategia) es capaz de revelar diferentes e interesantes zonas de la realidad social. Sin embargo, su comparacin simultnea en el anlisis y posteriores resultados de se- mejante informacin puede resultar muy conveniente para consolidar las conclusiones que de la investigacin puedan derivarse. As pues, adems de aumentar el grado de inte- gracin, con relacin a la anterior propuesta, se pueden captar hechos semejantes de la realidad social desde polos opuestos. Si- guiendo, por tanto, la lgica de la integra- cin, en su versin atemperada o moderada, hemos tratado de establecer criterios de eti- quetado de las problemticas (en ms graves y menos graves) en cada una de las tcnicas desplegadas (medias aritmticas, anlisis factorial y anlisis de conglomerados o clus- ter). Una vez hecho esto, se han clasificado ca- da una de las categoras objeto de anlisis en uno de los dos criterios de etiquetado (ms graves/menos graves), tomando como indi- cador lo indicado por cada tcnica de anli- sis. Finalmente, hemos comparado por bi- nomios, as como globalmente la clasifica- cin que se ha hecho de cada categora por cada una de las tcnicas contempladas con el fin de establecer el grado de concordancia. Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 300 En definitiva, la valoracin de la concor- dancia alcanzada, tanto desde la perspectiva comparativa de los binomios, como desde las Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm tres tcnicas comparadas simultneamente a la vez, revela el alto grado de simetra o co- rrespondencia alcanzado por las tres tcnicas de anlisis implementadas (medias aritmti- cas, anlisis de conglomerados y anlisis factorial) en el objetivo comn de caracteri- zar el grado de importancia de los desajustes y disfunciones en las dos categoras propues- tas: menos graves vs ms graves. En sintona, pues, con la valoracin de los resultados obtenidos (fase 7) y, teniendo en cuenta el tipo de triangulacin de partida adoptado: como convergencia, podemos afirmar, por consiguiente, que el estudio de encuesta desplegado cuenta con un alto gra- do de validez si por sta entendemos la alta congruencia o correspondencia obtenida en- tre los diferentes niveles de triangulacin contemplados (en nuestro caso las tres tcni- cas de anlisis dispuestas). Probablemente, adems, la ms importante contribucin de este trabajo consiste en valo- rar empricamente la validez de un estudio de encuesta y decidir, en consecuencia, sobre su grado de credibilidad, o lo que es lo mismo, hasta qu punto el aparataje metodolgico desplegado (muestreos, instrumentos, anli- sis de la informacin) es capaz de generar un producto final que se aproxime lo mxi- mo posible a la realidad. De todos es sabido que el isomorfismo entre investigacin y realidad nunca ser acreedor de la perfec- cin. Sin embargo, contar con evidencias empricas sobre su grado de consecucin y valorarlo en consecuencia s que puede llegar a resultar muy til. 6. BIBLIOGRAFA Arias, M. (2000). Triangulacin metodolgi- ca: sus principios, alcances y limitaciones. Enfermera, vol. XVIII, (1), 37-57. Arnal, J ., Del Rincn, D. y Latorre, A. (1994). Investigacin educativa. Fundamen- tos y metodologa. Barcelona: CEAC. Bericat, E. (1998). La integracin de los m- todos cuantitativo y cualitativo en la inves- tigacin social. Significado y medida. Bar- celona: Ariel. Blaikie, N. (1991) A critique of the use of triangulation in social research, Quality and Quantity, 25, 115-136 Bolvar Bota, A., Fernndez Cruz, M. & Molina Ruiz, E. (2004, Noviembre). Inves- tigar la identidad profesional del profesora- do: Una triangulacin secuencial. Forum Qualitative Sozialforschung / Forum: Qua- litative Social Research [On-line J ournal], 6(1), Art. 12. Disponible en: http://www.qualitative-research.net/fqs- texte/1-05/05-1-12-s.htm [Fecha de acceso: octubre/15/2006]. Brannen, J . (Ed.) (1992). Mixing methods: qualitative and quantitative approaches. Aldershot: Avebury. Bryman, A. (1988). Quantity and quality in social research. London, New York: Routledge. Cea DAncona, M. A. (1996). Metodologa Cuantitativa. Estrategias y tcnicas de in- vestigacin social (1 edicin). Madrid: Edi- torial Sntesis. Chatterji, M. (2005). Evidence on What works: an argument for extended-term mixed-method (ETMM) Evaluation Desings. Educational Research 34(5), 14- 24. Cohen, J . A. (1960). Coefficient of agree- ment for nominal scales. Educational and Psychological Measurement, 20, 37-46. Cohen, L. y Manion, L (1994). Mtodos de investigacin educativa. Madrid. La Mura- lla. Cook, T. D. & Reichardt, Ch. S. (1986). M- todos cualitativos y cuantitativos en investi- gacin evaluativa. Madrid: Morata. Cowman S. (1993). Triangulation: a mean of reconciliation in nursing research. Journal of Acvanced Nursing, 18, 788-792. Cresswell, J . W. (1994). Research design. Qualitative and quantitative approaches. Thousand Oaks: Sage. Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 301 Creswell, J .W. (2002). Educational Re- search: planning, conducting, and evaluat- ing quantitative and qualitative research. New J ersey: Merrill/ Prentice Hall. Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm Denzin, N. K. (1970). The research act. Chi- cago: Aldine Publishing. Denzin, N. K. (1975). The research act. A theoretical introduction to sociological methods. New York: McGraw Hill. Denzin N. K. (1989). Strategies of Multiple Triangulation. The Research Act: A theo- retical Introduction to Sociological Meth- ods. New York: McGraw Hill. Eggan, F. (1975). La Antropologa Social y el mtodo de la comparacin controlada. En Llobera, J . (Comp.). La Antropologa como ciencia. Barcelona: Anagrama, 179-202. Erickson, F. & Gutirrez, J .K. (2002). Cul- ture, rigor and science in educational re- search. Educational Researcher, 31 (8), 21- 24. Erzberger, C. (1998). Zahlen und Wrter. Die Verbindung quantitativer und qualitativer Daten undMethoden im Forschungsproze. Weinheim: Deutscher Studien Verlag. Erzberger, C. & Prein, G. (1997). Triangula- tion: validity and empirically based hy- pothesis construction. Quality & Quantity, 31(2), 141-154. Feuer, M., Towne, L. & Shavelson, R.J . (2002). Scientific culture and educational research. Educational Researcher, 31 (8), 4- 14. Fleiss, J .L. (1981). Statistical methods for rates and proportions. Nueva York: Wiley. Fleiss, J .L.; Cohen, J . & Everitt, B.S. (1969). Large-sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72, 295-300. Flick, U. (1998). An introduction to qualita- tive research. Thousand Oaks, London, New Delhi: Sage. Flick, U. (2004). Triangulation. Eine Ein- fhrung. Weinheim: Deutscher Studien Ver- lag. Glasser, B. G. & Strauss, A. L. (1967). The discovery of grounded theory: Strategy for qualitative research. Hawthorne, NY: Al- dine Publishing Company. Goetz, J . P. & LeCompte, M.D. (1991). Qualitative research in social studies educa- tion. In J .P. Shaver (Ed.), Handbook of re- search on social studies teaching and learn- ing, a project of the National Council for the Social Studies. New York: MacMillan Publishing Co, 56-67. Guba, E.G. & Lincoln, Y.S. (1985). Natural- istic Inquiry. Beverly Hills. Sage. Grtler, L. & Gahleitner, S. B. (2005, Sep- tember). Conference Report: Fifth Annual Meeting of Qualitative Psychology "Quali- tative and Quantitative Approaches to Learning and Instruction" / First Meeting of the Special Interest Group #17 of the Euro- pean Association for Research in Learning and Instruction (EARLI) "Mixed Methodol- ogy in Psychological Research". Forum Qualitative Sozialforschung / Forum: Qualitative Social Research [On-line J our- nal], 6(3), Art. 33. Available at: http://www.qualitative-research.net/fqs- texte/3-05/05-3-33-e.htm [Date of Access: octubre/15/2006]. J aeger, R.M. (Ed.) (1988). Complementary methods for research in education. Wash- ington, D.C.: American Educational Re- search Association. J anesick, V. (1994). The dance Qualitative Research Design. In Denzin, N.K. & Lin- coln, Y.S. (Eds.), Handbook of qualitative research. London: Sage Publication, 209- 219. J ohnson, R.B. & Turner, L.A. (2003). Data collection strategies in mixed methods re- search. In Abbas Tashakkori & Charles Teddlie (Dirs.), Handbook of mixed meth- ods in social & behavioral research. Thou- sand Oaks: Sage, 297-319. J ohnson, B. & Onwuegbuzie, A. (2004). Mixed Methods Research: A research para- digm whose time has come. Educational Research 33(7), 14-26. J ohnstone, P. L. (2004). Mixed Methods, Mixed Methodology in Health Services Re- search. Practice Qualitative Health Re- search, 14: 259 - 271. Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 302 Kelle, U. (2001, February). Sociological Ex- planations between Micro and Macro and the Integration of Qualitative and Quantita- tive Methods . Forum Qualitative Sozialfor- schung / Forum: Qualitative Social Re- Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm search, 2(1). Available at: http://qualitative- research.net/fqs/fqs-eng.htm [Date of ac- cess: March, 02, 2005] . Kelle, U. & Erzberger, Ch. (1999). Integra- tion qualitativer und quantitativer Metho- den: methodologische Modelle und ihre Be- deutung fr die Forschungspraxis. Koelner Zeitschrift frSoziologie und Sozialpsy- chologie, 51, 509-531. Kelle, U. & Erzberger, Ch. (2003). Making inferences in mixed methods: The rules of integration. In Abbas Tashakkori & Charles Teddlie (Hrsg.), Handbook of mixed meth- ods in social & behavioral research. Thou- sand Oaks: Sage, 457-488. Landis, J .R. & Koch, G.G. (1977). An appli- cation of hierarchical kappa-type statistics in the assessment of majority agreement among multiple observer. Biometrics, 33, 363-374. Levi-Strauss, C. (1975). Las tres fuentes de la reflexin etnolgica. En J . Llobera, (Comp.): La Antropologa como ciencia. Barcelona: Anagrama, 15-24. Mair, L. (1978). Introduccin a la Antropo- loga Social. Madrid: Alianza. Massey, A. (1999). Methodological triangu- lation, or how to get lost without being found out. En Massey, A. & Walford, G. (Eds.). Explorations in methodology, Stud- ies in Educational Ethnography (vol.2, pp.183-197). Stamford: J AI Press. Disponi- ble en: http://www.freeyourvoice.co.uk/htm/triangu lation1.htm [junio,07, 2004]. Morgan, G. (Ed.) (1983). Beyond method: strategies for social research. Beverly Hills: Sage. Morse, J .M. (1991). Approaches to Qualita- tive-Quantitative Methodological Triangu- lation. Methodology Corner. Rev. Nursing Research, 40(1), 23-45. Onwuegbuzie, A.J . & Leech N. L. (2005). On Becoming a Pragmatic Researcher: The Importance of Combining Quantitative and Qualitative Research Methodologies. Inter- national Journal of Social Research Meth- odology, Vol. 8(5), 375 - 387. Onwuegbuzie, A. J . & Teddilies, C. (2003). A framework for analyzing data in mixed methods research. In In Abbas Tashakkori & Charles Teddlie (Dirs.), Handbook of mixed methods in social & behavioral re- search. Thousand Oaks: Sage, 351-383. Ragin, C. (1987).The comparative method: moving beyond qualitative and quantitative strategies. Berkeley: University of Califor- nia Press. Ragin, C. & Becker, H. (1992). What is a case? Exploring the foundations of social inquiry. New York: Cambridge University Press. Ramos, J . (1996). J ano y el ornitorrinco: aspectos de la complejidad social. En A. P- rez & I. Snchez, (Eds.). Complejidad y Teora Social. Madrid: CIS, 23-52. Rodrguez, C. (2003). Mtodos y estrategias de integracin de los paradigmas en investi- gacin educativa. En L. Herrera ; O. Loren- zo; M.C. Mesa & I. Alemany (Coords.), In- tervencin psicoeducativa: una perspectiva multidisciplinar. Granada: Grupo Editorial Universitario, 35-52. Smith, J .K. & Heshusius, L. (1986). Classing down the conversation: The end of the quantitative-qualitative debate among edu- cational inquirers. Educational Research, 15 (1), 35-45. Silverman, D. (1993). Interpreting Qualita- tive Data. London: Sage. Spradley, J .P. (1980). The ethnographic in- terview. New York: Holt, Rinehart & Winston. Vidich, A.J . & Shapiro, G. (1955). A com- parison of participant observation and sur- vey data. American Sociological Review, 20, 28-33. Walkers, R. & Evers, C.W. (1988). The epis- temological unity of educational research, In J .P. Keeves (Ed.). Educational research methodology and measurement: An interna- tional handbook. Oxford: Pergamon Press, 145-175 Zelditch (1962). Some methodological prob- lems of field studies. American Journal of Sociology, 67, 566-576. Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 303
Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm NOTAS [1] Bericat, E. (1998). La integracin de los mtodos cuantitativo y cualitativo en la in- vestigacin social. Significado y medida. Barcelona. Ariel.
ABOUT THE AUTHORS / SOBRE LOS AUTORES
Clemente Rodrguez Sabiote (clerosa@ugr.es). Doctor en Pedagoga y profesor asociado con la- bores de docencia e investigacin en la Facultad de Ciencias de la Educacin de la Universidad de Granada. Sus lneas de investigacin son la evaluacin de la calidad en educacin superior, educa- cin ambiental y los mtodos de investigacin y el anlisis de datos. Su direccin postal es Dpto. de Mtodos de Investigacin y Diagnstico en Educacin. Facultad de Ciencias de la Educacin. Campus de Cartuja s/n 18071 (Granada). Teresa Pozo Llorente (mtpozo@ugr.es). Profesora asociada y doctora en Ciencias de la Educa- cin desde 2001. Imparte docencia sobre Mtodos de Investigacin en Educacin Social y Eva- luacin de Programas, Centros y Profesores en la Facultad de Educacin de la Universidad de Granada. Su lnea principal de investigacin es el uso de metodologas de investigacin cualitativa en el estudio de trayectorias profesionales. Su direccin postal es Dpto. de Mtodos de Investiga- cin y Diagnstico en Educacin. Facultad de Ciencias de la Educacin. Campus de Cartuja s/n 18071 (Granada). Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 304 Jos Gutirrez Prez (jguti@ugr.es). J os Gutirrez Prez es Profesor Titular de Mtodos de In- vestigacin y Diagnstico en Educacin en la Universidad de Granada, Dpto, MIDE. Director del Secretariado de Evaluacin y Calidad en el Vicerrectorado de Planificacin, Calidad y Evalua- cin. Su lnea de investigacin principal es la evaluacin de programas y organizaciones. Su di- reccin postal es Dpto. de Mtodos de Investigacin y Diagnstico en Educacin. Facultad de Ciencias de la Educacin. Campus de Cartuja s/n 18071 (Granada). Rodrguez Sabiote, C., Pozo Llorente, T., Gutirrez Prez, J . (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2, p. 289-305. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm ARTICLE RECORD / FICHA DEL ARTCULO Reference / Referencia Rodrguez Sabiote, Clemente, Pozo Llorente, Teresa, Gutirrez Prez, J os (2006). La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investigaciones de rplica en Educacin Superior. RELIEVE, v. 12, n. 2. http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_6.htm. Consultado en (poner fecha). Title / Ttu- lo La triangulacin analtica como recurso para la validacin de estudios de encuesta recurrentes e investi- gaciones de rplica en Educacin Superior. [Analytical triangulation, a resource for the validity of re- current survey studies and reply researches in Higher Education] Authors / Autores Clemente Rodrguez Sabiote, Teresa Pozo Llorente, Jos Gutirrez Prez Review / Revista Revista ELectrnica de Investigacin y EValuacin Educativa (RELIEVE), v. 12, n. 2 ISSN 1134-4032 Publication date / Fecha de publicacin 2006 (Reception Date: 2005 December 21; Approval Date: 2006 November 8; Publication Date: 2006 November 16) Abstract / Resumen The triangulation understood as technical of confrontation and tool of comparison of different types from analysis of data (analytical triangulation) with a same objective can contribute to validate a sur- vey study and to harness the conclusions that are derived of it. In this article we develop a model of validation of findings by means of analytical triangulation to misalignments observed by two different generations of university students involved in the implantation of a new university curriculum. La triangulacin entendida como tcnica de confrontacin y herramienta de comparacin de diferentes tipos de anlisis de datos (triangulacin analtica) con un mismo objetivo puede contribuir a validar un estudio de encuesta y potenciar las conclusiones que de l se derivan. En este artculo se aplica un mo- delo de validacin de hallazgos mediante triangulacin analtica a desajustes observados por dos cohor- tes diferentes de estudiantes universitarios involucrados en la implantacin de un nuevo plan de estudios universitario. Keywords Descriptores Validity. Triangulation. Higher Education, Reply Research, Survey Studies Validez. Triangulacin. Educacin Superior, Investigacin de Rplica, Estudios de Encuesta Institution / Institucin Universidad de Granada (Espaa) Publication site / Direccin http://www.uv.es/RELIEVE Language / Idioma Spanish (Title, abstract and keywords in English )
Revista ELectrnica de Investigacin y EValuacin Educativa (RELIEVE)
[ ISSN: 1134-4032 ]
Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document). Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 305 Copyright, RELIEVE. Se autoriza la reproduccin y distribucin de este artculo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, nmero y direccin electrnica del documento).