Scribd Logo
Upload

Welcome to Scribd!

  • 2020-05-20 15-37

    Uploaded by

    Ricardo Venegas
    9 views27 pages

    Copyright

    © © All Rights Reserved

    Available Formats

    PDF or read online from Scribd

    Did you find this document useful?

    Is this content inappropriate?

    Report this Document

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    9 views27 pages

    2020-05-20 15-37

    Uploaded by

    Ricardo Venegas

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    of 27
    Métodos de: cuantitativa 91 El disefio de discontinui idad ; grama 0 procedimiento que se de la regresicn es gtip Administra sobre yet CUAndo se desea estudiar un pro- la base de alguna necesidad o mérito 2.3. Métodos no experimentates 23.1. Definicién y Caracteristicas nipulables. Se hacen infe; directa, de la variacién (Kerlinger, 2002:504), debido a que la naturaleza de las ver Participantes Iegan al investigador 2002:420). : En una investigaci6n no experimental o ex Postfacto no se constraye ninguna si- tuaci6n, sino que se obsérvan Situaciones ya existentes no Provocadas intencionada- mente por el investigador. En este tipo de itivestigacién, las variables independientes ya han ocurrido y no es posible manipularlas. El investigador no tiene control dirécto’so- bre dichas variables ni puede influir Sobre ellas, porque ya sucédieron al igual que sus efectos. i . Segiin esto, podemos deducir tres debilidades de la investigacién no experimental frente a la experimental: la incapacidad de'manipular variables independientes, la fal- ta de aleatorizaci6n y el riesgo de realizar interpretaciones inadecuadas 0 carencia de control, debido sobre todo a la posibilidad de que existan varias explicaciones para asuntos complejos. Estas limitaciones nos pueden: llevar a pensar que la investigacién no experimental es peor que la experimental; esto no seria correcto, lo asap cer las limitaciones y posibilidades de cada una de ellas para saber qué tipo de inve: gacién deberemos utilizar en cada problema en concreto. A pesar de sus debilidades, en educacién, sociologia hneeguiaad a = cantidad de investigaciones no experimentales, ai ciedo ade ‘algunas saisbles blemas que no se prestan al modelo experimen Ei Begala Colma’ to pose Portantes en estos 4mbitos, aunque Te a awoede con inteligencia, aptitud, rendi- existir una experimentacién verdadera = a averqu este Gpo de ivesigacén ene miento, antecedentes familiares, bata ide la vida real y naturales. un gran valor y relevancia en sit der, tal y como va a depen hey a caminos ¥ 108 Modelos expe” 0s ¢ . ene muchos CU de ellos es cotrecto aul cudles son sus diferencias y Tipos de dis izar alos disefios que no 12. de disetios : caracterizar a | ime son 23. ln no experimental Ol sido tinica ni exclusiva; en muchos peers ni cuasiexperimentales HP veces s¢ les denomina investigg. contexts se ula el tsmino conse ional, cada una de estas denoming. de campo, ida tipo encuesta, métodos Laces 1 i ciones con sus defensores ¥ det aracterizaciOn del conjunto de métodos de is como etiqueta para 1a sus disefios siguiendo a Sampieri por su qi. recogida de datos y clasificaremos so puntos en el tiempo en los cuales se ‘mensién temporal o el nimero de momentos © PI recolectan los datos. : i En algunas ocasiones, la investigacién se centra principalmente en analizar ae esel nivel, estado o presencia de una o diversas variables 0 la relaciGn de estas variables en un momento determinado del tiempo; puede ser eso mismo, pero a través 0 a lo largo de un tiempo determinado. Segtin esto, los disefios serdn transeccionales 0 longitudinales. ‘PDistits iiansectionalesY Estos disefios, también llamados transversales, recolectan datos en un solo momento en un tiempo tnico, Su prop6sito es describir variables y analizar su incidencia ¢ interrelacién en un momento dado; por ejemplo, determinar el nivel de formacién de los trabajadores de una cadena de supermercados, analizar la re- Jaci6n entre Ia autoestima y el temor de Jogro de atletas en un determinado momento de deportes de riesgo. __ Este Spo de disefio puede saat a varios grupos o subgrupos de Personas, objetos, situaciones 0 eventos; por ejemplo, estudiar el rendimiento de | UTSOS i de los centros de la Comunidad de Madrid, Te i. ‘Su representacién serfa la siguiente: aso, utilizaremos el término no ex. be = Recoleccién tinicg de datos. Métodos de exantitativa 93. concacionales caress 2 den vex, ex eplorors, dex y connotr aes seeclonales exploraories, Ea 7 de disefio tiene como objetivo imo de vcnbls, Se trata de una exponacion en tan, una variable 0 on- de otros disefios; ae ejempenan hart © poco conocidos veins pombe otros, 2003:272). 7 Ho de la moda en los adolescentes (Sampieri y meno 0 una situacién, describirla tal consiste en medir o ubicar a un grupo némenos en una variable o concepto estudio sobre cudl es la expectativa di su propia empresa. Y como su nombre indica, El procedimiento de personas, objetos, situaciones, contextos, fe- Y proporcionar su descripcién, Por ejemplo, un le sueldo de los jévenes emprendedores al crear Disefos transeccionales correlacionales-causales. Estos disefios describen la re- laci6n entre dos o més categorias, conceptos o variables en un momento determinado. Hay que hacer hincapié en que no se trata del estudio de variables o categorias indivi- duales, sino de sus relaciones, ya sean correlacionales o causales. Lo que se mide, ana- liza o evaltia es la asociaci6n entre variables en un tiempo determinado. A veces, en tér- minos correlacionales, X,—X,, es decir, estudiar la relacién que existe entre esas variables, y,otras, en términos de relacién causa-efecto, X,—>.X,, es decir, cuando una variable es la causa de la otra. La causalidad implica correlacién, pero no toda corre- laci6n significa causalidad. ‘“Pisenios longitudinales. Ese tipo de disefio se utiliza cuando el investigador quiere analizar cambios a través del tiempo en sus variables, sucesos o eventos. Estos disefios recolectan datos a través del tiempo en puntos o perfodos para hacer inferencias Tes- pecto al cambio, sus determinantes y consecuencias. Por ejemplo, estudiar cual es la evolucién.en el rendimiento de un alumno durante la ESO. Su representaci6n seria la siguiente: Tiempo 2 Tiempo 3 Tiempo n Tiempo 1 ™ edacliva: 0 . a» igen a su vere” disefios de tendencia, evolucig, “ « ginales 9 divi ase panel: ellos que analizan cambios a tra, grupo ¥ neral. Su caracteristica gi. dit rendencia- i6n get Disenios ion tro de alguns a erminas. Por ejemplo, estuin del tiempo en las VaRTO Centra en un nos ante los estudios durante la ESQ, atencisn vt ord de 10s a ar, Es decir, agin alumno de j tintiva es que 18 5 Jos cambios de actitud jacién pueden a a misma. iduos que 10 Jacion sigue § ESO puede cambiar, Pero Ia pob) estos diseflos examinan cambios g a oe 7 oe fficos. SU atenci6n son los cohortes través del tiempo en subpoblaciones alguna manera, generalmente la edad. Al iguay 0 grupos de a th individuo de la subpoblaci6n puede cambiar, pero la sub. ‘en el caso anterior, : foviacion en sf sigue siendo la misma. » a disefios son similares @ Jos anteriores, la di- Disefios longitudinales de panel. ESO observado (se recolectan datos a i jetos es medido i Se oe ee 1 0 is ss decir, no s6l0 las poblaciones o pos 0 momentos, no sol subpoblaciones siguen siendo las mismas, sino también los individuos que las forman, En los disefios de panel se tiene la vent taja de que; ademas de conocer los cambios gru- pales, se conocen los cambios individu jo que casos especificos introducen el cambio. La desventaja és que resulta ales sabiend muy dificil obtener con exactitud los mismos sujetos para una segunda medicién (Heméndez Sampieri y otros, 2003:285). 3. METODOS EXPERIMENTALES, CUASI EXPERIMENTALES FRENTE ‘ANO EXPERIMENTALES Los puntos de vista de los estudiantes de investigacién difieren ampliamente respecto os valores de Ia investigacién experimental y no experimental. Por un lado, estan los que exaltan la investigacin experimental y Subestiman la no experimental, y por otro, aquellos que critican la carencia de realidad de los experimentales; especialmente los de laboratorio. Dichas criticas, sobre todo en éducacién, enfatizan el valor y la relevancia dela investigacion no experimental én situaciones de la vida real y naturales. No exis- te un solo camino metodolégico hacia la validez cientifica, existen muchos. Los cami- nos deben elegirse por su adecuaci6n a los problemas bajo estudio. La ciencia tiene mu- chos caminos y los modelos tanto experimental como cu: i i experimental son h ; : ‘ asi experimental y 10 ‘perms lerramientas muy valiosas y ningtin tipo es mej otro. El diseiio a seleccionar en una investigaci6n va a depender del problema oe 4 a resolver y del contex- ‘toque rodea al estudio. Para hacer una buena 7 risticas de unos disefios y de otros: . cleceién debemos conocer las caracte- « En los disefios experimentales, el experi ocurra é timentador puede hacer 1 ‘pel que evento cuando lo desee, de manera observacion exacta. Que puede estar totalmente preparado para la ‘Métodos de inv cuantitatva + Puede repetir su observaci¢; bajo las mi ismas puede describir sus condiciey condici ia : ndic . liciones para su verificacion Plicarlas y reatizar una vefificnsigg eet nn y : los demas experimentadores a du- y icacién i : las condiciones sisteméticamente yo ereiete Soma enaianion, Fonte wnlar forma aislada, como se hace aud os un lado, el evento no ocurre naturalmente de tural siempre hay muchas ote cou 2 &l laboratorio, porque en el mundo na- ariables que influyen sobre él . + El control sobré las variables es més ri en los cuasi experimentales: a s iguroso en los disefios experimentales que a su vez, i : que en los no experimentales. ambos tipos de disefios logran mejor control fer encore se analizan relaciones puras entre variables de in- ei edn ccs Seen mee meee Precisién; en cambio, en Ia investigacién no experi- mental resulta mas complejo, separar los efectos de las miiltiples que intervienen. + En la investigaci6n experimental, las variables pueden manipularse por separado © conjuntamente con otras pata conocer sus efectos. + En la investigacion no experimental, el investigador no manipula las variables. Esta caracterfstica es la que hace a este método muy especial en el ambito edu- cativo, ya que hay ocasiones en las que el investigador no puede manipular o re- sulta muy dificil manipular las variables y hay que aceptarlas como se dan en la realidad, como, por ejemplo, la edad, la conducta, etc. Por lo que respecta a la posibilidad de réplica, los disefios experimentales y cua- si experimentales se pueden replicar ms fécilmente con 0 sin variaciones. Se re- plican en‘ cualquier lugar siguiendo el mismo procedimiento. Segiin Kerlinger (1979), en los éxperimentos, sdbre todo los de laboratorio, las variables indepen dientes pocas veces tienen tanta fuerza como en Ja realidad 0 la cotidianidad, es decir, en el laboratorio tales variables no muestran la verdadera magnitud de sus efectos, la cual suele ser mayor fuera del laboratorio. En cambio, en Ja investiga- cién no experimental estamos més cerca de las variables hipotetizadas como rea- les y, en consecuencia, tenemos mayor validez externa. Una desventaja de los experimentos es que normalmente se selecciona un ndmero “de personas poco o medianamente representativo respecto a las poblaciones aue se estudian, lo que dificulta la generalizaci6n de resultados a poblaciones més amp! Como conclusi6n, podemos decir que el disefio de se pose an = plan estruc- io de accin mediante el cual el investigador ue area war — problemas cientfficos planteados, y segiin se utilizarén jos u otros. 1, MEDIR DESDE EL ENFOQUE CUANTITATIVO. Recolectar datos implica tres actividades estrechamente vinculadas entre sf: * Seleccionar un instrumento o método de en el drea de estudio en el cual se enm mento debe ser valido y fiable, sultados. recolecci6n de datos entre los disponibles larque nuestra investigacién. Este instru- de lo contrario no podremos basarnos en sus re- + Aplicar ese instrumento 0 método de recoleccién de datos. * Preparar las observaciones, registros y mediciones obtenidas para ser analizadas. __ Para recolectar recoger datos, el investigador dispone de una gran variedad de téc- nicas 0 instrumentos. En el enfoque cuantitativo, se suele utilizar un instrumento que mida las variables de interés, y medir bajo esta perspectiva consiste en asignar mimeros a objetos o eventos de acuerdo con reglas. En las ciencias sociales, medir es el proceso de vincular conceptos abstractos con indicadores empiricos, el cual se realiza me- diante un plan explicito y organizado para clasificar los datos disponibles en términos del concepto que el investigador tiene en la mente. En el enfoque cuantitativo, aplicamos un instrumento para medir las variables con- tenidas en las hip6tesis. Esta medici6n es efectiva cuando el instrumento de recolecci de datos representa a las variables que tenemos en mente. Si no es asi, nuestra medicién es deficiente; por tanto, la investigacién no es digna de tenerse en cuenta. Hay variables que son dificiles de medir, como, por ejemplo, la motivacién, la inteligencia emocional; pero aun asi el instrumento de medida debe acercarse lo mas posible a estas variables y ser el adecuado. «Un instrumento de medicién es adecuado cuando registra datos ob- servables que representan verdaderamente los conceptos 0 las variables que el investi- gador tiene en mente. En términos cuantitativos: capturo verdaderamente la realidad que deseo capturar» (Herndndez Sampieri y otros, 2003:345). 2, REQUISITOS DE UN INSTRUMENTO DE MEDICION Tanto desde un enfoque cualitativo como cuantitativo, la medicién en general Tequiere que se contemple una serie de requisitos para que tal evaluacién Posea indices sufi- ientes de credibilidad y operatividad, entre ellos los més significativos son la confia- -fiabilidad y la validez. eens eee eee ee ee cent eee eee cee eee eee lidad y predictibilidad. Un segundo enfoque podria ser el que responderia a la siguiente py didas obtenidas con este instrumento de medici6n son realmente las ve cir, gaquello que medimos, sin entrar,en qué, independientemente de | midiendo con precisién? Esta es una definicién de la confiabilidad desi torsién. El tercer enfogue, harfa referencia al error de medici6n, es decir, se qué tanto de error de medicién existe en un instrumento de medicién medici6n son errores aleatorios y representan la suma de diversas caus causas estén los elementos, comunes del azar.o aleatorios, la fatiga mentdnea, las condiciones fortuitas que en un momento en particular : medido o al instrumento de medicién y otros factores que son temporal Dependiendo del grado en- que los errores-‘de medicién estén present mento de medicién, éste ser4 mas o menos fiable. La confiabilidad des se define como la ausencia relativa de errores de medici6n en un inst dici6n (Kerlinger, 1986:582). Al hablar de mediciones, nos referimos igualmente a los resultados a la informacién recogida por medio de un cuestionario o una entrevista observacién. Desde el punto de vista practico, puede considerarse la fia consistencia entre las puntuaciones que otorgan a una misma variabl rentes evaluadores 0 la persistencia de las puntuaciones cuando se aplic trumento de evaluaci6n en diferentes momentos. Por tanto, la fiabilida derse como la exactitud de los. datos en el sentido de su estabilida precision. Por ejemplo, si tenemos que medir la inteligencia de un grup obtenemos unos datos y un mes después pasamos en distintas ocasi instrumento alos mismos.alumnos y los resultados son distintos, ese ins! ria fiable; si, por el contrario, obtenemos los mismos datos en una segu ae ma ttuentine ace imnotrimeanin of carte fishia tabilidad, Fiabilidad, consis, 0 estabilidad Por ejemplo, Ias personas i este términ®, sin6nimos distorsion- " Con. son i falta oe ene predecible © fiabl, lo que ™ yo que hacen hoy y con jg ce ict ructividad, predic istente con cuyo comport consistent © rt outo lado, 1 personas est mes cder con las mediciones, SO tables erativamente predeciDles La definicién de: confiabilidad se puede seciza con a pregunta siguiente: si.s@ ie" weet anism instrumento de mediciOn» 9 ‘Bata pregunta se refiere al concepto.de confial lidad y predictibilidad. aquellas ente Sem ta siguiente SeMAPY Te son x i ° aquellas ¢UY® istinto a aN ables de una situaciOn a otra Son is 0 aria es ‘o son inestables ¥ reli ide el mismo conj obtendrfan i hho més variable; en unas o¢agic” inconsistentes. Lo mismo pueg, fativamehte impredecibles, de tres maneras. Un enfoque se sin, mnjunto de objetos una y otra ye, iguales o similares resultados ‘ilidad en términos de estabilidad, fiabj. nderia a la siguiente pregunta: las me. Un segundo enfoque podria serel due TEP mente las verdaderas? Es de. cir, gaquello que medimos, sin entrar en que, midiendo con torsién. El tercer enfogue, harfa qué tanto de error dem sferencia al, error, d isin? Esta es una definicién de lac qué, independientemente de lo que sea, se ests onfiabilidad desde la falta de dis. ie medici6n, es decir, se puede investigar ‘én existe en,un instrumento de medici6n. Los errores de medicién son errores aleatorios y representan la suma de diversas causas. Entre dichas causas estin los elementos, comunes del azar, aleatorios, la fatiga temporal 0 mo- menténea, las condiciones fortuitas que en,un momento en particular afectan al objeto medio 0 al instrumento de medicién y otros factores que son temporales y cambiantes. Dependiendo del grado eit qué los érrdres de medici6n estén presentes en un instru- mento de medicién, éste sera ins 0 menos fiable. La confiabilidad desde este enfoque se define como la ausencia relativa de errores de medicién en un instrumento de me- dici6n:(Kerlinger, 1986:582): Al hablar de medigiones, nos refer nos igual ite a los resultados de un test como a la informacién recogida por medio de un cuestionario o una entrevista o mediante una observacién. Desde el punto de vista practico, » Puede considerarse la fiabilidad como la consistencia er i bao mire las puntuaciones que oiorgan a una misma variable o evento dife- mismos datos en una segunda fase pasin- ese instrumento sf serfa fiable. ientos rks utilizados son mificn nula fiabilidad y | maxima fia- Test-retest. Este Método consi: , siste en apli ismo i mismo grupo de personas dos 9 aio Plicar un mismo instrumento de medi ain mos dicho, si la correlacién se sidera fiable; si, por el contrario, I instrume pri x abit 7 ae couriers Gable, Hay que tener en cuenta el perfodo de tiem- e ‘ento la primera vez y la segunda, ya que si el peri largo, la variable puede ser Susceptible de cambios, y si ce con, las personas ponte iproxima a 0, la correlacién es baja . La realizaci6n adecuada del procedi - uel procedimiento con: duce a dos mediciones por persona, las cuales, dadas en pares, se utilizan en una formula para calcular la correlacién que se denom nu ins feat ; fabilidad a través del ticoe ina test-retest y sirve para calcular la Método de las dos mitades. Consiste en di d r el.conjunto de ftem en dos partes y se comparan las puntuaciones de una parte y de la otra. Por ejemplo, se divide en total de ftem en pares e impares y se calcula la correlacién entre ambas partes. Este método requiere s6lo una aplicacién del instrumento. Si el instrumento es fiable, las puntuaciones de ambas mitades suelen estar muy correlacionadas. Un individuo con una puntuaci6n baja en una mitad debe tener una puntuacién también baja en la otra mitad. Método de;las formas paralelas. En términos de prueba, esto equivaldria a crear dos formas de la prueba que serian equivalentes, pero no idénticas, No se tratarfa del mismo instrumento de medicién; sino:dos 0 més versiones equivalentes de éste. Las versiones son equivalentes en contenido, instrucciones, duracién y otras caracteristicas. Las ver- siones se administran a,un mismo grupo de personas en un periodo de tiempo corto. Cada persona estaria sujeta a mediciones por medio de los dos instrumentos. Como re- sultado, cada persona tendria entonces dos puntuaciones y estos pares de puntuaciones serfan utilizados en una férmula para calcular la correlacién. El instrumento es vélido si la correlaci6n entre las dos mitades es positiva (Kerlinger, 1986:592). Coeficiente alfa de Cronbach, Este coeficiente requiere una sola administracién del instrumento de medicién y produce valores que oscilan entre Oy 1. Su ventaja reside en. que no es necesario dividir en dos mitades a los {tem del instrumento, simplemente se aplica la medici6n y se calcula el coeficiente. Coeficiente KR-20 de Kurder y Richardson. Estos autores desarrollaron un coefi- ciente para estimar la confiabilidad de una medicién cuya interpretacién es la misma. que la del coeficiente alfa (Hernandez Sampieri y otros, 2003:354). { Otro requisito de un instramento.de medida es la validez, La validez, en términos ales, se refiere al grado en que un instrumento mide la variable que pretende me- [a pdienGeo my «I unta zestamos mi , eMos, ; sinetizar e018 PTS a yiere medi 18 comprensi6n lector: di SP eB pret tuye solo elementos 3 Velocigas sche ena wd PUPS unque avira “fa muy bien 1a Velocidad lec Se, pra no 05 veld ae es 1o que él quiere imedir. Asi, una prueba qc”® ek Pe dendo la ccomprensiOn: 4 a mori, etc. Esto que en aparienc de inga 0 imeligenci® Y nola ¢ Pariencia og g'8y cia debe jables a medir S° complican, como puede ser la motiy, ci tos, es tanto ct. las emociones Una prueba es valida de acuerdo con el propos . ; jen la utiliza. Ciegn fico 0 préctico de quien la util ie, 5 diferentes ti ; La validez es un concept del que pueden tenense © ‘pos de ey} que es lo mismo, 1s sefialar distintos tipos de validez: la relacionadg ob tenido, con el criterio y CO el constructo. ON El cop, Validez de contenido. Este tipo de validez se refiere al grado en que un torflja un dominio especfico de contenido de 10 que s© mide. Es el grado" imedicdn representa el concepto ‘medido, Se puede definir también como ene tatividad 0 na adecuacién de muestreo del contenido, sustancia, materia 9 t Tepresen, instrumento de medida. Made up Cualquier propiedad educativa i bri 5 . posee un universo - Pedal cue a consiste en todas las posibles See el Shantenido dela po cad la propeda ‘A cada cosa que se dice u observa de esa pro} Wedad Observan ace. re que un instrumento de medida posea una alta "atid se le denomina tratar todos los reactivos de esa propiedad. Por ej ’ -Z de contenido de esté formado por los reactit . Por ejemplo, si el universo d ie ejemplo, en un test sobre vos 1, 2, 3, el instrumento debe tratarl le una propiedad de un punto de vista ee la prueba debe tratar t a todos. Asi, por mites para qu egal vlide de la personalidad; un tate factores que des- rultiplicaciones, etc. Cuantos mds de contenido debe tratar operaciones mate- seré la validez de contenido, eactivos de la propii pad ellas: sumas, restas, = @ estudiar trate, més alta tna Prueba o esc po de , ala valid del instrumento de a Criterio ex: ®Z Se estudia al com Podemos sefia cién con at 20: Cuanto més se rele Jas puntuaciones ée caractertsti lar dos ti » la validez . Telacionen los resultados terfstica que diferencia wos Validea de exter de criterio seré mayor a de otra io: la a . &s la dimensi Predictiva y la concurrente: L# én del ti te. tiempo. La validez p”* retest nen rare ava vente fija el criterio en el voto sobre un tema conereto que preteey de la eleccién (Bohmstedt, 1976) Page correlaciona su medicién con el criterie co la validez de i i a 1. . el criteri le criterio, el investigador ciente de validez, io exteno ig ¥ este Coeficiente se toma como coefi- gh significado» de as pracbas. Su interés por lo general esté centrado en las propie- le que en las pruebas utilizadas para lograr la medici6n. Por ejemplo, supongamos que un investigador desea evaluar la validez de constructo de una prueba para medir el rendimiento del alumno y que el investigador considera que aspectos como la tendencia voluntarista del alumno, llamémoslo 1; la capacidad del alumno, llamémoslo 2; con la motivaci6n intrinseca, 3, y con el estatus social, 4, son factores importantes del rendimiento y que la postura te6rica, producto de otras in- vestigaciones, fuese que ese rendimiento se correlacionara positivamente con 1,2 y 3 y negativamente con 4, entonces ese instrumento mediria en realidad el rendimiento. Si esto fuese asf, podriamos decir que ese instrumento tiene una buena validez de cons- tructo. El aspecto més importante de la validez de constructo, y que ademés la separa de otros tipos de validez, es su preocupacién por la teorfa, los constructos teéricos y la in- vestigacién cientifica empirica, incluyendo la comprobacién de relaciones hipotetizadas. La validez de constructo incluye tres etapas: 1. Se establece y especifica la relacién te6rica entre los conceptos. 2. Se correlacionan ambos conceptos y se analiza cuidadosamente la correlacién. 3, Se interpreta la evidencia empirica de acuerdo con el nivel en el que se clarifica la validez de constructo de una medicién en particular. En la validez de constructo es importante que haya un soporte a 7 sects ape esté fundamentado desde otras investigaciones que los conceptos esti poor 7 Cuanto més elaborado y comprobado se encuentre el rand teorieo a poy 7 potesis, la validacién de constructo arrojaré mayor luz sobre constructo un instrumento de medici6n. o procedimiento denoy, izarse imienti an COnOCIMIEMIOS eStadicg, 7 jidez es un requisito impresei nos decir ave 18 YT confiable, ha de ser vag jcién ¥ AUC lide de ‘contenido, en la validez de orig Pe entes en la valid®® 's. instrumento ha de ser la suma 4. 7 to. Ast, la anto mas altos sean cada uno de ellos, Ms a 3; cul “ ‘de medida. ACTITUDES stitud: escalas de puntuacion sumady ( Existen i escalas de actitud: est de panruacis ao isten tes tipos principales de &S". 4) escala de intervalos aparentemente igus, tlamads pe i ecules o de Guttman. ‘Antes de estudiar disti edir actitudes es importante que sep; ae i: oa Si eu forman. Veamos cada una de estas partey es una actitud y cuales son los elementos que la 3.1. Definicién, componentes y propiedades “Actitud es un estado de disposicion. psicolégica adquirida y organizada a través de Ia propia experiencia que incita al individuo a reaccionar de una manera caracte- ristica frente a determinadas personas, objetos 0 situaciones (Fernandez de Pinedo, ‘Aittp:// mtas.eslinshtIntp_015.htm); es decir, si la persona hace una evaluaci6n positiva hacia un determinado objeto, entonces su actitud hacia ese objeto es positiva o favorable, esperéndose también que sus manifestaciones de conducta (respuestas) hacia dicho objeto sean en general favorables o positivas, mientras que si la evaluacién es negativao €n contra del objeto, las actitudes serdn negativas o desfavorables. Teéricamente, se asu- me que una actitud no tiene s6lo una direcci6n, es decir, es favorable o desfavorable, sino que existen grados ubicados entre estos dos polos formando un continuo actitudinal. emma poalatiey innaias, sino que se forman a lo largo de la vida; no son di- bales 0 no verbal ae sino que han de ser inferidas a partir de ciertas respuestas Ve s del sujeto. Las respuestas mensurables de la actitud se llaman componentes y son tres: compo: i 7 nel eae te conductual. iponente afectivo, componente cognoscitivo y componen- Componente Cognoscitivo, ne int D . Viene defini Por el conjunto de datos e informacién que el sujeto sabe acerca del bieto del cual rst : i . . A detallado del objeto favorece 1a asociacién al objeto, “ Un i n diversas py nsidad (alta Topiedades entre las que destacan la di- de codificar las alternativ © baja), factores muy importantes a tener ‘as de respuesta, en cuenta a la hora. Tanto el concepto portantes a tener en cu escalas, tenemos las esc; mponentes que Ia fi i a que Ia forman son aspectos im- 7 ie 7 be ite claborar escalas que midan las ‘sctinades, Entre ests Po Likert, Thurstone, Guttman y diferencial sernéntice, de actitud como los cor lent 3.2. Tipos de escalas Existen miiltiples métodos para el andlis: - Jen formas de concebirias, Amie ge isis dela actnudes al igual que existe diversas i ‘poner las escalas anteriormente ci - cordar los tipos de escala que miden el com citadas, conviene re- 7 cala que iponente afectivo de la actitud. Segdin la ti- Pologia de Stevens, distinguimos cuatro tipos diferentes de escala, 7 Nominales. Consisten en la clasificacién de algtin objeto en dos o més categorfas (Por ejemplo, SI/NO). En este tipo de escala, el orden de las categorfas carece de im- Portancia, pues lo tinico que nos proporciona es la equivalencia de los individuos en la Telaci6n de los objetos. De este modo, no podremos diferenciar a los individuos en base al grado en que poseen un atributo, s6lo sabremos si lo poseen o no. Por ejemplo, en una escala para medir la motivaci6n (suponiendo hipotéticamente que la motivacién sea escalonable nominalriente) nos dirfa si los individuos poseen el atributo motivacién o no Io poseen, pero no en el grado en que-lo poseen. Ordinales. Recordemos que esta escala se basa en el orden de los objetos. Aunque No nos aporta ninguna idea sobre la distancia que existe entre ellos, nos permite clasi- ficar a los individuos en funcién del, grado en que poseen cierto atributo. Por ejemplo, con respecto a Ja temperatura 40 °C no el doble de 20°C, pero si nos indica que es una temperatura mds alta. Esta escala nos permite ordenar aunque no dispongamos de una unidad de medida para saber las distancias que separan a los individuos. De intervalo. Con esta escala sabemos las distancias, pero no el principio métrico sobre el que se han construido los intervalos, es decir, podriamos suponer que los in- tervalos son iguales. Por ejemplo, las distancias de un metro son centimetros iguales unos a otros, pero lo que no lograrfamos seria fijar un punto cero y estar seguros de que una puntuacién 2 es dos veces una puntuacién 1. De proporcién. Con estas escalas logramos construir intervalos iguales y ademis si- tuar un punto cero en la escala. 3.3. Escala tipo Likert Para medir un objeto se requiere una escala de medida, Definimos escala como serie de ftem, entendiendo por {tem una frase 0 proposicién que expresa una idea po- nos interesa CONOCET, que han g, aque nos nan criterio VAlido, Fabs ue coms forma 4! ‘108 sociales. En nuestro caso, este tense Rensis Likert al principio de una a k D i ocala ipo Likert FUE desare ia My medicion de las acttudes. Se waa iL endo una d& Jas més ur yonde ‘todos los reactivos son considerados con, 7 ty erin, eaios de actitud d vial y donde cada uno de los participantes sefi, * 4 nte ig a ‘ada por un conjunto de item presen sac Ue te los cuales los sujetos tienen que manifestane Fra de afirmaciones 0 juicios significa que 12S puntuaciones de los reactivos g¢ forms Mn sala. ati 10 de SI acin de acttud del individuo. El prop 7 cha scala 2 a mmmada es ubicar a un individuo en algdin punto del contin, sen el de acuerdo de a actitud (Kenlinge 2002:645). i le pide que extreme su r is ado se le presenta una afirmaciOn y S¢ Teaccigg oa ido uno de Jos cinco puntos de la escala (muy de acuerdo, de acuerdo, indecisg, en desacuerdo, muy en desacuerdo). A cada punto se le asigna un valor numérico, |, suma algebraica de las puntuaciones de las respuestas del individuo a todos los item es su puntuaci6n total, que se entiende como representativa de su posiciOn favorable-des. favorable con respecto all fenémeno que se mide. Esta escala asume un nivel de medida ordinal, de tal forma que los sujetos son onde- ‘nados en la escala en funcién de su posicién agradable o desagradable sin que aporte nin- gun ies van la distancia que existe entre ellos, es decir, si una persona obtiene una pun- tuacién Puntos en una escala no significa que su actitud ante el fendmeno medido pertetosia on de otro individuo que haya obtenido una puntuacién de 30, pero si nos que el de 60 puntos tiene un actitud més favorable que el de 30. Laconstruccién de la escala comporta los siguientes pasos: 1. Definici6n del objeto actitudinal: 2. Determinar la categoria de los ftem, 3. Administracién de la escala a una muestra -presentati a . 4. Anilisis de los item, A una revisi6n bibliogréfi ca, asi como de la ¢ ‘onsulta de otros Serie de ftem relacionada con la actitud que queremos medir y se i Tecogen aquellos 4 aq expresan una actitud claramente agradabl os los ftem estén form luli Pos lados de forma posit, © desagr radable, No es necesario que Podrén combinarse entre post Jnstrumentos ida vos y negativos, pero descartando | Seéas deed cnt so lo le, itud ni favo Artando los tit ' rable ni desfavorable, US. €8 decir, aqueltos que no d Ejemplo: == Los profesores no dedican tiempo 4 hablar con 1 ‘on los alumnos. 7 Aunque no es estrictamente nece, ario, -m sea favo- iq Sario, conviene que la mitad de los {ter fi a fave rable y la otra mitad desfavo rable. Se aconsej vorables y los de Aconseja preser en la eleccién. EI siguiente paso seré determinar la categoria de los fem, Tal y como hemos dicho, Ts as afirmacior itiva y desf. n mes pueden tener una direccit ps i ate lobe ° negativa. Si la afirmacién es positiva, agit gece eaten © actitud, y cuanto més de acuerdo con la afirmacién estén los i Serd més favorable. En este caso, la codificacién seria: (5) Muy de acuerdo. (4) De acuerdo. (3) Indeciso. (2) En desacuerdo. (1) Muy en desacuerdo. Es decir, estar mds de acuerdo implica una puntuacién mayor. Si, por el contrario, la afirmaci6n es negativa, significa que califica desfavorable- mente al objeto de actitud, y cuanto més de acuerdo estén lo sujetos con la afirmaci6n, su actitud es menos favorable, es decir, ms desfavorable. En este caso, la codificacién seria: (1) Muy de acuerdo. (2) De acuerdo. (3) Indeciso. (4) En desacuerdo. (5) Muy en desacuerdo. El siguiente paso seré la administracion dela escala a Sd a tiva. Es decir, se selecciona un grupo de sujetos similar a aquel que se vient a pica la escala. Estos responden eligiendo en cada ftem Ja alternativa que nee ae posicién personal. Obtendremos para cada sujeto i Duntuacicn global qi ita estimar la posici6n del sujeto en un continuo hipotético. -entos aplicables en esta face, xisten 48 entre cada puntuacién total La jaciones ientras que |. Asiiisis 3° 9 de 1as COMES sir del item, mu UE as eleva My ar nel a a presen ante para a conduct xy joes a 100 de los sujetos con puntuaigg ionar €125 POF ig. Se analizan si existendiereya forma puntuaci6n os grupos para cad uno de los gig. 8 25 pom significatl e aM Oe ficativas, el elemento se incly, ; jiferenciet sient. cl ftem se elimina, "is, tras que si selecciona e] namero de ftem deseado para lee, Ips criteris antes dicho, qUE 8 mitad de la escala exprese yy __ Con bs ei tly como i a ‘favorable. El ndimero de item suc oscar 7 Ja otra sici6n favorable Y quince ¥ aplicar una escala ipo Likert: re oe eta trega la escala al jente y SPeCtO a cada a, : se le entre? i 6n o respuesta. La segunda forma 5 mejor describe su reacclo ada eh maci6n la categoria que me} tador lee las afirmaciones y alternativas de respuestaal y, conteste. Cuando se aplica via entrevista, ¢s necesario que s_ de se le muestre a éste las alternativas de rs. entregue is una tarjeta dont puesta 0 ote (Heerndndez Sampieri y otros, 2003:379). 3.4, Escala tipo Thurstone Las escalas de intervalos aparentemente iguales de Thurstone logran escalar los reac tivos dela acitud. A cada registro se le asigna un valor de escala que indica la fora za de la actitud de una respuesta de acuerdo con el reactivo. El universo de reactivos considera un conjunto ordenado, es decir, los reactivos difieren en su valor de escala EL propésito de esta escala es escalar los estimulos que se presentan a lo largo de un cor tinuo desde los més favorables a los menos favorables. on una escala de actitud tipo Thurstone, sefialaremos los siguientes pagnran de la variable. Se trata de especificar lo mas claramente poste chico ha decane a oe que queremos medir. Al igual que en la escala Likert ¥sin ambigi nado con nuestros objetivos. Conviene formularlo con ¢ 7 et Para obtener una buena escala que mida lo que quiere medit. . serd la recoleccién ji pura laconseucion dele noe de enunciados. Se trata de recoger infor™ . Para cube 2 Componer la escala. La escala reque® inten Cubrir toda la gama, que va desde los muy amos medir la actitud hasta los muy f= Conseguir Por diferentes métodos: a través de lal de dato. tise sobre el tema; a través de una entreyi a ; representativa y la propia intuicion del yor im cual Westipader ie Persona que consideremos La selecci6n de los item en > nuestra escala, Esta seleccidn se nv ist® Previa es el {scala. Dicho filtro ha de tones geal Primer tee Pago ena consruceén de SFamatcales de los item, sa ne Ue Sobre todo, tas earners tos ftem de ta cturaIogica y sus earacteriatiows areal El recurso a los jueces es la ican generale, formaciGn redundane, Se trata de casifcr lo henson eres los {tem en una escala imaginaria que re- ta la variable acti i oa — aa pete fa cane de su grado de favorabilidad-desfavorabilidad de a aa ected bee ee cers Personas (ueces). A éstas no se les pide que mani- fieste1 ee ine que les presentamos, sino que nos digan si cada ftem — ‘rable 0 desfavorable y no la actitud de la persona juez hacia Calculo del valor escalar de cada item, El valor escalar de un enunciado en una escala Thurstone (el lugar que ocupa en el continuo de la escala) viene dado por la me- diana de las respuestas de los jueces a dicho enunciado, es decir, por la medida de ten- dencia central que deja la mitad de los individuos de 1a distribucién a cada lado. El siguiente paso ser la depuracién de la escala mediante el criterio de ambi- giiedad. No todos los jueces colocan el enunciado en el mismo intervalo. En la medi- da en que los jueces concuerden mAs en sus colecciones, el item seré menos ambiguo. Esto se resuelve mediante la desviacién cuartil: un {tem seré menos ambiguo en tanto en cuanto su desviacién cuartil sea menor. El Giltimo paso seré la seleccién de enunciados uniformemente distribuidos. Si por ejemplo, construimos una escala a partir de once intervalos, lo ideal es una escala oon veintidés ftem, es decir, dos item por intervalo situados preferiblemente en sus I~ mites y en su centro. Una ver elegidos los enunciados que formarén parte de Ia escala, se crea Ia misma hemos elegido. A los sujetos sélo se les pedir que mar- y se distribuye a la muestra que quen con una sefial Jos enunciados con los que estén de acuerdo, Como nosotros co- alar de cada uno de ellos, la medida de la actitud de cada indi- nocemos ya el valor esc: viduo ser la medida de los valores escalares (Elejarrieta-ffiguez-Tramunt, 1984). de los {tem con los que est de acuerdo 3.5, Escala de Guttman yjunto relativamente pequeiio de re- idimensionales. Una escala unidimensional mide una va- su nombre de la relacién acumulativa entre los reac- La escala acumulativa 0 de Guttr activos homogéneos que son unt rable y sdlo una. La escala obtiene “SS — L basa gain esa 2 B88 60 ling fe intensidad de Ia actitud, me sooes wots de 108 jos y las poneusci0nes OH regida I sivas y as Pom an en mayor Me” uaba aun individuo dentro de un py nt It algunos ftem al " Hemos visto come tweet de eae rida en el continuo aun eactiygs oe q de Thurston® a los estimulos 0 reactivos oy sen continua; I esl 2 Tr ara los sujetos con delo de Guttman permite a 7 ibilidad de ordenar los est fue era posit 8 estima, Laiidea en Ia que 5° sd corecaent® ‘a uno de ellos, Io habra hechy tal forma que si Un nord situados Por debajo de dicho estimulo en Ia escala_ real bia a todos los que °° acumulativa de diez ftem el encuestado marca un 4, eo ier weirmaciones; si marca un 8, dey mgverdo con 1as cuatro PFTIETS it Jo que se le llama modelo i acuerdo ‘ocho primeras. A esto es & ident estar de con las prim ftem que corresponda con este esquema, te un re este esquema acurulativo en Su forma perfecta aminar como de estrechamente a pease, ara vez enconrareios ese SCT fanto, usamos el andlisis de escalograms -c6mo dl Me acumulatividad ideal. Un ejemplo de ese, po de ftem se corresponde con esta idea Pe Cumulativa ideal ser‘a la siguiente (+ significa favorable y — desfavorable): Elementos Sujets 1-2 «0-3 4 «5S Pumtuacign A + (+ # + # 5 a ee 4 Cot t+ tof 3 D+ #.5 - = 7 Bott etree 1 Fo o- - = 7 7 0 Puntuacionitem 5 4 3 2 4 El sujeto que marca posit Positivo el element gue marca el 4, lo hard también en el 3, a ldeniaetes en los inferiores: 2, el EI problema esté en determi sta el 5, lo harden el 4, 3, 2, 1, et vedan terminar c del att de apes Thies ge cL marzen de desviacién permitida par cue | sputestas obtenides 0, para | que determinar 7 si al a con respecto al modelo ideal | tizar que la escala cumple las errores es lo suficie ; por ello, To que hay 7 ente bajo como para garal Gui 7 ijarro-Ballesteros Velézquez, 2001345), del modelo acumulativo ideal (De La Que OS a de datos ded et enfoqu cuantitativo 113 Un ejemplo de error SOM FESPECIO A Ia escata ideal Elementos Serfa el siguiente: Sujetos 1 203 Ae 4] 4 5 Puntuacién B 7 5 * le tie e ; CF ee L Dee lf 3 E a 2 Fon] 7 1 Lior 0 seePeCREE SER Sena Puntuacionitem 5 3 2 4 4 Segtin la escala ideal, si el sujeto A contesta afirmatv cca timate dent ii comprobar que No es asi, a esto es a lo que se le considera un error. Asi, el sujeto A tie- ne un error; el B tiene dos errores; el C no tiene ningtin eror, por Io que se ajusta ala escala ideal; el D tiene dos errores; el Ey el F tampoco tienen erroree, también se aus. tan a la escala ideal, El total de errores en la escala es de 5. ; _ Uno de los procedimientos para controlar el margen de desviacién permitida con respecto a la escala ideal es el coeficiente de reproductividad; dicho coeficiente esta- blece una proporcién entre el mimero de errores y el niimero total de respuestas. Si el coeficiente es igual o superior a 0,90, se considera que la escala cumple los requisitos de laescala acumulativa perfecta. Para construir la escala como en las anteriores, comenzaremos por: Definir el objeto, que ha de estar de acuerdo con la investigacién; por ejemplo, la igualdad entre los sexos. Desarrollo de una larga lista de item que reflejen el concepto. Valoraci6n de un grupo de jueces en términos de cémo de favorables son con el concepto que hemos elegido: ellos darfan «si» siel {tem supone una actitud fovorsble ia la i i f. de las creencias de los hacia la igualdad entre sexos y un «no» si no es asf. No se trata r ; jueces sobre el tema, sino que lo que deben juzgar es la propia afirmacién en relacién a la cuestién objeto de estudio. Desarrollo de la escala acumul bla que muestre las respuestas de todos | ordenar la matriz de forma que los que hayan lativa. Para ello, debemos construir una matriz 0 ta- jos que han contestado a todos los ftem. Se debe ‘manifestado su acuerdo con un mayor ni- a enla superior ¥ los que hayan manig > ne Ta parte inferior. ie ados los item, se le pre, 0 sso ver seteccion excala. UBB VT’ con los QUE estd de acuerdo, Can’ ag, is ae te seal 34 ido ir del andlisis del ¢ tm ita obteni is del es coest2d0 Tit seri cet ‘sumamos los valores de dads & scala ik 0 de par co pane acuerd! hy hem con aot ood y Tanne! 368 ei esaroiad0 OF SEO Y nbau (1957) B giferencial semantico fue ; hoy dia consiste en una serie de adietives Op, imensiones 41 27 stud ante 10S issales se solicita la reacci6n del suis eal je de actitud COM cconjunto de adjetivos bipolares; entre o bay jones y el sujeto selecciona aquella que oak ‘yor at varias OPC) Ejemplo = i eT El liso ae Amar Los adjetivos son extremos y entre ellos hay siete opciones de respuesta. Si el sujgy dera que SU actitud esta muy estrechamente, relacionado con los extremos (MR) sesalaré con X la posicion més cercana al extremo correspondiente; si lo considera es trechamente relacionado (R), sefialard el tramo siguiente, dependiendo del extremo, Jo considera mediano (M), seré el tramo siguiente, y si lo considera medio, la seftal oa. paria una posicién neutral (N), igual en ambas direcciones. Amargo te 6 Be ae BUR Lacuantificacién de la escala Tissaioae di fos puede ser de distintas formas. Una de ellas puede sede! sponde a un extremo y el 7 al otro extremo, y otra de3a __ Amargo Dulce. oe 7 st 3 : S 4 3 2 1 nr Seer La puntuacién del i 11 al7 es = Bativos, la més utilizada, ya que evita trabajar con ndimer0s Para Ja construcci . ccién de la car el obj escala det ; / calas eee medicién de to S, al igual que en las escalas anterior . siguiendo los mismos pasos ae @@ q Ln a ee SES GQCUVOS DI al objeto de actitud a medir. No hay un limite exacto de evantos adjet ar la escala. El inyestigador deberd decidir teniendo i tatividad del contenido. encuenta is ble conform Ja represen| Construir una versién preliminar de la escal: ‘ini sujetos 2 manera de prueba piloto. hee Correlacionar las respuestas de los sujetos i r para cada de adj se ha de correlacionar un ftem con todos los demas (cada per de adje! resto). Calcular la confiabilidad y la validez de 1a escala total (todos los pare Seleccionar los item que presenten correlaciones significativas ftem. Se seleccionardn aquellos en los que la correlacién sea significat Desarrollar la versién final de la escala! Se confecciona la escala Ilos que tienen una correlaci6n significativa. Su interpretacién depende del ntimero de item o pares de adjetivos. califica el promedio obtenido en la escala total: Puntuacion total Niimero de item 4, EL CUESTIONARIO 4.1. Definicion , Una de las técnicas de recogida de datos mas usual es el cuestionar finir como una técnica estructurada que permite la recogida rapida formaci6n mediante una serie de preguntas orales 0 escritas que det trevistado con respecto a una o més variables a medir. El cuestionario ha de cumplir la funcién clave de servir de nex objetivos de la investigacién y la realidad de la poblacién encuestad tionario deber4, por una parte, traducir en sus preguntas los objet ci6n, y por otra, suscitar en los encuestados respuestas sinceras y cién podré ser clasificada y analizada posteriormente (De Lara Velazquez, 2001). Los cuestionarios pueden ser monotematicos o politematicos, studio desde una o varias problematicas con respec un objeto de e: Ja facilidad rias variables a medir. Tiene como ventajas la rapidez, sibilidad de ser constatado por muchos sujetos. Los inconvenient falta de sinceridad, la adecuacién al léxico, la superficialidad y reennectac en lac nrecuntas abiertas. Ansrunentosyrecopia de dat deste efique cuantitativo U5 imer paso seré eae eee paso! — lista de adjetivos bipolares exhaustiva y aplica- eA par a escala. El investiga: ume exact de cuantos adjetivos debersn conformar la es¢ 'gador debera decidir teniendo en cuenta la suficiencia y Ja representatividad del contenido, Construir una versiGn preliminar de la escala ini sujetos a manera de prueba piloto, y la administramos a un grupo de Correlacionar las respuestas de los Sujetos para cada par de adjetivos offer: se ha de correlacionar un item con todos los dems (cada par de adjetivds contra el resto). ‘Calcular la confiabilidad y la validez de la escala total (todos Jos pares de adjetivos). Seleccionar los item que presenten correlaciones si - r ignificativas con los demés tem. Se seleccionarén aquellos en los que la correlacién sea significativa. : Desarrollar la versi6n final de la escalai Se confecciona Ia escala final con aque- Ios que tienen una correlaci6n significativa. Su interpretaci6n depende del niimero de ftem o pares de adjetivos. En ocasiones, se califica el promedio obtenido en la escala total: Puntuacién total Niimero de item 4, EL CUESTIONARIO 4.1. Definicién Una de las técnicas de recogida de datos més usual es el cuestionario, Se le puede de- finir como una técnica estructurada que permite la recogida répida y abundante de in- formacién mediante una serie de preguntas orales 0 escritas que debe responder un en- trevistado con respecto a una o més variables a medir. El cuestionario ha de cumplir la funcién clave de servir de nexo de unién entre los objetivos de la investigacién y la realidad de la poblacién encuestada. Por tanto, el cues- tionario deber4, por una parte, traducir en sus preguntas los objetivos de la investiga- ciGn, y por otra, suscitar en los encuestados respuestas sinceras y claras cuya informa- cin podr ser clasificada y analizada posteriormente (De Lara Guijarro-Ballesteros Velazquez, 2001). Los cuestionarios pueden ser monotemiticos 0 politematicos, segin intenten cercar un objeto de estudio desde una o varias probleméticas con respécto a una variable o va- ias variables a medir, Tiene como ventajas la rapidez, la facilidad de aplicacién y la po- sibilidad de ser constatado por muchos sujetos. Los inconvenientes vienen dados por la falta de sinceridad, la adecuacién al léxico, la superficialidad y la concordancia de las Tespuestas en las preguntas abiertas. { | sre ti. — edncativa aN ne i roblemas de in 4.2, Preguntas ferent Meese ete Basicamem 2 jonario obedece & dT pregunta sea dif + Basicamente.

    You might also like