Ve
26
Capituto 19
DisENos INADECUADOS
Y CRITERIOS PARA EL DISENO
ENFOQUES EXPERIMENTAL Y NO EXPERIMENTAL
SIMBOLOGIA Y DEFINICIONES
DiseNos DEFECTUOSOS
Medici6n, historia,
El efecto de regresién
CRITERIOS DEL DISENO DE INVESTIGACION
«Responder preguntas de investigacién?
Control de variables independientes extraiias
Posibilidad de generalizaci6n
Validez interna y externa
maduracién
‘Todas las creaciones de las disciplinas de los seres humanos tienen forma. La arquitectura,
la poesfa, la musica, la pintura, las matemiticas, la investigacién cientifica, todas tienen
forma. La gente pone gran énfasis en el contenido de sus creaciones, frecuentemente sin
darse cuenta de que sin una estructura fuerte, no importa cusn rico y significativo sea el
contenido, las creaciones pueden resultar débiles y estériles.
Lo mismo sucede con la investigacién cientifica. El cientifico requiere de una forma
viable y flexible con la cual expresar las metas cientificas. Sin contenido —sin una buena
teoria, buenas hipétesis, buenos problemas— el disefio de investigacién esta vacio. Pero
sin forma, sin una estructura concebida y creada adecuadamente para el propésito de la
investigacién, pueden lograrse pocas cosas valiosas. De hecho, no es exagerado afirmar
que muchos de los fracasos en la investigacién del comportamiento han sido fallas en las
formas de disciplina e imaginacién.
EI enfoque principal de este capitulo son los disefios de investigacién inadecuados.
‘Tales disefios han sido tan comunes que requieren analizarse. Mis importante ain, es
tener presente que el estudiante debe ser capaz de reconacerlos y de entender por qué son
inadecuados. Este enfoque negativo tiene una virtud: el estudio de las deficiencias obliga a
preguntarse por qué algo es deficiente, lo que a su vez centra la atencién en los criterios
419420
Enfoques experimental y no experimental
PARTE SEIS « Diseios de investigacin
utilizados para juzgar tanto las adecuaciones como las inadecuaciones. Asi, el estudio de
disefios inadecuados conduce al estudio de los criterios del disefio de investigacién. Tam-
bién se aprovecha la ocasion para describir el sistema simbolégico a utilizar, asi como para
identificar una distincién importante entre investigacién experimental y no experimental.
La discusién sobre el disefio se inicia por medio de una distincidn importante: aquella
entre los enfoques experimental y no experimental de la investigacién. De hecho, tal
distincién es tan importante que un capitulo separado (capitulo 23) se dedicaré a dicho
tema, Un experimento es una investigacién cientifica donde un investigador manipula y
controla una o més variables independientes y observa la() variable(s) dependiente(s) para
determinar si hay variacién concomitante ala manipulacién de las variables independientes.
Un diserio experimental, entonces, ¢s aquel en el que el investigador manipula pot lo menos
tuna variable independiente, En un capitulo anterior se analiz6 brevemente el estudio clésico
de Hurlock (1925), quien manipulé incentivos para producir diferentes cantidades de
retencién, En el estudio de Walster, Cleary y Clifford (1970) (capftulo 18), se manipularon
énero, raza y niveles de habilidad para estudiar sus efectos en la aceptaci6n universitaria:
las solicitudes enviadas alas universidades difirieron en las descripciones de los solicitantes,
como hombre-mujer; blanco-negro; y niveles altos, medios y bajos de habilidad.
En [a investigacién no experimental no es posible manipular las variables 0 asignar
aleatoriamente a los participantes o tratamientos debido a que la naturaleza de las varia-
bles es tal que imposibilita su manipulaci6n. Los participantes llegan al investigador con
sus caracteristicas distintivas intactas, por asf decirlo. Vienen con su “ya presente” sexo,
inteligencia, nivel ocupacional, creatividad o aptitud. Wilson (1996) utilizé un disefio no
‘experimental para estudiar la legibilidad, contenido étnico y sensibilidad cultural del ma-
terial educativo sobre pacientes, utilizado por los enfermeros de! departamento local de
salud y centros comunitarios de salud, En dicho caso el material ya existfa; no hubo asig-
nacién o selecci6n aleatorias. Edmondson (1996) también us6 un disefio no experimental
para comparar el nimero de errores de medicacién cometidos por enfermeros, médicosy
boticarios en ocho unidades hospitalarias de dos hospitales urbanos de ensefianza.
Edmondson no eligié de manera aleatoria estas unidades u hospitales, nia los profesiona-
Jes médicos. De la misma forma, en muchas 4reas de investigacién, por desgracia no es
posible realizar asignaciones aleatorias, como se vera més adelante. Aunque a investiga-
cin experimental y la no experimental difieren en estos aspectos cruciales, comparten
caracteristicas estructurales y de disefio que se indicarsn en éste y subsecuentes capitulos.
‘Ademés, su propésito bésico es el mismo: estudiar relaciones entre fenémenos, Su légica
cientifica también es la misma: obtener evidencia empfrica para realizar proposiciones
condicionales de la forma sip, entonces g. En algunos campos de las ciencias sociales y del
comportamiento, las estructuras no experimentales son inevitables. Keith (1988) afirma
que muchos estudios conducidos por psicdlogos escolares son de naturaleza no experi-
mental. Los investigadores de psicologia escolar, asi como muchos en psicologia educativa
deben trabajar dentro de una estructura prictica. Muchas veces, escuelas, salones de clase
¢ incluso estudiantes son dados al investigador “como son”. Stone-Romero, Weaver y
Glenar (1995) sintetizaron casi 20 afios de articulos del Journal of Applied Psychology, res-
pecto al uso de disefios de investigacién experimentales y no experimentales.
El ideal de la ciencia es el experimento controlado. Excepto, quizas, en investigac
taxonémica —aquella que tiene el propésito de descubrir, clasificar y medir fen6menos
naturales y los factores que subyacen a dichos fenémenos— donde el modelo de cienciaCaPtrULo 19 + Disefos inadecuados y eriterios para el diseno 421
deseado es el experimento controlado. Puede ser dificil para muchos estudiantes aceptar
esta afirmacién més bien categérica, puesto que su l6gica atin no es aparente, Anterior-
‘mente se indicé que la meta principal de la ciencia era descubrir relaciones entre fenéme-
‘nos; entonces, 2por qué dar prioridad al experimento controlado? ;No existen otros métodos
para descubrir relaciones? Si, por supuesto que existen. Sin embargo, la principal razén
para la preeminencia del experimento controlado es que los investigadores pueden tener
‘més confianza en que las relaciones que ellos estudian son las relaciones que creen que
son. La raz6n no es dificil de ver: ellos estudian las relaciones bajo las condiciones mas
cuidadosamente controladas de indagacién que se conocen. Asi, la virtud tinica y
abrumadoramente importante del estudio experimental es el control. En un estudio expe-
rimental perfectamente controlado, el investigador puede confiar en que la manipulacién
de la variable independiente es lo que afect6 a la variable dependiente, y nada més. En
resumen, un estudio experimental perfectamente conducido es més vonfiable que un estu-
dio no experimental perfectamente conducido. La razén de ello debe volverse mas obvia
conforme se avance en el estudio del disefio de investigacién, f
Simbologia y definiciones
Antes de discutir los disefios inadecuados, resulta necesario explicar la simbologia utilizada
en estos capitulos. X se utiliza para definir una variable (0 variables) independiente que es
experimentalmente manipulada. X,, Xs, X, eteétera, representan las variables independientes
1,2, 3, eteétera, aunque por lo comin se utiliza Ia X sola, aun cuando pueda significar mas
de una variable independiente. (También se utiliza X,, X,,..., para representar las particiones
de una variable independiente; pero la diferencia siempre se hard clara.) El simbolo (X)
indica que la variable independiente no esti manipulada —no esta bajo el control directo
del investigador, sino que es medida o imaginada—. La variable dependiente es Y: Y, es la
variable independiente antes de la manipulaci6n de X, y ¥,es la variable dependiente después
de la manipulacién de X. Con ~X se toma prestado el signo de negacién de la teorfa de
conjuntos: ~X (“no-X”) para indicar que la variable experimental (la variable independiente
-X) no esti manipulada, [Nota: (X) es una variable no manipulable y =X es una variable
manipulable que no esti manipulada_} El simbolo (4) se utlizara para la asignacién aleatoria
de los participantes a los grupos experimentales y para la asignacin aleatoria de los
tratamientos experimentales a los grupos experimentales.
La explicaci6n dada respecto a ~X'no es muy precisa puesto que en algunos casos ~X
puede representar un aspecto diferente del tratamiento X, més que la simple ausencia de
tratamiento. En el lenguaje cientifico usado antes, el grupo experimental era el grupo al i
que se le daba el lamado tratamiento experimental, Xj mientras que el grupo control nolo
recibfa, ~X. Para los propdsitos del texto, sin embargo, ~X sera suficiente, especialmente si
se entiende el significado generalizado de control explicado antes, Entonces, un grupo expe-
rimental es un grupo de participantes que reciben algin aspecto o tratamiento de X. En la
comprobacién de la hipétesis de frustracién-agresion, el grupo experimental es aquel a
cuyos participantes se les induce frustracidn sisteméticamente. En contraste, el grupo con-
trol es aquel al que “no” se le da tratamiento,
En la investigacién multivariada moderna es necesario expandir estos conceptos. En
esencia no cambian, sino que se expanden. Como se ha visto, es muy posible tener més de '
un grupo experimental. No s6lo son posibles diferentes grados de manipulacién de la
variable independiente, sino que con frecuencia son deseables, ¢ incluso imperativos. Ade
iis, es posible incluir mas de un grupo control, airmacién que de entrada parece absur-
da, 2Cémo es posible tener diferentes grados de “no” tratamiento experimental? Esto422
Disefios defectuosos
PARTE SEIS « Disefios de investigacién
sucede porque el concepto de control se generaliza. Cuando hay mas de dos grupos, y
cuando cualquier par de éstos es tratado de manera diferente, uno o més grupos sirven
como “controles” para los otros. Recuerde que el control se refiere siempre al control de
varianza. Con dos o més grupos tratados de forma diferente, a varianza es generada porla
manipulacién experimental. Asi, el concepto tradicional de X y ~X (tratamiento y no tra-
tamiento) se generaliza a X,, Xz, Xjy--» Xn formas o grados diferentes de tratamiento.
Si X esté entre paréntesis (X), significa que el investigador “se imagina” la manipula-
cién de X, 0 supone que X ocurrié y que se trata de la X de la hipétesis. También puede
significar que X esté siendo medida y no manipulada. En realidad aqui se estd sefalando lo
mismo de diferente forma; el contexto del anilisis deberia dejar en claro Ia distincién.
Suponga que un sociélogo estudia la delincuencia yrla hipétesis de frustracién-agresién.
El investigador observa la delincuencia, Y, e imagina que los participantes delincuentes
sufrieron frustracién en sus primeros afios, o (X). Todos los disefios no experimentales
tendrén (X); entonces, (X) por lo comuin representa una variable independiente que no esté
bajo el control experimental del investigador.
Un punto més: en general cada disefio en este capitulo tendré una forma ay una b. La
forma a serd la forma experimental, o aquella en la cual se manipula X. La forma b sera
Ja forma no experimental, en la cual X no esti bajo el control del investigador, o (1).
‘Obviamente también es posible (~X).
Existen cuatro (0 més) disefios de investigacién inadecuados que con frecuencia se han
usado —y atin se utilizan ocasionalmente— en la investigacién del comportamiento. Los
defectos de los disefios conducen a un control pobre de las variables independientes. A
continuacién se enumera cada uno de estos diseiios, se le da un nombre, se esquematiza su
estructura y después se analiza,
Disefo 19.1: De un grupo
@x ¥ (Experimental)
Ow ¥ (No experimental)
El disefio 19.1 ha sido llamado “estudio de caso de un disparo”, un nombre pertinente
asignado por Campbell y Stanley (1963). La forma (2) del disefio es experimental y la
forma (#) ¢s no experimental. Un ejemplo de investigacién con un diseito de la forma (a
el cuerpo docente de una facultad instituye un nuevo curriculum y busca evaluar sus efee-
tos. Después de un afio, se mide ¥, el aprovechamiento de los estudiantes, Se concluye,
digamos, que el aprovechamiento se ha incrementado con el nuevo programa, Con un
disefio de este tipo, la conclusién es débil. El disefio 19.1(8) es la forma no experimental
del disefio de un grupo. Se estudia ¥, el resultado; y X se supone o imagina. Un ejemplo
seria el estudio de Ia delincuencia al analizar el pasado de un grupo de delincuentes juve-
niles para identificar los factores que probablemente los hayan coniducido a su comport
rmiento antisocial. El método es problemstico debido a que pueden confundirse los factores
(ariables). Cuando el efecto de dos o més factores (variables) no puede separarse, los
resultados se vuelven dificiles de interpretar; cualquier niimero de posibles explicaciones
serian plausibles.
Desde el punto de vista cientifico, el disefio 19.1 carece de valor. Virtualmente no hay
control de otras posibles influencias sobre el resultado. Como Campbell sefial6 (1957),¢1CAPITULO 19 + Diseftos inadecuados y criterios para el diseno 423
inimo de informacién cientifica Gtil requiere de por lo menos una comparacién formal.
El ejemplo del curriculum requiere, por Jo menos, una comparacién entre el grupo que
experiments el nuevo curriculum con otro que no lo haya experimentado. El supuesto i
efecto del nuevo curriculum, digamos tal y cual aprovechamiento, muy bien pudo haber |
sido el mismo como resultado de cualquier tipo de curriculum. El punto no es si el
curriculum tuvo o no un efecto, sino que sin una comparacion formal y controlada del |
desempefio de los miembros del grupo “experimental”, contra el desempefio de los miem-
bros de algiin otro grupo que no experimenté el nuevo curriculum, poco es lo que puede
decirse acerca de su efecto.
Una distincién importante requiere tomarse en cuenta. No ¢s que el método carezea
por completo de valor, sino que cientificamtnte carece de valor. En la vida diaria, por su-
puesto, dependemos de este tipo de evidencia cientiicamente cuestionable; tenemos que
hacerlo, Actuamos, digamos, con base en nuestra experiencia; tenemos la esperanza de
que utilizamos nuestra experiencia de forma racional, No se eritica el paradigma del pen-
samiento diario implicado en el diseiio 19.1; vinicamente que cuando un paradigma de ese
tipo se utiliza o se considera cientifico, entonces comienzan las dificultades. Aun en eareas
intelectuales elevadas se utiliza el pensumiento implicieo en este disefio. Las observaciones
ccuidadosas y los andlisis brillantes y creativos de Freud sobre el comportamiento neuréti-
co parecen caer dentro de esta categoria. La queja no es en contra de Freud, sino en contra
de las suposiciones de que estas conclusiones estan “cientificamente establecidas”.
Ditehio 19.2: De un grupo, ante-después (pretest, postest)
@yY, a Y, (Experimental)
OY oO No experimental)
El disefio 19.2 representa sdlo una pequefia mejorfa del disefio 19.1. La caracteristica
esencial de esta forma de investigacién es que un grupo se compara consigo mismo. T
ricamente, no existe una mejor opcién puesto que se controlan todas las variables inde-
pendientes posibles asociadas con las caracteristicas de los participantes. El procedimiento
sugerido por un disefio de este tipo es el siguiente: se mide un grupo en su variable depen-
diente, Y, antes de la manipulacién experimental, lo cual se llama generalmente pretest.
Suponga que se miden las actitudes de un grupo de participantes hacia las mujeres; se
utiliza una manipulacién experimental disefiada para cambiar dichas actitudes. Un experi-
mentador podria exponer al grupo a una opinién experta sobre los derechos de la mujer,
por ejemplo. Después de la interposicin de esta X, las actitudes de los participantes se
miden nuevamente. Se examinan las diferencias de las puntuaciones sobre el cambio de
actitud, 0 ¥)-¥,.
‘Aparentemente, ésta pareceria una buena manera de lograr el propésito experimen-
tal. Después de todo, si las diferencias entre las puntuaciones son estadisticamente signifi-
cativas, esto no indica un cambio en las actitudes? La situacién no resulta tan sencilla.
Existen otros factores que quizas hayan contribuido al cambio en las puntuaciones; por lo
tanto, se confunden los factores. Campbell (1957) ofrece una excelente y detallada discu-
sidn de estos factores; aqui tinicamente se presenta un resumen sobre ello.
Medicién, historia, maduracién
Primero esté el posible efecto del procedimiento de medicién: el hecho de medi a los
participantes los cambia. Es posible que las medidas post-X se vieran influenciadas noa4
PARTE SEIS * Disefos de investigacion
sélo por la manipulacién de X sino por un incremento en la sensibilizacién por el pretest?
Campbell (1957) llama a dichas medidas reactivas, ya que por s{ mismas provocan que el
sujeto reaccione. Por ejemplo, las actitudes controvertidas parecen ser especialmente
susceptibles a dicha sensibilizaci6n. Las medidas de aprovechamiento, aunque quiz menos
reactivas, también se afectan. Las medidas que involucran a la memoria son susceptibles,
sise responde un examen ahora, es més probable que se recuerden las iltimas cosas incluidas
en el examen. En resumen, los cambios observados pueden deberse a efectos reactivos
tras dos fuentes importantes de varianza extrafta son la historia y la maduraciin. En-
are las pruebas Y, y ¥, pueden ocurrir muchas cosas diferentes a X. A mayor periodo de
tiempo, mayor seré la posibilidad de que variables extrafias afecten a los participantes
por lo tanto, a las medidas de ¥., Esto es lo qué Campbell (1957) llama historia. Dichas
variables o eventos son especificos para la situacién experimental particular. La maduracién,
por otro lado, cubre eventos que son generales —-no son especificos de cualquier situacién
particular, sino que reflejan cambio o crecimiento en el organismo estudiado—. La edad
mental se incrementa con el tiempo, un incremento que facilmente afecta el aprovecha-
miento, la memoria y las actitudes. La gente puede aprender en cualquier intervalo de
tiempo dado, y el aprendizaje puede afectar las medidas de la variable dependiente. Esta es
tuna de las dificultades exasperantes de la investigacién, que perdura por periodos conside-
tables, Mientras mis prolongado sea el intervalo de tiempo, mayor sera la posiblidad de
que fuentes extrafias ¢ indeseables de varianza sistematica influyan en las medidas de la
variable dependiente.
El efecto de regresion
Un fenémeno estadistico que ha confundido a los investigadores es el llamado efec
regresién. Las puntuaciones de las pruebas cambian como un hecho de la vida estadis
cn el retest, en general, los sujetos tienden a regresar a la media. El efecto de regresién
‘opera a causa de la correlacién imperfecta entre las puntuaciones del pretest y del postest.
Si rg = 1.00, entonces no hay efecto de regresién; si 7,, = .00, entonces el efecto es maximo
en el sentido de que la mejor prediccién de cualquier puntuacidn del postest, a partir dela
puntuacién del pretest, es la media. Con la correlacién encontrada en la practica, el efecto
neto es que las puntuaciones més bajas en el pretest tienden a ser altas, y las puntuaciones
més altas tienden a ser més bajas en el postest —cuando, de hecho, no ha ocurrido un cam-
bio real en la variable dependiente—. De este modo, sien un estudio se utlizan participantes
con bajas puntuaciones, sus puntuaciones en el postest probablemente sern mis altas que
en el pretest, debido al efecto de regresién. Lo anterior puede engatiar al investigador al
hacerlo creer que la intervencién experimental resulté efectiva, cuando en realidad no fue
asi De la misma forma, se puede concluir erréneamente que una variable experimental ha
tenido un efecto depresor en los sujetos con altas puntuaciones en el pretest, lo cual noes
asi necesariamente. Las puntuaciones més altas y mas bajas de los dos grupos quiza se
deban al efecto de regresién, gCémo funciona esto? Existen muchos factores del azar que
influyen en cualquier conjunto de puntuaciones. Dos excelentes referencias sobre la
discusi6n del efecto de regresién son la de Anastasi (1958) y Ja de Thorndike (1963). Para
tuna presentacién més compleja desde el punto de vista estadistico, véase Nesselroade,
Stigler y Baltes (1980). En el pretest, algunas puntuaciones altas son mayores de lo que
Sdeberian ser” a causa del azar, y lo mismo sucede con algunas puntuaciones bajas. En el
postest es poco probable que se mantengan las puntuaciones altas, ya que los factores que
has hicieron altas eran factores del azar —los cuales no estin correlacionados en el pretest
yy postest—. De este modo, el sujeto con una puntuaciGn alta tenderé a bajar en el postest.
‘Un argumento similar se aplica al sujeto con baja puntuacién, pero de manera inversa.CAPITULO 19 + Disefios inadecuados y criterios paral diseno 425
Los disefios de investigacién deben construirse con el efecto de regresién en mente.
No hay manera de controlarlo en el disefio 19.2. Si hubiera un grupo control, entonces se
podria “controlar” el efecto de regresi6n, ya que ambos grupos, el control y el experimen-
tal, cuentan con un pretest y un postest. Si la manipulaci6n experimental hubiese tenido
un efecto “real”, entonces ello deberia notarse por encima del efecto de regresion. Es
decir, las puntuaciones de ambos grupos, manteniendo igual lo dems, se alectan de la
misma manera por la regresién y por otras influencias. Asi, si los grupos difieren en el
postest, debe ser por la manipulacién experimental.
El diseito 19.2 resulta inadecuado, no tanto porque puedan operar variables extrafias
y.el efecto de regresién (las variables extraitas operan siempre que hay un intervalo de
tiempo entre el pretest y el postest), sino porque no se sabe si éstos han operado, si han
‘afectado las medidas de la variable dependiente. E1 diseRio no brinda oportunidad alguna
para controlar o probar tales posibles influencias.
Diveiio 19.3: Simulaciin de antes-despuée
EI titulo peculiar del diserio 19.3 surge en parte de su propia naturaleza, Como el
diseiio 19.2, ¢s un disefto antes-después. En lugar de utilizar las mediciones previas y
posteriores (o pretest-postest) de un grupo, se emplean como medidas del pretest las me-
didas de otro grupo, el cual se elige para ser tan similar como sea posible al grupo experi~
mental y, por lo tanto, constituye algo parecido a un grupo control. (La linea entre los dos
niveles en el esquema indica grupos separados.) Este disefio satisface la condicion de tener
uun grupo control y, por lo tanto, es un paso més hacia la comparacién necesaria en la
investigacién cientifica. Por desgracia, los controles son débiles como resultado de la im-
posibilidad que enfrenta el investigador para saber si los dos grupos eran equivalentes
antes de X, la manipulacién experimental
Yy
= -¥
® ww a (No experimental)
CX ¥
—
El disefio 19.4 es comin. En (a) al grupo experimental se le administra el trata-
miento X. El grupo “control”, al que se toma o asume como similar al grupo experi
mental, no recibe X. Las medidas ¥ se comparan para comprobar el efecto de X. Los
grupos o participantes se toman “como son” o pueden ser apareados. La version no
experimental del mismo diseiio se clasifica como (b). Se observa si un efecto, Y,
‘ocurre en un grupo (linea superior), pero no en otro grupo; o si ocurre en menor grado
en el otro grupo (indicado por -Y en Ia linea inferior). Se descubre que el primer
grupo experimenté X’y el segundo grupo no.
Este diseiio tiene una debilidad basica: se asume que los dos grupos son iguales respec-
to alas variables independientes, excepto por X. Algunas veces ¢s posible verificar la igual-
dad de los grupos de manera general, al compararlos respecto a diferentes variables
Pertinentes, por ejemplo, edad, sexo, ingresos, inteligencia, habilidad, etcétera. Esto debe
hacerse sies posible, pero como Stouffer afirma (1950, p. 22), “con demasiada frecuencia
(Experimental)426
Criterios del disefio de investigacion
PARTE SEIS» Disefios de investigacion
existe una puerta muy abierta, a través de la cual otras variables no controladas pueden
entrar”. Puesto que no se utiliza la aleatorizacin —es decir, los participantes no son asig-
nados aleatoriamente a Jos grupos—, no es posible suponer que los grapos sean iguales.
Ambas versiones del disefto padecen seriamente de falta de control de las variables inde-
pendientes por la falta de aleatorizacién.
Después de examinar algunas de Jas principales debilidades de los disefios de investigacion
inadecuados, ahora es un buen momento para’discutir lo que puede lamarse criterias del
diseito de investigacién, Junto con los criterios se enunciaran ciertos principios para guiar
alos investigadores. Por tiltimo, los criterios y principios se relacionarén con las nociones
de validez. interna y externa de Campbell (1957), las cuales en cierto sentido expresan los
criterios de otra forma