MALOS USOS EN ESTADSTICA (WHAT IS NOT WHAT IN STATISTICS)

Louis Guttman
Nota del traductor La estadstica ofrece actualmente un repertorio esplndido de instrumentos de anlisis para el socilogo. Si los utiliza adecuadamente, el. socilogo puede estudiar un nmero creciente de problemas de investigacin. Ahora bien, la estadstica, para que pueda cumplir su papel adecuadamente, debe utilizarse en conjuncin con la teora y con los mtodos de investigacin. La tecnificacin exagerada de la investigacin sociolgica que se observa en la actualidad ha conducido, sin embargo, a una mitificacin de la estadstica, que la ha sacado de su contexto, produciendo situaciones que necesitan con urgencia ser transformadas. El artculo de Guttman que presentamos al lector en lengua castellana es, en nuestra opinin, el ms desmitificador que conocemos sobre el uso y abuso de la estadstica en las ciencias sociales. Escrito por Guttman en el cnit de su carrera investigadora, no contiene una sola cita. Recoge, ni ms ni menos, algunos de los problemas que la estadstica matemtica no ha podido an resolver en el campo de las ciencias sociales, y algunos de los abusos ms corrientes que se deslizan en la prctica sociolgica de la investigacin que utiliza la estadstica inferencial, y que Guttman ha ido recogiendo a lo largo de su dilatada tarea como investigador.

6/79 pp

101-127

LOUIS GUTTMAN

Conviene recordar que la mayora de las tcnicas estadsticas utilizadas actualmente en el campo de la sociologa, han sido desarrolladas para problemas no sociolgicos por no socilogos. El anlisis de varianza se desarroll originariamente para la investigacin agraria, el anlisis de regresin se dise para los estudios genticos y, en general, buena parte de los anlisis multivariantes surgieron como respuestas a problemas que planteaban las investigaciones en el campo de la biologa y otras ciencias naturales. Regresin, causacin, correlacin, anlisis de camino, varianza, etc., son trminos que inducen a error con mucha frecuencia al socilogo cuando al utilizar las tcnicas correspondientes en problemas de investigacin sociolgica, no tiene en cuenta el origen de tales tcnicas. Guttman, con un tono claramente irnico, seala, por ejemplo, que la sociologa es actualmente la ciencia que ofrece un mayor nmero de descubrimientos causales, debido al uso y abuso del anlisis de correlaciones como si realmente analizase causas, y no meramente correlaciones. El socilogo debe ser ms cuidadoso con el lenguaje estadstico que utiliza. As, por ejemplo, cuando habla de variables independientes, conviene que tenga en cuenta que tales variables no son en realidad independientes, ya que si as lo fueran no tendra sentido el anlisis de dependencia. Y es que la estadstica matemtica y la estadstica real usan trminos semejantes con significados distintos. Quiz uno de los trminos que pueden conducir a mayor equvoco sea el de probabilidad. En el lenguaje matemtico, probabilidad es una fraccin matemtica. No hay nada de probable en ella. Est libre de error. Es un trmino que expresa la certeza de que un tem se produzca dentro de un modelo matemtico. Sin embargo en la estadstica que utiliza el socilogo, la probabilidad tiene un significado bien diferente*. Guttman no utiliza el ejemplo del trmino probabilidad en el presente artculo, pero en cambio ofrece una lista de otros conceptos estadsticos que suelen utilizarse equivocadamente por los socilogos. Esta lista, una vez leda, nos obligar a ser ms cautos en nuestras futuras investigaciones. Por otra parte, quiero sealar el carcter plenamente positivo de la crtica de Guttman. Los problemas se presentan para que detengamos nuestra atencin en ellos, para buscar soluciones y obtener mayor rigor en nuestro trabajo cientfico. Se evita la fcil crtica, negativa, de manifestar que el carcter de la sociologa impide su tratamiento cuantitativo, y de igual manera que ocurre en el campo de la medicina, en el que el hecho de que no se haya vencido al simple y comn resfriado no conduce al desarrollo de actitudes de escepticismo sobre el progreso mdico, as ocurre tambin con la investigacin sociolgica, en donde la existencia de problemas hasta ahora irreso* Para una detallada exposicin de este argumento, se puede consultar el artculo de Thomas F. MOSIMANN "Mathematical Statistics and Real Statistics", IA1SI, Estadstica, junio 1957, pgs. 390-394.

102

MALOS USOS EN ESTADSTICA

lubles, no impide a Guttman que desarrolle una gran labor de clarificacin metodolgica que permitir algn da, gracias a sus esfuerzos y al de otros socilogos, ir dando respuesta a tales problemas. Finalmente, una nota de advertencia sobre el acto mismo de la traduccin. Aunque me he esforzado en todo momento por lograr una versin castellana lo ms limpia posible de anglicismos, me encuentro bastante lejos de estar satisfecho con la tarea realizada. Y es que al tratar de verter al idioma castellano, literariamente tan frtil pero cientficamente tan pobre, los trminos cientficos que una lengua tan innovadora, desde el punto de vista cientfico y tecnolgico, como la inglesa produce continuamente, nos encontramos con expresiones para las que existen pocos referentes en nuestro idioma. Pinsese en expresiones tales como stepwise regression procedures, path analysis, belongingness coefficients, partial out, o en el propio ttulo del artculo, What is not what, y se comprobar que su castellanizacin no es nada fcil. Al hilo de esta advertencia final, y ya para terminar, un ruego. Si alguno de los lectores conoce trminos o expresiones en castellano que traduzcan con mayor fidelidad las utilizadas en la presente traduccin, que las haga pblicas. De este modo, ayudar a enriquecer nuestro vocabulario cientfico, tan necesitado como est de nuevas sugerencias. Manuel GARCA FERRANDO Departamento de Sociologa Universidad Autnoma de Madrid.^

103

LOUIS GUTTMAN

INTRODUCCIN Hace unos cuarenta aos, Harold Hotelling seal que los libros de texto de estadstica de aquel perodo estaban escritos, en su mayora, por no matemticos. Aquellos libros estaban repletos de conceptos errneos, e ignoraban en su mayora los nuevos e impresionantes desarrollos de la disciplina matemtica de la estadstica inferencial. La situacin mejor paulatinamente a medida que ms estadsticos matemticos comenzaron a publicar libros de texto, de tal modo que hoy en da el pndulo parece haber ido demasiado lejos. En algunos lugares, los smbolos ms que la sustancia parecen ser los dueos. Esto es especialmente verdad en las ciencias sociales con las que estoy ms familiarizado y a las cuales va dirigido (aunque no exclusivamente) este trabajo. Por ejemplo, consejeros y editores de algunas revistas insisten en decorar las tablas de diversos tipos de datos con estrellas y dobles estrellas, y en presentar listados de errores estndar, a pesar de que las probabilidades implcitas de significacin o confianza son claramente errneas desde el punto de vista de la estadstica inferencial (ver los problemas 3 y 1, ms adelante). Junto al mal uso de los nuevos desarrollos, persisten todava muchos de los antiguos falsos conceptos en los libros de texto y revistas actuales debido a la extremadamente pobre terminologa que ha sido conservada, por razones histricas, por los estadsticos matemticos. Los matemticos estn habituados a tratar correctamente simbolizaciones arbitrarias e incluso confusas, dado que estn preparados para centrarse directamente en los conceptos que sealan, los cuales, por otra parte, estn bien definidos. No ocurre as con los no matemticos, quienes ms bien estn inclinados a reaccionar ante las etiquetas verbales como si tuvieran unas implicaciones y un significado diferentes y ms all de los conceptos tcnicamente designados. Por ejemplo, el trmino regresin emergi originalmente en el contexto de las investigaciones genticas de Francis Gal ton, anteriores a la difusin de la teora de los genes, y ha sido conservado desde entonces por los matemticos para algo que no tiene que ver nada con los procesos genticos, ni con ningn tipo de proceso. Es cierto que es deseable tener una palabra nica para una serie de medias aritmticas condicionales, pero al retener la palabra regresin para tal serie se da a los no matemticos una idea de procesos dinmicos y leyes de la naturaleza en contextos para los que tales ideas son totalmente errneas. (Irnicamente, incluso hoy en da algunos genetistas confunden el concepto estadstico de regresin con una teora gentica de herencia biolgica, y en consecuencia alcanzan conclusiones falsas.) Uno de los objetivos del presente trabajo es poner de manifiesto algunos de los problemas bsicos an no resueltos en la estadstica inferencial. La discusin de estos problemas sirve como introduccin para un segundo objetivo, presentar una lista de hechos sobre la terminologa estadstica y las ideas equivocadas <jue merecen ser sometidas a la atencin, tanto de los matemticos

104

MALOS USOS EN ESTADSTICA

como de los no matemticos. Los hechos se formulan negativamente: que no es que. Tal lista puede servir como una forma rpida de alertar a los no matemticos de algunas de las trampas en las que han cado algunos colegas. Espero que la lista y los problemas estimulen a los estadsticos matemticos para que se centren en la resolucin de temas que son de gran importancia para la prctica estadstica. De igual manera que el resfriado comn se ha resistido a ser conquistado por la ciencia mdica, as ocurre con algunos de los problemas ms comunes de la investigacin social que han eludido la solucin de los estadsticos matemticos. Esta puede ser una de las razones de la permanencia de algunos antiguos falsos conceptos y de la creacin de algunos nuevos: los profesionales tratan de arreglrselas con las herramientas inadecuadas, dado que necesitan tener respuestas. Se destacarn seis clases de problemas comunes an no resueltos. A continuacin se presenta la lista de lo que no es que. Cada tem en la lista viene acompaado de una breve explicacin. Las explicaciones son bastante autosuficientes, pero el profesor de estadstica interesado en el tema puede ampliarlas fcilmente. Naturalmente, la lista se puede extender fcilmente, y sern bienvenidos los comentarios crticos. No se incluyen referencias bibliogrficas en este artculo, dado que la discusin se refiere a lo que no existe. La prueba emprica de la no existencia es un principio difcil, mientras que la prueba de la existencia es comparativamente ms simple, requiere que se exhiba un solo ejemplo. Por eso, cuando realizamos ms adelante una afirmacin de la forma: Ningn libro de texto prueba que..., si uno quisiera documentar tal declaracin, tendra que referirse a todos los libros de texto existentes. Por otra parte, si un lector creyese que poda demostrar que la afirmacin era falsa, todo lo que necesitara hacer es suministrar una sola referencia correcta. Realmente me encantara recibir cualquier referencia correctora de cualquier lector interesado, para cualquier no es de los que se incluyen ms adelante. Una reaccin inicial de algunos lectores puede ser la de considerar que el presente artculo pretende ser polmico. Pero esto no es as en absoluto. Sealar que el emperador no viste ningn tipo de ropa puede resultar un tanto turbador. Ahora bien, la experiencia ha mostrado que la polmica puede venir ms bien de la direccin opuesta, esto es, de los firmes creyentes en prcticas no fundamentadas. A tales devotos se les suele utilizar como referencias y jueces cientficos, y no escatiman la acumulacin de crticas irrelevantes y decisiones negativas sobre los nuevos desarrollos que no contienen sus favoritas concepciones equivocadas. El presente artculo puede servir, como uno de sus objetivos, para evitar que en el futuro se produzcan tales situaciones kafkianas. Adems, este artculo no pretende ser tan slo un ejercicio sobre terminologa. Se han omitido algunos de los tems que no es en la discusin que sigue, con el fin de dedicar ms espacio a los temas que estimo son ms per-

105

LOUIS GUTTMAN

judiciales. Algunos de los tems incluidos han obstaculizado notablemente el progreso de las ciencias sociales, permitiendo a veces que se hayan malgastado decenas de miles de dlares en investigaciones no provechosas, por no hablar de la enorme cantidad de tiempo y esfuerzos intelectuales desperdiciados. ALGUNOS PROBLEMAS TODAVA NO RESUELTOS DE LA ESTADSTICA INFERENCIAL Problema 1. Regiones de Confianza Multivariante.Muchos de los problemas inferenciales en las ciencias sociales son inicialmente multivariantes, y, sin embargo, no suelen tratarse como tales. Considrese cualquier serie de datos reunidos a partir de un cuestionario demogrfico o de actitudes, o por medio de un test mental o de logro compuesto de diversos tems. Cmo se puede establecer una regin de confianza para una tabla contingente de poblacin a partir de una tabulacin cruzada (cross-tabulation) de tales datos? Esto requiere la especificacin simultnea de una serie de intervalos de confianza para muchos parmetros de una distribucin multimodal, pero con un solo nivel de confianza para la serie entera. Las tablas de contingencia se encuentran entre las formas ms corrientes de datos observados, y, sin embargo, no existe todava solucin para este problema: los libros de texto ni siquiera lo mencionan. En la prctica, los errores estndar se calculan a menudo para valores estadsticos separados en una tabla de ese tipo, sin que nadie haya mostrado qu relevancia tienen para el problema tales valores. El mismo abuso se mantiene en el caso de la regin de confianza para una serie de medias aritmticas. Los proyectos de investigacin sociolgica y psicolgica pueden implicar muchas variables numricas simultneamente, y es de inters el establecimiento de lmites para cada una de las medias aritmticas de la poblacin. Incluso para el caso de distribuciones normales multivariantes, el uso del error estndar con cada una de las medias de la muestra no ha podido dar lugar a una regin de confianza para todas las medias de la poblacin simultneamente. Cul es la forma correcta de establecer tal regin? No es de menor inters la regin de confianza para una matriz de coeficientes de correlacin entre diversas variables. Resulta estimulante saber que algunos estadsticos matemticos estn comenzando a comprobar estas cuestiones. Estos problemas en los que intervienen proporciones, medias aritmticas y coeficientes de correlacin son todos ellos casos especiales de un problema general: si 0i, 02 ..., 0n son n parmetros de una poblacin con una distribucin multivariante de variables mutuamente dependientes, definir los valores estadsticos ai, bi, a2, b2, ..., an, b n a partir de una sola muestra tal que, para un nivel de confianza dado Prob {ai < 0i < bi, a2 < 02 < b2, ... an < 0n < b n } = 1 y con alguna condicin de optimizacin para la eleccin de ai y bi. Ningn

106

MALOS USOS EN ESTADSTICA

libro de texto se interesa por estos obvios y clsicos problemas de estadstica inferencial, como tampoco se interesan por los anteriores en la forma en que realmente ocurren en la prctica, si es que llegan siquiera a mencionar los problemas. La solucin de tales cuestiones dejar todava abierto el no menos bsico problema de la replicacin tal como se bosqueja a continuacin. Problema 2. Replicacin.Tanto la estimacin como la comprobacin de hiptesis se han restringido usualmente como si se tratase de experimentos que se realizan una sola vez, tanto en la teora como en la prctica. Pero la esencia de la ciencia es la replicacin: un cientfico debe estar continuamente interesado con lo que ocurra cuando l u otro cientfico repita su experimento. Por ejemplo, supongamos que se establece un intervalo de confianza para la media de una poblacin en base a un nico experimento: cul es la probabilidad de que la media de una muestra de un prximo experimento cabr dentro de dicho intervalo? El nivel de confianza del primer experimento no dice nada al respecto. O de nuevo, supongamos que se calcula una ecuacin de regresin a partir de una muestra aleatoria incondicional: cul es la varianza de las predicciones realizadas a partir de una nueva muestra aleatoria incondicional de la misma poblacin en base a la ecuacin anterior? La respuesta de esta ltima pregunta es desconocida: muchos psiclogos, sabedores de ello, no dependen de una sola muestra y realizan validacin cruzada emprica. El mismo tipo de problema, con un giro diferente, se presenta en la prueba de hiptesis. Supongamos que un cientfico rechaza una hiptesis nula en favor de una alternativa dada: cul es la probabilidad de que en el prximo experimento cientfico har lo mismo? El prximo experimento del cientfico no ser, por lo general, independiente del primero, dado que la repeticin no se hubiera emprendido si en el primer experimento se hubiera retenido la hiptesis nula. Este es uno de los problemas ms realistas de la inferencia, y espera una respuesta. El asunto no es puramente matemtico, ya que el comportamiento real de los cientficos debe tenerse en cuenta. Enfrentados con tales problemas reales de la replicacin, pueden surgir dudas sobre la llamada perspectiva Bayesiana en la estadstica inferencial. Problema 3. Niveles simultneos de Significacin e Hiptesis Simultneas.Una dificultad intrnseca del problema precedente, y de muchos otros problemas reales de inferencia, es la complicacin de los hbitos de los investigadores. Estos normalmente no fijan con anterioridad a sus experimentos un error del tipo I. La fijacin preliminar de tal valor es requerida por la lgica de la teora de Neyman-Pearson, pero el cmo hacerlo no forma parte de la teora. Dado que los investigadores gustan de encontrar instrucciones precisas, insisten en que se les diga cmo seleccionar un nivel de significacin, a pesar de que no es de la incumbencia del matemtico el hacerlo. Forzados a formular una respuesta, el estadstico matemtico puede carraspear, y finalmente decir:

107

LOUIS GUTTMAN

Pruebe algo tal como .05 .01 o incluso .001. En tiempos anteriores podra haber sugerido: Tome algo como ms o menos dos o tres errores estndar. El estadstico matemtico podra olvidarse de recordar al investigador que tomara uno y slo uno de tales nmeros y con anterioridad para el problema. En cualquier situacin, dadas varias opciones, el investigador las acepta todas y las utiliza simultneamente, y habitualmente despus del hecho. Esta prctica por s misma puede hacer completamente insoluole el problema 2 anterior. La situacin se torna ms confusa cuando los niveles del mnibus se aplican todos ellos simultneamente tal cual & una serie de hiptesis simultneas. Qu solucin puede existir para los procedimientos utilizados en la prctica? Cmo pueden convencerse los autores y editores de revistas cientficas de que cuando rellenan sus tablas de datos con una galaxia de estrellas, dobles estrellas, e incluso triples estrellas, no estn probando hiptesis, sino rechazando la propia estadstica inferencial? Problema 4. Eleccin de las Hiptesis Nula o Alternativa.La teora de Neyman-Pearson para la prueba de hiptesis requiere una formulacin previa de y distincin entre las hiptesis nula y alternativa. No es competencia de la teora decir cmo realizar esta distincin preliminar, dejando de nuevo al investigador en la duda. La retencin, por razones histricas, del infortunado adjetivo nula es a estos efectos contraproducente. Una terminologa ms aclaratoria podra ser: hiptesis obligatoria (incumbent) versus hiptesis desafiante o cuestionante (challenging). Una hiptesis nula es la obligatoria, que no se modificar al menos que exista una evidencia abrumadora en contra (de ah que la probabilidad pueda ser 99 contra 1 para el error del tipo I, en favor de la hiptesis obligatoria). En muchas reas de las ciencias sociales, las hiptesis simplistas tal como no diferencia o no correlacin son habitualmente desafiantes en campos bien documentados de investigacin. Tomemos el caso de los tests de inteligencia: nadie hasta ahora ha sido capaz de realizar un diseo a priori con dos tests mentales diferentes y seguros que correlacionan cero entre s: sta es una tarea desafiante (casi todas las correlaciones entre tests mentales observados durante los ltimos sesenta aos son positivas). O de nuevo, la hiptesis de Charles Spearman del nico factor comn, fue una innovacin desafiante (ltimamente rechazada por l mismo) para un fenmeno tan complejo como es la inteligencia. El tener un pequeo nmero de factores comunes contina siendo una hiptesis desafiante en contra de la usual hiptesis obligatoria de un nmero ms amplio de factores comunes. Tales casos pueden contrastarse con campos ms problemticos e interesantes, tales como la parapsicologa y la grafologa, por ejemplo, para los cuales la nulidad persiste como una apropiada hiptesis nula. Una ilustracin de este punto en otra rea es la ley de Newton sobre el movimiento de un cuerpo en lnea recta con velocidad constante: desde luego que sta s fue una hiptesis desafiante! Cul fue la hip-

108

MALOS USOS EN ESTADSTICA

tesis nula desafiada por Newton? Y cundo en la historia se convirti la hip tesis de Newton en obligatoria, para hacer frente a un nuevo desafiador? El cambio en el tiempo de los papeles de las hiptesis de alternativa a nula es un proceso importante a elucidar para la estadstica inferencial. No hay necesidad de hacerse bayesiano para ello; realmente, la tarea cae fuera del dominio de los estadsticos matemticos. (Como ya se indic anteriormente, el problema 2 sobre replicacin plantea cuestiones sobre el realismo de la perspectiva bayesiana, cuestiones similares a aquellas que hubiera podido conducir al propio reverendo Thomas Bayes a no recomendar lo que actualmente es Bayesiano.) El problema prctico que persiste es que muchos estadsticos matemticos han hecho creer a los investigadores que, por ejemplo, la linearidad de la regresin es una hiptesis obligatoria, a pesar de su rareza y de su carcter desafiante en muchas reas de la ciencia emprica. Aqu puede existir confusin entre el concepto de primera aproximacin y el de hiptesis nula los dos son esencialmente contradictorios. Lo mismo ocurre con la falta de interaccin en el anlisis de varianza y con la falta de correlacin en las distribuciones bivariantes tales nulidades seran fenmenos bastante sorprendentes en las normalmente complejas interacciones de la vida social. Cmo se podra ensear a los investigadores empricos que, sin un conocimiento sustantivo de sus campos respectivos, no existen fundamentos para asignar papeles a las hiptesis nula o alternativa? Y que una primera aproximacin no es la hiptesis nula de que hablan los libros de texto? Problema 5. Ortogonalidad.La bsqueda de contribuciones independientes a partir de diversos componentes correlacionados es una empresa perenne entre los no matemticos. La creencia en la realidad de tal milagro estadstico se ha visto reforzada por la nocin de ortogonalidad en el diseo de experimentos. El diseador puede forzar la ortogonalidad, y hacerlo as si es que puede, debido a la teora distribucional simplificada que resulta. Muchos no matemticos creen que un diseo debe generar ortogonalidad, pues piensan que si no es as van en contra de la teora estadstica! Los matemticos saben que tal ortogonalidad no es otra cosa que un artificio creado por el diseador de experimentos, y puede no tener nada que ver con las interrelaciones de los fenmenos naturales. De manera similar, el estadstico crea ortogonalidad cuando utiliza mnimos cuadrados para predecir una variable numrica: la prediccin y el error de prediccin son ortogonales entre s. Hay que decir que muchos contextos en los que la ortogonalidad ocurre en estadstica estn creados por el anlisis estadstico, y que la ortogonalidad no tiene necesariamente una implicacin o interpretacin natural. Una cuestin interesante sera: existe algn tipo de ortogonalidad en datos que no hayan sido creados por el estadstico? Una respuesta posible es un coeficiente de correlacin observado de valor cero (la eleccin conocida de una hiptesis nula discutida en el anterior problema 4). En la correlacin mltiple, uno quisiera

109

LOU1S

GUTTMAN

a menudo tener los predictores no correlacionados entre s: si lo estuvieran, podran considerarse como si hicieran contribuciones independientes a la regresin mltiple. Pero, en general, los predictores se correlacionan entre s, y no existe una operacin inmediata para definir contribuciones independientes en este caso. Incluso para el caso de predictores no correlacionados, no existen garantas de que no se pueda encontrar otro predictor que correlacionar con el anterior predictor, restaurando la imposibilidad de conceder confianza independiente a cada uno de los predictores por separado. Problema 6. Diseo de datos, anlisis de datos y primeras aproximaciones.R. A. Fisher puso de manifiesto cmo la inferencia estadstica debe basarse en el diseo experimental. Cmo puede extenderse esta forma de razonamiento al anlisis de datos ms generales para los que los estadsticos matemticos no tienen todava respuestas inferenciales (y puede que no las tengan durante mucho tiempo)? Por qu en los sondeos sociolgicos y en los tests mentales los tems que contienen se construyen sin el mismo cuidado y formalizacin que se emplean en el diseo de la muestra de la poblacin a la que se les va a administrar? Y por qu el anlisis de los datos debe conducirse de acuerdo con tal diseo del contenido? Hacer esto requiere el desarrollo de una teora de muestras (estratificada) para construir variables para un universo de contenidos, de igual modo que la teora ordinaria de muestras discute la seleccin de sujetos individuales de una poblacin. El muestreo estratificado (incluso dentro de estratos) no puede mantenerse para la construccin de tems de tests de inteligencia o de actitud. Lentamente se ha ido desarrollando una teora que pueda dar una respuesta parcial a este problema, especialmente en el contexto de las teoras de la estructura de las intercorrelaciones y de lo que Lee Cronbach llama generalizabilidad. No puede suponerse que las tcnicas asociadas para el anlisis de datos se ajusten a tests exactos de significacin, sean o no paramtricos. Ms bien sugieren que la atencin se dirija de nuevo a la propia inferencia: por qu debemos interesarnos en un nivel exacto de significacin o confianza} El anlisis de datos no inferencial se contenta con ser descriptivo, y a menudo solamente como una primera aproximacin con alguna indicacin de cuan aproximadamente es exacto. (No se puede asegurar el opuesto, esto es, exactamente cunta aproximacin, sin conocer la respuesta exacta, en cuyo caso la aproximacin sera superflua.) De una manera ms general, por qu no estar satisfechos con un nivel aproximado de aproximacin? Por qu debe estar el investigador enfrentado perennemente con la contradictoria y paradjica cuestin: exactamente cuan aproximado es su trabajo? Esencialmente, la replicacin es el test de la ciencia, y las replicaciones repetidas por ms que aproximadas valen ms la pena que el tratar de fijar la exactitud de un nivel de aproximacin de una o dos pruebas. La manera en que se puedan obtener inferencias estadsticas correctas sobre los parmetros cuando solamente se utilizan

110

MALOS USOS EN ESTADSTICA

primeras aproximaciones, parece que es en buena medida un territorio inexplorado por parte de los estadsticos matemticos. W. Edwards Deming y otros han hecho trabajo de caballera al sealar docenas de fuentes de error no muestral, que deberan sensibilizar en particular a los investigadores en el problema de la aproximacin. A pesar de ello, la confusin aparece ampliamente extendida entre los investigadores en lo que se refiere a errores de muestreo, versus errores de aproximacin. UNA LISTA DE LO QUE NO ES QUE La siguiente lista de hechos (negativos) ampla y se aade a las seis clases precedentes de temas no resueltos. Como ha mostrado la discusin anterior, los problemas inferenciales pueden ser oscurecidos por rasgos no inferenciales. As, una de las fuentes de falsas interpretaciones para el profesional es la dificultad de especificar dnde comienza formalmente la inferencia (el anlisis de varianza es un buen ejemplo de ello). He tratado de resistir a la tentacin de tratar de clasificar las variedades de falsas interpretaciones y confusiones en la lista. Unas tropiezan con otras de manera sutil y no sutil. Puede que sea consustancial a tales falsas interpretaciones el que todo intento de su clasificacin sea confuso, y pueda conducir a mayores equivocaciones. Por ello he formulado cada tem sucintamente como un hecho por s mismo, y slo intento ligeramente hacer alguna referencia cruzada, tanto dentro de la lista como con las seis reas de problemas precedentes. 1. Las medias no miden tendencias centrales. (En el concepto de media no est implcito un proceso dinmico, como sugiere errneamente la palabra no matemtica tendencia. Considrese la distribucin en forma de U. Una media puede definirse como un valor que minimiza una funcin residual, y cualquier valor en el rea de alcance de una variable es una media segn alguna funcin residual. Ver tambin el punto 3 ms adelante.) 2. La dispersin o desviacin de una distribucin no se define necesariamente como si estuviese alrededor de una media. (Considrese el valor esperado de |xp x q |, en donde xp y xq son valores de los miembros p y q de una poblacin en una variable numrica x. Analistas de varianza tomen nota. Al contrario, el valor esperado de (x p xq)2 ocurre que es proporcional a la varianza alrededor de la media aritmtica. Ver tambin los tems 4 y 20, ms adelante.) 3. No existe regresin a la media.

(De igual modo que no existe un proceso dinmico para la media [ver el tem 1, anterior]. El verbo regresar no tiene definicin matemtica, aun-

111

LOUIS GUTTMAN

que el nombre regresin desgraciadamente va unido a l. Una regresin es sencillamente una serie de medias condicionales, usualmente de medias aritmticas.) 4. El concepto de correlacin no depende necesariamente del concepto de regresin. (Considrense los coeficientes libres de regresin de monotonicidad entre dos variables numricas x e v para una poblacin p, tal como |t2: X X peP qeP (x P x q ) (y P yq) V-2 = X X
peP qeP lxp xq yp y q l

Tal coeficiente de correlacin vara entre 1 y + 1, alcanzndose estos valores extremos cuando se obtiene perfecta monotonicidad, sin especificacin de la forma exacta de la funcin monotnica, y sin referencia a las medidas condicionales de una variable a partir de la otra. Esto ampla el concepto de media-libre de dispersin del anterior punto 2. Los conceptos de correlacin libres de regresin estn mostrando ser tiles en los anlisis de datos sobre series temporales, as como en los anlisis corrientes de distribuciones bivariantes y multivariantes. Tales coeficientes son las bases de los programas de ordenador para el anlisis de datos no paramtricos, tales como el anlisis del espacio mnimo.) 5. Una primera aproximacin no es una hiptesis nula. (Puede tratarse de una hiptesis aproximada, nula o alternativa, si se prueba una hiptesis. La teora actual de Neyman-Pearson no se ocupa de hiptesis aproximadas, por lo que no resulta apropiada para primeras aproximaciones. Por ejemplo, si se considera que la linearidad es tan slo una primera aproximacin a la estructura de una curva de regresin de una poblacin, esto es, en efecto, un rechazo automtico de la hiptesis de linearidad, y es necesario que el investigador decida exactamente qu es lo que est comprobando y contra qu alternativa, si quiere utilizar la teora actual de Neyman-Pearson para hablar de la estructura de la regresin de la poblacin. La utilizacin de ideas de aproximacin puede entrar en colisin con las ideas de hiptesis nulas versus hiptesis alternativas.) 6. No existe generalmente salida de la linearidad de una regresin.

(El tomar la linearidad como punto de partida equivale atribuir a un fenmeno tan poco comn el papel generalmente incorrecto de una hiptesis nula obligatoria. En las ciencias sociales, al menos, la linearidad debiera ser contemplada como una salida de la no linearidad, y no viceversa. Ver el proble-

112

MALOS USOS EN ESTADSTICA

ma 4, anterior: tambin los puntos 4 y 20. Esto provoca una cuestin interesante sobre cmo desarrollar una prueba realista de significacin, o si la inferencia estadstica debiera siquiera mezclarse con problemas de aproximacin. Ver el problema 6, anterior.) 7. Una diferencia que se afirma que es significativa al nivel 0.1 no es significativa al nivel .01. (Esto es un hecho para cualquier nivel el nivel .01 se ha tomado como ejemplo y para cualquier valor estadstico, no slo para una diferencia. Tal afirmacin implica que el nivel se determin despus de calcular el valor estadstico. Al ensayar una hiptesis, el nivel [y slo un nivel] debe fijarse con anterioridad a la investigacin; la hiptesis nula se rechaza o no subsecuentemente, de acuerdo con el valor estadstico observado y la regin de rechazo. Proclamar un nivel de significacin despus de calcular un valor estadstico implica un valor incorrecto para la probabilidad del error tipo I, y de hecho hace que la probabilidad quede indeterminada. Ver el problema 3, anterior. Si un investigador desea destacar su pertenencia a la minora de los que realmente ensayan hiptesis, debiera decir algo parecido a lo que sigue: El nivel .01 de significa ti vidad se eligi previamente a la investigacin, y el estadstico obtenido es significativo a dicho nivel. Adems, no debera poner ninguna estrella.) 8. Un ensayo de significacin estadstica no es un ensayo de importancia cientfica. (Este es un hecho que se necesita ensear a cada generacin de estudiantes. Puede que haya pasado desapercibido a una parte de la generacin anterior que se ha convertido en editora y miembros del consejo de redaccin de las revistas cientficas en campos tales como psicologa experimental y sociosicologa experimental dedicadas de jacto a asuntos tales como diferencias pequeas pero significativas y efectos significativos. Hasta ahora nadie ha publicado una ley cientfica en las ciencias sociales que haya sido desarrollada, modelada o efectivamente sustentada en base a ensayos de significacin. Las leyes bsicas de la fsica, desde luego, no se desarrollaron de esta forma. La estimacin y la aproximacin pueden ser ms provechosas que la significacin en el desarrollo cientfico, sin olvidar la replicacin. Tngase en cuenta la ley radex para la inteligencia y la ley cilindrex para las actitudes, o las leyes de regresin poli tnica para los componentes principales de las actitudes.) 9. Un intervalo de confianza para la media de una poblacin no vale para predecir la media de una nueva muestra. (Y lo que es peor, una ecuacin de regresin lineal mltiple calculada a partir de una muestra aleatoria no condicional puede con frecuencia hacer ms dao en la prediccin de una nueva muestra aleatoria no condicional

113

LOUIS GUTTMAN

que la que pueda hacer una simple ponderacin. Ver el problema 2 anterior sobre replicacin.) 10. La distribucin normal no es un fenmeno emprico normal. (Raras veces, si alguna, se observa en la naturaleza. En buena medida se genera por los estadsticos cuando desarrollan las matemticas de la teora de las muestras. Este hecho se ha enseado correctamente durante mucho tiempo, pero necesita que se repita constantemente a los estudiantes despus de haber pasado por cursos de inferencia estadstica.) 11. La correlacin parcial no parcializa [partid out] nada.

(De igual manera que la probabilidad condicional no parcializa nada. Todas las correlaciones bivariantes son correlaciones parciales: cada una de ellas es condicional a la poblacin de la que se calcula. Proponer nuevas condiciones implica la estratificacin en subpoblaciones, y las correlaciones condicionales resultantes pueden variar ampliamente entre tales subpoblaciones. Una mejor y menos confusa terminologa sera decir siempre correlacin condicional en vez de correlacin parcial, de igual modo que los matemticos dicen probabilidad condicional y no probabilidad parcial.) 12. Las variables independientes de una regresin son habitualmente no independientes estadsticamente de la variable que va a predecirse a travs de la regresin. (Si lo fueran, la regresin sera intil para la prediccin. Estas variables independientes son generalmente mutuamente dependientes. Una terminologa ms adecuada consistira en llamarlas variables condicionales de la regresin, o los predictores. Hotelling sugiri llamar a la variable incondicional, es decir, la que se va a predecir, la predictante (predictant) de la regresin: los psiclogos a menudo la llaman el criterio.) 13. Las contribuciones independientes a una regresin mltiple son habitualmente dependientes. (Incluso en el caso de que los predictores sean independientes estadsticamente entre s, no existen garantas de que se pueda encontrar un predictor ulterior que introduzca dependencia estadstica. Cuando hay dependencia estadstica existen muchas formas de resolverla en componentes independientes estadsticamente; la eleccin entre estas diversas formas no es un problema estadstico. Ver la discusin del milagro de la ortogonalidad en el problema 5 anterior: ver tambin el punto 21 ms adelante sobre regresin stepwise.) 14. Cuando se calcula a partir de un solo ensayo en una muestra una estimacin de un coeficiente de fiabilidad para la poblacin, es generalmente inconsistente (usualmente una subestimacin).

114

MALOS USOS EN ESTADSTICA

(Se necesitan al menos dos ensayos sobre la misma muestra para conseguir una estimacin consistente y por supuesto no sesgada de un coeficiente de fiabilidad de poblacin, incluso para la Habilidad de una suma o mitades partidas. Los intentos comunes de salir del paso con un solo ensayo introducen supuestos que son falsos y que no anulan los sesgos respectivos. Los sesgos de los supuestos habituales son acumulativos, y a menudo conducen a serias subestimaciones. Los autores algunas veces se percatan de esto cuando corrigen para atenuar, y obtienen un coeficiente de correlacin mayor que la unidad; el sesgo es bastante universal y puede ser drstico incluso si una correccin en un caso particular no conduce a un absurdo inmediato. Muchos libros de texto en psicologa educativa y en reas similares tratan errneamente las frmulas convencionales del coeficiente de fiabilidad como si fueran consistentes, mientras que estas frmulas no son usualmente otra cosa que estimaciones de lmites bajos del coeficiente de fiabilidad en cuestin.) 15. En un ensayo de items de eleccin mltiple, las diversas respuestas falsas no tienen generalmente la misma probabilidad de ser elegidas. (Si las respuestas falsas son igualmente probables para cada miembro de una poblacin amplia, y si existe independencia experimental entre los miembros, entonces la proporcin observada de poblacin que elija una respuesta falsa particular ser igual a la proporcin observada que elija cada una de las otras respuestas falsas. Habiendo revisado a lo largo de los aos cientos de items de eleccin mltiple, an no he observado empricamente tales proporciones iguales, y no conozco a nadie que haya manifestado haber observado tal fenmeno emprico. En la prctica, los distraedores distraen diferencialmente. La tan extendida hiptesis de que existen intuiciones en los ensayos prcticos que conducen a probabilidades iguales es un ejemplo de supuestos matemticos falsos e innecesarios anclados en algunos lugares de las ciencias sociales. Los supuestos matemticos no son un sustituto para el estudio real de la conducta humana.) 16. El estadstico chi-cuadrado para los ensayos de independencia estadstica entre dos variables no es una medida de dependencia. (Por ejemplo, este valor estadstico no indica cundo existe perfecta dependencia monotnica. Existe un solo tipo de independencia estadstica, pero muchas variedades de dependencia perfecta, y cada una de sas requiere su propia funcin residual [loss junction]. Es por esto tambin que la prueba del chi-cuadrado, tal como se usa habitualmente, es bastante dbil: no tiene una hiptesis alternativa particular. Generalmente se puede hacer una prueba mejor cuando se especifica el tipo de dependencia.) 17. El concepto de variable aleatoria no se define en trminos de muestreo aleatorio.

U5

LOUIS GUTTMAN

(El recproco es cierto. Una variable aleatoria es realmente una funcin, esto es, una funcin que tiene como dominio una poblacin con una medida de probabilidad. El que la teora estadstica se ocupe desde el principio del concepto de funcin puede ser una de las fuentes de dificultad en la enseanza de estadstica elemental: al menos se deben considerar simultneamente, y desde el principio, dos azares.) 18. Nada ocurre por azar. (Azar no es un trmino estadstico. Algunos autores usan azar para referirse a sucesos con igual probabilidad, otros pueden estar pensando en la independencia estadstica entre variables, mientras que algunos lo utilizan para indicar simplemente que no se conoce todava una ley definitiva. Se puede evitar mejor la palabra en discusiones tcnicas. Igualmente, nada ocurre al azar aunque el muestreo aleatorio sea posible a saber, al generar una distribucin multivariantes de variables estadsticamente independientes e idnticamente distribuidas.) 19. Un valor esperado no es esperado generalmente.

(Se trata simplemente de la media aritmtica de una poblacin.) 20. Una frase tericamente diseada (mapping sentence) no es una teora (*). (El concepto de frase tericamente diseada generaliza simplemente el diseo de experimentos de R. A. Fischer al diseo de cualquier observacin, con el rasgo adicional de una conexin verbal informal que es necesaria para el trabajo emprico real. Tal diseo ampliado define el contenido de las observaciones y de este modo puede servir como base para el establecimiento y comprobacin de una hiptesis o una teora. Tal como seal Fischer, el diseo de los datos debiera ser una parte explcita de una teora. Se puede definir una teora, en este sentido [y de una manera bastante general], como una hiptesis, con su lgica, de la unin correspondiente entre un sistema o diseo definicional para un universo de observaciones. Ver el problema 6: tambin los puntos 47 y 50, ms adelante.) 21. Generalmente no se puede muestrear aleatoriamente un universo de variables para una poblacin dada. (Generalmente no existe una distribucin de probabilidad para un diseo de contenido de facetas. La replicacin de una muestra se consigue al construir nuevas variables segn el mismo diseo de contenido de facetas. Un
* N. T.: La "mapping sentence" es una tcnica bsica de la teora de las facetas ("facet theory"). Representa uno de los intentos ms recientes que se estn llevando a cabo en el campo de las ciencias sociales para formalizar conjuntamente la teora y la investigacin emprica, tarea en la que participa activamente Guttman.

116

MALOS USOS EN ESTADSTICA

caso especial de tal construccin y replicacin es la traduccin en diversas lenguas y la comparacin entre diversas culturas.) 22. Por lo general, una hiptesis nula no debera hipotetizar el carcter de ser idnticamente nula (nullity). (Lo idnticamente nulo debiera ser generalmente una hiptesis alternativa: ver el problema 4 anterior.) 23. El anlisis de varianza no analiza varianza. (Analiza la forma de la regresin de una variable numrica sobre otra variable [predictor] condicional numrica o categrica. Las varianzas y los grados de libertad aparecen en escena para ayudar en el estudio del error de muestreo con fines inferenciales: no son esenciales para el reparto bsico del predictor numrico en la regresin [entre] y desviacin de la regtesin [dentro de]. El diseo factorial representa el caso general de las condiciones categricas: pero, tradicionalmente, la forma ms general y posible de regresin para este diseo no se estudia. Por ejemplo, dado un diseo tridimensional para realizar observaciones en una variable numrica t, los analistas de varianza tradicionalmente consideran solamente una tautologa de la forma tijk = tij. + ti.k + t.jk + t.. + t.j. + t..k + residuo y buscan la ortogonalidad [problema 5 ] , mientras que esta forma es tan slo un caso especial de una tautologa ms general
tijk = M-J Vjk Wik + residuo

en donde /J, Vjk, y Wik pueden a su vez ser descompuestos de formas diversas. La regresin de la poblacin, naturalmente, es la serie de valores esperados condicionales de tijk, y esta serie no necesita estimarse consistentemente con el uso de una tautologa restringida. A pesar de ello, los autores hafoitualmente tratan de ensayar hiptesis en las que se mantiene una forma ms simplificada que cualquiera de las anteriores usualmente varias hiptesis simultneamente. Suelen calcular una serie de valores estadsticos [ratios de varianza] Fi, F2, ..., F m siendo cada Fi una especie de ayuda para el ensayo de la hiptesis nula HOi en algn aspectos de la regresin y realizan afirmaciones referentes a niveles de significacin ai, en donde probablemente ai = Prob{F ^ Ai I Hoi }(i = 1, 2, ..., m) el coeficiente K se refiere al lmite entre los intervalos de rechazo y aceptacin de la hiptesis HOi. Tales afirmaciones son tpicamente errneas, tal

117

LOUIS GUTTMAN

como se ha discutido en el problema 3 y en el punto 7. Sera ms apropiado especificar una regin de rechazo R, un valor estadstico multivariante r, y un nivel de significacin a para todas las hiptesis simultneamente, tal que = Prob {rER|Hc, Ho2, ..., H om } y donde r y R minimizan el tipo II de error para dar una serie de hiptesis alternativas. Algunos estadsticos matemticos han prestado atencin a casos especiales de este problema, destacando nulidades como hiptesis nulas, y normalmente sin ofrecer alternativas especializadas. Esto, naturalmente, nos conduce de nuevo al problema 4. A pesar de ello, los autores a menudo muestran que en lo que estn interesados realmente es en la estimacin de la forma de la regresin, y que utilizan la prueba de la hiptesis como una tcnica para la estimacin. Tales autores tratan las hiptesis secuencialmente, pero sin utilizar inferencia secuencial. Esto no es diferente a la regresin stepwise con variables condicionales numricas [ver el punto siguiente]. Se combinan diversas cosas y se recalculan probabilidades, en un desenfadado olvido de que la inferencia estadstica es denegada con ello. Incluso algo ms bsico se niega cuando los autores y editores de revistas se quedan tan enamorados con el aparato tcnico de las sumas de cuadrados y grados de libertad que en efecto publican, pero deciden ahorrar espacio o simplemente olvidan y no publican la estimacin de la regresin final que era el objetivo del trabajo: se fijan en el bao, pero no en el beb. Incluso cuando se ahorra espacio de publicacin, sera generalmente ms til publicar al menos el ratio de correlacin asociada con la regresin, con el fin de ayudar al lector a comprender inmediatamente el poder predictivo relativo de la regresin tal como se estima a partir de los datos. Ver tambin el punto 2 anterior para algo parecido.) 24. La regresin secuencial ptima (stepwise regression), tal como se practica corrientemente, no es ni inferencia ni teora inteligentes. (Hacer ulteriores clculos condicionales con los ensayos de significacin de clculos anteriores no produce las probabilidades implcitas con fines inferenciales. Todava no se conoce una prueba secuencial correcta. Alternativamente, el fijarse en todas las regresiones posibles simultneamente crea otro problema de inferencia que tampoco se ha resuelto an: ver el problema 3. Ms importante todava: la bsqueda de una regresin ms simplificada se hace probablemente para usos prcticos en una nueva muestra. Nadie ha mostrado que ninguna tcnica para reducir regresiones incluyendo el anlisis de varianza tal como se ha discutido anteriormente tenga ninguna cualidad ptima para tratar el problema de la nueva muestra; ver el problema 2. Enfrentados con este estado de ignorancia inferencial, nada puede ser ms prctico para lograr regresiones simplificadas que una teora sustantiva para la estructura de la matriz entera de covarianzapredictante y predictor

118

MALOS USOS EN ESTADSTICA

juntos que puede probarse aproximadamente por los datos de la muestra. La evidencia cros-validada emprica y matemticamente, indica que es interesante la bsqueda de un nmero mnimo de predictores para la prediccin prctica. Demasiados predictores pueden dar predicciones sin valor en la muestra siguiente; estropean una regresin al aadir ms error muestral que otra cosa. Adems, unos simples pesos constantes para los predictores pueden ser mejores para la prediccin en una nueva muestra que lo puedan ser los coeficientes de regresin de la muestra anterior, debido a la inestabilidad de los coeficientes de regresin. Algunos autores consideran la regresin secuencial no como un problema prctico, sino como una herramienta terica para comprobar las contribuciones de incrementos independientes a una regresin. Al hacer esto caen en la trampa de la ortogonalidad discutida en el problema 5, punto 12 y punto 24. El uso de la regresin secuencial es de hecho una confesin de ignorancia terica en lo referente a la matriz de correlacin. Si se conoce la estructura, las formas apropiadas de la regresin se pueden predecir con anterioridad; simples ilustraciones de esto son las inversas de las matrices de covarianza simplex y circumplex. Para el desarrollo de teora sustantiva puede ser ms conveniente considerar la estructura de la matriz de covarianza como un todo, a la luz del diseo definicional de todas las variables implicadas. Ver el problema 6 y el punto 20.) 25. La correlacin generalmente no indica causacin.

(Este hecho se ha enseado adecuadamente durante bastante tiempo. Pero la esperanza brota eterna en algunos cuarteles sociolgicos: ver los puntos 26, 27, 39 y 40 sobre determinacin, explicacin, anlisis causal y anlisis de camino.) 26. Un coeficiente de determinacin no indica determinacin.

(El cuadrado de un coeficiente de correlacin de Pearson o ratio de co rrelacin se llama a menudo un coeficiente de determinacin, y con frecuencia se dice errneamente que expresa la proporcin de una variable que es determinada por otras. Es obvio que cualquier variable puede tener correlaciones diferentes de cero en muchos contextos, por lo que la suma de todas las proporciones de determinacin posibles para cualquier variable dada es generalmente infinita. Se ensea corrientemente que la correlacin no significa necesariamente causacin; por alguna razn, al cambiar la palabra causacin por determinacin se anula esta enseanza.) 27. La proporcin (o porcentaje) de varianza nunca se explica.

(La palabra explicacin juega aqu el mismo papel que determinacin o causacin en el punto anterior. Ninguna de estas palabras tiene un significado tcnico matemtico; su uso representa un deseo [wishful thinking] acerca de la relativa predictibilidad de una variable en un contexto dado,

119

LOUIS GUTTMAN

que generalmente conduce a porcentajes de explicacin que suman varias veces 100 por 100 para la variable en cuestin.) 28. La correlacin no determina el contenido. (Al igual que la correlacin no implica causacin. De otra manera existira siempre una respuesta obvia a una pregunta como: supngase que, para una poblacin dada, una variable X correlaciona .60 con la altura de la gente. Cul es el contenido de la variable X?.) 29. tem analysis no analiza items.

(Intenta simplemente ensayar la hiptesis desafiante! de que todas las correlaciones inter-tem son cero, y habitualmente a travs de una tcnica de correlacin de puntuacin total de los items correcta. Igualmente implica el buen deseo [wishful thinking] de que las correlaciones debieran determinar el contenido.) 30. La escalabilidad no debe ser deseada o construida. (Decir que uno quiere construir una escala de actitudes hacia alguna cosa, o de logro en algn rea es casi anlogo a decir que no quiere que el mundo sea plano. Los items son las cosas a construir no la escalabilidad; la escalabilidad es una hiptesis emprica para un universo de items en una poblacin dada [normalmente una hiptesis alternativa a la hiptesis nula de multidimensionalidad; ver el punto 3 3 ] . El rechazo de items que no se ajustan a la unidimensionalidad es como rechazar la evidencia de que el mundo es redondo.) 31. Si todas las correlaciones entre los items son positivas, ello no presupone la presencia de un solo factor comn (incluso cuando los coeficientes son muy elevados). (Al contrario, la observacin de que todas las correlaciones eran positivas condujo a Charles Spearman a desarrollar y a desaprobar la hiptesis de un solo factor comn para la inteligencia. De esta forma se desarroll el anlisis del factor comn mltiple. Incluso cuando todas las intercorrelaciones son muy altas del orden de 0.95 no se puede inferir nada sobre dimensionalidad a partir de esta sola informacin. Se puede hipotetizar que todas las correlaciones sean positivas cuando las variables tienen un rango comn considrese, por ejemplo, las primeras leyes de inteligencia y actitudes. Un rango comn no debe confundirse con un factor comn.) 32. Que el nmero de factores comunes sea pequeo no es generalmente una hiptesis nula. (Esto contina siendo una hiptesis desafiante en el campo de la inteligencia y de otras reas de la conducta social. Vase tambin el epgrafe siguiente.)

120

MALOS USOS EN ESTADSTICA

33. La escalabilidad no es generalmente una hiptesis nula. (Es por ello por lo que se ha desarrollado el anlisis del escalograma multidimensional. Las distribuciones multivariantes de items en las ciencias sociales, tanto estn basadas en diseos de observaciones intuitivas o formales, han mostrado ser generalmente multidimensionales en vez de unidimensionales. Hasta ahora nadie ha sugerido una explicacin bsica para un universo de tems, y para la poblacin a observar a partir de l, segn la cual la unidimensionalidad sea la regla en vez de la excepcin. Los editores de libros de texto y revistas cientficas parecen desconocer el hecho de que el anlisis de escalograma multidimensional puede ser ms apropiado que los tan extendidos intentos por forzar la escalabilidad [ver el epgrafe 30]. El anlisis de escalograma multidimensional no debe confundirse con el llamado anlisis multidimensional de escalas, que ser discutido en el epgrafe 46.) 34. El espacio euclidiano puede definirse sin un sistema coordenado. (En efecto, as es como lo hizo Euclides. Descartes vino unos siglos ms tarde. Hoy se puede obtener una perspectiva conveniente libre de coordenadas a travs de ideas sobre vectores o distancias. Es curioso cmo algunos editores de artculos que incluyen tcnicas de anlisis de datos como el Anlisis del Espacio Mnimo [Smallest Space Analysis] continan preguntando por una presentacin y/o interpretacin de ejes coordenados, a pesar del hecho de que tales ejes son completamente irrelevantes al problema. Ver tambin los puntos siguientes sobre anlisis factorial, y los puntos 46 y 47.) 35. El espacio euclidiano bidimensional posee un nmero infinito de dimensiones. (Esta es una de las razones por las que deben ensayarse hiptesis regionales, relacionadas con diseos de facetas, en vez de tratar de encontrar tan slo un par de ejes coordenados significativos. Lo mismo se puede decir en el caso de espacios n-dimensionales, euclidianos o no, cuando n > 2.) 36. Los autores que utilizan anlisis factorial no analizan, en la prctica, factores. (No hallan una serie de puntuaciones de factores que, al mantenerse constantes, produzcan correlaciones condicionales de valor cero [o independencia estadstica local] entre las variables observadas. Todo lo ms, analizan parcialmente la matriz de correlacin observada no las puntuaciones observadas al calcular los supuestos factores o coeficientes de saturacin [factor loadings] de los coeficientes para la reproduccin aproximada de aquella matriz. Nadie ha demostrado la utilidad de los actuales clculos indirectos de los coeficientes de saturacin de la matriz de correlacin observada, cuando el problema real es el de las puntuaciones observadas. Tampoco ha de-

121

LOUIS GUTTMAN

mostrado nadie que las matemticas subyacentes en las rutinas actuales del ordenador sean consistentes con las matemticas de la teora de la puntuacin del factor [factor score theory]. Las matemticas del anlisis factorial demuestran que aunque se fijan los coeficientes de saturacin de una manera consistente, se continuar dejando abierta la cuestin de las puntuaciones de factor que deben acompaar a los coeficientes de saturacin: existen generalmente soluciones de puntuaciones alternativas muy diferentes que son consistentes precisamente con los mismos coeficientes de saturacin. Muchos libros de texto no mencionan estos problemas de indeterminacin e inconsistencia de las puntuaciones de factor, que se encuentran en la base de la teora analtica factorial, y los programas de ordenador existentes ignoran estos problemas.) 37. El anlisis factorial no es un instrumento poderoso ni exploratorio.

(Llamar exploratorio al anlisis factorial equivale a afirmar que los autores que utilizan anlisis factorial no practican anlisis factorial [ver el punto anterior], sino algo para lo que no fue diseada la teora analtica factorial. Las ideas no mtricas encajan mejor con fines exploratorios en algo que no sea tan rgido como el marco de una teora factorial. Todo lo ms, los analistas de factores exploran parcialmente la matriz de correlaciones aunque esta matriz sea meramente incidental a la teora factorial al buscar un sistema de coordenadas para las variables sin tener que factorializar puntuaciones para los individuos. Esta exploracin es bastante limitada; por ejemplo: todos los programas de ordenador existentes etiquetados como anlisis factorial no dan informacin elemental sobre una matriz de correlacin: son todos sus items de un signo o no? En esta cuestin del signo es donde comenz histricamente el anlisis factorial: ver el punto 31 anterior. Se ha olvidado la hiptesis de L. L. Thurstone de un positivo mltiple para todos los signos positivos. Anlogamente, los programas no dan informacin sistemtica sobre los tamaos relativos de los coeficientes de correlacin observados, y estn engranados siempre para pasar por alto una estructura simplex y otras configuraciones simples que se sabe que existen en diversas matrices de correlacin emprica. Los programas tampoco se benefician de ningn diseo tipo faceta para las variables observadas [incluyendo otros diseos factoriales]. Todos estos analistas adoptan la posicin estrecha arbitraria de que un espacio euclidiano [para las variables] debe comprenderse en trminos de un sistema coordenado [ver el punto 34 anterior], cerrando sus ojos a otras posibilidades regionales y libres de coordenadas. Estn cegados por su insistencia en las coordenadas cartesianas, ignorando los sistemas cilindricos y otros sistemas coordenados que han mostrado su utilidad en otras formas de anlisis de datos, si es que las coordenadas son tiles para algo.)

122

MALOS USOS EN ESTADSTICA

38. La teora de las estructuras latentes no es una teora estructura!. (Es una teora de desviacin de una estructura. El argumento principal de esta perspectiva es que una poblacin puede estratificarse en subpoblaciones, dentro de cada una de las cuales se adquiere independencia estadstica para el universo de los items. No forma parte de la teora el cmo estratificar o la especificacin estructural, y debe decidirse de nuevo para cada problema a travs de consideraciones externas. Es por ello por lo que no pueden haber programas de ordenador estndar para el anlisis de las estructuras latentes. En este y otros aspectos, el anlisis factorial y el anlisis de las estructuras latentes pertenecen a la misma familia; en particular, ambos comparten el problema bsico de la indeterminacin de los valores estructurales o puntuaciones para los individuos, incluso despus de especificar la estructura sobre los items. Comparar con el punto 36.) 39. El anlisis causal no analiza causas.

(Incluso no ofrece una definicin del trmino causa. Tampoco ofrece una necesaria o suficiente condicin emprica para la prueba de la causalidad de las relaciones. Si se propusiese cualquiera de las dos condiciones, conducira indudablemente a muchas cosas que seran causadas repetidas veces [comprese con los puntos 27 y 40 sobre la explicacin de la varianza y del anlisis de camino]. A pesar de ello, se ha producido un florecimiento de descubrimiento causales en sociologa a un ritmo desconocido en el campo de las ciencias naturales. Virtualmente cada mes, las revistas actuales publican nuevos anlisis causales y modelos causales que sin duda colocan a la sociologa a la cabeza de todas las ciencias en trminos de la frecuencia de descubrimientos de relaciones fundamentales. De hecho, las ciencias no sociolgicas se las han arreglado para seguir adelante sin causacin. Segn Sir Isaac Newton, la causacin pudiera ser que no denotase siquiera un concepto cientfico.) 40. El anlisis de camino (path analysis) no analiza caminos no genticos. (Sewall Wright sugiri inicialmente el anlisis de camino como un algoritmo para calcular varianzas genticas bajo ciertas condiciones cuando se conoce el camino de herencia de genes de una generacin a otra. El trmino path analysis ha sido tomado prestado por algunos investigadores para usos no genticos, principalmente para referirse a algunos clculos lineales algebraicos para los que los caminos no existen aparte de la propia lgebra, y sin ninguna definicin de lo que [anlogamente a los genes] se supone que se transmite en el tiempo a lo largo del camino. Incluso en gentica, si se introdujera el entorno en el anlisis de caminos, no existira una lgica clara para el camino en el tiempo; al ampliar las ecuaciones genticas de esta manera puede suponerse que los genes se modifican o se generan por el

123

LOUIS GUTTMAN

entorno. Unidades de tiempo y/o secuencias de generaciones estn generalmente ausentes de los anlisis de camino de datos sociolgicos y no genticos, a pesar del hecho de que el problema bsico en el estudio del movimiento en el tiempo sobre los caminos presuponindose que existen caminos conocidos para ser estudiados. La gentica slo tiene un modesto marco para los caminos. Sin embargo, y de acuerdo con algunas revistas actuales, los socilogos continan descubriendo nuevos marcos de caminos fundamentales cada mes; y a los estudiantes graduados de sociologa se les obliga rutinariamente, como ejercicios de clase individuales, a que se manejen en descubrimientos que igualen a los de Gregor Mendel. Ver tambin los puntos 27 y 39, sobre explicacin de la varianza y sobre anlisis causal.) 41. Las regiones no son generalmente conglomerados (clusters).

(Dos puntos pertenecientes a regiones diferentes de un espacio, pueden estar ms cerca entre s que dos puntos de una misma regin. Las regiones para el anlisis de datos deben definirse usualmente a travs de consideraciones de contenido, no por anlisis tentativos de conglomerados de distancias entre puntos. Las regiones estn indicadas por y generalmente comparten puntos lmites, y no estn generalmente separadas por espacios vacos como sugiere el trmino conglomerados.) 42. La conglomeracin (clustering) no define el contenido. (De igual forma que la correlacin no define el contenido. Un test verbal y un test aritmtico pueden estar ms juntos entre s que lo puedan estar dos tests aritmticos o dos tests verbales.) 43. No existe una definicin ampliamente aceptada del concepto conglomerado para el anlisis de datos. (Difcilmente puede haber una, especialmente para las ciencias sociales, dado que las teoras acerca de los espacios fsicos [incluyendo teoras no geogrficas y no ecolgicas] generalmente requieren continuidad, sin vacos o separaciones claras entre las regiones del espacio social o psicolgico. Las diversas tcnicas de anlisis de datos subsumidas bajo el nombre de anlisis de conglomerados generalmente no justifican de una forma lgica por qu deben esperarse conglomerados sistemticos, por lo que no existe una lgica para su definicin. Se usa el trmino conglomerado cuando es ms apropiado el trmino regin, y adems requiere un criterio externo para la delineacin de los lmites. Ver el punto 41.) 44. Las escalas nominales, de intervalo, y de ratios no son escalas.

(Una escala nominal est desordenada por definicin, por lo que no es una escala por definicin, puesto que el orden es una parte esencial de la nocin de una escala. En psicofsica, la escala de intervalos y la escala

124

MALOS USOS EN ESTADSTICA

de ratios son nombres para hiptesis acerca de algn aspecto de ciertas curvas de regresin experimentales. Algunos no-psicofsicos han tomado prestada esta terminologa desafortunada para contextos menos apropiados y por supuesto indefinidos, y puede que desconozcan el problema de la regresin psicofsica experimental original. Existe un folklore ampliamente difundido acerca de reglas estadsticas mticas, que prohiben o permiten clculos que incluyen escalas, siendo tales reglas independientes del contexto. Ver el punto siguiente. Quiz los psicofsicos podran sugerir una palabra mejor que escala para sus hiptesis de regresin bivariante.) 45. No se requieren permisos en el anlisis de datos.

(Lo que se requiere es una funcin residual [loss function] para ser minimizada. Los autores suelen demandar reglas a priori sobre lo que est permitido hacer con sus observaciones numricas, ordenadas o desordenadas, sin referencia a una funcin residual comprensiva para su problema. En vez de ello, deberan decir al matemtico: aqu est mi funcin residual: cmo hago para minimizarla? La minimizacin puede requerir el tratamiento de datos desordenados de una forma numrica y los datos numricos de una forma desordenada. Si el matemtico concede o retiene el permiso sin referencia a una funcin residual, puede ser accesoria la ayuda al investigador para escapar de la realidad de definir el problema de la investigacin.) 46. El anlisis de escalas multidimensionales no mtricas, no escala dimensiones. (Todo lo ms, escala distancias. Transforma monotnicamente informacin inter-puntos del tipo mtricamente-ordenada, en el lenguaje de Clyde Coombs, en una funcin de distancia [Euclidea o no Euclidea] que relaciona puntos. Warren Torgerson emple originalmente el trmino escalabilidad multidimenr sional en un anlisis totalmente mtrico de distancias observadas entre puntos, con la intencin de escalar realmente dimensiones, esto es, de hallar una serie de coordenadas, que fueran cada una de ellas significativas al anlisis factorial mtrico, y con la menor dimensionalidad, para reproducir los coeficientes de distancia observados. Los intentos no mtricos de tratar las desemejanzas se centran solamente en el aspecto de hallar un espacio de dimensionalidad mnima, y en este sentido estn libres de coordenadas. En efecto, el crecimiento acumulativo de hallazgos de estructuras que responden a leyes en los tests de datos actitudinales y mentales entre otros ha sido posible por el uso de conceptos regionales para el espacio mnimo, y no por la bsqueda de dimensiones significativas. La escala se usa tcnicamente tan slo para una variable unidimensional [la distancia es siempre unidimensional, incluso dentro de un espacio multidimensional], por lo que la escalabilidad multidimensional puede ser una terminologa contradictoria en contextos no mtricos y en otros libres de coordenadas. Puede resultar apropiado

125

LOUIS GUTTMAN

para el anlisis factorial de multifacetas [multi-modal], y para otras perspectivas que insisten en el hallazgo de dimensiones significativas. El trmino es innecesariamente errneo en contextos en los que slo se intenta un anlisis del espacio mnimo, confundiendo a los investigadores y editores de revistas de nuevo acerca del punto 34, anterior.) 47. El nmero de facetas (facets) no determina la dimensionalidad.

(Considrese el ejemplo del diseo factorial de tres facetas del punto 23. Si ninguno de los trminos en la tautologa tradicional tiene una varianza cero, y si se mantiene la ortogonalidad, entonces la regresin tiene seis dimensiones ortogonales para las tres facetas. La hiptesis de que todas las interacciones desaparecen, equivale a la hiptesis de que la dimensionalidad de la regresin no ser mayor que el nmero de facetas. Igualmente, en el anlisis del espacio mnimo de una matriz de correlaciones, la dimensionalidad mnima obtenida no tiene necesariamente una conexin con el nmero de facetas de contenido en la frase tericamente diseada [mapping sentence] para las observaciones: la dimensionalidad puede ser ms grande, igual, o ms pequea que el nmero de facetas. En efecto, uno de los problemas principales en la construccin de teora sustantiva es el de racionalizar hiptesis viables acerca de las relaciones de las facetas de contenido con la dimensionalidad, y otros aspectos de los datos. Ver los puntos 20 y 50.) 48. El anlisis de datos no mtricos es generalmente mtrico.

(El input puede ser completamente no numrico, o tambin un aspecto no numrico de datos numricos; pero el output es generalmente un espacio mtrico, a menudo un espacio euclideano. En el caso especial de que tanto el input como el output sean mtricos, pero slo se conserva la mono tonicidad como en el anlisis de espacios mnimos y otras tcnicas anlogas, el diagrama de Shepard realmente representa la naturaleza mtrica de la funcin mono tnica implcita. En ltimo trmino, una funcin explcitamente monotnica podra especificarse como un resultado del anlisis: T. W. Anderson hizo ya tal cosa en 1958 para el radex.) 49. En principio, no existe contradiccin entre el anlisis de datos mtricos y el anlisis de datos no mtricos. (Cada anlisis mtrico consistente debe retener rasgos no mtricos del input de datos, y simplemente aadir restricciones ulteriores. Esta es la razn por la que un anlisis dedicado tan slo a aspectos no mtricos, da lugar a un espacio ms pequeo que el anlisis mtrico ms restrictivo de los mismos datos. Paradjicamente, cuando un anlisis mtrico aproximado puede calcularse ms rpidamente que un anlisis no mtrico, los clculos mtricos son a menudo una primera aproximacin til en repeticiones hacia una solucin no mtrica. Las diferencias en principio ocurren dentro de procedimientos

126

MALOS USOS EN ESTADSTICA

mtricos y, en consecuencia, dentro de los correspondientes procedimientos no mtricos: diferencias sobre aspectos del input de datos debieran representarse en el output como puntos, como vectores, como distancias, como ngulos, como regiones, etc.) 50. Las funciones residuales (loss functions) utilizadas normalmente en el anlisis de datos son incompletas. (Los coeficientes de ajuste, tales como el de reproductibilidad, contigedad, alienacin, y similares basados bien en los mnimos cuadrados, en el principio del valor absoluto, en el principio del rango de imagen, o cualquier otro se utilizan indiscriminadamente en consideraciones de contenido. No incorporan residuos asociados con alejamientos de una teora sustantiva sobre la estructura de los datos, y consiguientemente necesitan una modificacin. Ver el problema 6; tambin los puntos 20 y 47. En particular, estas deficiencias se mantienen en mi propio trabajo hasta ahora: pero espero gradualmente remediar el asunto a la luz de los nuevos desarrollos en la teora de las facetas.)

127

NOTAS