Cone’ Ctie Simon Huan) — Sto Po Cua Paige 208 Biigan ISBN 978.85-7296-6166 Tess pcligean Ha, Simon Cnwia Sac oa — 10 DEFINICOES CONTEMPORANEAS DE VALIDADE DE TESTES PSICOLOGICOS! Universidade So Francisco A.avaliagio psicolégica figura entre uma das mais importantes competéncias profissionais do psicélogo, que envolve a aplicago de conhecimentos teéricos no entendimento do funcionamento psicol6gico de pessoas grupos relacionados a uma demanda especifica de entendimento e previsio do comportamento. Em tais sicuag6es, os profissionais utilizam instrumentos de avaliacéo que sio procedimentos sistemiticos de observagao de amostras de comportamento, que tém como objetivo descrever e/ou mensurar caracteristicas e processos psicolégicos (Anastasi e Urbina, 1997; Cronbach, 1996). Um ponto fundamental relativo & cientificidade desses instrumentos € tratado no conceito de validade. Historicamente, validade tem sido definida como o alcance em que 0 teste mensura © que se propde a medir ou o conhecimento do que o teste mede 1 As atividades de pesquisa dos autores desse capitulo foram financiadas pelo CNPq, FAPESP ¢ CAPES.AVANGOS E POLEMICAS EM AVALIACAO PSICOLOGICA ¢ de quio bem faz isso (Anastasi & Urbina, 1997). Ainda nos Standards for Educacion! and Psychological Testing (chamado daqui tem diante de Standards) de 1986, validade foi definido como “o {grav em que as evidéncias embasam as inferéncias feitas a partir dos ‘escores dos testes” (American Educational Association, American Psychological Association, National Council on Measurement in Education, AERA, APA NCME, 1986, p. 9). De maneira geral, os instrumentos de avaliagio propéem tarefas especificas as pessoas: resolver problemas, concordar ou ‘no com frases aurodescritivas, desenhar e contar historias, entre outras, com base nas quais os profissionais observam e registram seus comportamentos (desenhos, historias, acertos) ¢ por meio deles inferem a presenga de caracteristicas psicoldgicas espect- ficas. Na base desse processo, ha a suposicdo de que as distintas maneiras como as pessoas respondem aos testes (comportamen- 10s) so determinadas por suas caracterfsticas psicol6gicas (tragos lacentes) € por isso as respostas dadas aos testes servem como fonte de conhecimento dessas caracter(sticas. Nesse contexto, a questio da validade é 0 ponto basilar relativo aos estudos que desafiam e corroboram ou nfo as associagdes entre os comporta- mentos na testagem € os tracos latentes inferidos por meio destes. Os resultados positives dessas pesquisas embasando a relagio. comportamento-trago caracterizam a validade dos instrumentos. Referem-se, portanto, & legitimidade das interpretagées feitas, portanto, a0 conjunto de evidéncias favordveis as interpretagoes propostas obtidas em pesquisas destinadas a testar os pressupostos de tais interpretagbes. Se um insteumento nao possui evidéncias de validade, nao hé seguranga de que as interpretagdes sobre as caracteristicas psicolégicas das pessoas sugeridas por suas respostas na testagem do, ndo se tem certeza sobre 0 que 0 244 RICARDO PRIMI, MONALISA MUNIZ E CARLOS HENRIQUE SANCINETO DA SILVA Ni ¢, portanto, seu emprego em priticas profissionais ests ética ¢ tecnicamente impedido. Como argumenta Muniz (2004), de uma perspectiva am- pla, o processo de validacao de instrument acdo de hipdteses. Assim a validago processo cie oteses. de testes é um caso espectfico do proceso getal de validacao de teorias psicolégicas por meio de formulagio de hipéteses, previsdes derivadas da teoria sobre manifestagdes comportamentais e verifi- cagao empirica da correspondé: fatos observados, Assim, além de serem ferramentas profissionais, 05 instrumentos so objetivagdes de teorias psicolégicas e, por isso, cém um papel fundamental nao s6 na pratica profissional, mas também no avanco do conhecimento da Psicologia. Assim, a validade era operacionalizada por meio de estudos clasificados em trés tipos, chamados por Muniz (2004) de “san- tissima trindade da validade”: validade de contetido, critério e construto. O primeiro tipo, validade de contesido, apareceu com © objetivo de avaliar 0 contetido dos itens de determinado instru- mento, verificando se sao adequados para representar um dom{nio de comportamentos a serem mensurados. Esse tipo de validade é frequentemente empregado no contexto educacional, no qual € usual a verificagao de se os itens que compéem um teste para mensurar desempenho em uma rea especifica de conhecimento cobrem todos os contetidos englobados por tal drea. O segundo tipo, validade de critério, relaciona-se a eficdcia com que o teste prediz varidveis externas ou varidveis critérios, como desempenho profissional, notas escolares, acidentes de trabalho ¢ diagnéstico psiquigtrico, entre outros. Tais varidveis sao importantes em si mesmas e se relacionam ao construto ava- liado pelo insteumento de forma que a verificagio de associagéo teste-critério atesta a utilidade desses em prever eventos abjetivos relevantes em contextos aplicados. Esse tipo de validade surge 245,Estudos de validade de crisério sto essenciais para instrumemes Gules resultados sio usados como fonte de iniormacie ‘para infe- réncias complexas e usualmente ; com alto impacto, como € 0 caso de testes para avaliagao psicoldgica no contexto organizacional, entre outros, nico, forense € O terceiro tipo de validade, denominada validade de constr 40, foi definida como a medida em que um teste mede determinado construto ou trago, ou seja, em que medida as evidéncias apoiam 08 significados atribuidos aos escores do teste, Essa tima aparece €m razdo da crescente importancia das formulagées teéricas sobre © comportamento humano em Psicologia (Anastasi & Urbina, 1997; Cronbach, & Meehl, 1955). Gom_o tempo essa definicdo tripartite foi questionada ¢. aprimorada, em especial pelas contribuigdes de Messick (1986). Um dos principais questionamentos levantados por esse autor dizia Tespeito a definigio de validade de construto, Messick argumenta que tanto a validade de contetido quanto a de critério sempre apresentardo informagées referentes ao construto, no sentido de que levantarao evidéncias sobre o sentido das interpretacées dos escores dos testes embora, evidentemente, de natureza distinta. A primeira € associada a representatividade, & relevancia e & abrangéncia das unidades que compdem o teste em relagao 20 construto que 0 fundamenta; e a segunda aborda questdes sobre a utilidade prética na previsio de varidveis externas relevantes. Assim, Messick destaca que quase toda informagéo sobre o teste iré contribuir para sua validade de construto e, por esse motivo, todo estudo de validade, em certo sentido, € uma verificagio da validade de construto ja que apresentar pecas de informagao sobre como interpretar os escores de um teste. e Em ranfo dessa discussio, foram propostas reformulagées do coneeito de validade de construto reconhecendo-o como sinénimo 246 RICARDO PRIN, MONALISA MUNIZ E CARLOS HENRIQUE SANCINETO DA SILVA NUNES de validade. Assim, este passou a ser entendido como um conceito abrangente que inclui todas as outras formas de validade, sendo, portanto, inadequado sustentar a existéncia de procedimentos especificos para validade de construto. Em iltima andlise, todos os. métodos, de uma forma ou de outra, informam algo sobre como interpretar os escores do teste, ou seja, agregam algo especifico sobre quao bem o teste mensura determinado consteuto. Na sequéncia das reformulagées propostas, a expressio “cipos de validade” foi inrencionalmenve mudada para “fontes de evidéncia” de validade. A alteracao visou a reforcar a conotacio do termo como um conceito tinico, que explicita que as diferentes formas de estudé-lo (contetido, correlagdes teste-critério etc.) tra- em dados para sustentar a argumentacio a respeito da validade das interpretagbes dos escores do teste com uma finalidade particular, ‘Nesse sentido, cada evidéncia especifica busca aspectos diferentes de um ponto conceitualmente tinico sobre como interpretar os escores de um teste. Assim, na tiltima revisdo dos Standards nao h& mais um tipo especifico de procedimento chamado validade de construto ¢ os antigos tipos de validade passaram a ser defini- dos como fontes de evidéncias de validade, como se veré adiante (Anastasi 8 Urbina, 1997; APA, AERA, NCME, 1999), ‘Messick (1989) define validade como a medida em que as evidéncias empfricas ¢ os racionais teéricos, ov o suméti embasam os significados interpretativos € os usos propostos para o teste, Essa definicdo associa validade a uma sindicancia cientifica que averigua os sentidos atribuidos aos escores do teste e também as consequéncias atuais ou potenciais do uso interpretative dos escores. Nessa proposicao hé quatro questées inter-relacionadas relativas as quatro facetas progressivas da validade sumarizadas na ‘Tabela 1: (a) Quais evidéncias (balanga de evidéncias) sustentam a interpretagao ou o sentido dos escores (validade de construto)?, (b) Quais evidéncias sustentam a relevancia dos escores para 0 247AVANGOS E POLEMICAS EM AVALIACAO PSICOLOGICA propésito aplicado (validade de constrato + relevancia/utilidade)2, (¢) Quais razées fundamentais tornam credfveis as implicagdes de valor das interpretagdes dos escores € qualquer uma das implicages para agio ou tomada de decisio associadas a essas interpretagoes (validade de construto + implicagées de valor)?, ¢ (d) Quais evidéncias e argumentos indicario o valor funcional em tetmos de usos intencionais e consequéncias nfo intencionais das interpretagGes do teste (validade de construto + relevancial lade+ implicagdes de valor + consequéncias sociais)? Tabela 1 - Quatro facetas progressivas da validade definidas por Messick (1989) Tpterpretagho dg tente |). Usoide teste eee Validade de Wc + Relevancia e esenderee Construto (V0) uilidade ® eV) VC + Implicacso f _VC+R+U+NVs seseconseqvencal | geuor tn) | consegundas Soca Messick (1989) enfatiza que a validade das inferéncias diz respeito a cada um dos significados ou das interpretagbes dos ‘escores € nfo ao teste ou ao dispositivo observacional em si, Sua definigéo amplia a nogdo de significado dos escores incluindo as valoragées positivas e negativas implicadas nas interpretagdes, uma vex que esses sentidos sio socialmente relevantes ao disparar agdes e decisées a partir dos escores do teste, sendo parte integrante de seu sentido. Para exemplificar essa ideia pode-se pensar que um teste de inibigdo vs impulsividade seria entendido diferentemen- te e levaria a acées distintas se essa dimensio fosse renomeada para autocontrole us autoexpressdo. Essa mudanga no sentido atribuido ao escore do teste nfo esti circunscrita ao instrumento em si, mas as valoragées implicadas nas nomeagdes do construto que, em sentido amplo, tém a ver com a mancita como 0 escore RICARDO PRIM, MONALISA MUNIZ E CARLOS HENRIQUE SANCINETO Da SILVA NUNES 6 interpretado e, portanto, relaciona-se validade, embora nao esteja localizada no “objeto concteto” instrumento e, sim, em local contextual mais abstrato onde ele é utilizado. O autor argumenta, portanto, que na interpretacao dos escores, além da base eviden- cial de seus significados ha rambém, de maneira mais ampla, uma base consequencial das interpretagGes assentada nas valoragoes implicadas, Assim, além da dimensao sentido dos escores hd uma dimensio valor dos escores que € socialmente implicita e altera a dimensio sentido. ‘Ainda ao considerar a faceta referente ao uso, a base evi- dencial diz respeito & relevancia e a w contexto aplicado e a base consequenci cias potenciais e/ou reais intencionais e nao intencionais, do 1uso dos testes. Essa concep¢do amplia a extensio dos estudos de validade para o contexto social macroscépico no qual o teste lade do teste em um refere-se as decorrén- ido, Nesse contexto busca-se analisar as implicagées antecipadas ou inesperadas da utilizagao do teste para ver,se, de fato, 0 teste efetivamente agrega informacées relevantes ven 0 funcionamento psicolégico no contexto especifico em que se pretende fazer uma avaliagao. ‘Como exemplo, pode-se pensar em instrumento linico de avaliagao da personalidade. Estudos de base evidencial sobre sua ucilidade incluirdo pesquisas da relagao teste-critério, mostrando que o instrumento prevé uma série de varidveis relevantes, como diagnéstico, severidade, tipos de transtornos de personalidade € de dificuldades mais salientes. Estudos de base consequencial amplos sobre 0 processo de avaliago no qual o instrumento esta inserido, Nesse exemplo, esses estudos poderiam perguntar se 0 uso do teste em processos psicoterapicos agrega informagao e torna a fetiva do que se nao fosse utilizado, Em relagio, (2001) argumentam que: Se muctermer 0 rome che palin | perce, 1 inleuprel elites |AVANCOS E POLEMICAS Es! AVALIAGAO PSICOLOGICA 08 pesquisadores tem historicamente enfocado 0 micto nivel para avaliar os parmetros psicométricos de validade e preciso das escalas, os quais esto divorciados de um contexto indivi Gualizado, Esse foco ¢ certamente importante. Entretan 08 esquisadores deveriam também enfocar 0 macco nivel para avaliar o valor pratico de clinicos que usam testes como ferra- -mentas para ajudé-los a oferecer suas consultas profissionais € beneficiar os pacientes (p. 154). Em suma, essa sugestio de Meyer se refere aos estudos de ba- se consequencial da utilidade dos instrumentos pata a avaliacéo. As ideias de Messick (1986) tiveram grande influéncia quan- do houve a revisio dos Standards da edigéo de 1985 para a versio mais atual de 1999 (American Educational Research Association AERA, American Psychological Association APA, National Council on Measurement in Education NCME, 1999). Nesse novo docu IcARDO PR texto organizacional na Tabela MONALISA MUNIZ E CARLOS HENRIQUE SANCINETO Da SIVA NUNES doengas crénicas podem ser considerados os mesmos em um con- ‘om base nisso, tomar decisdes referentes 4 contratagdo ou realocagio de profissionais em uma empresa ‘Esse novo documento define cinco fontes usadas para eviden- ciara validade de um teste (AERA, APA, NCME, 1999, ver sumario (a) evidéncia com base no contetido; base no processo de resposta; (c) evidéncia com base na estr (b) evidéncia com (d) evidéncia com base na relagao com varidveis externas; ¢ (e) evidéncias baseadas nas consequéncias da testagem. Tabela 2 - Fontes de evidéncias de velidade ga fone ee Befinigio. Evidéncias baseadas no {Levanta dados sobre a representatvidade| conteddo. | dos itens do teste, investigando se esses con-| ‘sistem em amostras abrangentes do dominio que se pretende avaliar com o test. Mento, em consonncia com as ideias discutidas acima, validade ida como se referindo “ao grau em que evidéncia ¢ teo- /Evidéncias baseadas no processo de resposta, Levanta dados sobre os processos mentas| lenvolvidos na realizacSo das tarefas propos-| tas pelo teste ria sustentam as interpretagdes dos escores dos testes vi cumulativo, agregando um conjunto de evidéncias cient asseguram as interpretagdes dos escores do teste ¢ a relevancia € utilidade dos usos propostos. Assim, mais uma vez enfatiza-se qu esse processo nao se valida o teste em si, mas as interpretagdes propostas por este e as aplicagdes praticas intentadas. Nesse sen- tido, as alteragées propostas tm grande impacto nas pesquisas realizadas com base nas concepg6es anteriores de validade. Estas apontam a fragilidade da generalizacio de inferéncias elaboradas ‘com base em pesquisas realizadas em um contexto especifico para outros muito diversos. or exemplo, se fatores de_ -tisco para o desenvolvimento de um quadro de ansiedade identi- ficados, com uso de testes, no contexto hospitalar em pessoas com uestionacse, Evidencias baseadas na estrutura interna Levanta dados sobre a estrutura das corre lagGes entre itens avaliando o mesmo cons~ truto e também sobre as correlagées entre subtestes avaliando construtos similares. Evidénclas baseadas nas relagdes com variaveis lerternas. [Levanta dadas sobre os padres de correla ‘glo entre os escores do teste e outras vaié-| vis, medindo © mesmo construto ou cons- trutos relacionadas (convergéncia), e com \variaveis medindo construtos diferentes (d- posito $ucesso no trabalho. Evidénclas baseadas nas Jconsequéncias da testagem. Fxamioa as consequéncias A primeira fonte de informagio sobre validade busca evi- déncias com base no contetide ¢ refere-se aos estudos que coletam dados sobre a abrangéncia ¢ a representatividade dos itens de um teste em abarcar todas as facetas ¢ nuances do construto que 0 teste se propde a medir. As pessoas que desenvolvem testes com frequéncia desenvolvem definigdes operacionais e constitutivas que especificam 0 conteiido a ser abarcado no inscrumento (Pasquali, 1999), descrevendo-o cuidadosamente em detalhes com uma clas- sificagdo das 4reas e dos tipos de itens, por exemplo. Essa evidéncia pode incluir uma anélise légica ou empfrica pela qual se pretende verificar se o contetido do teste representa adequadamente o do- minio em relacio a teoria que especifica as facetas do construto_ e se ha relevancia deste para as interpretagées propostas pelos escores do teste. Evidéncia embasada no contetido também pode ser obtida por meio de especialistas que julgam a relaglo entre as partes do teste com as facetas do constcuto. > A segunda fonte de informagoes sobre a validade busca evidéncias com base no processo de resposta ¢ refere-se aos estu- dos que visam a compreender os processos mentais subjacentes a produgio de respostas (ou comportamentos) impelidas pelos itens do instrumento, Essas informagées so, em esséncia, especificagées mais detalhadas do construto que o teste propée medir. Com base no referencial tegrico do construto elaboram-se modelos explicati- vos do processamento mental que ocorre ao responder os itens do teste. Elaboram-se também previs6es sobre parimetros do compor- tamento acerto tempo de reagfo, por exemplo ~ em relacdo a diferentes propriedades dos itens. O modelo teérico inclui expli- cages sobre como as diferentes caracteristicas dos itens afetam 0 processamento ¢, em especial, como essas alterag6es processuais culminam em aleeragdes nos pariimetros comportamentais— ocor- réncia de acertos, maior ou menor tempo de reagdo etc. Assim, jricamente testado comparando-se as 252 RICARDDO PRIN, MONALISAAILNIZ € CARLOS HENRIQUE SANCINETO DA SiLVA NUNES observagGes dos padtées de resposta ou os padres dos parémetros comportamentais em diferentes itens € verificando-se 0 quanto es- ses padres cotrespondem as previs6es feitas pelo modelo. Quanto mais correspondente, mais confianga se tem no modelo tedrico de interpretacao sobre 0 que o teste mede. Como comentam Anastasi ¢ Urbina (1997), essa forma de validar instrumentos surge a partir da década de 1980 ¢ tem sid ida sobretudo aos testes de inteligéncia decorrentes da Psicologia Cognitiva e nao tem sido usada com frequéncia, Os trabalhos de Embretson (1994) sao pioneitos no desenvol- Vimento desse tipo de estudo, definindo-o como representagio de construto, cujo objetivo geral & a identificagéo dos processos cognitivos bésicos subjacentes & resolugdo ou resposta aos itens dos testes. No Brasil o inicio de aplicagbes desse tipo na construgio de testes pode ser encontrado em Primi, (1995, 1998; 2002), Primi ¢ Rosado (1995). Outro método para o estudo de evidéncias de validade pelo processo de resposta € mediante o questionamento dos respon- dentes sobre suas estratégias de resolugdo dos itens. Inferéncias sobre 0s processos envolvidos no desempenho podem também ser desenvolvidas, analisando-se a relagdo entre as partes do teste ou 0 teste com outras varidveis. Esse procedimento de validagéo também pode incluir estudos empfricos de como observadores ou juizes registram e interpretam os dados a fim de verificar se estao em consonancia com 0 que pretendem medir, de acordo com 2 definigao de construto, Em suma, essa estratégia para a verificagio de validade refere-se 8 andlise tedrica-empirica das relagbes entre os processos mentaisligados ao construto em causa ¢ as respostas aos itens do instcumento, isto €, as propastas explicativas dos processos 253 Se neAnohiae Alot, AVANGOS E POLEMICAS EM AVALIACAO PSICOLOCICA mentais subjacentes as respostas aos itens e A coeréncia entre as. i9bes ¢ 05 dados empfricos. Tais evidéncias podem, por exemplo, associar-se a verificagdo de hipoteses sobre o modo de operagao dos processos mentais subjacentes a0 construto em avaliagéo durante a realizacio do teste; & andlise porme- norizada das verbalizagdes e/ou dos passos do individuo em Tesposta aos diferentes estfmulos do teste... (Conselho Federal de Psicologia, 2007, p. 133). A terceira fonte de informagées para se estudar a validade refere-se a andlise da estrutura interna do instrumento. Esse tipo de evidéncia de validade em geral é obtido por meio da andlise das estruturas de covaridncia entre partes do teste, sejam elas itens ou subescalas compostas pela soma de itens. Em geral, esses estudos empregam a andlise fatoria) e/ou a andlise da consisténcia interna para indicar 0 quanto a estrutura de relagdes entre os itens do teste e/ou seus componentes ou subtestes so coerentes com a escrutura proposta pela teoria, A fundamentagao teérica do construto de uum teste pode implicar uma ou mais dimensdes, também pode pressupor uma estrutura hierérquica ou de fatores isolados. Nesses casos, a busca por evidéncias com base na estrtura interna envolve a verificagéo da coesao da estrunura prevista com a observada. Mais recentemente, além dos métodos explorat6rios tradicionais, tam sido uilizados recursos como a andlise fatorial confirmat6ria e a made- lagem com equacées estrururais que permitem grande flexiblidade no teste confirmatério de modelos tebricos (Byrne, 2001), A quarta fonte de informagio chama-se evidéncia com base na relagio com varidveis externas, Nesse tipo de estudo, em contraste com os estudos da estrucura interna, que analisam as relag6es entre as varidveis internas ao prOprio teste, investigam-se as relagées dos indices obtidos no teste com variéveis externas rele- vantes & validade do instrumento. De acordo com os Standards de 254 4 {a) variaveis critério; (b) testes medindo os mesmos constcutos; (c) testes medindo construtos relacionados; ¢ (d) testes medindo construtos diferentes. A Figura 1 exemplifica essa caregorizagio. ‘dino baeades nab Vara de Rendimento académico, desempenho em ireno ‘epecalzada,desempenhona rata, gpos orate, asi Conegente/Ormioante “estes madindo 0 mesmo consiute Testes madindo corso lerertes CO “Es eo TS | Figura 1 - Classificacio das variéveis externas no contexto de validagso de testes As variéveis critério, sejam continuas ou dicotémicas indicativas de pertenca a grupos, consistem em observagées de eventos comportamentais relevantes por si s6 como, por exem- plo, desempenho no trabalho, desempenho escolar, acidentes, adoecimento mental, escolha profissional erc. Assim consisterm em eventos importantes de serem previstos € que t&m como um possivel fator associado o construto medido pelo teste, Desse modo, embora nao correspondam necessariamente a um proces- 50 mental ¢ sejam resultantes de miltiplos fatores, tém estreita 255Chew Bae 4M Ly ge Me hive AVANGOS E POLEMICAS EM AVALIAGAO PSICOLOGICA selagio com os constcutos psicolégicos medidos pelos testes, isto 6 com os processos mentais que esses medem. Dessa forma, a observacio de associagées significativas entre teste-critério pode adjudicar validade ao instramento, em especial sobre a relevancia € a utilidade em prever certas situag6es importantes em ambientes aplicados espectficos. Parte importante desses estudos se refere & fundamentacao teérico-empitica, baseada na revisio da literatu- +, justificando a associacéo antecipada entre construto-critério. Sem essa fundamentacdo, esses estudos envolveriam o teste de duas questdes simultineas, isto é, verificariam a associagio construto-ctitério 20 mesmo tempo em que estudam associagéo -Rteste-critério. Em um caso como esse, se_nio for encontrada relacdo significativa teste-critério, nao possivel concluir se tal ‘resultado decorre do fato de o teste no medir o construro como se pensava oui se 0 construto € que nao se relaciona ao critério (Wolfe & Smith, 2007). Nesse diltimo caso o teste poderia ser uma medida valida do constcuto e coerentemente nao estar cor- ‘Yrelacionado com o critério. Portanto, a escolha do critério, bem como 0 procedimento de mensuracéo empregado para obter as medidas do critério, é um ponto central nesse tipo de validade, pois 0 valor do estudo depende da relevancia, da precisio ¢ da validade dessas medidas de critério. Nos estudos da relacdo teste-critério normalmente é feita uma distingio entre dois tipos de delineamento culminando em informagées distintas. Quando a avaliagio da variével cuitétio é {feica simultaneamente ao teste, a validade é chamada diagnéstica ou _concorrente, pois, seas associacdes forem altas, atingiu-se ater» ripelie he um tayyornm % >> 4 cornyneet 5 256 Ss A Siecod pineel np quer e your fan apa EG aise WOOT ICARDO Pei, MONALISA MUNIZ E CARLOS HENRIQUE SANCINETO DA SIVA NUNES Uma segunda categoria de varidveis externas utilizadas na validagao de testes diz respeito a outros testes, isto 6, instrumentos de avaliasio de processos mentais similares, relacionados ou dife- rentes, Uma prética comum ¢ trabalhar com outros inscramentos do género destinados a avaliar 0 mesmo constrato tal qual o teste que estd sendo validado. Nesse caso se antecipam correlacdes.altas uma vez que os testes medem um mesmo consttuto, chamando-se. is resultados, quando seguem o padrio esperado, evidéncia de validade convergente, © método que adota uma légica oposta a esta € realizado com 0 uso de testes que mensuram construtos tintos ao do teste que estd sendo validado. Nesse caso se ante- cipam auséncias de relagdo, isto ¢, correlagées préximas de zero. Quando isso ocorre, dit-se que se evidenciou a validade divergente do inscrumento, Na prética, sio realizados estudos que buscam simulta- neamente evidéncias de validade convergente ¢ discriminante Estudos desse tipo urlizam instrumentos de medida de construtos ies € muito pouco relacionados e sio esperadas correlacoes altas com os primeitos ¢ virtualmente nulas com os tiltimos, A obtencio de resultados compativeis com os espetados indica que o teste, além de convergir com medidas similares, tem certo grau de especificidade, Nessa categoria ampla de varidveis externas ha testes que mensuram construtos relacionados, mas que ndo sio os mesmos do teste em processo de validasao. Neste caso, séo esperadas cor- relagées moderadas entre esses testes. Evidentemente tais relacdes devem ser fundamentadas pot um racional teérico lastreado na literarura. Ha certa sobreposicao conceitual entre esse tipo de varidvel ¢ a varidvel critério, uma vez que essa dltuma também pode ser entendida como uma vatidvel relacionada, Entretanto, +d uma diferenca importante entre as duas, pois varidveis critério referem-se a eventos observéveis importantes em si mesmos que 237sesupbeseren vanes neros fatores incluin- pscogica medida pelo teste. Variéveis critério em ral resultantes race ec as sera sto resvlantes de prectsios complexos e raramente podem consideradas propriamente us una medida de um cons sm constr colipso. Em conuapatida sonal Bae -xrerna composta por reste medindo consti ike dindo construtos relacionados é uma medida semelhante 20 teste no sentido de medir processos psicolégicos de dimensdes relacionadas. Assim esse diltimo ti v externa nao deve imo tipo de varidvel exte: iv ve ser confundida com varidveis critén » usualmente mais diff trabalhosas de serem obtidas. 7 : aco rs et eto envolvendo a correlagio ee mesmo construro, jf validado, chamado de padrao ouro, sio referides como de validade de cr : téro concorrente. Entretanto, essa classificagio nao corresponde a uma aplicagao estrita das defimigées propostas pelo Standards de 1999, sendo mais adequadamente denominados estudos de validade convergente, Assim, variaveis critério, embora possam ser entendidas como varidveis relacionadas, cém um status diferente de outros testes medindo construtos relacionados (S. Urbina, co- municacio pessoal, jutho de 2005), ‘A quinta fonte de informagao chama-se evidéncia com base nas consequéncias da testagem e inclu os pontos discutidos ante- rrormente sobre a conceituagio amplinda de Messick (1989) sobre a validade. Essa fonte de evidéncia examina as consequéncias sociaus intencionais e no intencionais do uso do teste para verificar se sua utilizacao esta surtindo os efeitos desejados de acordo com 0 propé- Sito para o qual foi criado. E evidente que essa propriedade nao é do Ss - contexto mais amplo no qual é usado. Portanto, ias da testagem assumem grande importancia no que se refere a validade no sentido amplo. Os procedimentos para esse tipo de validade buscam mostrar se os beneficios antecipados pelo emprego do instramento estfo de fato ocorrendo. : 258 JE SANCINETO DA SILA NUNES {ICAROO PRIN, MONALISA MUNIZ E CARLOS HENRI mente sobre Esse tipo de evidéncia nao informa prope dade técnica do instramenco, mas sobre as inrerpretagées mnadas ou ndo quando este passa a ser usado ados. Espera-se sempre que os resultados de avi dos escores intenci ‘em contextos aplic: tum teste possam trazer algum beneticio, como: para definir uma estratégia mais adequada de rerapia, para que 25 organizagbes ontratem individuos segundo critérios defenséveis ¢ justos, pars 15 diferentes profissionais envolvi ‘idos com educa- Jhoria da qualidade que 0 governo eo: do possam delinear projetos que visem 4 mel de ensino, para citar somente alguns exemplos. No entanto, os resultados benéficos nao decorrem simplesmente da existéncia de testes validados. Ha indimeras varidveis: associadas & utilizagao que podem interferir no propésito € no sentido iiltimo ¢ amplo do instrumento. Dentre essas, pode-se citar 0s aspectos mais basicos do uso de testes, como o discernimento para sua escolha em fungio da situagio e do contexte, hem como sua aplicagio € interpretagdo de forma coerente com o que as pesquisas indicam. ‘A mé utilizagdo de um teste pode comprometer a validade das interpretagdes, fazendo ruir a legitimidade dos dados obridos. Assim, mesmno tendo instrumentos vil iclos, s¢ seu uso for incorreto, avalidade das interpreragées fica compromenida. Esse tipo de validade ¢ um conceito novo, incluido nos Standards de 1999, e sio ainda cecentes os estudos que abordam como parte integrante da validade 0 que o teste, ou melhor, 0S resultados deste, trazem de beneficios € maleficios a0 individuo ‘ou Asociedade, No meio cientifico, essa conceituagio tem gerado discordancia entre os pesquisadores. Muitos contescam € nao concordam que essa questio possa set incluida no escopo da vahi- dade de um teste, pois implica sieuagées que fogem 20 controle da pesquisa e da constcugio de um teste. Aparentemente esse t1p0 de evidéncia parece nfo ter relago coma validade se reseringimos esse conceito a seu sentido circunscrito a0 micronivel do instraumento, 259AVANGOS E POLEMICAS EM AVALIAGAO PSICOLOGICA Nesse plano o levantamento de informag6es técnicas justificando que conjunto de itens consegue medir determinado construto pode ser feito sem se referir &s questes mais amplas tratadas nos estados de validade consequencial. Apesar de tais argumentos, considera-se relevante um amadurecimento das discussées acerca das evidéncias da base consequencial, uma vez que as informacées levantadas nesse nivel so essenciais aos instrumentos, pois lidam com o cerne de sua existéncia e de sua utilidade para aigum bem maior dentro da Psicologia. Assim, apesar das contestag6es ¢ das objegdes de muitos pesquisadores sobre a existéncia da evidéncia baseada nas conse- quéncias da testagem como fonte de validade, nao se pode ignorar sua importincia fundamental em evidenciat 0 designio iltimo dos instrumentos em serem titeis em contextos aplicados por meio da obtengao de informagdes sobre o funcionamento psicol6gico das pessoas. E uma questao ética vincular no teste as consequéncias que ele pode propiciar tanto ao individuo quanto & sociedade. Os argumentos dos criticos a esse tipo de validade, de que as evidéncias de validade consequencial fogem ao controle dos pesquisadores responsaveis pelo teste, parecem, na verdade, explicitar 0 papel dos diferentes “agentes” envolvidos em uma avaliagio psicolégi- ca, Nesse cendrio, claramente o psicélogo que est4 utilizando um dado teste tem papel central para a validade consequencial desse teste no momento da sua escolha, administracio, levantamento, interpretagio e comunicagao de seus resultados. Outros profissionais que usam esses resultados para a toma- da de decisbes (governos, profissionais na Area da sate, forense etc.) também desempenham um papel importante para a validade consequencial, uma vez que, se eles nao procucarem entender 0 significado do consttuto avaliado pelo teste ¢ 0s limites inferenciais de seus resultados, poderio utilizar as informagées oriundas do teste de uma forma enviesada, injusta e prejudicial a individuos 260 RICARDO PRIMI, MONALISA MUNIZE CARLOS HENRIQUE SANCINE TO DA SiVA NUNES ou, de forma mais ampla, & sociedade. De certa forma, as pessoas avaliadas com base em um teste psicolégico também apresentam um papel para a validade consequencial deste, uma vez que podem desempenhar um papel de fiscalizagao. Nesse sentido, é possivel a identifcagao de iniciativas do Conselho Federal de Psicologia, com a elaboragio de cartilhas e comunicados 3 comunidade para alertar sobre as simagées recomendadas para a realizac4o adequada de um processo de avaliacio psicolégica (Conselho Federal de Psicologia, 2007), para detalhar o papel do Satepsi ¢ outros pontos, relevantes nesse contexto. ‘A comparagao das definigdes antigas de validade de con- tetido, validade de critério e validade de construto com a visio ‘ais contempordnea, calcada nas fontes de evidéncia propostas na nova edigio das Standards (AERA, APA, NCME, 1999), permite identificar que houve uma reorganizagio e renovacio em termos conceituais de parte desses métodos. A Figura 2 compara os pontos principais das duas conceituagées. Observando a Figura 2, pode-se perceber que as duas maio- res diferengas entre uma proposta e outra, sio, primeiro, que nos Standards, como j comentado, foi abolida a nomenclatura especifica para a validade de constrato, fazendo que os diferen- tes métodos discutidos com meios de se evidenciar a validade de consteuto aparegam como métodos espectficos em uma das cinco fontes de validade. A segunda diferenga € que os Standards propéem uma nova fonte de validade, a evidéncia baseada nas consequéncias da testagem. 261 Secere rer terete eeerereerscmenseseeeneneoere AVANCOS & POLENICAS E14 AvALIACAO PSICOLOGICA Anastat & Uibina 1957) Valdade Ge Contetida AGRA, APA @ NEME (1958) Tito tat -CErincas tame Figura 2 - Compsragio do antige modelo conceitual“Santissima Trindade 1a Validade” com a visio contempordnea dos Standards de 1999, Como se pode observar nas relacées indicadas na Figura 2, 0 diferentes eseudos que Cronbach e Meehl (1955) propunham somo meios de invesngar a validade de construto se distribuem mais logicamente nos Standards de 1999. E possivel verificar-se também que a nomenclarura se referia a métodos de anilise de da- dos (analise farorial, por exemplo) e aos delineamentos de pesquisa ‘empregados (como é 0 caso de convergente-discriminante). objetivo deste capitulo for apresentar as defnigées con- tempordneas de validade organizadas nos Standards de 1999 comparé-las com a visdo classica tripartite de validade, referida em livros publicados antes dessa edi¢io, Ressalta-se que as termi- nologias validade de contetido, validade de critério preditiva ou 262 RICARDO PRIN, MONALISS MUNIZE CARLOS HENRIQUIE SANCINETO DA SILVA NUNES concorrente ¢ validade de construto ainda so muito empregadas no meio cientifico, bem como talvez sejam as mais conhecidas no Bra ‘A conceituagao proposta pelos Standards gradacivamente rem sido urilizada em artigos, livros, teses € dissertagdes, mas ainda em menor frequéncia. Assim, cumpre-se aqui o objetivo de ddivulgar esse sistema, adotado no Sistema de Avaliagio dos Testes Psicolégicos (Satepsi), mantido pelo Conselho Federal de Psicologia (ver em heep:/fwvwvepsicologia-online.org,br/servicostsery_sarepsi- cfm), Tal faro tem acelerado 0 uso do novo sistema em manusis réenicos de testes psicol6gicos €, por esse morivo, precisa ser divulgado e discutide para permitir que os usuarios de tais restes se apropriem das informacées técnicas sobre eles. Pretendeu-se com este capitulo apresentar, de forma sumarizada, as principais diferengas concertuais de validade propostas na tiluma versio dos Standards, contribuindo com isso para o aumento do nivel de cientificidade de sua prética protissional da Psicologia.AVANCOS E POLEMICAS EM AVALIAGAO PSICOLOGICA Referéncias AMERICAN EDUCATIONAL RESEARCH ASSOCIATION, AMERICAN PSYCHOLOGICAL ASSOCIATION, NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for Educational and Psychological Testing. Washington, DC: American Psychologichal Association, 1986, . Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association, 1999. ANASTASI, A & URBINA, S. Psychological Testing. Upper Saddle River, New Jersey: Prentice Hall, 1997, BYRNE, B. Structural Equation Modeling With AMOS: Basic Concepts, Applications and Programming. New Jersey: Lawrence Erlbaum Associates, 2001, CONSELHO FEDERAL DE PSICOLOGIA - CFR, Resolugao n® 02/2003. In: Conselho Federal de Psicologia. Profissdo Psicélogo: Legislacdo e resolugdes para a pratica profissional. Brastlia: CFP) CRR, (2007). [On-Line]. Disponivel em: heep://www.pol.org.br. ia: CFF, 2007. CRONBACH, L. J. Fundamentos da testagem psicoldgica, Porto Alegre: Artes Médicas, 1996, & MEEHL, P.E, Construct validity in psychological rests, Psychological Bulletin, 52(4), p. 281-302, 1955. EMBRETSON, S. Applications of cognitive design systems to test development. In: REYNOLDS, C. R. (Ed.). Cognitive assessment: A multidisciplinary perspective. New York: Plenum Press, 1994. Cartilba sobre a avaliugdo psicolégica. Br. MESSICK, S. Meaning and values in test validation: The science and ethics of assessment. Educational Researcher, 18, 2, p. 5-11, 1989. BICARDO PRM, HONAIISA MUNIZ E CARLOS HENRIQUE SANCINETO DA SILVA NUNES MEYER, G. J.; FINN, S. E.; EYDE, L.; KAY, G. G.; MORELAND, K.Ls DIES, R. Rs EISMAN, E. J.; KUBISZYN, T. W; REED, G. M. Psychological testing and psychological assessment: A review of evi- dence and issues, American Psychologist, 56, p. 128-165, 2001. MUNIZ, J. La validacién de los tests. Metodologia de las Ciencias del Comportamiento, 5 (2), p. 121-141, 2004. PASQUALL, L. Testes referentes a construto: teoria € modelo de construgao. In: PASQUALI, L. (Ed.). Instrumrentos psicolégi- cos: Manual pratico de elaboragdo. Brasilia, DF: Laboratério de Pesquisa em Avaliagao e Medida ~ LabPAM, 1999, p. 37-71. PRIMI, R. Inteligéncia, processamento de informacao e teoria da gestalt: Unt estudo experimental. Campinas, 156p. Dissertagio de Mestrado. Instituto de Pés-Graduagéo em Psicologia, PUC- CAMP, 1995. Desenvolvimento de um instrumento informatizado para avaliagdo do raciocinio analitico. Tese de Doutorado. Insciito de Psicologia, Universidade de Sao Paulo, 1998. . Complexity of Geometric Inductive Reasoning Tasks: Contribution to the Understanding of the Fluid Intelligence. Intelligence, 30 (1), p. 41-70, 2002. & ROSADO, B. M. S. Os principios de organizagio perceptual ¢ a atividade inteligente: um estudo sobre testes de inteligéncia. Estudos de Psicologia, 11(2), p. 3-12, 1995. WOLFE, E. W. & SMITH Jt. E, V. Instrument development tools, and activities for measure validation tsing the Rasch models: Part IL ~ Validation Activities. Journal of Applied Measurement, 8(2), p. 204-234, 2007. 265