A COMO E FEITO UM TESTE? PRODUCAO DE ITENS Juliana Cerentini Pacico DOIS CAMINHOS: CONSTRUCAO E ADAPTACAO DE INSTRUMENTOS DE AVALIACAO PSICOLOGICA A avaliacao psicolégica éa atividade constituida pela busca sistematica de co- nhecimento a respeito do funcionamento psicoldgico das pessoas. Ao avaliar, © psicdlogo mede variaveis, compara padrées, testa hipdteses, etc. Em geral, a avaliacio € realizada com 0 objetivo de orientar aqdes e decisoes futuras (Primi, 2010). Nesse contexto, os testes auxiliam o psicdlogo, servindo como uma fer- ramenta acesséria ao processO de avaliac4o (Noronha, et al., 2002). Os instrumentos de avaliagao psicolégica séo ferramentas que represen- tam avanco cientifico na 4rea de avaliacdo psicologica (Noronha, et al., 2002). Eles permitem maior objetividade na testagem, j& que utilizam técnicas para operacionalizacao daquilo que sera medido. Com eles, o psicdlogo pode, por exemplo, medir personalidade, inteligéncia e atengao. Os escores obtidos pelo sujeito auxiliam 0 profissional a identificar se existe a necessidade de alguma in- terven¢do ou tratamento. Entretanto, os testes nao server apenas para avaliar 0 sujeito. Existem ou- tras aplicagdes, que podem envolver a eficacia de um programa de interven- g6es, por exemplo. Se os testes forem aplicados em situagdes pre € pés-inter- vencio, possibilitam inferir 0 quanto essa varidvel alterou-se nO periodo ese é possivel atribuir ou nao a intervengao uma parcela dessa alteracao. pone outras aplicagées praticas para os testes, conforme relatado em Lae a i Neto (2013). Nesse caso, utilizando escores de diferentes grupos de ae ec res do mesmo local, mas que exerciam fungdes diferentes, foi possive’ lemons:iar determinados conse g 011 @ adaptilos pany \apresen ya qual dos procedimentos €omasey, ver um insteumento, VANTAGENS E DESVANTAGENS DA. CONSTRUGAO E ADAPTACAO DE TESTES Antes de cor Ges do processo, Entre as vantagen, posi e a construgdo permite que se aborde as particularidadesc specifica, A expressio do trago latente pode ‘a em que estudado, Assim, /ente serio um reflexo do contetido que compe 2a pressio na c ada, Um exemplo é a Bateri de Pest dade (BEP) (Nunes, Hutz, & Nunes, 2009), que avalia a personalidade segunl+ a Teoria dos Cinco Grandes Fatores, Embora seja composta, como 0 da instrumentos (p. ex., NEO-PI-R, Revised NEO Personality Inventory) pot St ‘co dimensdes, as facetas que compaem cada dimensio variam. Apes 0 ‘o contetido referente & expressio da personalidade ser abordado pelos dosh trumentos, cada faz de acordo com as especificidades da cultura [4 ‘qual foram construidos. Ni dep representar comer / $7 referéncia 20 por alguns grupos, ea nio é hoe ee ees, junda desvantagem a ser considerada 6 iturais. Embor caso da BEP (Nut comparacio dos resul al, entre outras particularidades, exigem maior refnamento para a0 dos resultados, o de adaplagio, em contrapartida,favorece as compara- Assim, se existe um instrumento que ampla- ado, funciona bem em diferentes culturas, €o objetivo & produait ais, seria adequado adapti-o. Além disso, é um pro- simples e rapido quando comperado & construc, jé que no as das etapas que compaem aquee procedimenta, como a crio Vantagens, Uma delas est rlacionada aos itens que ni fazer \raduzidos para liferentes (como aqueles que fazem referencia a asec: is especiticas, como o Halloween). Ouro problema enrentado dit oa questBes relacionadas & validade de conto. A expresso do rao ra: Aan ens sei sent fe ena oils se jm obs xi contigo € apt Fatretant, €necesiioesconeren// 59 mente para a ‘de um novo instrumento, Sio elas: es sio exigidas da pessoa que vai apl ado? los os escores e atribuido sentido a eles? levantamento do referen vento. O ze quer a «de transtornos ov ambos. livros, artigos e outros instrumentos cons- ‘0 mesmo construto, Os ilens dessas excalas podero servir » dos novos, ¢ insirumento poderi ser para fins de validade convergente daquele que est ¢ nu revisio € nos instrumentos jf construides. 0 pesquisador ica traduzit 0 tg60/ pure sanoeea & TRENTIN (ORGS) truir o instrumento esti sendo representada nessa definigdo, pois disso depen- de, em parte, a validade de contetido da escala.E com base arial open. ional que serio construfdos os tens do instrumento. Consiserando que a definipio operacional, em geral, ¢ baseada na revisio da teoria e dos instrumentos jéexistentes, é possvel que alguns aspectos do tra- aré que se tena atingido a saturagdo (Glasser & Strauss, essa for- rma, é possvel ter maior seguranga de que todos os aspectos do construtoestio Psicomeran tes de inspiragio para novos itens. "HA alguns critérios que devem ser considerados para que os tens sejam construidos de maneira adequada. Alguns autores sugerem um conjunto de cri~ térios que devem ser seguidos para a construcio dos itens e fazem recomenda~ Bes que contribuem para sua elaboraglo (Aiken, 1996; Cohen etal. 2014; Pas- ual, 2001; Urbina, 2007), De maneira geral, o pesquisador deve estar stento para que o item: . 4) Contenhs apenas uma pergunta por vez: “finalizo minha tarefas’ Esse item ‘podria testar Realizagio (uma das cinco dimensées da personalidade no ‘Modelo dos Cinco Grandes Fatores). Ele contém apenss uma pergunta e dé ‘a chance deo testando responder ao item de forma adequada. Entretanto, se o item fosse “finalizo minhas tarefas no prazo ¢ inicio outras sem dificulda- {eo respondente poderia ter dificuldades de responder, pois para ele pode ser ficilinjciar, mas ndo terminar tarefas, ou vice-versa. Entio, o item pode- ra nfo ser respondido de maneira correta. Se 0 item fosse “Ginalizo minhas tarefas no prazo’, ainda assim conteria duas questbes. O participante pode- sia finalizi-las, mas fora do prazo. Nesse caso, o corzeto seria ter dois itens, ‘como: “finalizo minhas tarefas”e “cumpro os prazos que me sao dados"Itens que conttm mais de uma questio dificultam a utilizagio da chave de respos- ‘tas, jd que existe apenas uma por item, possibllitando ao testando responder apenas uma pergunta por vez. ) Seja claro: quando o pesquisador decide qual sed a populagéo-aivo do instru- ‘mento, deve construs o item de forma que todos possam entendé-to, Isso su=" 62_/ am, sanoewa & reentIN (086s) “Nio costumo fazer colsas que considero erradas” 4 2 3 a ‘concorde Discordo | iscordotelaimente "..” tla mais adequado questioné-o assim: “inicio sem dificuldadesastarefas que preciso cumprir”, 4) Teste uma porcio especifica da varidvele se dstings dos outros tens, Isso evita que o teste tenha virios itens medindo uma mesma porgdo da variével ‘e outra parcela sem representacdo no teste. A dimensfo abertura& experién- respondente, néo prenderé sua atengio e aumentaré as chances de que ele no responda corretamente. ) Tenbavalidade aparente. Além de medir o ques prope, deve parecer medir isso, Dessa mancira, 0 participante daré credibilidade ao item. Por essa ra~ ipante a pensar que no & sério. Por exemplo, pessoas abertas &experiéncia “| pensam sobre assuntos que pessoas com escores menos elevados nem sequer ‘considerariam. Elas pensam em maneiras diferentes de viver em sociedade, ** * decriar seus filhos, etc. Elas despendem algum tempo pensando sobre isso, * Alguns diriam que elas “viajam’. Por mais que essa giria conseguisse descre- \dos, ainda, devem ser tomados com a linguegem utiliza-64_/ ura, eanosea 8 TEN (ORGS) sador pode deixar uma linha para sugestdes de alterasio abaixo de cada item. ‘Um exemplo é apresentado na Tabela 4.1. (© juiz marcard na coluna sua avaliagho, podendo dar ou nio sugestoes de alteragdo aos itens que ndo forem bem clasificados. Os tens que receberam Classificagdo “bom” nas avaliagdes de todos os juizes devem ser selecionados -alvo final. las avaliardo 0 quanto validade aparente, Pode-se solicitar ao grupo que verbalize o que entendeu do item, 0 que ele pergunta, a fim de verificar se todos compreendem da mesma forms. Todos 0s itens que nio forem claros devem ser modificados (pessando novamente por outro grupo focal apés sua modificagio) ou eliminados. Em ge- ral, dois ou tr8s grupos focais, com pessoas diferentes, sio suficientes para con- - cluir sobre a clareza dos itens. TABLA 41 ‘vallagto dos tens por julzes Hens tiem’ PskoMetnn Sugeno de aherago tem? Ssugesto de atrayao _ugestda de ateragso (© processo descrito & bastante rigoroso e costuma reduzir consideravel- mente o conjunto de itens, pois somente os melhores sio selecionados (Pacico & a qualidade dos itens e o perfil da amostra na varidvel testada. Esses pasts fo- gem a0 objetivo dest capitulo esio abordados em outros captulos dest vz, especialmente nos Capitulos 5,6 ¢7. : ADAPTAGAO DE INSTRUMENTOS OBJETIVOS ‘A International Test Commission (ITC) ¢ uma comissio, que criou diretrizes ‘com o objetivo de orientaro procesto de adaptario de instrumentos psicaldgi- cos ¢ educacionais em diferentes contextos culturais (Hambleton, Merenda, &Spielberger, 2005; Van de Vijver & Hambleton, 1996)| Os autores destacam que io precisa considerar o contexto cultural emi que test serdutluado fetrizes foram preparades com a ajuda de algumas organizagdes, como a European Association of Psychological Assessment, o European Test Publi. shers Group, a International Association for Cross-Gultural Peychology, a In. ternational Association of Applied Psychology, a Intfrnational Association for the Evaluation of Educational Achievement, a Interational Language Testing Association ea International Union of Psychological Science. O comit®forma- do por elas trabalhou por alguns anos e produziu divididas em quatro categorias: contexto, desenvolvim te, administragio e interpretacto dos escores. O procedi ‘capitulo utiliza essas dretrizes como base? As diretrizes sugeridas pela [TC embesam as orientacbes ciadas pelo Sis- _Aema de Avaliacdo de Testes Psical6gicos (Sa ‘ psicdlogos,o Satepsi apresenta a lista com te - rivel ao uso pelo Conselho Federal de Psicologia, normativas do conselhoe in- formacSes sobre os testes - ‘A adaptacio do instrumento & composta por elguns pssos: * aj, tradugdo dos itens por jutzes; * By compllagdo das tradugdes apresentadas pelos juzes em uma versio prelimt- nar do instrumento; ©) comparacio da versio preliminar com 0 instrumento original; 4) entrevistas com sujeltos representantes da amostra final; ©) grupos focais; f) tradugio reversss ) compilagéo da tradugio reversa: ) comparacio com a versdo original do instrumento; icagao & amostra-piloto; aplicagéo & amostra-alvo. ‘A adaptagdo do instrumento comega com @ traducfo da escala por Jat zes profiientes nos idiomas do instrumento original e do adaptado. Os jules ee Pim devem ser familiarizados com a cultura dos dois idiomas, de modo {ue possam entender pecullaridades linguisticesassciadas a diferentes ups Gambleton, 1994; Hambleton etal, 2005). Em gerah slicita-se a dois ou rts 7 ssas guidelines podem ser consultadas 3 Ease slstema pode ser acessado em itp: formagies sobre os testes pricolégicos dc rscourtan / 67 Juizes que executem esse procedimento. Quando possvel, procura-se um julz ppesquisedor ou profissional na frea relat pelo (© conhecimento da érea auxlia pare que os) dlscutr os ajustes necessérios a trumento original por um quarto trés anteriores, a fim de verific significado que 0s originals. Depols de realizadas as alteragbes solic tse ula, quando necessrias, tem-se o instrumento pronto para pli 10 a08 grupos focais. Entretanto, antes de realizar os grupos focais, énecessirioavalar se tods s exprstio do tro latente na populacto-alvo &abordad pelos tens do ine te lar todo o trago, O instrumento adapt ico & Bastlanello, 2014; Pacico, Zanon, Bas- ‘meio de grupos foc sent pen, Deve-serealzar ese procedimento a que nf un ral ‘postas navas (saturagio). Os resultados encontrados pelos autores sugerem dit apenas atraduglo dos itens seguida da teduco reversa nfo &sufcent Pam Ee untiro éxito da adaptacio. Apés realizar as entrevistas forma-se uma vers Teeala dom os tens fraduzidos of novos (decorrenes das entrevistas), quando ‘houwver,eessaescala & eno levada a grupos fais.68 / ture eanociea 6 rem ons.) um novo, Esse conjunto d do, submeti- do a juizes (diferentes dos primeiros, embora com qualificagdes semelhantes), Os procedimentos de construgio e adaptacio estio diretamente relacio- nados & validade e & fidedignidade. Quando realizados com cuidado, leva a _ €xcelentes resultados. Nao ha concordancia total na literatura sobre os proce- dimentos de construgéo e adaptacio, Entretanto, a pritica do Laboratério de Mensuracio ~ UFRGS tem demonstrado que os procedimentos descritos neste capitulo sio adequados e eficientes* ‘© Alguns resultados obtidos com seu uso podem ser vsualizados em: btpd/fwww.ulgs. br/pticolaboratorio/. rs es REFERENCIAS ‘Alken, LR. (1996). Rating scales and checks: Evaluating behavior, personality, and ‘attitudes, New York: Wiley. ‘Alken, L.R. (1997). Questionnaires and inventories: Surveying opinions and asesing ‘personaly, New York: Wiley. : ‘American Educational Research Assocation (AERA), American Peychological Asso- lation (APA), & Nationel Council on Measurement in Education (NCME). (1999). ‘Standards for educational and psychological testing, Washington: AERA, APA, NCME. Bors, J. Damasio, B,F,& Bander, D.R (2012). Adaptacto evalidao de instr imentos paicol6gicos entre culturas: Algumas considerapbes.Paidéia (Ribeirdo Pet), 2453), 423-432, Carvalho L Ry Nunes, M. FO. Primi, Ra & Nunes, C. H $18. 2012), Unfavorable evidence for personality assessment with a 10-tem instrument. Padi (Riberdo Preto, 22051), 6371. ‘Cohen, RJ, Swerdlick ME, &cSturman, ED. (2014) Tstagem avalagto picoligica Introdugdo testes e medidas (8. ed). Porto Alege: AMGH. CConsetho Federal de Psicologia (CFP). (2003), Resolugdo n* 002, de 24 de marzo de 2003, Define eregulamenta0 usa a elaboragto e a comerclalizagdo de tes paicolgicos « revoga a Resolugdo CFP n,025/2001. Recuperado de hip step org brlresolucoe! resolucao-n-2-2003, (Costa, PT, & McCrae, RR (1992). Revised NEO Personality Inventory (NEO-PI-R) sand NEO Five Factor Inyentory (NEO-EFD) professional manual. Odessa: Psychologies} ‘Assesment Resources Glaser, BG, & Straus, AL (1967) The dscovery of grounded theor. Strategies for quliative research, New York: Aldine Transaction, Glaser, BG. & Straus, A L. (2008). The discovery of grounded theory Strategies for ‘qualtatve research, New Yo: Aldine Transaction. : ‘Gurven, M, Von Rueden, C, Masenkofl, M, Kaplan, H, & LeroVie M. (203) How unlversliste big Sie Tetng the fve-actor mode of penalty variation among forage farmer in the Bolivian Amazon. ural of Personality and Soil Pychlog 1042), 354370. ‘Hambleton, RK (1994). Guidelines for adapting educational and prfcholoical tests: A Progress report. Europea journal of Pychological Assessment 1 “4, Hambleton, RK, Mevenda, PF, & Splelberger,C-D. (Eds). (2005). Adapting educational and psychological tess for cross-cultural assesment Hillsale: Lawrence Exibaum, Hutz, CS, Zanon, C., & Neto, H. B, (2013) Adverse working condition and mental nein poultry slaughterhouses in Southern Bru Psicologia: Relate rca, 262), 236.304,