You are on page 1of 13

Estudos deMedidas em 2002,

Psicologia avaliao de treinamento


7 (Nmero 31
Especial), 31-43

Desenvolvimento de medidas em avaliao de treinamento1

Jairo Eduardo Borges-Andrade


Universidade de Braslia

Resumo
O texto descreve um conjunto de esforos empreendidos para desenvolver medidas de avaliao de
treinamento. Ele organizado em torno de um modelo de cinco nveis de avaliao: reao, apren-
dizagem, comportamento no cargo, organizao e valor final. So discutidos os desafios
metodolgicos de cada um desses nveis de avaliao e apresentados exemplos de como os problemas
de mensurao tm sido resolvidos, com o desenvolvimento de instrumentos e a implementao de
estratgias de coleta e anlise de dados. Os desafios por serem enfrentados mais sistematicamente so
apontados e so indicados os maiores avanos realizados.
Palavras-chave: Medidas em avaliao de treinamento, Satisfao com treinamento, Aprendizagem em treinamento, Impacto
de treinamento no desempenho individual, Impacto de treinamento no desempenho organizacional.

Abstract
Development of measures in training evaluation. The text describes a set of efforts that have been
undertaken in order to develop training evaluation measures. It is organized around a five-assessment
levels model: reactions, learning, behavior at job, organization and final value.
Methodological challenges of each of these assessment levels are discussed. Instruments development
and implemented data collection and analysis strategies are presented, as examples of how measurement
problems are being solved. Challenges that have not yet been more systematically faced are pointed
and the major accomplished advances are indicated.
Key words: Measurement in training evaluation, Training satisfaction, Learning in training, Training impact on individual
performance, Training impact on organizational performance.

Justificativas e conceitos esto concretizando diferentes formas de apreenso dos pro-


cessos e produtos do treinamento nas organizaes. O pris-

E
xiste crescente demanda por avaliao, nas organi-
ma ser o de contemplar a diversidade existente, buscando
zaes que tradicionalmente fizeram altos investi-
organizar as experincias relatadas com base num modelo
mentos em treinamento, bem como naquelas que
de nveis de avaliao hegemnico na rea. Sero desta-
mais recentemente descobriram os valores estratgicos do
cadas as prticas em uso e apontados os seus problemas, de
conhecimento e do esforo na contnua qualificao de seu
forma a contribuir com futuros estudos e experincias de
pessoal. O aumento da produo cientfica e tecnolgica na
avaliao, com o foco no mtodo.
rea, uma recente resposta a essa demanda, indica que no
O leitor deve ser alertado, no entanto, para o fato de que
mais possvel continuar simplesmente realizando avaliaes
o presente texto no pretende ser um manual para o desen-
de treinamento e fazendo pesquisas sobre elas, ignorando-
volvimento de medidas em avaliao de treinamento que
se os dilemas que so enfrentados cada vez que se elabora
substitua a consulta aos textos aqui revisados. Consultas di-
um instrumento de medida e se coleta e analisa dados.
retas aos textos citados so altamente recomendveis, uma
So aqui apresentados e discutidos os instrumentos e
vez que esta reviso faz apenas consideraes e relata resul-
procedimentos que um ncleo brasileiro2 tem usado para
tados gerais.
fazer suas avaliaes e pesquisas. Pretende-se relatar resu-
De acordo com Borges-Andrade e Abbad (1996), uma
midamente, analisar e discutir experincias realizadas que
das caractersticas essenciais do conceito de Treinamento
32 J. E. B. Andrade

(T) a noo de que ele representa um esforo despendido tempo e lugar, T & D parecem estar intimamente relaciona-
pelas organizaes para propiciar oportunidades de apren- dos e seus conceitos podem estar perdendo as claras frontei-
dizagem aos seus integrantes. Ele est tradicionalmente re- ras que os separavam h menos de duas dcadas.
lacionado identificao e superao de deficincias no de- T & D podem ser vistos como um sistema, integrado
sempenho de empregados, preparao de empregados para por trs elementos: (a) avaliao de necessidades; (b) plane-
novas funes e adaptao da mo de obra introduo de jamento do treinamento e sua execuo e (c) avaliao do
novas tecnologias no trabalho. O conceito de Desenvolvi- treinamento. Do primeiro para o segundo e deste para o ter-
mento (D), na literatura clssica da rea, compreendido ceiro, os referidos elementos mantm entre si um constante
como mais abrangente, incluindo aes organizacionais que fluxo de informaes e produtos, sendo que o subsistema
estimulam o livre crescimento pessoal de seus membros, que avaliao de treinamento seria o principal responsvel pelo
no visam necessariamente a melhoria de desempenhos atu- provimento de informaes que garante a retroalimentao
ais ou futuros (Nadler, 1984). e, portanto, o aperfeioamento constante do sistema. Esta
Devido s rpidas e vertiginosas mudanas tecnolgicas, avaliao pode ser definida como um processo que inclui
econmicas e sociais que caracterizam o atual mundo do sempre algum tipo de coleta de dados usados para se emitir
trabalho e das organizaes, T & D tm crescido de impor- um juzo de valor a respeito de um treinamento, ou um con-
tncia. Atravs deles, so adquiridas habilidades motoras ou junto de treinamentos.
intelectuais e informaes e desenvolvem-se estratgias Hamblin (1978) props que uma avaliao de treina-
cognitivas e atitudes, que podero tornar o indivduo mais mento deveria seguir cinco nveis: (I) reao, que levanta
competente para desempenhar vrios papis, no presente ou atitudes e opinies dos treinandos sobre os diversos aspec-
no futuro e em diversas organizaes. No caso de Treina- tos do treinamento, ou sua satisfao com o mesmo; (II)
mento, essa aquisio seria feita de uma forma mais siste- aprendizagem, que verifica se ocorreram diferenas entre
mtica, utilizando-se uma tecnologia instrucional, enquanto o que os treinandos sabiam antes e depois do treinamento,
Desenvolvimento estaria mais baseado na autogesto da ou se os seus objetivos instrucionais foram alcanados; (III)
aprendizagem. Ao analisar os problemas conceituais da rea, comportamento no cargo, que leva em conta o desempe-
Bastos (1991) sugere que uma das maneiras de diferenciar nho dos indivduos antes e depois do treinamento, ou se houve
T & D seria pelos critrios da intencionalidade em produzir transferncia para o trabalho efetivamente realizado; (IV)
melhorias de desempenho e do controle exercido pela orga- organizao, que toma como critrio de avaliao o funcio-
nizao sobre o processo de treinamento. namento da organizao, ou mudanas que nela possam ter
A noo de crescimento pessoal contnuo, inicialmente ocorrido em decorrncia do treinamento, e (V) valor final,
colocada como um assunto de deciso pessoal, tornou-se que tem como foco a produo ou o servio prestado pela
um requisito organizacional que dele retirou a noo de es- organizao, o que geralmente implica em comparar custos
colha livre e pessoal, embora tenha sido mantido ou forta- do treinamento com os seus benefcios.
lecido o discurso de que se trata de autogesto da aprendi- Em qualquer planejamento de treinamento poderiam ser
zagem. O desenvolvimento de competncias pessoais encontrados, explicitados ou no, objetivos esperados rela-
diversificadas se transformou em estratgia organizacional, tivos a cada um desses nveis (ver parte esquerda da Figura
cuja efetivao leva evidentemente a maiores expectativas 1). A lgica do planejamento organizacional seria, desse
de controle e a uma reduo drstica do mbito do que pode modo, a de formular os objetivos do nvel de valor final e
ser realmente considerado como autogesto. Por outro lado, deles derivar os objetivos do nvel seguinte, e assim por di-
um treinamento cuidadosamente formulado, para resolver ante, at os objetivos do nvel I. Para alcan-los, existiriam
problemas especficos de desempenho, de um indivduo ou muitos possveis tipos de aes, sendo que a maioria delas
uma categoria ocupacional, pode ser visto, por outros indi- no envolveria treinamento. Isso sugere, portanto, que T &
vduos ou categorias, como uma oportunidade de desenvol- D no deveriam ser considerados panacias para resolver
vimento que garantiria melhor empregabilidade no mercado todos os problemas organizacionais.
interno ou externo organizao. As noes de sistematiza- A seqncia em que ocorreriam os efeitos seria iniciada
o, de tecnologia e de intencionalidade, que pareciam mais pelas reaes dos treinandos e terminaria no nvel V (ver
restritas ao conceito de Treinamento, podem ser sorvidas parte direita da Figura 1). O modelo sugere uma cadeia de
pelo conceito de Desenvolvimento, quando este hoje relaes de determinao, em que os resultados do primeiro
posto em prtica como estratgia organizacional e num con- nvel seriam os maiores responsveis pela aprendizagem dos
texto de grande competio por trabalho e emprego. Da indivduos, que produziriam mudanas no seu desempenho
mesma forma que as chamadas aprendizagens individual e no trabalho e assim por diante. Em cada um desses nveis,
organizacional precisam coexistir num mesmo espao de no entanto, se agregariam outras variveis interferentes, de
Medidas em avaliao de treinamento 33

Aes no vinculadas a treinamento Variveis interferentes


(. T) (V. intf.)
TREINAMENTO

OBJETIVOS DE EFEITOS DE
. T REAES
COMPARAR REAES V. intf.

OBJETIVOS DE EFEITOS DE
APRENDIZADO COMPARAR APRENDIZADO V. intf.
. T

OBJETIVOS DE EFEITOS NO
COMPORTAMENTO COMPORTAMENTO V. intf.
COMPARAR
. T NO CARGO NO CARGO

OBJETIVOS DA EFEITOS NA
. T ORGANIZAO
COMPARAR ORGANIZAO V. intf.

OBJETIVOS DE EFEITOS DE
COMPARAR
VALOR FINAL VALOR FINAL

LGICA DO AVALIAO CADEIA DOS


PLANEJAMENTO DE RESULTADOS
DE TREINAMENTO TREINAMENTO DE TREINAMENTO

Figura 1. Nveis de avaliao de treinamento (adaptao de Hamblin, 1978)

modo que os efeitos atribuveis ao treinamento se tornariam insumos, procedimentos, processos, resultados e ambiente
dependentes de um conjunto gradativamente mais amplo de (com quatro subcomponentes). Componentes e
fatores, o que dificultaria mais a sua deteco. subcomponentes que so vizinhos (separados por linhas con-
O papel da avaliao de treinamento seria o de coletar tnuas ou pontilhadas), principalmente no sentido esquerdo
dados relativos aos efeitos nos diferentes nveis e compar- - direito, seriam aqueles em que haveria maior probabilida-
los com aqueles que seriam esperados (ver parte central da de de existirem relaes de dependncia.
Figura 1). Contudo, dados nem sempre seriam colhidos em Insumos, no referido modelo, so definidos como os
todos os nveis. fatores fsicos e sociais e estados comportamentais, geral-
mente associados ao treinando, anteriores ao treinamento e
Medidas de reao
que podem afetar sua realizao (ex.: experincias anterio-
A construo de medidas de reao reclama a resposta res na organizao e motivao antes do treinamento). Pro-
a trs questes: O que medir? Com o que medir? Como cedimentos so as operaes realizadas para produzir os
medir? resultados instrucionais, geralmente controladas pelo instru-
A resposta sobre o que medir passa por uma outra deci- tor ou por algum meio de entrega da instruo (ex.: seqn-
so, pois se pode obter uma medida global, com um nico cia de objetivos, exerccios realizados, retroalimentao re-
item, ou mltiplas medidas de reao, que direcionam o foco cebida pelo treinando). Processos so definidos como as
do respondente para distintos aspectos do treinamento. O ocorrncias resultantes da realizao dos procedimentos e
uso de um item, como indicador global, apresenta riscos geralmente associadas a desempenhos intermedirios dos
quanto sua confiabilidade. O uso de vrios itens pode ser treinandos, mas podendo predizer resultados finais (ex.: re-
muito facilitado por um quadro de referncias que guie a laes interpessoais desenvolvidas no treinamento). Resul-
elaborao de questes que cubram apropriadamente todos tados, outro componente do MAIS, compreendem o que foi
os aspectos do treinamento a serem considerados. O Mode- aprendido pelos treinandos ou por eles alcanado ao final do
lo de Avaliao Integrado e Somativo - MAIS, representado treinamento (ex.: qualquer habilidade adquirida ou atitude
pela Figura 2, tem servido bem a esse propsito, pois sua desenvolvida). Ele corresponderia ao nvel II do modelo de
base terica privilegia justamente os aspectos instrucionais Hamblin (1978).
e administrativos que geralmente produzem reaes nos O modelo MAIS se encerra com o componente ambi-
treinandos. Ele sugere que uma avaliao deve considerar ente, que divido em quatro subcomponentes: necessida-
mltiplas variveis, classificadas em cinco componentes: des existentes no ambiente de trabalho e que geralmente so
34 J. E. B. Andrade

A M B IE N T E : A P O IO

PRO-
CESSOS
AMBIENTE:
AMBIENTE: P R O C E D I- RESUL- RESULTADOS
N E C E S S ID A D E S IN S U M O S A LONGO
M ENTOS TADOS
PRAZO

PRO-
CESSOS

A M BIENTE: D ISSEM INAO

Figura 2. Modelo de Avaliao Integrado e Somativo (Borges-Andrade, 1982)

definidas como lacunas ou discrepncias entre desempenhos para cada organizao um desafio. preciso contar com
esperados e apresentados, podendo influenciar os insumos; treinamentos variados e em grande quantidade, uma organi-
apoio, que abrange variveis no lar, na organizao ou na zao disposta a se submeter a esse processo e uma equipe
comunidade, que influenciam diretamente os insumos, pro- bem capacitada. Experincias bem documentadas e com in-
cedimentos e processos, e indiretamente a aprendizagem e dicadores apropriados de validade de construto (usando an-
os resultados a longo prazo (e.g., instalaes, proporo trei- lises fatoriais) e de confiabilidade (calculando alfas de
nando/instrutor, suporte social para transferncia do apren- Cronbach) foram feitas na Telebrs, por Alves, Pasquali e
dido ao trabalho); disseminao, que arrola outros aspec- Pereira (1999), e no Tribunal de Contas da Unio (TCU),
tos que podem contribuir para a procura ou escolha do trei- por Abbad, Gama e Borges-Andrade (2000).
namento, tais como os meios e estratgias usados para sua Essas experincias demonstraram que possvel desen-
divulgao e resultados a longo prazo, ou as conseqnci- volver instrumentos de reaes confiveis e extrair fatores
as ambientais do treinamento medidas aps algum tempo, que mantm uma correspondncia razovel com o quadro
estando neles inseridos os nveis III a V propostos por de referncias que os inspirou e que se ajustam s peculiari-
Hamblin (1978). dades das organizaes e de seus sistemas de T & D.
A construo dos itens, para mensurao das reaes, Contudo, essa ltima vantagem tambm um ponto fraco,
feita com base no quadro de referncias oferecido por esse pois em todos os casos no se pode garantir maior generali-
modelo e levando em considerao as peculiaridades do con- dade dos instrumentos, ou que eles se comportariam de
texto organizacional e do sistema de T & D em funciona- maneira equivalente em outros contextos. Outro problema
mento. Seria ideal possuir instrumentos contendo itens de tem a ver com o prprio MAIS, que pretende abranger to-
reao aplicveis a qualquer contexto organizacional, mas dos os aspectos do treinamento, tornando-se um recurso que
isso teria o alto custo da perda da especificidade dos mes- produz exploses de criatividade nos elaboradores de ques-
mos. Assim, a tendncia tem sido a de construir questionri- tes e resultando em questionrios inicialmente muito ex-
os especficos para cada organizao, embora tomando o tensos. Eles provocam resistncias mesmo nas aplicaes
MAIS como modelo ou quadro de referncias. Um exemplo de teste dos mesmos, at que as anlises dos primeiros da-
disso foi a experincia desenvolvida por Lima e Borges- dos obtidos possam sugerir o que eliminar.
Andrade (1985), que construram um questionrio para ava- H duas outras questes a serem consideradas. Com o
liar reaes a uma grande variedade de treinamentos ofere- que medir? As respostas podem ser com lpis e papel, en-
cidos pela Embrapa. Contudo, esses autores no investiga- trevistas ou observaes. Como medir? Isso pode ser feito
ram a validade de construto do seu instrumento, nem a com registros de observao. Ou com questes fechadas ou
confiabilidade dos escores que poderiam ser obtidos a partir abertas. As experincias tm sido com lpis e papel, o que
dos itens elaborados com base no modelo MAIS. Fazer isso exige um certo nvel de escolaridade dos respondentes, e
Medidas em avaliao de treinamento 35

quase sempre questes fechadas, o que limita as chances de tamente dos objetivos formulados. O primeiro vem de uma
serem detectadas ocorrncias no previstas, mas reduz o tem- tradio de seleo: procuram-se os mais aptos. O segundo
po de anlise e aumenta a confiabilidade dos resultados. Os vem de uma tradio de ensino: deseja-se determinar quem
questionrios geralmente incluem uma questo aberta, que aprendeu. Embora a resposta parea bvia, pois a finalidade
exige uma anlise de contedo trabalhosa, utilizando-se um imediata de um treinamento a aprendizagem, o fato de que
conjunto de categorias com base no prprio MAIS. As an- muitos treinamentos no possuem objetivos formulados em
lises quantitativas e qualitativas tm usualmente um alto grau termos de desempenho impede que a segunda tradio seja
de correspondncia, j que as vrias questes fechadas po- seguida. Ento, elabora-se um conjunto de itens baseado
dem influenciar o que escrito nas questes abertas. Isto , numa amostragem do contedo includo no programa. As-
na verdade, um outro problema de mensurao. sim, o controle do processo dificilmente fica nas mos do
Para evitar os problemas dos questionrios de lpis e avaliador, passando para as do especialista em contedo, o
papel, Abbad, Sallorenzo e Gama (1998) construram e apli- que impede uma apropriada construo e anlise de itens.
caram um roteiro de observao do instrutor em sala de trei- Em muitas organizaes, tal a autonomia dada ao instru-
namento. Os resultados finais obtidos foram animadores, tor, que este ou os responsveis pelo sistema de T & D
demonstrando que possvel a obteno de ndices de con- considerariam inconvenincia, ou intromisso, a participa-
cordncia entre observadores acima de 90%. Mas o mtodo o do avaliador ou pesquisador na elaborao de itens.
exige um grande esforo de coordenao e treinamento de Outro problema que uma boa medida de aprendiza-
observadores e limitado aos aspectos diretamente gem deveria comparar desempenhos antes e depois do trei-
observveis, no sendo sensvel para a deteco da satisfa- namento. Isto dificilmente vivel, pois quase sempre no
o e opinies dos participantes. Ao invs de focalizarem o existem baterias de itens efetivamente similares para serem
desempenho do instrutor, Pantoja, Lima e Borges-Andrade usadas nestes dois momentos. Alm disso, comear um trei-
(1999) relatam um mtodo de anlise de documentos relati- namento com uma avaliao pode ser fator de constrangi-
vos a programas de cursos, utilizando uma lista de verifica- mento em muitas culturas organizacionais. Mesmo a avalia-
o, abrangendo aspectos relacionados ao planejamento o realizada somente ao final do treinamento vista como
instrucional. Nesse caso, o problema foi que as naturezas do imprpria ou considerada como algo inerente ao ensino for-
instrumento e do procedimento de coleta de dados mal e no a organizaes de trabalho. Algumas estratgias
inviabilizaram um tratamento estatstico que verificasse a tm sido utilizadas para a obteno de quaisquer indicado-
confiabilidade dos dados obtidos e a validade de construto res de aprendizagem. Pantoja et al. (1999) e Abbad (1999)
das medidas. O mtodo compartilha, com o anterior, a des- utilizaram resultados de ps-testes construdos e corrigidos
vantagem de que no revela a satisfao dos participantes. pelos prprios instrutores e encontraram poucas correlaes
Em resumo, para responder s trs questes colocadas significativas ou correlaes de Spearman-Brown abaixo de
no incio desta seo, necessrio levar em considerao a 0,30 entre esses indicadores e variveis relativas a outros
natureza da organizao e do seu sistema de T & D, os componentes do MAIS ou a outros nveis do modelo pro-
tipos de clientela desse sistema e os recursos disponveis. posto por Hamblin (1978). Em vez de questionar as hipte-
As experincias j realizadas demonstram que se avanou ses desses modelos, os autores preferiram reconhecer a fra-
no sentido de enfrentar os desafios da construo de medi- gilidade de suas medidas de aprendizagem, pois no tive-
das de reaes, embora as solues desenvolvidas tenham ram acesso aos processos de construo e anlise dos itens,
igualmente produzido outros desafios. H dilemas que per- nem controle sobre os mesmos. No tendo sequer consegui-
sistiro, pois as alternativas de resposta tendem a atender a do essas medidas, mas podendo contar com objetivos de trei-
uma ou duas dessas consideraes, mas deixam as demais namento formulados em termos de desempenho, Borges-
sem cobertura. Andrade, Morandini e Machado (1999c) e Lima e Borges-
Andrade (1985) recorreram a auto-relatos de aprendizagem,
Medidas de aprendizagem
em que listavam os objetivos de ensino e solicitavam aos
O desenvolvimento de medidas de aprendizagem tem respondentes que julgassem sua aquisio durante o treina-
como primeiro desafio a seguinte questo: os parmetros, mento. A no ser pelo fato de terem verificado consistncia
contra os quais ser comparado o desempenho de cada trei- interna entre esses julgamentos, seus resultados no foram
nando, devem ser fornecidos pelo desempenho do grupo de mais animadores, pois foram auto-avaliaes ps-fato.
treinandos ou pelos desempenhos explicitados nos objetivos So grandes as barreiras que impedem o desenvolvi-
do treinamento? No primeiro caso, a construo dos itens mento de instrumentos de mensurao no nvel de aprendi-
geralmente feita a partir de uma amostragem dos contedos zagem. O que foi feito at agora permite concluir que os
do programa, enquanto no segundo, o item deduzido dire- avanos absolutos foram pequenos. Comparando-se o que
36 J. E. B. Andrade

foi alcanado neste nvel com aquilo j relatado no nvel de numa empresa privada de televiso por assinatura, aplica-
reao, conclui-se que tambm no houve avanos em ter- ram uma escala de freqncia de utilizao, no trabalho, do
mos relativos. Quando o balano das perdas e ganhos fei- aprendido em vrios treinamentos oferecidos em todo o Bra-
to, chega-se a acreditar que foram produzidas mais zonas sil. A escala foi sempre a mesma, mas foram muitas as listas
de sombra do que de luz. H que considerar que as pesqui- de comportamentos esperados no cargo, j que os treina-
sas sobre avaliao de treinamento tiveram como focos de mentos variaram muito quanto natureza de seu contedo
interesse o nvel anterior (reao) ou o prximo (desempe- (tcnicos, operacionais e gerenciais) e quanto natureza das
nho no cargo) e os indicadores do nvel de aprendizagem capacidades ensinadas (habilidades intelectuais, informaes
foram coadjuvantes ou complementares. Para que progres- verbais e atitudes).
sos substantivos possam ocorrer neste nvel, um esforo mais As tentativas realizadas por esses autores, no sentido
metdico e uma viso finalista so necessrios. de verificar a validade de construto e a confiabilidade dos
instrumentos, resultaram em estruturas unifatoriais e alfas
Medidas de comportamento no cargo
de Cronbach entre 0,80 e 0,90. Contudo, quando o nmero
Tal como na mensurao de reaes, no processo de de treinandos por treinamento pequeno, esse tipo de anli-
desenvolvimento de medidas no nvel de comportamento no se estatstica fica inviabilizado, pois ele precisa ser feito para
cargo j existe sistematizao para a tomada de decises. cada lista de comportamentos esperados. Isso s pode ser
As seguintes questes devem ser respondidas: (1) O que superado quando so realizadas avaliaes de poucos trei-
medir? - Comportamento ou resultado? (2) Em que nvel de namentos oferecidos em carter massificado ou em organi-
complexidade? - De profundidade ou largura? (3) Como zaes de grande porte.
medir? - Observar ou perguntar? (4) Quem deve fornecer os O primeiro grande desafio ocorre quando no existem
dados? - Treinandos, supervisores, colegas ou clientes? As objetivos formulados em termos de comportamentos espe-
respostas, como demonstrado a seguir, dependem de rados do treinando. Isto acontece porque o planejamento
condicionantes como disponibilidade de recursos humanos segue uma abordagem que rejeita essa formulao de obje-
e financeiros no subsistema de avaliao, natureza dos obje- tivos, ou s os formula em termos do que esperado dos
tivos de treinamento, tipo de cargo ou funo, cultura da instrutores, ou s os formula no decorrer do prprio treina-
organizao e tipo de clientela a ser avaliada. mento, aps discusso com os participantes, ou s faz
A deciso sobre o que medir tomada aps uma an- listagens de contedos a serem abordados. Outras razes,
lise dos objetivos formulados para o treinamento. Na maio- bem mais prosaicas, so as de que o sistema de T & D
ria dos casos, essa anlise sugere que o foco permanea em to desorganizado que no existe documentao registran-
comportamentos, mas h tambm situaes em que ele fica do os planejamentos ou totalmente terceirizado, a ponto de
em resultados deduzidos a partir dos comportamentos des- no fazer sentido uma poltica de arquivamento desse tipo
critos nos objetivos. Estes, quando existentes, so de informao. Vrias experincias foram desenvolvidas para
freqentemente escritos num nvel de especificidade apro- tentar resolver esse problema.
priado para planejamento da instruo, mas excessivamente A primeira foi a de construir perguntas que servissem
detalhado para uma avaliao no cargo. Uma eliminao dos para avaliar o impacto de qualquer treinamento no trabalho,
detalhes ou dos objetivos estritamente instrucionais neces- independentemente da abordagem de T & D ou da polti-
sria, sendo que as justificativas utilizadas para implementar ca adotada pelas organizaes. Lima, Borges-Andrade e
o treinamento ou o diagnstico de necessidades realizado Vieira (1989) identificaram trs importantes indicadores e
podem ajudar muito nessa deciso. solicitaram aos respondentes que utilizassem uma escala de
Obtida uma lista de itens que descrevem comportamen- concordncia tipo Likert, para julgar o impacto do treina-
tos ou resultados do treinamento esperados no trabalho, tem mento que tinham realizado. A mesma estratgia foi depois
sido solicitado aos respondentes que opinem, com o apoio usada por Leito (1994) e Paula (1992). As medidas pareci-
de uma escala tipo Likert. Borges-Andrade e Siri (2000) am promissoras, pois contornavam o problema apresenta-
utilizaram uma escala de julgamento de nvel de impacto no do, podendo ser usadas em qualquer organizao e para qual-
trabalho, avaliando um programa de treinamento oferecido quer treinamento, havendo evidncias de validade de conte-
para membros de organizaes operando na Amrica Lati- do. Mas careciam de uma melhoria substancial, verificando-
na e Caribe, que tinha uma lista bem clara de comportamen- se, por exemplo, sua validade de construto e confiabilidade.
tos e resultados esperados, na rea de planejamento, acom- Abbad (1999) envidou esse esforo de melhoria, toman-
panhamento e avaliao da pesquisa agrcola. Borges- do os itens j utilizados nessas experincias e a eles acres-
Andrade, Azevedo, Pereira, Rocha e Puente (1999a), no centando outros que emergiram de um levantamento
Banco do Brasil, e Pilati, Borges-Andrade e Azevedo (1999), exploratrio feito com entrevistas. As anlises estatsticas
Medidas em avaliao de treinamento 37

realizadas revelaram uma estrutura unifatorial e ndice de ram um programa que pretendia a transferncia para o tra-
confiabilidade (alfa de Cronbach) acima de 0,90. Outras ten- balho de complexas e subjetivas dimenses de habilidades
tativas, j usando o novo instrumento desenvolvido, foram pessoais esperadas para lidar com demandas estressantes
descritas por Borges-Andrade, Gama e Oliveira-Simes num hospital, que deveriam ser fortalecidas em um grupo
(1999b), Borges-Andrade et al. (1999c), Pantoja et al. (1999) de crescimento. O levantamento de seus indicadores foi feito
e Martins, Pinto Jr. e Borges-Andrade (1999), que encon- atravs de entrevistas individuais, anlises de dados secun-
traram resultados de anlises fatoriais e de confiabilidade drios e do uso da tcnica de grupo focal. Na parte quantita-
muito similares aos da autora, o que possibilitou concluir tiva, as respostas foram dadas numa escala tipo Likert,
sobre a generalidade dos mesmos para outras organizaes. que solicitava julgamentos sobre o nvel de utilizao, no
Outro esforo foi realizado por Alves e Tamayo (1993), trabalho, do que tinha sido aprendido no programa. Contu-
que no tomaram como base os indicadores anteriores. Eles do, o elevado nmero de indicadores e a quantidade reduzi-
realizaram toda a construo de seu instrumento a partir da da de respondentes impossibilitaram a verificao da vali-
opinio de treinandos e gerentes da Telebrs e encontraram dade de construto e da confiabilidade dos instrumentos.
estruturas multifatoriais, incluindo dimenses tais como Alm dos indicadores poderem se diferenciar em ter-
motivao, relacionamento, autovalorizao, atitude crtica mos de comportamentos e resultados, seu nvel de comple-
e organizao do trabalho, a maioria delas com ndices de xidade pode ser de profundidade ou largura (Hamblin,
confiabilidade (alfas de Cronbach) acima de 0,80. No exis- 1978). No primeiro caso, o foco da avaliao estritamente
te registro, no entanto, de que esse instrumento tenha sido no que est previsto no programa do treinamento, mesmo
posteriormente aplicado em outras organizaes. que isso no esteja escrito e que seja necessrio fazer um
Essas experincias de construo de instrumentos com levantamento exploratrio. Portanto, os instrumentos de co-
itens idnticos parecem ser apropriadas para situaes em leta de dados limitam-se a questionar o uso dos conheci-
que a natureza dos objetivos (quando eles existem) no per- mentos e habilidades aprendidas ou atitudes desenvolvidas,
mite a elaborao de listas de desempenhos esperados para ou o seu impacto no trabalho. Vrias pesquisas j descritas
cada treinamento ou quando o sistema de T & D extre- aqui seguiram essa estratgia. Entretanto, sob certas cultu-
mamente grande e a organizao deseja avaliar comparati- ras e polticas organizacionais possvel, ou preciso, veri-
vamente todos os eventos realizados. Contudo, a tomada de ficar se existem evidncias de que o adquirido em treina-
deciso no sentido de elaborar tais instrumentos exige que mento est tendo impacto em dimenses do desempenho
se disponha de recursos financeiros, de pessoal capacitado individual que vo alm daquelas diretamente relacionadas
para constru-los e de uma cultura organizacional que com- queles conhecimentos, habilidades e atitudes previstos em
preenda os procedimentos de pesquisa e esteja disposta a programas de treinamento.
aguardar pelos seus produtos. Isso pode ser contornado com Borges-Andrade et al. (1999a) usaram o instrumento
o uso do instrumento j desenvolvido, cuja generalidade foi em profundidade j descrito e testado em termos de valida-
demonstrada, mas preciso alertar que ele no permite que des de contedo e de construto e desenvolveram um outro
se leve em conta medidas de comportamento no cargo espe- em largura. Para isso, identificaram descries de desem-
cficas de cada ambiente organizacional. penhos esperados de todos os empregados do Banco do Bra-
Uma segunda alternativa para resolver o desafio antes sil, denominadas de fatores corporativos de desempenho,
colocado fazer um levantamento exploratrio, de carter discutidos durante o planejamento estratgico da empresa e
qualitativo, utilizando entrevistas e leitura de documentos e amplamente conhecidos como parmetros de avaliao de
abrangendo todas as pessoas que estiveram envolvidas com desempenho individual. Essas descries foram incorpora-
o treinamento. Assim, feito um grande esforo de recupe- das no questionrio e deveria ser feito um julgamento, utili-
rao e sistematizao de informaes que esto dispersas zando-se uma escala tipo Likert, a respeito do nvel de
ou existentes somente na memria das pessoas. A organiza- impacto do treinamento em cada um dos fatores listados.
o que deseja fazer isso paga, em termos dos recursos fi- Pilati et al. (1999) utilizaram uma estratgia de mensu-
nanceiros e humanos que dever utilizar no subsistema de rao em profundidade e largura extremamente similar
avaliao, o preo de no ter documentado e organizado seu a esta experincia do Banco do Brasil, para avaliar treinamen-
subsistema de planejamento de T & D ou de ter decidido tos operacionais na j citada empresa privada de televiso
terceiriz-lo. Mesmo assim, essa alternativa pode no servir por assinatura. Em ambas experincias, foram obtidos indica-
para qualquer tipo de cargo ou funo, clientela de treina- dores de confiabilidade (alfas de Cronbach) acima de 0,80 e
mento ou cultura organizacional. correlaes (de Spearman-Brown) entre 0,35 e 0,5 e signifi-
Um exemplo de implementao dessa alternativa foi cativas (p<0,01) entre medidas em profundidade e largu-
descrito por Bastos, Fernandes e Viana (1999), que avalia- ra, sugerindo existncia de validade de critrio. Os escores
38 J. E. B. Andrade

de utilizao ou impacto de treinamento obtidos nas primei- foram feitos de forma massificada, aos gerentes caber ava-
ras foram sempre mais elevados do que os obtidos em largu- liar simultaneamente o seu impacto em todos os indivduos
ra, com base em resultados de testes t (p<0,01). Seria de seu setor, o que significar a suspenso ou reduo de
mesmo de se esperar que os efeitos de treinamento seriam suas atividades, para poderem responder a tantos question-
maiores em desempenhos mais diretamente relacionados aos rios. Em culturas organizacionais mais tradicionais, pode no
contedos que teriam sido ensinados ou desenvolvidos. A trans- ser bem vista a consulta a colegas ou clientes. A combina-
ferncia de conhecimentos, habilidades e atitudes, ao longo de o de estratgias seria o ideal, porque permitiria a verifica-
todo o conjunto de desempenhos do treinando no trabalho, toma o de diferenas e coincidncias de opinies. Mas ela que
muito mais tempo e, em muitos casos, pode nunca ocorrer. tambm exige mais recursos, pois demanda grande esforo
Estratgias de mensurao em largura tm tambm de coordenao na coleta de dados, para que a correspon-
suas limitaes. No cabe ao subsistema de avaliao de dncia entre eles no seja perdida, no momento da anlise.
treinamentos o papel de definir desempenhos esperados em Alm disso, tambm a coleta cruzada de informaes pode
toda a organizao e, se isso for tentado, poder ser conside- no ser muito bem vista, se for interpretada como desconfi-
rado, em muitas culturas organizacionais, como uma intro- ana do avaliador.
misso indevida. Alm disso, a atual poltica de flexibilizao Borges-Andrade e Siri (2000) e Bastos et al. (1999)
ocupacional tem colocado prova as prticas de descrio utilizaram auto e heteroavaliaes, com questionrios que
de cargos e funes. Uma esperana, para os que desejarem continham listas especficas de desempenhos esperados dos
desenvolver medidas nesse nvel de complexidade, o mo- treinamentos. No primeiro destes estudos, solicitou-se que
vimento de gesto de competncias, que tem retomado es- julgamentos de impactos nesses desempenhos fossem ava-
sas prticas de descrio. liados pelos ex-treinandos (auto-avaliao) e seus
A terceira questo a ser respondida diz respeito a como supervisores e colegas (heteroavaliaes). Foram obtidas
a medida ser realizada: observar ou perguntar? J foram estruturas unifatoriais para cada uma das oito dimenses de
aqui descritas experincias bem sucedidas utilizando essas desempenho investigadas, com alfas de Cronbach variando
duas alternativas, no nvel de mensurao de reaes. Con- entre 0,80 e 0,97 nos dados do questionrio de auto-avalia-
tudo, no nvel de mensurao de comportamento no cargo, a o. Entretanto, no foi possvel calcul-los para os dados
primeira alternativa limita a avaliao ao que pode ser dire- obtidos com o questionrio dos colegas e o dos supervisores,
tamente observado, durante o tempo em que houver obser- pois eles tiveram um baixo percentual de retorno. No se-
vador presente. Isso traz srias limitaes, considerando-se gundo estudo, respostas de ex-participantes e de seus che-
que atualmente a maioria dos treinamentos espera que as fes foram utilizadas em questionrios separados. Mas o n-
pessoas desenvolvam uma ampla variedade de desempenhos mero reduzido de casos impossibilitou a verificao da vali-
complexos e difceis de serem observados em ambientes e dade de construto e da confiabilidade das medidas. Antes
tempos predefinidos (e.g., habilidades para solucionar pro- disso, Alves e Tamayo (1993) haviam feito um esforo de
blemas, estratgias cognitivas e posturas ticas e de civismo construo de um instrumento a ser respondido pelo empre-
organizacionais ou extra-organizacionais). Alm disso, na gado da Telebrs e outro por seu gerente, mas utilizando um
maioria de treinamentos, pode-se esperar mudanas de de- conjunto comum de itens que podiam ser usados para qual-
sempenhos em perodos ps-treinamento muito diversifica- quer treinamento. No entanto, apesar de serem minimamen-
dos, j que os indivduos so colocados em ambientes com te apropriados os resultados das anlises fatoriais de cada
desenhos de trabalho com amplas e elevadas alternncias instrumento, as estruturas fatoriais dos questionrios de auto
ocupacionais, ou em que cada equipe define como e quando e heteroavaliao diferiram em nmero e natureza e os ndi-
cada tarefa ser realizada. Talvez por todas essas razes, ces de confiabilidade (alfas de Cronbach) do primeiro deles
mais os fatos de que a presena de observadores vista como foram bastante inferiores aos do segundo. Com isso, as pos-
ingerncia indesejvel em muitas culturas organizacionais sibilidades de comparao entre escores ficaram limitadas.
(especialmente quando os treinamentos so gerenciais ou Abbad (1999) adaptou seu instrumento para auto-ava-
estratgicos) e que procedimentos de observao requerem liao de impacto de treinamento em qualquer tipo de de-
atividades de coordenao e treinamento que demandam sempenho, de modo que pudesse tambm ser enviado para
muitos recursos, a mensurao tem sempre acabado por ser os supervisores de sua amostra de ex-treinandos. Os itens
feita na forma de perguntas. permaneceram os mesmos, mas foram modificados os enun-
As perguntas podem ser respondidas pelos prprios ex- ciados e as instrues das escalas de julgamento, de modo
treinandos (auto-avaliao) ou por seus supervisores, cole- que eles pudessem fazer referncia a uma terceira pessoa
gas ou clientes (heteroavaliao), ou por uma combinao (heteroavaliao), ao invs de uma primeira pessoa (auto-
desses tipos de respondentes. Contudo, se os treinamentos avaliao). Contudo, motivos relacionados a fatos polticos
Medidas em avaliao de treinamento 39

e aspectos culturais da organizao que iria ser estudada milar para a tomada de decises. Contudo, pode-se tentar
impediram a aplicao de seu questionrio de fazer alguns paralelos. O que se deseja efetivamente medir
heteroavaliao. Esse questionrio foi ento aplicado entre so mudanas que o treinamento possa ter provocado na
supervisores de ex-treinandos, juntamente com o de auto- organizao. O foco deve ser no comportamento da organi-
avaliao, em quatro outras organizaes, por Borges- zao ou de suas unidades e, contrariando o nvel anterior,
Andrade et al. (1999b), Pantoja et al. (1999), Borges- nunca em seus resultados, pois isso j significaria estar no
Andrade et al. (1999a) e Pilati et al. (1999). Eles encontra- prximo nvel: o de valor final. A medida pode ser feita atra-
ram, nos dados obtidos por ambos instrumentos, caracters- vs de observao (isto inclui documentos) e perguntas. Os
ticas psicomtricas (resultantes de anlises fatoriais e clcu- dados podem ser fornecidos pela mesma variedade de ato-
los de confiabilidade) muito similares s que j tinham sido res do nvel anterior.
encontradas por sua autora na verso de auto-avaliao, o As decises dependero dos condicionantes j descri-
que confirmou a validao de construto e a fidedignidade da tos, mas sabe-se que o processo de avaliao seria muito
medida anteriormente desenvolvida. Portanto, isto ampliou facilitado, se existisse um sistema de controle e avaliao
sua generalidade. As comparaes com testes t feitas en- organizacionais em funcionamento e se este inclusse indi-
tre os escores obtidos em auto e heteroavaliao indicam cadores que fossem minimamente sensveis para a deteco
padres muito distintos (p<0,01), que parecem ser determi- de efeitos de treinamento. Infelizmente isso raramente acon-
nados pelo tipo de cultura organizacional e pela natureza da tece, pois esses sistemas (quando existem) no so dese-
ocupao e dos objetivos dos treinamentos avaliados. s nhados com o foco em T & D, que para seus construtores
vezes, os supervisores se mostram mais rigorosos, regis- micro demais, para ser levado em considerao no nvel
trando nveis mais baixos de avaliao nos nveis de com- macro em que aqueles sistemas so desenvolvidos. Fa-
portamento no cargo, outras vezes so os prprios ex- zendo uma analogia com o nvel anterior, seria como dispor
treinandos que se mostram mais exigentes consigo mesmos. de boas descries de cargos ou funes, ou de competnci-
Na nica vez em que colegas foram envolvidos, seus julga- as, que pudessem servir de parmetros para se verificar o
mentos revelaram menores nveis de avaliaes de impacto impacto do treinamento. A diferena que se estaria espe-
que aqueles dos ex-treinandos e de seus chefes. rando por indicadores equivalentes, no nvel da organizao
preciso ressaltar que muitos dos estudos aqui relata- como um todo ou de suas unidades. Se a presena de tais
dos, no nvel de mensurao de comportamento no cargo, indicadores, no nvel anterior, j no to freqente, talvez
introduziram algumas perguntas abertas, solicitando ao fosse otimismo em demasia acreditar que eles pudessem
respondente que descrevesse efeitos dos treinamentos no existir e estarem apropriadamente definidos, para servirem
trabalho ou, mais especificamente, que descrevesse impac- ao presente nvel de mensurao.
tos positivos e negativos. Nos casos em que o estudo tenha Em princpio, as mudanas de comportamento da orga-
sido feito com listas de desempenhos definidos a partir dos nizao a serem verificadas deveriam ser derivadas dos de-
programas de treinamento, geralmente essas questes fo- sempenhos esperados do conjunto dos indivduos treinados,
ram colocadas aps cada categoria de efeito esperado. As que por sua vez deveriam ser deduzidos dos objetivos dos
anlises dos contedos das respostas quase sempre confir- treinamentos. Ao desafio que j existia e foi anteriormente
maram os resultados quantitativos. A interpretao disso e o descrito, de fazer essa deduo destes objetivos, acrescen-
problema metodolgico nela embutido podem ser similares ta-se aqui o de derivar mudanas de comportamento da or-
ao que foi apresentado anteriormente, quando se descreveu ganizao a partir de desempenhos individuais esperados,
e discutiu as medidas no nvel de reao. Finalmente, e tam- que raramente esto definidos, at porque a tendncia de
bm da mesma forma que neste nvel, o balano que se faz flexibilizar ocupaes torna esse trabalho eternamente
aqui otimista. Os estudos no nvel de comportamento no inacabado. As mudanas nunca deveriam ser modificaes
cargo demonstram que se avanou no sentido de enfrentar no nvel do comportamento dos ex-treinandos e poderiam
os desafios da construo de medidas. Igualmente, as solu- estar localizadas na cultura, em processos ou em estruturas
es encontradas produziram, elas prprias, outros desafi- organizacionais. O desafio, neste caso, o de dispor de indi-
os. H dilemas que persistiro, pois as solues tendem a cadores apropriados, como j foi mencionado no pargrafo
atender alguns condicionantes do processo de tomada de anterior. H trs experincias a relatar.
deciso descrito, mas deixam outros a descoberto. Borges-Andrade e Siri (2000) e Bastos et al. (1999)
usaram os mesmos questionrios e respondentes para avali-
Medidas organizacionais
ar treinamentos nos nveis de comportamento no cargo e de
Ao contrrio do nvel anterior, no processo de desen- organizao, mudando somente a descrio do que deveria
volvimento de medidas de avaliao de treinamento no nvel ser o foco do julgamento. No primeiro estudo, foram listados
organizacional no existe sistematizao metodolgica si-
40 J. E. B. Andrade

principalmente os processos e estruturas que deveriam ser sua obteno, pertencem a uma outra disciplina: a Econo-
modificados nas instituies, como resultado dos treinamen- mia. Eles baseiam-se numa tradio de clculo de retorno
tos em planejamento, controle e avaliao da pesquisa agr- de investimentos que teve seu apogeu h mais de trinta anos,
cola. Mudanas esperadas na cultura e desempenho principalmente na Economia da Educao. Como exemplos,
organizacionais tambm foram includas. Na segunda pes- ver Becker (1960), Schultz (1961), Mincer (1962), Hansen
quisa, os itens cobriram valores e metas organizacionais que, (1963) e Blaug (1965), embora o trabalho pioneiro seja muito
num levantamento exploratrio anterior, tinham sido identi- mais antigo (Walsh, 1935). O uso desses mtodos foi, em
ficados como mudanas organizacionais esperadas do pro- seguida, freqentemente feito no Brasil, com a exigncia dos
grama concebido para desenvolver habilidades para lidar com bancos internacionais de desenvolvimento de que os emprs-
o estresse em ambiente hospitalar. Borges-Andrade e Siri timos que concediam fossem objeto de avaliaes dessa na-
(2000) verificaram as diferenas estatsticas, usando tureza. Textos da poca, que podem ser consultados, so os
ANOVA para medidas repetidas (p<0,01) e testes post hoc de Patrick e Kehrberg (1973) e Ribeiro (1979).
(p<0,001) entre os julgamentos obtidos no nvel de com- O primeiro desafio para realizar estudos de avaliao
portamento no cargo e de mudana organizacional. Os esco- de treinamento no quinto nvel o de contar com profissio-
res dos julgamentos referentes a esse primeiro foram siste- nais capacitados vindos dessa subrea. O segundo desafio
maticamente mais elevados do que os do segundo, confir- j foi objeto de apreciao aqui, s tornando-se mais com-
mando que os efeitos do treinamento tornam-se menos plexo, neste ltimo nvel: para identificar seus parmetros
detectveis ou confundidos com outros, medida que se de avaliao, preciso perguntar sobre as mudanas
muda de nveis, como prev a Figura 1. organizacionais e de comportamento individual esperadas
Borges-Andrade et al. (1999c) tinham como objetivo do treinamento e, alm disso, conhecer os seus objetivos
estudar os efeitos de um treinamento de gerentes de proje- instrucionais. Se no houve planejamentos nos nveis anteri-
tos. Para desenvolver sua avaliao no nvel organizacional, ores, como sugere a Figura 1, ou se esse planejamento no
recorreram a dados que j tinham sido colhidos pela terceira foi documentado na organizao ou em seu sistema de T &
autora, sobre a efetividade de todas as equipes de projetos D, ser preciso recuperar essas informaes em todos os
existentes na Embrapa. Com testes t, compararam esses nveis anteriores. Definidos os parmetros especficos da
indicadores de efetividade, dividindo as equipes em dois organizao e do treinamento, eles certamente envolvero
grupos: as que eram coordenadas por ex-treinandos e as que indicadores de custos diretos e indiretos (isto deve incluir
eram coordenadas por indivduos que no eram ex-treinan- at os salrios diretos e indiretos dos treinandos, durante o
dos. So dois os problemas metodolgicos mais srios, nes- perodo em que estiveram participando dos eventos) e de
se caso. Os grupos comparados no foram selecionados ale- benefcios diretos, como a parcela do aumento de produtivi-
atoriamente e os indicadores de efetividade das equipes no dade e lucro atribuvel ao treinamento, e s vezes indiretos
cobriam todos os resultados esperados dos treinamentos dos (esses so extremamente difceis de serem estimados e por
gerentes. Mas o estudo um exemplo de como possvel isso so muitas vezes ignorados). O problema, em seguida,
fazer avaliaes de treinamento, com a utilizao de dados seria coletar os dados e depois fazer os clculos, para os quais
j existentes na organizao e com custos muito mais baixos j foi dito que existe metodologia sistematizada (estimativa de
do que os das duas experincias anteriormente mencionadas. retorno de investimentos) na Economia da Educao.
H muito que avanar, no que tange ao desenvolvimen- Raramente se consegue implementar avaliaes de trei-
to de medidas no nvel organizacional. O caminho a seguir namento no nvel de valor final, apesar dessa metodologia
parece ser anlogo ao que foi trilhado no nvel de comporta- no ser recente. No exterior, h que registrar o esforo reali-
mento no cargo. Existem desafios a vencer, mas as solues zado por Cascio (1989), embora tenha sido aparentemente
parecem mais bem dimensionadas, ou existe maior capaci- uma ao isolada (fora do contexto da estimativa de retorno
dade desenvolvida para super-los, do que aquilo que foi de investimentos em educao formal). vila, Borges-
descrito no nvel de mensurao de aprendizagem. Andrade, Irias e Quirino (1983), adaptando uma metodologia
proveniente da mencionada subrea, realizaram um estudo
Medidas de valor final
que pode ser considerado como sendo deste ltimo nvel de
Nos quatro nveis anteriores, a descrio das questes avaliao de treinamento, mas foi igualmente uma ao iso-
para tomada de deciso e das experincias de mensurao lada (embora tenha includo treinamentos de curta durao
teve como base os modelos e quadros referenciais vindos da e educao formal). Seu objetivo foi o de verificar o retorno
Psicologia, Educao e Administrao. Os indicadores que dos investimentos em programas de treinamento em
tm sido usados para realizar a avaliao do treinamento no capacitao contnua e ps-graduao da Embrapa. Foram
nvel de valor final, bem como os procedimentos que levam utilizados procedimentos de clculo de rentabilidade social
Medidas em avaliao de treinamento 41

de investimentos, concentrando-se unicamente em efeitos tematizao para decidir o que medir, bem como instrumen-
sociais, verificados em termos de novas tecnologias agrco- tos j elaborados e testados. As solues desenvolvidas pro-
las geradas pelos ex-treinandos e adotadas por produtores duziram, elas prprias, outros desafios. H dilemas que per-
rurais. Considerou-se ainda, para esse clculo, todos os cus- sistiro, pois as alternativas disponveis tendem a responder
tos dos referidos programas. algumas questes, mas deixam outras sem meios de serem
A motivao para a montagem de uma equipe especial superadas. No nvel de mensurao de aprendizagem, ao
e interdisciplinar (com a presena da Economia, Agrono- contrrio, no se avanou muito. Os desafios existentes no
mia, Veterinria, Biologia, Administrao, Educao, Soci- foram apropriadamente enfrentados, faltando priorizar es-
ologia e Psicologia), para realizar esse trabalho, envolveu foros e realizar pesquisas de forma mais sistemtica. No
uma demanda externa de bancos internacionais de desen- nvel de comportamento no cargo, h otimismo equiva-
volvimento e um desejo especialmente grande da alta dire- lente ao do primeiro nvel, sendo que as pesquisas avana-
o daquela Empresa. preciso levar em conta esses fato- ram no mesmo sentido daquelas do nvel de reao. Seus
res condicionantes, antes de uma tomada de deciso seme- resultados igualmente produziram outros desafios.
lhante. Outros fatores que devem ser ponderados, pois eles O caminho a ser seguido, no nvel organizacional, ten-
tambm condicionam a aplicao de uma metodologia des- der a ser anlogo ao anterior, mas ainda h muito que fazer,
sa natureza, so que no vale a pena fazer esse esforo para pois poucas experincias foram realizadas. Essas experin-
investimentos pequenos e para poucos treinamentos. O ide- cias sugerem que existiro solues bem diversificadas,
al envolver todos os programas ou polticas organizacionais embora dependendo em demasia de macro sistemas
em T & D. No igualmente recomendvel que a coleta organizacionais. H ainda mais escassez de experincias no
dos dados seja feita para curtos perodos de tempo de trei- nvel de mensurao de valor final, embora neste caso j
namento. Na Embrapa, por exemplo, considerou-se um pe- parea estar disponvel uma opo metodolgica. Seus
rodo mdio de sete anos, entre o final dos treinamentos e o limitantes tambm se referem dependncia mencionada e
incio dos lucros advindos das tecnologias adotadas pelos sujeio a vontades externas ao sistema de T & D e
produtores rurais. prpria organizao, bem como de existir um programa de
Apesar de existir muito pouca experincia realizada no treinamento suficientemente grande para justificar o grande
nvel de mensurao de valor final, h mtodos desenvolvi- esforo que deve ser feito.
dos e disponveis para isso. Portanto, a questo aqui no Comparando-se os cinco nveis de avaliao de treina-
parece ser a de existir uma necessidade de avano da pes- mento, pode-se concluir que houve mais avanos
quisa, mas de tomadas de deciso que so condicionadas metodolgicos nos nveis de reao e de comportamento no
pelos fatores j citados e que encontram os desafios anteri- cargo e uma quase estagnao no nvel de aprendizagem.
ormente mencionados. No nvel de organizao, j se sabe o que dever ser feito
para desenvolver mtodos, embora eles ainda estejam rara-
Concluso mente disponveis. Em contraste, no de valor final j se sabe
Os dilemas metodolgicos relativos construo de o que fazer e j existem mtodos desenvolvidos, mas sua
medidas em avaliao de treinamento foram eleitos como implementao tem sido muito rara. Finalmente, h que des-
foco do presente texto, partindo-se da premissa de que tacar que o modelo de Hamblin (1978), cujos componentes
legtimo o esforo no sentido de constru-las. A crescente foram propostos como nveis hierrquicos de planejamento
demanda por avaliao, nas organizaes que tm sistemas e de efeitos do treinamento, serve igualmente para sugerir o
de T & D, foi apontada e argumentou-se que as diferen- aumento em complexidade e quantidade dos condicionantes
as conceituais entre T e D esto ficando cada vez mais das decises para construir as medidas desses nveis. Espe-
difceis de serem encontradas na prtica. A necessidade da ra-se que o presente texto tenha efetivamente destacado pes-
convivncia com diversas estratgias metodolgicas de ava- quisas divulgadas no Brasil e apontado os seus problemas,
liao de treinamento foi reconhecida, mas preciso conhe- de forma a contribuir com futuros estudos e experincias de
cer melhor os condicionantes que levam a diferentes esco- avaliao de treinamento.
lhas metodolgicas. Foram mencionados e discutidos os ins- Agradecimentos
trumentos e procedimentos que tm sido usados para fazer Apoios: CNPq e PRONEX/MCT.
avaliaes, utilizando-se o modelo de nveis de mensurao
de Hamblin (1978), e argumentou-se sobre o avano alcan- Referncias
ado em cada um desses nveis.
Abbad, G., Gama, A. L. G., & Borges-Andrade (2000). Treinamento: an-
No nvel de reao, houve avanos no sentido de en-
lise do relacionamento da avaliao nos nveis de reao, aprendiza-
frentar os desafios da construo de medidas, existindo sis-
42 J. E. B. Andrade

gem e impacto no trabalho. Revista de Administrao Contempor- CDRom, 1-56). The Hague: International Service for National
nea, 4(3), 25-45. Agricultural Research.
Abbad, G. (1999). Um modelo integrado de avaliao do impacto do trei- Cascio, W. F. (1989). Using Utility Analysis to Assess Training Outcomes.
namento no trabalho - IMPACT. Tese de doutorado no-publicada, In I. L. Goldstein (Org.), Training and development in organizations
Universidade de Braslia, Braslia. (pp. 63-88). San Francisco: Jossey Bass.
Abbad, G., Sallorenzo, L. H., & Gama, A. L. G. (1998). Treinamento de Hamblin, A. C. (1978). Avaliao e controle do treinamento. So Paulo:
pessoal: observao do instrutor em sala de aula [Resumo]. In Socie- McGraw-Hill do Brasil.
dade Brasileira de Psicologia (Org.), XXVIII Reunio Anual de Psico- Hansen, W. L. (1963). Total and private rates of returns to investment in
logia. Resumos (p. 204). Ribeiro Preto: Autor. schooling. The Journal of Political Economy, 71(1), 128-140.
Alves, A. R., Pasquali, L., & Pereira, M. A. M. (1999). Escala de Satisfa- Leito, J. S. S. (1994). Relaes entre clima organizacional e transfern-
o com o Treinamento ESAST / TELEBRAS / UnB. Revista de cia de treinamento. Dissertao de mestrado no-publicada, Univer-
Administrao de Empresas, 39(1), 25-30. sidade de Braslia, Braslia.
Alves, A. R., & Tamayo, A. (1993). Sistema de avaliao do treinamento Lima, S. M. V., & Borges-Andrade, J. E. (1985). Meta-anlise de avalia-
da Telebrs - SAT. Revista de Administrao, 28(4), 73-80. o de treinamento. Revista de Administrao, 20(3), 39-52.
vila, A. F. D., Borges-Andrade, J. E., Irias, L. J. M., & Quirino, T. R. Lima, S. M. V., Borges-Andrade, J. E., & Vieira, S. B. A. (1989). Cursos
(1983). Formao do capital humano e retorno dos investimentos em de curta durao e desempenho em instituies de pesquisa agrcola.
treinamento na Embrapa. Braslia: Embrapa-DDM/DRH. Revista de Administrao, 24(2), 36-46.
Bastos, A. V. B. (1991). O suporte oferecido pela pesquisa na rea de Martins, M. C. F., Pinto Jr., H., & Borges-Andrade, J. E. (1999). Impacto
treinamento. Revista de Administrao, 26(4), 87-102. do treinamento numa empresa de transporte de passageiros [Resu-
Bastos, A. V. B., Fernandes, S. R. P., & Viana, A. V. (1999). Desenvolvi- mo]. In Sociedade Brasileira de Psicologia (Org.), XXIX Reunio Anual
mento de competncias e aprendizagem organizacional: avaliao do de Psicologia. Resumos (p. 53a). Ribeiro Preto: Autor.
programa Cuidar-se para Cuidar [Texto completo]. In Associao Mincer, J. (1962). On-the-job training: costs, returns and some implications.
Nacional dos Programas de Ps-graduao em Administrao (Org.), The Journal of Political Economy, 70(5), 50-80 (suplemento).
o
23 Encontro Nacional da ANPAD. (Texto em CD-Rom, p. 1-15). Foz Nadler, L. (1984). The handbook of human resources development. New
do Igua: Autor. York: Wiley.
Becker, G. S. (1960). Under investment in college education? The American Pantoja, M. J., Lima, S. M. V., & Borges-Andrade, J. E. (1999). Avaliao
Economic Review, 50(2), 346-354. de impacto de treinamento na rea de reabilitao: preditores indivi-
Blaug, M. (1965). The rate of return on investment in education in Great duais e situacionais [Texto completo]. In Associao Nacional dos
o
Britain. The Manchester School of Economic and Social Studies, 33, Programas de Ps-graduao em Administrao (Org.), 23 Encontro
205-251. Nacional da ANPAD. (Texto em CD-Rom, pp. 1-14). Foz do Igua:
Borges-Andrade, J. E. (1982). Avaliao somativa de sistemas instrucionais: Autor.
integrao de trs propostas. Tecnologia Educacional, 46, 29-39. Paula, S. M. A. (1992). Variveis preditoras de impacto de treinamento no
Borges-Andrade, J. E., & Abbad G. (1996). Treinamento no Brasil: refle- trabalho: anlise da percepo dos treinandos de duas organizaes.
xes sobre suas pesquisas. Revista de Administrao, 31(2), 112-125. Dissertao de mestrado no-publicada, Universidade de Braslia,
Borges-Andrade, J. E., Azevedo, L. P. S., Pereira, M. H. G. G., Rocha, K. Braslia.
C. P., & Puente K. E. (1999a). Impacto de Treinamentos no Trabalho: Patrick, G. F., & Kehrberg, E. W. (1973). Costs and returns of education in
o caso do Banco do Brasil [Resumo]. In Sociedade Brasileira de Psi- five agricultural areas of Eastern Brazil. American Journal of
cologia (Org.), XXIX Reunio Anual de Psicologia. Resumos (pp. 53c- Agricultural Economics, 55(2), 145-153
53d). Ribeiro Preto: Autor. Pilati, R., Borges-Andrade, J. E., & Azevedo, L. P. S. (1999). Impacto do
Borges-Andrade, J. E., Gama, A. L. G., & Oliveira-Simes, J. T. (1999b). treinamento em amplitude e profundidade: relaes com suporte
Impacto do treinamento no trabalho: um estudo de caso na Eletronorte transferncia, gesto do desempenho e liberdade decisria [Resumo].
[Resumo]. In Sociedade Brasileira de Psicologia (Org.), XXIX Reu- In Sociedade Brasileira de Psicologia (Org.), XXIX Reunio Anual de
nio Anual de Psicologia. Resumos (pp. 53b-53c). Ribeiro Preto: Psicologia. Resumos (pp. 53a-53b). Ribeiro Preto: Autor.
Autor. Ribeiro, J. L. (1979). A contribuio da educao na produo agrcola.
Borges-Andrade, J. E., Morandini, D. C., & Machado, M. S. (1999c). Im- Revista de Economia Rural, 17(4), 85-118.
pacto de treinamento gerencial e efetividade de equipes em ambien- Schultz, T. W. (1961). Investment in human capital. The American Economic
tes de inovao tecnolgica [Resumo]. In Sociedade Brasileira de Psi- Review, 51(1), 1-17.
cologia (Org.), XXIX Reunio Anual de Psicologia. Resumos (p. 53d). Walsh, J. R. (1935). Capital concept applied to man. The Quarterly Journal
Ribeiro Preto: Autor. of Economics, 49(1), 255-285.
Borges-Andrade, J. E., & Siri, C. (2000). Impacts of training: the PM&E
Projects training. In D. Horton, R. Mackay, A. Andersen & L. Dupleich
(Orgs.), Evaluating capacity development in planning, monitoring,
o
and evaluation: a case from agricultural research (Study N . 3,
Medidas em avaliao de treinamento 43

Notas

1 o
Uma verso anterior do presente texto foi divulgada em CDRom dos Anais do 24 Encontro Anual da Associ-
ao Nacional dos Programas de Ps-graduao em Administrao, Florianpolis, SC, setembro de 2000.
Contudo, duas revises posteriores produziram alteraes substanciais no mesmo.
2
Desde 1980, eram pessoas ligadas UnB, Embrapa e Telebrs, responsveis por ... aproximadamente 75% da
produo de conhecimentos e tecnologias na amostra de artigos ... nacionais analisada por Borges-Andrade e
Abbad (1996, p. 116). Incluam-se professores e estudantes de graduao e ps-graduao em Psicologia da
primeira instituio e pesquisadores e tcnicos das outras duas. Esse grupo teve seu projeto aprovado pelo
Programa de Ncleos de Excelncia (PRONEX) do MCT, em 1998, e financiado de 2000 a 2004. O projeto,
denominado Treinamento e Comportamento no Trabalho, coordenado a partir do Instituto de Psicologia da
UnB e tambm inclui pessoal de Administrao e Psicologia da UFBA, Administrao da UFMG e Psicologia
da UFU.

Jairo Eduardo Borges-Andrade, doutor em Sistemas Instrucionais pela The Florida State University,
Tallahassee, Florida, EUA, professor do Departamento de Psicologia Social e Trabalho/Instituto de
Psicologia/Universidade de Braslia. Endereo para correspondncia: SQN 106 I 605; 70742-
090, Braslia, D. F. Telefones: (61) 3072625, r. 221; 2724448; 99878259. E-mail:
jeborges@linkexpress.com.br.

Recebido em 11.01.01
Revisado em 14.07.01
Aceito em 03.10.01