FACULDADE DE ECONOMIA E FINANAS IBMEC

PROGRAMA DE PS-GRADUAO E PESQUISA EM

ADMINISTRAO E ECONOMIA

DISSERTAO DE MESTRADO PROFISSIONALIZANTE EM ADMINISTRAO

AVALIAO DE RESULTADOS DO TREINAMENTO: UMA ANLISE DAS METODOLOGIAS DISPONVEIS E SUA APLICAO EM EMPRESAS BRASILEIRAS

LAYLA DLLA KSSIA GRECCHI BORGHI

ORIENTADOR: PROF. DR. RAIMUNDO NONATO SOUSA S IL V A

Rio de Janeiro, 03 de setembro de 2008

AVALIAO DE RESULTADOS DO TREINAMENTO: UMA ANLISE DAS METODOLOGIAS DISPONVEIS E SUA APLICAO EM EMPRESAS BRASILEIRAS

LAYLA DLLA KSSIA GRECCHI BORGHI

Dissertao apresentada ao curso de Mestrado Profissionalizante em Administrao como requisito parcial para obteno do Grau de Mestre em Administrao. rea de Concentrao: Administrao Geral

ORIENTADOR: PROF. DR. RAIMUNDO NONATO SOUSA SILVA

Rio de Janeiro, 03 de setembro de 2008. II

AVALIAO DE RESULTADOS DO TREINAMENTO: UMA ANLISE DAS METODOLOGIAS DISPONVEIS E SUA APLICAO EM EMPRESAS BRASILEIRAS

LAYLA DLLA KSSIA GRECCHI BORGHI

Dissertao apresentada ao curso de Mestrado Profissionalizante em Administrao como requisito parcial para obteno do Grau de Mestre em Administrao. rea de Concentrao: Administrao Geral

Avaliao: BANCA EXAMINADORA:

_____________________________________________________ Professor Dr. RAIMUNDO NONATO SOUSA SILVA (Orientador) Instituio: Ibmec/RJ

_____________________________________________________ Professor Dr. FLVIA DE SOUZA COSTA NEVES CAVAZOTTE Instituio: Ibmec/RJ

_____________________________________________________ Professor Dr. MARIA TERESA CORREIA COUTINHO Instituio: UFRJ

Rio de Janeiro, 03 de setembro de 2008.

III

FICHA CATALOGRFICA 658.3124 B732 Borghi, Layla Dlla Kssia Grecchi. Avaliao de resultados do treinamento: uma anlise de metodologias disponveis e sua aplicao em empresas brasileiras / Layla Dlla Kssia Grecchi Borghi - Rio de Janeiro: Faculdades Ibmec, 2008. Dissertao de Mestrado Profissionalizante apresentada ao Programa de Ps-Graduao em Administrao das Faculdades Ibmec, como requisito parcial necessrio para a obteno do ttulo de Mestre em Administrao. rea de concentrao: Administrao geral. 1. Recursos humanos (pessoal) - Treinamento. 2. Empregados Treinamento - Avaliao. 3. Formao profissional - Avaliao.

IV

DEDICATRIA

Dedico este trabalho aos meus pais, pessoas extremamente talentosas, e que, cada um a seu jeito, sempre me mostraram como se pode fazer o melhor possvel com zelo e capricho. s minhas avs, que a cada mimo e palavra de carinho me fazem esquecer as pendncias dessa vida chata de adulto... E ao meu marido, que com palavras irritantemente otimistas, me fez acreditar que terminar o trabalho seria mais fcil que fritar um ovo.

AGRADECIMENTOS Agradeo ao professor Raimundo Nonato, primeiramente por ter aceitado me orientar neste projeto e por ter se mostrado sempre solcito em contribuir em todas as etapas do trabalho.

Petrobras, por ter investido em minha formao e disponibilizado todas as condies necessrias concluso deste Programa de Mestrado.

amiga Danielle Sleyman, por sua inestimvel ajuda na coleta de informaes para envio do questionrio s empresas.

E principalmente ao meu marido, por ter dividido seu travesseiro com textos gringos e interminveis, por ter agentado firmemente a condio de vtima de uma esposa enlouquecida e estressada, e, acima de tudo, por no ter me arremessado pela janela em qualquer uma das vezes em que sentiu vontade.

P.S.: Deixo um agradecimento futuro minha me, caso ela se disponha a parar de me perguntar quando eu comeo o doutorado.

VI

RESUMO Os investimentos em programas de treinamento e desenvolvimento (T&D) vm aumentando constantemente nas organizaes de todo o mundo. Junto com eles, aumenta a preocupao dessas organizaes em avaliar os resultados de seus programas, mais precisamente o retorno sobre os valores investidos. Kirkpatrick (1998) e Phillips (1991) propem metodologias amplamente aceitas para a realizao da avaliao pretendida. A fim de examinar se as empresas brasileiras esto utilizando adequadamente as metodologias propostas por esses autores, foram pesquisadas 66 empresas dentre as 500 consideradas como as mais produtivas do pas pela Revista Exame: Maiores e Melhores de 2006. O resultado da pesquisa demonstrou que as metodologias no esto sendo aplicadas conforme as proposies dos autores, e, como conseqncia, que as informaes utilizadas pela alta administrao para a tomada de deciso sobre investimentos em T&D so inadequadas.

Palavras Chave: 1. Recursos humanos (pessoal) - Treinamento. 2. Empregados Treinamento - Avaliao. 3. Formao profissional - Avaliao.

VII

ABSTRACT Investments in training and development (T&D) programs are constantly increasing in organizations around the world. Along with them, increases the concern of these organizations to assess the results of its programs, specifically the return on invested figures. Kirkpatrick (1998) e Phillips (1991) proposed widely accepted methodologies that make possible the sought evaluation. In order to examine whether the Brazilian companies are properly using the methods proposed by this authors, were surveyed 66 companies among the 500 seen as the most productive of the country by Exame Magazine: Major and Best of 2006. The result of the survey showed that the methodologies are not being applied as the propositions of the authors, and, consequently, that the information used by senior management for decision on investment in T&D are inadequate.

Key Words: 1. Human resources - Training. 2. Employees - Training - Evaluation.

VIII

LISTA DE FIGURAS

Figura 1 Modelo de avaliao do treinamento de Kirkpatrick ..............................................33 Figura 2 Processo da Metodologia para clculo da ROI .......................................................40 Figura 3 O ciclo de avaliao de Hamblin ............................................................................44 Figura 4 Reviso da hierarquia de avaliao do treinamento ................................................47 Figura 5 Taxonomia dos nveis de avaliao de Alliger et al................................................49 Figura 6 Equao para clculo do tamanho da amostra para populaes finitas ..................56 Figura 7 Equao para clculo do intervalo de confiana .....................................................58 Figura 8 Avaliao de aprendizagem: formas de coleta e anlise de dados..........................67 Figura 9 Avaliao de mudana de comportamento: formas de coleta e anlise de dados ...71 Figura 10 Avaliao de resultado: formas de coleta e dados analisados...............................75

IX

LISTA DE TABELAS

Tabela 1 Indicadores mundiais de T&D................................................................................19 Tabela 2 Indicadores de T&D no Brasil................................................................................19 Tabela 3 Exemplos de medidas de resultados dos treinamentos ...........................................32 Tabela 4 Principais questes do modelo de avaliao de Phillips & Phillips (2005)............36 Tabela 5 Porcentagem de programas avaliados em cada nvel .............................................41 Tabela 6 Benficos da avaliao de antes e aps o treinamento ...........................................45 Tabela 7 Determinao dos tamanhos de amostras para estimao da mdia populacional.57

LISTA DE GRFICOS

Grfico 1 Distribuio da amostra por setor da economia ....................................................61 Grfico 2 Distribuio da amostra por investimento em T&D .............................................61 Grfico 3 Quadro geral de utilizao da avaliao de reao................................................63 Grfico 4 Quadro geral de utilizao da avaliao de reao................................................65 Grfico 5 Quadro geral de utilizao da avaliao de mudana de comportamento.............69 Grfico 6 Quadro geral de utilizao da avaliao de resultados..........................................73 Grfico 7 Quadro geral de utilizao do clculo da ROI ......................................................76 Grfico 8 Panorama de utilizao dos cinco nveis de avaliao ..........................................78 Grfico 9 Utilizao dos resultados das avaliaes...............................................................80

XI

LISTA DE ABREVIATURAS

ABRH ABTD ASTD CBTD CIESP CLT CONARH GAO RH ROI SENAC SENAI T&D UFRJ USP

Associao Brasileira de Recursos Humanos Associao Brasileira de Treinamento e Desenvolvimento American Society of Training and Development Congresso Brasileiro de Treinamento e Desenvolvimento Centro das Indstrias do Estado de So Paulo Consolidao das Leis do Trabalho Congresso Nacional de Recursos Humanos Government Accountability Office Recursos Humanos Return on Investment Servio Nacional de Aprendizagem Comercial Servio Nacional de Aprendizagem Industrial Treinamento e Desenvolvimento Universidade Federal do Rio de Janeiro Universidade de So Paulo

XII

SUMRIO
Lista de figuras...................................................................................................................................... IX Lista de tabelas........................................................................................................................................X Lista de grficos .................................................................................................................................... XI Lista de abreviaturas ............................................................................................................................ XII

INTRODUO .............................................................................................................................. 1 1.1 1.2 1.3 CONSIDERAES INICIAIS.................................................................................................. 1 FORMULAO DO PROBLEMA .......................................................................................... 5 OBJETIVOS .............................................................................................................................. 8

1.3.1 OBJETIVO GERAL............................................................................................................ 8 1.3.2 OBJETIVOS ESPECFICOS .............................................................................................. 9 1.4 RELEVNCIA .......................................................................................................................... 9

REFERENCIAL TERICO ......................................................................................................... 13 2.1 TREINAMENTO E DESENVOLVIMENTO ......................................................................... 13

2.1.1 ORIGENS DO TREINAMENTO NO BRASIL E NO MUNDO ..................................... 15 2.1.2 TREINAMENTO E DESENVOLVIMENTO NO CONTEXTO ATUAL....................... 17 2.2 AVALIAO DOS RESULTADOS DO TREINAMENTO.................................................. 20

2.2.1 ESCALA DE AVALIAO DE TREINAMENTO DE KIRKPATRICK ...................... 22 2.2.2 A ROI DE TREINAMENTO DE JACK PHILLIPS ......................................................... 35 2.2.3 AS CONSIDERAES DE HAMBLIN .......................................................................... 42 2.2.4 A METODOLOGIA DE PARRY ..................................................................................... 44 2.3 CONTESTAES A RESPEITO DA HIERARQUIA DOS NVEIS DE AVALIAO DO

TREINAMENTO.............................................................................................................................. 46 2.4 CONSIDERAES SOBRE AS METODOLOGIAS ............................................................ 50

XIII

METODOLOGIA ......................................................................................................................... 51 3.1 3.2 3.3 3.4 3.5 TIPO DE PESQUISA .............................................................................................................. 51 ESCOLHA DA BASE DE DADOS ........................................................................................ 52 INSTRUMENTO DE COLETA DE DADOS ......................................................................... 53 LEVANTAMENTO DOS DADOS ........................................................................................ 55 LIMITAES DA PESQUISA............................................................................................... 58

APRESENTAO E ANLISE DOS DADOS .......................................................................... 60 4.1 4.2 4.3 4.4 4.5 4.6 NVEL 1 REAO .............................................................................................................. 62 NVEL 2 APRENDIZAGEM ............................................................................................... 64 NVEL 3 MUDANA DE COMPORTAMENTO............................................................... 68 NVEL 4 RESULTADOS..................................................................................................... 73 NVEL 5 ROI........................................................................................................................ 76 ANLISE GERAL .................................................................................................................. 78

CONSIDERAES FINAIS........................................................................................................ 83 5.1 5.2 CONCLUSES........................................................................................................................ 83 RECOMENDAES PARA PESQUISAS FUTURAS ......................................................... 86

REFERNCIAS BIBLIOGRFICAS .................................................................................................. 88

APNDICE A Questionrio teste ...................................................................................................... 92 APNDICE B Questionrio............................................................................................................... 96 ANEXO A Exemplos de avaliao de reao.................................................................................. 100 ANEXO B Exemplo de Avaliao de Aprendizagem...................................................................... 103 ANEXO C Exemplos de Avaliao de Mudana de Comportamento ............................................. 104 ANEXO D Questionrio utilizado por Kirkpatrick & Catalanello (1968)....................................... 105

XIV

1 INTRODUO

1.1

CONSIDERAES INICIAIS

Os anos recentes tm obrigado as instituies a implantarem uma srie de modificaes em suas prticas de trabalho e modelos de gesto. O ritmo acelerado imposto pelo mercado torna praticamente impossvel a sobrevivncia de qualquer tipo de organizao que no consiga se adaptar rapidamente s condies do ambiente externo.

Treinar e desenvolver seus profissionais responsveis por tornar vivel qualquer tipo de mudana se torna um fator fundamental de sucesso para as organizaes no contexto competitivo atual. A capacitao dos profissionais de uma organizao certamente determina sua aptido de resposta e adaptao ao mercado em que est inserida. As iniciativas de treinamento e desenvolvimento devem ser entendidas, portanto, como instrumento fundamental quando integradas com a estratgia da organizao, sua estrutura e objetivos.

Como resultado da adequao das organizaes aos efeitos e rumos da globalizao da economia, as prticas de gesto de pessoas passaram a constituir processos racionais e focados em resultados mensurveis, filhos legtimos de uma combinao entre a evoluo

natural e os primeiros e mais positivos efeitos das culturas da qualidade (Millioni in Boog & Boog (Org.), 2006).

Assim como as organizaes enfrentam um cenrio altamente competitivo, as vrias unidades que as compem tambm lutam para provar seu valor frente a seus executivos e, desta forma, conseguir obter os recursos fundamentais para sua manuteno e crescimento. As unidades de recursos humanos (RH), na maioria dos casos responsveis pelos programas de treinamento e desenvolvimento (T&D) das pessoas nas organizaes, tambm enfrentam tal situao.

Para o RH, provar que o investimento feito em determinado programa de T&D causa impacto positivo nos resultados da organizao, torna-se um diferencial em uma realidade organizacional de constantes mudanas, cortes e redues oramentrias, de pessoal e de presso por resultados (Palmeira, 2006).

A preocupao da comunidade acadmica e de profissionais com o desafio de mensurar os resultados dos programas de treinamento data da dcada de 50, quando, em 1959, Donald Kirkpatrick publicou seu primeiro artigo sobre o tema, Techniques for evaluating training programs, no Journal of ASTD (American Society of Training and Development). A partir dos estudos pioneiros de Kirkpatrick, as pesquisas sobre o assunto se tornaram mais rigorosas e confiveis.

Em sua maioria partindo das proposies de Kirkpatrick, diversos outros autores vm acrescentando suas experincias, pontos de vista e contribuies ao assunto. Apenas para citar os autores com maior expresso, tem-se: Phillips, Hamblin e Parry. Dentre esses, Jack Phillips um dos autores que mais se destaca em seus estudos, por apresentar um mtodo de

converso dos resultados dos programas de T&D em termos financeiros, a ROI do treinamento.

De acordo com dados das pesquisas O Retrato do Treinamento no Brasil 2006/2007 e O Retrato do Treinamento no Brasil 2007/2008 da Associao Brasileira de Treinamento e Desenvolvimento ABTD, respondidas em 2006 e 2007 por aproximadamente 400 empresas de atividades e porte distintos, os profissionais de RH dessas empresas apontaram como maior desafio, nos dois anos consecutivos, o clculo do retorno sobre os investimentos dos programas de T&D (ROI de T&D) (ABTD, 2006 e ABTD, 2007).

Os resultados dessas mesmas pesquisas demonstraram um decrscimo das organizaes que no mensuram suas aes de T&D, de 22% na pesquisa de 2006 para 12% na pesquisa referente a 2007. Os resultados comprovam uma tendncia na rea: a preocupao cada vez maior de qualificar os investimentos realizados em T&D e seus impactos na gesto. (ABTD, 2006 e ABTD, 2007)

O investimento anual mdio de T&D por funcionrio observado no Brasil em 2007 foi de R$ 1.527,00, valor superior ao encontrado na pesquisa de 2006, R$ 1.342,00. Tal investimento per capta no Brasil vem crescendo em valores de moeda local (Reais) acima do crescimento do Produto Interno Bruto (PIB) brasileiro numa razo de 13,8% de 2006 para 2007 e de 5,5% nos anos anteriores. Esse fato mostra que os investimentos em educao empresarial no Brasil esto suplantando a taxa mdia de crescimento econmico (ABTD, 2006 e ABTD, 2007).

Em face de tamanha importncia dispensada e das altas quantias gastas com os programas de T&D por parte das empresas brasileiras, o presente trabalho visa pesquisar a forma como as

essas empresas esto aplicando as metodologias disponveis na literatura para avaliar os resultados de seus programas de T&D.

Como objetivo subjacente, este estudo pretende traar um panorama da utilizao dos principais mtodos de avaliao dos resultados de T&D pelas empresas brasileiras, e, dessa forma, procurar avaliar a qualidade das informaes que vm sendo a base do processo decisrio dos executivos a respeito de quanto, como e quando investir nos mais diversos tipos de programas.

Este estudo encontra-se dividido em cinco captulos, estruturados de acordo com o seguinte:

Captulo 1 Introduo Neste captulo so tecidas as consideraes iniciais sobre o estudo, a formulao do problema, a questo da pesquisa, seus objetivos e relevncia, alm da estrutura do estrutura do estudo.

Captulo 2 Referencial Terico Este captulo apresenta os conceitos mais aceitos sobre a funo de T&D nas organizaes, sua evoluo no Brasil e no mundo e sua relevncia para as empresas da atualidade, assim como as principais questes que envolvem o processo de avaliao dos programas de treinamento nas organizaes e as metodologias de avaliao propostas pelos autores mais citados e aceitos no ambiente acadmico.

Captulo 3 Metodologia Este captulo apresenta o modo como ser conduzido o processo de pesquisa. So analisados os principais conceitos acerca dos fins e meios de pesquisa constantes na literatura e justificada a escolha da metodologia a ser utilizada para a

consecuo dos objetivos do trabalho. So tambm apresentados o questionrio utilizado, a base de dados considerada, descrito o processo de pesquisa e as limitaes do estudo.

Captulo 4 Apresentao e Anlise dos Dados Neste captulo os dados encontrados na pesquisa so apresentados e analisados.

Captulo 5 Consideraes Finais Neste captulo so retomados os objetivos do estudo e apresentadas as concluses da pesquisa, alm de apresentadas recomendaes para pesquisas futuras.

Fazem parte do estudo, e so apresentados aps o captulo V as referncias bibliogrficas e os anexos.

1.2

FORMULAO DO PROBLEMA

Aprimorar competncias, criatividade e inteligncia emocional de seus colaboradores constitui o principal investimento das organizaes no ambiente corporativo contemporneo. Incorporar esses valores ao ambiente empresarial tem sido um dos principais desafios que mobilizam os gestores das organizaes.

O significado da capacitao, evidenciado pelos mais avanados conceitos de governana corporativa que norteiam as grandes empresas, est sendo gradualmente encampado por empresas de todo porte, em todo o mundo. Dentre as virtudes das organizaes vencedoras,

sempre h o aspecto congruente da valorizao e do respeito aos recursos humanos (Skaf in Boog & Boog (Org.), 2006).

Treinamento o processo educacional aplicado de maneira sistemtica e organizada, atravs do qual as pessoas apreendem conhecimentos, habilidades e atitudes em funo de objetivos definidos. O desenvolvimento profissional uma vertente mais abrangente que o treinamento que visa prover a educao como forma de desenvolver e aprimorar as pessoas em determinadas carreiras, organizaes, ou para se tornarem mais eficientes e produtivas em seus cargos (Palmeira, 2004).

Os departamentos de T&D aumentam, a cada ano, o nmero de turmas e programas que fornecem, mas, por no saberem qual seu real impacto nas organizaes, so questionados pelo dinheiro que utilizam e seus profissionais permanecem frustrados por no obterem o comprometimento das empresas que tanto desejam. Contudo, em funo de presses organizacionais pela busca de reduo de custos, aumento da lucratividade e conseqente necessidade de se alinhar os programas de treinamento s estratgias do negcio, percebe-se um incremento no interesse dos profissionais de RH em justificar os gastos em treinamento (Palmeira, 2004).

As informaes a seguir foram retiradas do editorial de um simpsio de avaliao do treinamento e escrito por Jack Phillips, um dos principais pesquisadores do assunto em mbito mundial e publicado no Internacional Journal of Training and Development (2001).

Segundo Phillips (2001), h uma tendncia mundial das empresas adotarem uma aproximao mais sistemtica da avaliao dos resultados dos programas de treinamento. Em 2000, a

Japan Management Association Centre lanou o Measurement of Training Evaluation, primeira publicao destinada exclusivamente avaliao dos resultados dos programas de treinamento. Vrios livros sobre o tema continuam a ser lanados. A American Soceity of Training and Development (ASTD), publicou recentemente quatro livros contendo estudos de casos sobre a mensurao do resultado do treinamento.

Ainda de acordo com Phillips (2001), existem pelo menos trs razes principais para o interesse mundial sobre o assunto:

1) Os executivos responsveis pela liberao dos fundos vm freqentemente solicitando relatrios sobre os programas de treinamento. Esses relatrios no so s compostos por informaes como o total de investimentos em treinamentos ou nmero de horas gastas pelos empregados em treinamento, mas tambm por evidencias tangveis que demonstrem a efetividade dos programas como: sucesso na aprendizagem, melhorias de performance, impactos nas principais medidas das organizaes e retorno sobre os investimentos. 2) Existe uma crescente disputa entre os departamentos pelos recursos escassos das organizaes. Dessa forma, os departamentos de T&D acham necessrio mostrar os atuais impactos de seus trabalhos para assegurar o provimento de suas necessidades nos oramentos anuais.

3) Os programas de treinamento constantemente falham ao mostrar organizao os resultados que lhes eram esperados. A falta de objetividade e de confiabilidade dos relatrios acaba levando os executivos a certo ceticismo em relao efetividade

dos treinamentos, o que freqentemente desencadeia reestruturao e cortes nos programas.

Visando ampliar o conhecimento sobre o tema no Brasil, este trabalho busca contribuir com as pesquisas sobre o tema no pas, ao examinar as metodologias de avaliao dos resultados de T&D constantes na literatura e como se d sua aplicao por parte das empresas brasileiras.

O problema sobre o qual este estudo se ocupar se as organizaes brasileiras esto aplicando adequadamente as metodologias disponveis na literatura para realizar a avaliao dos resultados de T&D.

1.3

OBJETIVOS

1.3.1

OBJETIVO GERAL

O objetivo geral deste estudo examinar as metodologias de mensurao de resultados de T&D constantes na literatura e sua aplicao nas empresas brasileiras.

1.3.2

OBJETIVOS ESPECFICOS

1) Verificar se as empresas esto utilizando adequadamente as metodologias de avaliao dos resultados de T&D disponveis na literatura.

2) Verificar se, de acordo com as metodologias de avaliao dos resultados de T&D disponveis na literatura, as informaes atualmente utilizadas pelos executivos brasileiros no processo de tomada de deciso sobre investimento em T&D podem ser consideradas adequadas.

1.4

RELEVNCIA

Apesar da preocupao crescente quanto avaliao dos resultados dos programas de T&D descritas anteriormente, uma srie de artigos recentes publicados em jornais especializados em RH, demonstram que em diversos pases as empresas ainda no utilizam maciamente alguma metodologia para mensurar os retornos sobre os investimentos em seus programas.

Uma pesquisa realizada como 202 empresas canadenses, mostra que o clculo da ROI de treinamento est presente em 42,8% dos programas direcionados aos gerentes e em 35,9% dos direcionadores aos demais empregados (Blanchard et al, 2000).

Ao pesquisar sobre as prticas de avaliao dos programas de treinamento e desenvolvimento nas empresas indianas, Yadapadithaya analisou 407 empresas com mais de 500 funcionrios e

concluiu que apenas 6,4% das empresas privadas, 2,5% das pblicas e 53,8% das de capital misto chegam a calcular a ROI de seus treinamentos (Yadapadithaya, 2001).

Huerta et al, aps realizar uma pesquisa com 106 empresas espanholas conclui que apenas 15% avaliam os resultados econmicos dos seus programas de T&D (Huerta et al, 2006). Outro estudo realizado no Sri Lanka, com 78 empresas de natureza distintas, tambm demonstra a quase inexistncia de avaliao de efetividade dos programas de T&D (Wickramasinghe, 2006).

Ya Hui Lien et al, aps pesquisar 10 empresas de Taiwan reconhecidas como benchmarking por cinco anos consecutivos pelo Tawianese Commun Wealth Magazine, encontrou evidncias de que apenas uma das empresas pratica, para alguns poucos de seus programas, o clculo de retorno sobre o investimento de seus treinamentos (Ya Hui Lien et al, 2007).

A respeito da situao no Brasil, Palmeira (2004) publicou um seu livro ROI do Treinamento: dicas de como mensurar o resultado financeiro das suas aes em treinamento, uma pesquisa realizada com 75 empresas brasileiras onde encontrou apenas oito respondentes que disseram concordar ou concordar totalmente a respeito da existncia do clculo da ROI do treinamento em suas empresas. Porm, ao solicitar um relato sobre a existncia do clculo com um exemplo, a autora no obteve resposta alguma.

A pesquisa de 2007 da ABTD Retrato do Treinamento no Brasil 2007/2008 questionou as empresas, de modo bastante superficial, sobre a utilizao dos nveis de avaliao de treinamento propostos por Kirkpatrick e Phillips (as idias de ambos os autores sero amplamente discutidas posteriormente). O resultado encontrado foi que, no Brasil, as

10

empresas utilizam avaliao de nvel 1 (reao) em 92,40% de seus treinamentos, nvel 2 (aprendizagem) em 52,50%, nvel 3 (mudana de comportamento) em 18,40%, nvel 4 (resultados) em 5,40% e de nvel 5 (ROI) em 2,40% de seus treinamentos.

Apesar da pesquisa de 2007 da ABTD apresentar tais dados sobre o panorama de utilizao dos nveis de avaliao do treinamento pelas empresas brasileiras, entende-se, para fins deste estudo, que o questionrio utilizado para a coleta de dados no pode ser considerado como um instrumento eficaz de verificao da aplicao das metodologias.

Os indcios da inexistncia de formas sistemticas de utilizao das metodologias de avaliao dos treinamentos tornam-se consideravelmente preocupantes, pois de acordo com os as pesquisas anuais da ABTD, os investimentos em T&D encontram-se em expanso. Na pesquisa de 2007, 74% das empresas responderam ter a expectativa de aumentar seus investimentos em T&D durante ano de 2008, 19% responderam que esperam manter seus investimentos no patamar atual e apenas 7% no souberam responder ou disseram que a expectativa que os investimentos diminuam durante o ano (ABTD, 2007).

Nas pesquisas de 2006 e 2007, respondidas por aproximadamente 400 empresas de atividades e porte distintos, os profissionais de RH dessas empresas apontaram como maior desafio de T&D, nos dois anos consecutivos, o clculo do retorno sobre os investimentos dos programas (ROI de T&D) (ABTD, 2006/2007).

Outro dado que confere grande importncia s aes de T&D das empresas brasileiras o montante de investimentos realizados pelas empresas. A proporo entre o investimento mdio de T&D por treinando e a folha de pagamento de 3,4%, proporo que vem

11

evoluindo a cada ano. Tal indicador brasileiro supera a maioria das mdias mundiais, como, por exemplo, Europa (2,5%), Estados Unidos (2,6%) e Amrica Latina (2,5%) (ABTD, 2006/2007).

Em face do exposto, a relevncia deste estudo pode ser percebida ao se verificar a preocupao dos profissionais brasileiros a respeito da mensurao do retorno sobre o investimento em seus programas de T&D e dos indcios de aumentos crescentes de tais investimentos no pas.

12

REFERENCIAL TERICO

Este captulo contm os principais conceitos da funo de T&D nas organizaes, sua evoluo no Brasil e no mundo e sua relevncia para as empresas da atualidade. Alm da conceituao de T&D, o captulo apresenta as principais questes que envolvem o processo de avaliao dos programas de treinamento nas organizaes e as metodologias de avaliao propostas pelos autores mais citados no ambiente acadmico.

2.1

TREINAMENTO E DESENVOLVIMENTO

Treinamento um esforo desprendido pelas organizaes para propiciar oportunidades de aprendizagem de seus integrantes. Est tradicionalmente relacionado identificao e superao de deficincias no desempenho de empregados, preparao de empregados para novas funes e adaptao da mo de obra introduo de novas tecnologias no trabalho (Nadler, 1984).

Hamblim (1974) define treinamento com uma seqncia de experincias e oportunidades desenhadas para modificar o comportamento ou qualquer atividade que tem como objetivo incrementar habilidades pessoais para o desempenho de uma tarefa.

13

Treinamento, para Goldstein (1991), uma aquisio sistemtica de atitudes, conceitos, conhecimentos, regras e habilidades que resultem na melhoria do desempenho do trabalho, obtidos por meio da anlise de tarefas e princpios da tecnologia industrial. Para Wexley (1984), treinamento visto como um esforo planejado de uma organizao para facilitar a aprendizagem de comportamentos exigidos pelo trabalho.

Borges-Andrade (2002) define treinamento como uma ao organizacional planejada de modo sistemtico, que possibilita a aquisio de habilidades motoras, atitudinais ou intelectuais, assim como o desenvolvimento de novas estratgias cognitivas que podem tornar o indivduo mais apto a desempenhar suas funes atuais ou futuras.

J o desenvolvimento, para Nadler (1984), compreendido como um processo mais abrangente, que inclui aes organizacionais que estimulam o livre crescimento de seus membros, que no visam necessariamente melhoria do desempenho atual, mas o desempenho futuro.

Desenvolvimento a educao que visa ampliar, desenvolver, e aperfeioar a pessoa para seu crescimento profissional, em determinada carreira, na organizao ou para que se torne mais eficiente e produtiva no trabalho. Seus objetivos perseguem prazos mais longos (Palmeira, 2004).

Para Nadler (1984), educao visa formao profissional mais abrangente, relacionada geralmente preparao do profissional para ocupaes e trabalhos futuros e desenvolvimento seria uma formao ampla, no necessariamente ligada profissionalizao.

14

Os limites entre esses conceitos esto cada vez mais tnues, uma vez que a necessidade de formao e atualizao profissional, na atualidade, tornou-os muito sobrepostos (Pilati & Abbad, 2005).

Apesar de diversos autores sugerirem diferenas entre as aes de treinamento e as de desenvolvimento, para efeito deste estudo e sem que haja prejuzo dos conceitos propostos para cada termo, Treinamento e Desenvolvimento sero ambos entendidos como qualquer atividade realizada pelas empresas para aprimorar as habilidades das pessoas nas organizaes (Hamblim, 1974).

2.1.1

ORIGENS DO TREINAMENTO NO BRASIL E NO MUNDO

Segundo Oliveira (2006), o ensino fundamental no mundo, distinguvel de outras formas de ensino, surgiu com o aparecimento da grande empresa industrial em meados do sculo XX, nos Estados Unidos. Em 1872 foi criada a primeira escola de fbrica pela Hoe&Co, fabricante de mquinas impressoras, com o objetivo de formar operadores de mquinas.

A partir da, outras empresas como a Westinghouse, General Eletric, Baldwin Locomotive Works e Internacional Harvester criaram escolas similares e essa prtica, validada pelas novas teorias de Taylor, passou a se tornar bastante presente e amplamente aceita no contexto empresarial (Oliveira, 2006).

15

A Segunda Guerra Mundial transformou o cenrio das organizaes quando obrigou a populao, que h anos estava desempregada, a assumir os postos de trabalho abandonados pelos jovens convocados pelo servio militar. Os novos trabalhadores deveriam agora aprender ofcios que atendessem s necessidades imediatas da indstria.

nesse cenrio que surgem os postos de treinadores de operrios e a figura do diretor de treinamento, que inicialmente coordenava as iniciativas de ensino tcnico dos operrios e logo passou a coordenar treinamentos de gerentes, engenheiros, tcnicos e do pessoal administrativo (Oliveira, 2006).

Ainda segundo o autor, no Brasil, em 1909, o ento presidente da repblica, Nilo Peanha, na inteno de dar assistncia aos filhos da populao carente, que impossibilitados de estudar ou trabalhar acabariam na marginalidade, criou as escolas de aprendizagem de ofcios.

As dcadas de 1920 e 1930 foram marcadas pela criao de universidades como a Universidade Federal do Rio de Janeiro (UFRJ) e a Universidade de So Paulo (USP), dos Ministrios da Educao e do Trabalho e o Centro das Indstrias do Estado de So Paulo (CIESP). Tais iniciativas respondiam avidez do pas por progresso social, econmico e poltico. Na dcada de 1940, foi aprovada a Consolidao das Leis do trabalho (CLT) e o ensino profissional recebeu impulso com a Reforma Capanema, que criou o Servio Nacional de Aprendizagem Industrial (SENAI) e Servio Nacional de Aprendizagem Comercial (SENAC) (Oliveira, 2006).

Nos anos 60, em funo da necessidade de se capacitar o grande contingente de novos supervisores de produo por conta do rpido crescimento da indstria aps a chegada das

16

montadoras de veculos, a sociedade brasileira passou a adotar programas de formao difundidos mundialmente que valorizavam o empenho do aprendiz em aprender e conjugavam exerccios prticos com reflexo terica.

Os anos seguintes foram marcados, no Brasil, pela necessidade de adequao das empresas s praticas do mercado, principalmente em relao velocidade das mudanas e introduo de novas tecnologias. Como o governo no conseguiu responder com uma poltica efetiva de educao a tempo de atender os requisitos de formao de mo-de-obra demandados pelas empresas, a educao corporativa, ou seja, o T&D nas empresas, passou a receber maior ateno e sua importncia no contexto empresarial vem sendo consolidada a cada dia.

2.1.2

TREINAMENTO E DESENVOLVIMENTO NO CONTEXTO ATUAL

Em 30 anos, desde a primeira reviso sobre treinamento publicada na Annual Review of Psychology, a cincia e a prtica de T&D evoluram dramaticamente nas empresas. No lado prtico, presses scio-culturais, tecnolgicas e econmicas obrigaram as organizaes modernas a olhar mais de perto seu capital humano, e, em especial, o treinamento e desenvolvimento das pessoas (Salas & Cannon-Bowers, 2001).

As empresas modificaram sua viso de treinamento como um evento isolado e passaram a enxerg-lo como um componente estrategicamente integrado. Novas abordagens de treinamento surgiram como o action learnin, treinamentos just-in-time, mentoring, coaching e

17

aprendizagem organizacional. Conseqentemente, surgiram novas tecnologias, servios e ferramentas para viabiliz-los.

Segundo Salas & Cannon-Bowers (2001), em 10 anos, as pesquisas sobre T&D explodiram. Teorias, modelos, resultados empricos, revises e meta-anlises esto mais presentes agora do que nunca na histria e cada vez mais voltados realidade das organizaes. Quanto ao fato de as pesquisas estarem mudando o modo como T&D feito nas empresas, os autores dizem ser um problema para vrios debates.

Para lderes focados no crescimento das empresas, a funo de T&D vem sendo cada vez melhor compreendida e relevante. Os lderes que entendem como dirigir os negcios em um mercado de crescente competio reconhecem que uma fora de trabalho melhor capacitada aumenta o desempenho dos negcios e que investir no aprendizado dos empregados um fator crtico para o sucesso das organizaes (ASTD, 2006).

A ASTD estima que as organizaes investiram mundialmente, em 2006, cerca de US$ 109,25 bilhes em treinamento de seus empregados e que essa quantia vem crescendo significativamente a cada ano. No Brasil, o montante de investimentos em T&D ainda no conhecido, mas pesquisas da ABTD apontam que parte significativa da folha de pagamento das empresas (3,4% em 2007) destinada educao de seus funcionrios. Assim como as pesquisas norte-americanas, os dados das pesquisas brasileiras tambm apontam para o crescimento dos investimentos em T&D anualmente, conforme demonstrado anteriormente.

Investimentos em T&D esto crescendo constantemente porque as organizaes reconhecem a capacitao de seus empregados como fator crtico para seu sucesso. A capacidade de

18

mudar rapidamente um atributo fundamental da era do conhecimento. Aprender e fazer rapidamente se tornou o maior diferencial das empresas que prosperam daquelas que no prosperam (ASTD 2002b).

Uma pesquisa realizada em 2001 pela ASTD com 550 organizaes de 42 pases da sia, Austrlia, Nova Zelndia, Canad, China, Europa, Japo, Amrica Latina, Oriente Mdio e Estados Unidos, buscou verificar as principais tendncias do treinamento ao redor do mundo. Alguns dos valores coletados esto informados na Tabela 1.

INDICADORES

Austrlia/ N. Zelndia

sia

China

Japo

Canad

Estados Unidos

Europa

Amrica Latina

Oriente Mdio

Investimento em T&D por empregado (U.S. Dollar) % do investimento em T&D em relao folha de pagamento % de empregados que receberam treinamento Total de horas de treinamento por empregado

671 2,8 90,5 28

362 3,8 69,2 25

504 3,2 80,3 26

450 1,4 47,6 22

584 2,1 71,4 23

649 2 71,4 23

584 2,5 77,4 30

311 2,5 72,5 26

783 2,9 71,4 57

Tabela 1 Indicadores mundiais de T&D Fonte: ASTD (2002a)

No Brasil, em pesquisas realizadas nos anos de 2005, 2006 e 2007 a ABTD coletou os seguintes dados:

INDICADORES Valor mdio anual de investimento por funcionrio treinado Horas anuais de T&D por funcionrio % de funcionrios treinados % do invevstimento anual em T&D em relao folha de pagamento

2005 R$ 1.272,00 39 68,2 2,7

2006 R$ 1.342,00 47 71,5 3,2

2007 R$ 1.527,00 37,5 75,0 3,4

Tabela 2 Indicadores de T&D no Brasil Fonte: ABTD (2005, 2006 e 2007).

19

A preocupao das empresas brasileiras a respeito de investimentos em T&D pode ser observada tanto pelo aumento dos indicadores demonstrados na Tabela 2, quanto em relao ao fato de que a ABTD conta com mais de 600 empresas associadas, nmero que tambm aumenta anualmente e demonstra a crescente preocupao das empresas com as questes relacionadas ao treinamento de sua fora de trabalho.

Desde as escolas de ofcio, passando pela capacitao do corpo tcnico das empresas at chegar ao desenvolvimento dos seus lderes de mais alto escalo, evidente que o T&D das empresas pea fundamental do cenrio das organizaes e os esforos realizados pelas empresas em treinamento so considerados como essenciais prosperidade de qualquer tipo de organizao da atualidade.

2.2

AVALIAO DOS RESULTADOS DO TREINAMENTO

H uma crescente preocupao entre os pesquisados e os profissionais acerca da avaliao de treinamento, o que devido, principalmente, ao aumento do volume de investimentos em treinamento pelas organizaes e necessidade de mensurao de sua eficcia, tanto no nvel individual quanto no organizacional (Freitas & Borges-Andrade, 2004).

No momento em que a orientao dos negcios ao redor do mundo est mudando da era industrial para a era do conhecimento, respostas para questes como: as organizaes investem mais que o necessrio em T&D?, as organizaes investem o bastante em T&D?, tm maior importncia a cada dia (ASTD, 2000b).

20

Avaliao do treinamento um conjunto de metodologias e procedimentos que permitem identificar os resultados alcanados com os programas de treinamento, comparando-os com os objetivos propostos, e visando, sobretudo, realimentar com informaes a elaborao de novos programas ou modificaes dos existentes. A avaliao do treinamento pode ser caracterizada como sendo qualquer tentativa no sentido de obter informaes (realimentar) sobre os efeitos de um programa de treinamento, determinando seu valor luz dessas informaes (Carvalho & Nascimento, 1999).

Cavalcanti (1990) enfatiza a importncia da avaliao em trs contextos distintos. No contexto scio-econmico, que diz respeito empresa, a questo consiste em identificar e avaliar as contribuies do trabalho de cada funcionrio para compens-lo e desenvolv-lo. No contexto funcional, onde um dos subsistemas funcionais o de treinamento e desenvolvimento de recursos humanos, importante avaliar sua contribuio efetiva para os resultados empresariais, da resultando as decises a respeito da alocao de recursos, determinantes das possibilidades e limites de sua contribuio atual e futura. No contexto econmico maior, cabe a avaliao da prpria empresa, estabelecida pelos mecanismos de mercado.

Para Kirkpatrick (1998), a razo de se avaliar o treinamento determinar a efetividade de um programa. Quando a avaliao feita, tanto os responsveis pela coordenao dos programas quanto os gerentes de alto escalo da empresa se beneficiam, pois passam a possuir bases concretas para tomada de deciso em relao a seus programas e investimentos.

H na literatura sobre T&D ampla convergncia dos autores sobre a importncia da avaliao do treinamento, tanto no que diz respeito verificao da efetividade e possibilidade de 21

adaptao e reformulao dos programas, quanto necessidade crescente de se demonstrar o valor efetivo das aes de T&D a toda a organizao. De acordo com pesquisas em organizaes brasileiras (ABTD 2006/2007) os profissionais de T&D apontam para a implantao da avaliao do treinamento como sendo o principal desafio a ser vencido na rea.

As empresas passarem a adotar uma aproximao mais sistemtica da avaliao dos resultados dos programas de treinamento uma tendncia mundial que pode ser observada (Phillips, 2001). Tal tendncia pode ser percebida pelo grande nmero de estudos publicados sobre o assunto e pela preocupao demonstrada pelos principais peridicos e entidades de pesquisa da rea de T&D que abrem espao a cada dia para os autores que se preocupam e pesquisam sobre avaliao.

A seguir, sero apresentadas as metodologias de avaliao propostas pelos mais relevantes autores da rea, que buscam contribuir com a necessidade prtica encontrada pelas organizaes de avaliar quantitativa e qualitativamente seus programas de T&D.

2.2.1

ESCALA DE AVALIAO DE TREINAMENTO DE KIRKPATRICK

Donald Kirkpatrick foi o primeiro autor a publicar consideraes relevantes sobre as possveis formas de se realizar a avaliao dos resultados do treinamento. Em uma seqncia de quatro artigos denominados Techniques for evaluating training programs publicados entre 1959 e 1960 no Journal of ASTD e diversos outros artigos e livros publicados posteriormente, o

22

autor consolidou sua metodologia de avaliao como a mais famosa, at os dias de hoje, dentre as diversas metodologias propostas por demais autores.

Kirkpatrick prope que a avaliao do treinamento seja conduzida em quatro nveis: 1) Reao: que avalia o contedo do treinamento, seu programa, o material didtico, a carga horria, seus instrutores e os recursos utilizados de maneira a melhorar sua realizao no futuro e at mesmo a eliminar programas que no satisfizerem os participantes ou patrocinadores do programa; 2) Aprendizagem: que avalia o que efetivamente os participantes aprenderam; 3) Mudana de Comportamento: que verifica se o participante colocou em pratica, no trabalho, o contedo aprendido; 4) Resultados: que verifica se a aplicao do contedo no trabalho foi capaz de causar impactos favorveis no resultado da organizao. Todos os nveis propostos por Kirkpatrick sero detalhados a seguir.

2.2.1.1

NVEL 1 REAO

Avaliar a reao dos participantes de um programa de treinamento a mesma coisa que medir a satisfao dos clientes com uma organizao. Para que o treinamento seja realmente efetivo, importante que os participantes reajam favoravelmente s exposies iniciais. Os participantes tambm costumam contar para outras pessoas suas impresses a respeito do treinamento, o que pode vir a ser base para a tomada de decises acerca da continuidade e ou de modificaes no programa (Kirkpatrick, 1998).

23

Segundo Kirkpatrick (1998), so vrios os motivos para se avaliar a reao dos participantes. Primeiramente, este tipo de avaliao oferece valiosas informaes aos responsveis pelos treinamentos, alm de comentrios e sugestes sobre como o programa pode ser melhorado. Em segundo lugar, no momento em que os participantes so convidados a avaliar o desempenho dos instrutores, ficam convencidos de que estes esto trabalhando realmente com o intuito de ajud-los a desenvolver melhor suas atribuies e que suas opinies so consideradas importantes. Em terceiro lugar, as avaliaes provem informaes quantitativas que os profissionais de treinamento podem mostrar a seus gerentes e a outras pessoas envolvidas nos programas e que podem ser utilizadas como parmetro de desempenho para futuros programas.

Para explicar melhor a composio de uma avaliao de reao, algumas perguntas sugeridas por Kirkpatrick para integrar esta etapa esto descritas a seguir:

Como os participantes avaliam o contedo: Foi interessante? Relevante para o trabalho?

Como os participantes avaliam o instrutor: Demonstrou domnio do conhecimento sobre o assunto? Exibiu habilidade ao se comunicar?

Como os participantes avaliam as instalaes: Estavam confortveis? Foram convenientes para o tipo de treinamento? Os equipamentos utilizados eram adequados?

24

 Como os participantes avaliam a carga horria: Insuficiente? Suficiente? Excessiva?

Sugestes de melhoria pelos participantes: Como o programa poderia ser melhorado? O que voc faria para tornar a sesso mais efetiva?

Para Kirkpatrick, os participantes devem tambm ser encorajados a emitir suas opinies em questes abertas, para que possam opinar sobre de que maneira efetivamente a qualidade dos programas pode ser melhorada. Para as questes fechadas, podem ser utilizados vrios tipos de escala: os participantes podem dar notas de 1 a 5, dizer se o quesito foi excelente, bom, regular ou ruim e at mesmo podem ser utilizadas expresses do tipo folha de sorrisos, que mostram aos participantes desenhos de faces com expresso risonha, de indiferena ou aborrecimento.

importante, contudo, que os dados colhidos nas questes fechadas possam ser tabulados, para que o aspecto quantitativo das reaes possa ser medido. Atravs da anlise dos dados, os responsveis pelos programas podem tomar atitudes como fazer mudanas nas instalaes, contedos programticos, instrutores (que podem ser substitudos ou aconselhados a mudar sua abordagem ou comportamento), equipamentos e quaisquer outras variveis envolvidas no treinamento.

Um exemplo detalhado de como podem ser organizados os instrumentos de coleta de dados para uma avaliao de reao est demonstrado no Anexo A.

O autor considera que as respostas deste nvel podem oferecer pistas como: se os participantes se sentiram confusos em algum momento, se alguma parte do treinamento no foi bem

25

absorvida pela turma, ou sobre o quo engajados os participantes esto se sentindo para participar do treinamento.

Para Kirkpatrick, os interesses, reaes, ateno e motivao dos participantes so fatores determinantes para que a aprendizagem possa, de fato, acontecer. O autor considera que o primeiro passo para a instituio de um sistema de avaliao do treinamento a compreenso e aplicao da avaliao de reao a todos os programas, sem exceo. Se os participantes no se mostram satisfeitos com o treinamento neste nvel de avaliao, todo o restante do programa est seriamente comprometido.

2.2.1.2

NVEL 2 APRENDIZAGEM

A avaliao de aprendizagem tem o importante papel de verificar se os conhecimentos apresentados pelo programa foram absorvidos, se as habilidades dos participantes foram melhoradas e se suas atitudes foram modificadas em funo do contedo exposto. Para Kirkpatrick, pelo menos um desses quesitos (conhecimentos, habilidades e atitudes) deve ser modificado para que a mudana de comportamento do participante no trabalho realmente acontea.

Avaliar a aprendizagem , no entanto, mais difcil e consome mais tempo e recursos o que a avaliao de reao. O autor sugere algumas possibilidades para se aplicar a avaliao de aprendizagem:

26

1) Utilizao de grupos de controle. O autor prope a realizao de comparaes entre grupos semelhantes que receberam o treinamento e que no receberam. As avaliaes devem ser aplicadas antes e aps o treinamento para ambos os grupos para que o avaliador se certifique de que os resultados (melhores ou piores) dos grupos treinados sejam realmente em funo do programa de treinamento. As diferenas encontradas entre o grupo de controle e o grupo que recebeu o treinamento podem ento ser explicadas pela aprendizagem efetiva proveniente do programa.

2) Avaliao de melhoria de conhecimento e mudanas de atitude. Neste caso, o avaliador aplica um teste que pontua conhecimentos, habilidades e atitudes, antes e depois do treinamento. Podem ser feitas perguntas que reflitam o contedo que os participantes deveriam ter absorvido durante o programa. As avaliaes tradicionais das escolas podem exemplificar esta sugesto. Este tipo de avaliao pode tambm utilizar, em conjunto, grupos de controle.

Um exemplo detalhado de como podem ser organizados os instrumentos de coleta de dados para uma avaliao de aprendizagem est demonstrado no Anexo B.

Para que a avaliao de aprendizagem seja realizada de maneira consciente e efetiva, fundamental que os idealizadores dos programas tenham determinado previamente quais os objetivos do treinamento, ou seja, quais os conhecimentos, habilidades e atitudes os treinandos deveriam apresentar ao termino do treinamento. Para o autor, o sentido da avaliao de aprendizagem est em verificar se esses objetivos, estabelecidos para o treinamento, foram ou no atingidos. 27

Para Kirkpatrick, avaliar a aprendizagem do aluno , tambm, avaliar o ensino do instrutor. A partir do resultado da avaliao de aprendizagem, vrias informaes para a melhoria de instrutores e idealizadores dos programas podem ser encontradas, caso a aprendizagem no tiver se mostrado suficientemente boa. A importncia desse nvel de avaliao se deve ao fato de que, caso o participante no tenha absorvido os conceitos do treinamento, seu comportamento no trabalho no ser modificado, pelo menos no como conseqncia do treinamento oferecido.

2.2.1.3

NVEL 3 MUDANA DE COMPORTAMENTO

Esse nvel de avaliao busca respostas para o que acontece depois que os participantes deixam as salas de aula e voltam a seus trabalhos. Como funcionou a transferncia de conhecimentos, habilidade e atitudes para suas atividades? Que mudanas em seus comportamentos aconteceram em decorrncia do programa de treinamento?

Vrias podem ser as barreiras encontradas antes que a aprendizagem se traduza realmente em mudanas de comportamentos observveis. Primeiramente, os treinandos no podem mudar um comportamento a menos que encontrem oportunidade para faz-lo. Em segundo lugar, impossvel prever quando uma mudana de comportamento ir acontecer. Em terceiro lugar, as recompensas pelas mudanas de comportamento no trabalho podem ser boas ou ruins, ou seja, as sensaes que o treinando pode experimentar ao colocar em pratica seu aprendizado vo determinar sua mudana, ou no, de comportamento.

28

Por exemplo, ao se comportar de uma nova maneira, um empregado pode gostar dos efeitos de seu novo comportamento e decidir adot-lo da pra frente ou no gostar dos efeitos e decidir votar a se comportar como antigamente, ou, ainda, gostar dos efeitos da mudana de comportamento pretendendo continuar a se comportar da nova forma, mas ser desestimulado ou at mesmo impedido por seus superiores, pelos mais variados motivos.

Assim como para o nvel de avaliao de aprendizagem, Kirkpatrick prope que a avaliao de mudana de comportamento seja realizada por meio de grupos de controle, com avaliaes antes e aps o treinamento. Para esse nvel de avaliao o autor sugere, como forma de coleta de dados, a realizao de entrevistas e aplicao de questionrios que sejam respondidos pelos prprios treinandos, seus supervisores, subordinados e demais pessoas que possam relatar possveis mudanas no comportamento dos avaliados.

Um exemplo detalhado de como podem ser organizados os instrumentos de coleta de dados para uma avaliao de mudana de comportamento est demonstrado no Anexo C.

Para Kirkpatrick, assim com os demais investimentos realizados por uma organizao, os custos de se operacionalizar esse nvel de avaliao devem ser confrontados com os benefcios que seus resultados traro organizao. O tempo dos funcionrios envolvidos na avaliao, os recursos necessrios e at mesmo os custos decorrentes da possvel contratao de uma consultoria podem no ser justificados quando, por exemplo, um programa est previsto para acontecer uma s vez, mas podem ser justificados caso a organizao tenha a inteno de realizar o programa continuamente.

29

Para o autor, importante observar que a mudana de comportamento no um fim em si mesma, mas, principalmente, um fator preditivo para melhorias de resultados organizacionais que podem acontecer, caso a mudana de comportamento seja realmente constatada. Desta forma, a mudana de comportamento decorrente da aprendizagem que ocorreu por motivo da realizao do treinamento, um fator determinante para que os resultados esperados pelos programas sejam alcanados.

2.2.1.4

NVEL 4 RESULTADOS

O nvel de avaliao de resultados, segundo Kirkpatrick, o mais importante e o mais difcil de realizar. Avaliar os resultados significa apurar que mudanas ocorreram nas organizaes em funo da participao dos funcionrios nos programas de treinamento. Neste nvel, os avaliadores devem considerar questes como as seguintes:

Quanto melhorou a qualidade dos produtos ou servios em funo da realizao de um programa de qualidade total oferecido a supervisores e gerentes? Quanto isso contribui para os lucros da companhia?

Quanto cresceu a produtividade em funo de um programa oferecido a gerentes e supervisores que tratou de esclarecer questes sobre a diversidade da forca de trabalho?

30

Quanto diminuiu o turnover e disputas internas aps os supervisores e coordenadores terem sido orientados a oferecer constante treinamento a seus novos empregados?

Quanto aumentou a produtividade ou diminuram os custos aps os empregados terem sido treinados a trabalhar em equipes auto-geridas?

Quanto aumentou o valor das vendas aps a equipe de vendedores ter sido submetida a um programa de treinamento de vendas?

Assim como para os demais nveis de avaliao, Kirkpatrick prope a utilizao de grupos de controle e de avaliaes anteriores e posteriores ao treinamento. Para esse nvel de avaliao, a coleta de dados pode se realizada tanto por meio de entrevistas e questionrios (ideal para os casos onde no seja possvel a quantificao exata dos benefcios do programa, como em um esforo dirigido melhoria das competncias gerenciais dos dirigentes, por exemplo), quanto por meio de evidncias reais como a quantidade exata de produtos vendidos a mais em decorrncia de um treinamento realizado para esse fim.

De qualquer forma, as respostas encontradas pela avaliao dos resultados do treinamento devem ser condizentes com as expectativas dos patrocinadores do programa. Para a alta gerncia deve estar claro, por exemplo, que informaes sobre a evoluo dos nveis de satisfao dos empregados de uma gerncia insumo suficiente para que um programa de treinamento desenhado com o objetivo de melhorar as habilidades gerencias de um grupo de lderes seja consolidado. No caso de um treinamento de qualidade, devem ser esperadas pela

31

alta gerencia informaes como exatamente quantas unidades de um produto deixaram de ser rejeitadas nos meses posteriores realizao de um treinamento com este objetivo.

A tabela 3 apresenta alguns itens que podem ser observados para que se tirem concluses a respeito deste nvel de avaliao:

Output Estudantes graduados Nmero de embarques Unidades produzidas Tempo Tempo de processamento Tempo de reunies Tempo de superviso Satisfao Satisfao no trabalho Satisfao dos clientes Lealdade dos empregados Perdas Defeitos Acidentes

Qualidade

Custos Custos unitrios Despesas de vendas Variaes no oramento Clima Comprometimento Reclamaes de empregados Turnover Desenvolvimento Avaliaes de desempenho Nmero de aumentos Nmero de promoes

Hbitos de trabalho Absentesmo Atrasos Primeiros socorros Novas habilidades Decises tomadas Problemas resolvidos Conflitos evitados

Tabela 3 Exemplos de medidas de resultados dos treinamentos Fonte: Phillips & Phillips (2005)

No entanto, no obstante ao fato de que este nvel o mais complexo de ser avaliado, preciso que os profissionais de treinamento observem, mais do que em qualquer outro nvel de avaliao proposto at agora, se as informaes provenientes das avaliaes superam os custos de se avaliar. A relao entre custo e beneficio se apresenta ainda mais crtica neste nvel, uma vez que avaliar os resultados do treinamento requer certamente mais recursos do que todos os demais nveis de avaliao.

32

2.2.1.5

OS QUATRO NVEIS DE AVALIAO

Quanto ao modelo de avaliao de Kirkpatrick fundamental notar a existncia de uma relao de causalidade e de aumento de complexidade entre um nvel de avaliao e outro. Para o autor, avaliar cada nvel traz respostas tanto para os nveis que esto sendo avaliados como tambm indica o provvel comportamento dos prximos nveis de avaliao.

O modelo esquematizado na figura 1 sugere que para que o participante de um programa possa realmente aprender com um treinamento ele deve reagir favoravelmente sua realizao, ou seja, estar satisfeito com o treinamento. Para modificar seu comportamento no desenvolvimento de suas atividades, o participante deve tanto reagir favoravelmente realizao do treinamento, como ter aprendido seus contedos. Para gerar resultados organizacionais favorveis, o participante deve ter reagido favoravelmente realizao do treinamento, ter aprendido seu contedo e modificado seu comportamento em funo da aprendizagem.

Figura 1 Modelo de avaliao do treinamento de Kirkpatrick Fonte: Kirkpatrick (1998)

33

No entanto, a mesma lgica no funciona quando utilizada no sentido inverso. Reagir favoravelmente a um treinamento no determina necessariamente o aprendizado de seu contedo, assim como aprender seu contedo no implica necessariamente em mudanas de comportamento no trabalho e mudanas de comportamento no trabalho no significam melhoria dos resultados organizacionais.

Por esse motivo, Kirkpatrick defende a utilizao do modelo em sua integridade, ou seja, que a avaliao seja sempre iniciada no nvel de reao e que, caso a organizao esteja disposta, os demais nveis devem ser realizados posteriormente, sempre na mesma seqncia sugerida pelo autor. Para Kirkpatrick, no se deve realizar um nvel de avaliao sem que todos os nveis anteriores j tenham sido realizados, pois os responsveis pela avaliao podero tirar concluses precipitadas ou at mesmo no chegar concluso alguma.

Por exemplo, ao se avaliar apenas o nvel de mudana de comportamento dos treinandos e se constatar que no houve qualquer tipo de mudana aps o treinamento, no se poder chegar a qualquer concluso, pois no haver evidncias de se os treinandos no modificaram seu comportamento por no terem aprendido o contedo, se no aprenderam o contedo porque o instrutor no soube comunicar suas idias, ou, se, por exemplo, as pessoas aprenderam, mas no modificaram, de fato, seus comportamentos.

34

2.2.2

A ROI DE TREINAMENTO DE JACK PHILLIPS

Assim como a metodologia dos quatro nveis de avaliao propostos por Kirkpatrick, a metodologia de avaliao de treinamento proposta por Phillips (1991) costuma ser amplamente aceita e utilizada, tanto pela comunidade acadmica em seus estudos, quanto pelas organizaes em suas prticas de avaliao e anlise dos investimentos em treinamento.

A metodologia proposta por Phillips (1991) , na verdade, uma ampliao e reviso do modelo de Kirkpatrick, onde os quatro nveis de avaliao apresentados inicialmente pelo autor fazem parte da construo de um quinto nvel de avaliao, onde calculada a taxa de retorno sobre o investimento, a ROI de treinamento. Para Phillips (1991), os quatro nveis de avaliao de Kirkpatrick representam categorias de dados que compe o processo de avaliao que tem como finalidade o clculo da ROI dos programas de treinamento.

Para Phillips & Phillips (2005), a razo para se adotar os quatro nveis de avaliao inicialmente propostos por Kirkpatrick, que a segregao dos tipos de informao que cada nvel contm, facilita tanto a o calculo da ROI em si, quanto o entendimento dos resultados apresentados por parte dos pblicos interessados em diferentes tipos de informao. Phillips & Phillips (2005) defende que, quando apresentados juntos, os cinco nveis de avaliao representam dados capazes de relatar a histria completa dos programas.

Para demonstrar a convergncia dos dois autores a respeito da aplicao dos diferentes nveis de avaliao, a tabela 4 retrata os questionamentos atribudos por Phillips a cada nvel. Examinando a tabela, pode-se notar que Phillips & Phillips (2005) espera, como resultado da

35

aplicao dos quatro nveis de avaliao, os mesmos tipos de informaes que Kirkpatrick (1998), citados anteriormente.

Nvel de Avaliao Nvel 1 Reao, satisfao e ao planejada

Principais Questes - O programa foi relevante para O trabalho e misso do participante? - O programa foi importante para O sucesso do trabalho e da misso do participante? - O programa ofereceu novas informaes? - Os participantes pretendem utilizar o que aprenderam com o programa? - Os participantes recomendam o programa para outras pessoas? - H espao para melhoria de facilidades, materiais e ambiente de aprendizagem no programa? - Os participantes adquiriram os conhecimentos e habilidades apresentados pelo programa? - Os participantes sabem como aplicar o que aprenderam? - Os participantes esto confiantes em aplicar o que aprenderam? - Quo efetivamente os participantes esto aplicando o que aprenderam? - Se os participantes esto aplicando o que aprenderam, o que est estimulando esse comportamento? - Se os participantes no esto aplicando o que aprendera, por que no? - A aplicao do que os participantes aprenderam est obtendo sucesso? - A aplicao do que os participantes aprenderam est de acordo com os resultados esperados pelo programa? - Como o programa afetou o produto, qualidade, custos, tempo, satisfao dos clientes e dos empregados e outras medidas? - Como saber se os resultados encontrados so os mesmos provenientes da participao dos empregados nos programas?

Nvel 2 Aprendizagem Nvel 3 Aplicao e implementao Nvel 4 Impacto nos negcios

Tabela 4 Principais questes do modelo de avaliao de Phillips & Phillips (2005) Fonte: Phillips & Phillips (2005)

Quanto reviso do modelo de Kirkpatrick, Phillips sugere que seu modelo apresenta algumas diferenas bsicas em relao ao modelo do primeiro autor:

1. Nvel 3 Mudana de Comportamento: Kirkpatrick se refere a comportamento no trabalho enquanto Phillips se refere a aplicao e implementao, que pode incluir mais do que uma mudana de comportamento. Para Phillips, apesar de o comportamento ser inerentemente parte de toda atividade, em algumas situaes, o foco de aplicao de conhecimentos e habilidades pode considerar mais do que mudana de comportamento.

36

2. Nvel 4 Resultados: Kirkpatrick se refere a resultados enquanto Phillips se refere a impacto nos negcios, que, para o autor, a conseqncia da aplicao dos conhecimentos absorvidos e considera que todos os nveis de avaliao so produtos da interao entre resultados e atividades.

A ampliao proposta por Phillips (1991), aps analisar os quatro nveis de avaliao de Kirkpatrick, a insero de um quinto nvel de avaliao, denominado ROI de Treinamento, que busca responder se os benefcios monetrios de melhorias no negcio decorrentes da participao dos empregados nos programas de treinamento superam os custos de realizao desses programas. Para Phillips & Phillips (2005), o nvel 5 (ROI), a ltima medida de avaliao do treinamento, que busca dar respostas contbeis organizao do tipo: existe algum retorno financeiro ao se investir em programas, processos, iniciativas ou solues para melhoria de performance?

Phillips & Phillips (2005) justifica sua preocupao com a mensurao do retorno sobre o investimento nos programas de treinamento com a afirmao de que, h sculos, prtica de se comparar lucros com investimentos vem sendo utilizada pelas organizaes para se medir o sucesso de uma ampla variedade de oportunidade de investimentos. Para o autor, as oportunidades de investimento em treinamento se inserem no mesmo contexto organizacional e racional de anlise e de tomada de decises por parte dos dirigentes das empresas e que, desta forma, devem ser medidas tal qual todos os demais investimentos realizados.

A frmula proposta pelo autor para o clculo da ROI de treinamento a seguinte: ROI (%) = (Benefcios lquidos do programa Custos do Programa) x 100. A equao significa que, para um resultado encontrado de 100%, para cada $1,00 investido, a organizao tem de volta 37

$1,00, aps o pagamento de todos os custos de programa. Como exemplo de benefcios lquidos do programa, pode-se citar: nmero de unidades vendidas a mais de um produto em funo da realizao de um treinamento.

De acordo com Phillips & Phillips (2005) existem vrias ferramentas que podem ser utilizadas na coleta dos dados provenientes dos nveis de avaliao de 1 a 4 como questionrios, pesquisas de atitude, testes, entrevistas, grupos de foco e observao, por exemplo. Deve-se lembrar, no entanto, que o nvel 5 s poder ser calculado aps a obteno dos dados dos nveis de 1 a 4.

Para o autor, de fundamental importncia para anlise dos dados que os efeitos do treinamento sejam isolados de outros fatores concomitantes ao treinamento. Para que se consiga efetuar esse isolamento, pode-se utilizar de estimativas dos participantes, grupos de controle, modelos de previso e anlise de tendncias, estimativas dos gestores dos participantes, opinio de consumidores, entre outros.

Aps o isolamento das informaes, os custos e benefcios do treinamento esto prontos para serem transformados em valores monetrios. Para o autor, os dados fsicos so mais facilmente convertidos em valores monetrios que os dados no fsicos. mais fcil, por exemplo, transformar em valores monetrios um incremento nas unidades produzidas do que ndices de absentesmo.

Phillips & Phillips (2005) sugere que nem todos os dados no fsicos podem ser convertidos em valores monetrios, mas tambm que algumas estratgias podem ser adotadas para a obteno de estimativas confiveis, como, por exemplo, a anlise de custos histricos, a

38

opinio de especialistas, a utilizao de estudos externos e de estimativas de participantes, gerentes e dos profissionais de T&D.

Phillips & Phillips (2005) defende que, alm das cinco categorias de dados encontradas, benefcios intangveis so relatados durante um processo de avaliao. Para os autores, os benficos intangveis representam a parte de dados do nvel 4 (resultados) que no pde ser traduzida em termos monetrios. Cabe destacar a existncia de uma relao de causalidade entre os dados encontrados em um nvel de avaliao com os encontrados nos nveis posteriores, exatamente da mesma maneira como foi explicado anteriormente, quando as consideraes sobre o modelo de Kirkpatrick foram traadas.

Phillips & Phillips (2005) prope um modelo de processo para a metodologia, esquematizado na figura 2, que considera a obrigatoriedade da execuo das seguintes fases: a) Definio dos objetivos do treinamento; b) Plano de Avaliao; c) Coleta de dados durante e aps o programa; d) Anlise de dados; e) Isolamento dos efeitos do programa; f) Converso dos dados em valores monetrios; g) Tabulao dos custos do programa; h) Clculo da ROI; i) Identificao dos benefcios intangveis; j) Comunicao dos resultados.

39

Coleta de Dados

Coleta de Dados

Anlise de Dados
Custos do Programa

Comunic ao

Desenho dos objetivos

Plano de Avaliao

Coleta de dados durante o programa

Coleta de dados aps o programa

Efeitos Isolados do Programa

Converso dos dados em valores monetrios

Clculo do ROI

Comunica o dos Resultados

Nvel 1 Nvel 2

Nvel 3 Nvel 4

Nvel 5
Benefcios Intangveis

Figura 2 Processo da metodologia para clculo da ROI Fonte: Phillips & Phillips (2005)

importante observar que, assim como Kirkpatrick (1998), Phillips & Phillips (2005) defende que a aplicao ou no de cada nvel de avaliao deve ser considerada de acordo com a importncia de cada programa de treinamento, ou seja, no aconselhvel que todos os programas sejam avaliados no nvel 5. Assim, para se tomar a deciso sobre que programas avaliar, deve-se considerar algumas variveis como a possibilidade de se isolar os efeitos do programa, se os resultados encontrados no nvel 4 devem so passveis de converso em valores monetrios e se os programas avaliados devem ser significantes para o contexto da organizao.

Para Phillips & Phillips (2005), so passveis de avaliao de nvel 5 (ROI) os programas que: 1) tm expectativa de apresentar um longo ciclo de vida; 2) esto relacionados com a estratgia e objetivos da organizao; 3)exigem a alocao significativa de recursos como tempo, pessoas e dinheiro; 4) tm larga audincia e so bastante visveis na organizao; 5)

40

so do interesse dos gestores; 6) tm a inteno de direcionar mudanas importantes para as organizaes.

A tabela 5 demonstra a relao de aplicao dos cinco nveis de avaliao considerados ideais por Phillips & Phillips (2005) a partir de uma pesquisa realizada pelos autores em conjunto com o Government Accountability Office (GAO) dos Estados Unidos e o Wachovia Bank :
Nvel 1 2 3 4 5 Porcentagem ideal 100% 60% 30% 10% a 20% 5% a 10%

Tabela 5 Porcentagem de programas avaliados em cada nvel Fonte: Phillips & Phillips (2005)

Desta forma, fica claro que se deve fazer certa distino entre os programas ao se planejar os nveis de avaliao a serem adotados para cada um deles. Tanto Kirkpatrick (1998) quanto Phillips & Phillips (2005) convergem opinies no sentido de que, antes de determinar um plano de avaliao de treinamento para cada programa, os profissionais devem procurar confrontar os custos de realizao da avaliao contra os benefcios que as informaes provenientes da avaliao traro organizao.

Pode-se dizer, aps o exame das propostas de ambos os autores, que a necessidade de se caminhar nos nveis de avaliao propostos at ento cresce em funo da representatividade de cada programa de treinamento no contexto das organizaes, ou seja, quanto mais importantes e dispendiosos os programas de treinamento, maior a necessidade de executar uma avaliao completa desses programas.

41

2.2.3

AS CONSIDERAES DE HAMBLIN

Hamblin (1974) apresentou, assim como os demais autores citados at agora, uma metodologia para avaliao dos resultados do treinamento. Para o autor, o principal propsito da avaliao dos resultados de treinamento a possibilidade de controle das aes de T&D, independente da possibilidade ou no da converso dos resultados encontrados em termos monetrios.

Um programa de treinamento bem controlado aquele em que fraquezas e falhas so identificadas e corrigidas atravs de feedback negativo e foras e sucessos so identificados e disseminados por meio de feedback positivo. Hamblin (1974) defende que o controle do treinamento representa efetivamente sua administrao, o que acontece por meio da coleta e anlise de dados e da avaliao das informaes com vistas ao processo de tomada de deciso e de diversas aes.

A metodologia apresentada por Hamblin se distingue das metodologias de Kirkpatrick (1998) e de Phillips (1991), ao propor diviso do quarto nvel de avaliao de Kirkpatrick (resultados) em dois outros nveis: nvel 4 (organizao) e 5 (valor definitivo). O autor prope essa separao por acreditar ser importante distinguir as mudanas na maneira de como a organizao funciona, das mudanas que acontecem na medida em que a organizao alcana seus objetivos.

Assim como Kirkpatrick (1998) e Phillips (1991), Hamblin (1974) prope a existncia de uma relao de causa e efeito entre os nveis de avaliao do treinamento. Para o autor, o treinamento provoca reaes nos participantes que podem levar ao seu aprendizado, que

42

podem acarretar em mudana em seu comportamento, que podem provocar mudanas na organizao, que podem levar ao alcance dos objetivos dessa organizao. Essa corrente, segundo o autor, pode ser quebrada em qualquer um de seus elos e o trabalho do avaliador do treinamento consiste em identificar tais rupturas e seus motivos, assim como uma maneira de intervir para san-las.

Hamblin (1974) prope um ciclo de avaliao, demonstrado na figura 3. A figura representa o carter cclico da avaliao e, tambm, a necessidade de se considerar para a avaliao somente os fatores inerentes aos programas de treinamento. As setas que chegam aos efeitos representam variveis diversas externas ao treinamento e que podem influenciar sua avaliao e as setas que partem dos objetivos representam essas mesmas variveis, que, segundo o autor, no devem ser consideradas como resultados da avaliao.

Para o autor, as perguntas em cada nvel devem ser formuladas de acordo com os objetivos do programa e o modelo de avaliao s deve ser alimentado com as respostas das questes inicialmente definidas pelos objetivos. Ao se analisar as sugestes dos autores, essa afirmao de Hamblin (1974) pode ser comparada com as preocupaes expostas por Kirkpatrick (1998) e Phillips (1991) em se isolar as variveis que podem interferir no resultado das avaliaes.

importante notar que as proposies de Hamblin (1974) sugerem uma preocupao prioritria com os impactos dos resultados da avaliao na execuo e adequao dos programas de treinamento. Tal objetivo se mostra menos abrangente que os objetivos das metodologias de Kirkpatrick (1998) e, principalmente, de Phillips (1991), que sugerem que os resultados da avaliao devem ser considerados para tomada de deciso sobre investimentos em programas de treinamento. 43

Treinamento

Objetivos de Reao

Efeitos de Reao

Objetivos de Aprendizagem

Efeitos de Aprendizagem

Objetivos de Mudana de Comportamento

Mudana de Comportamento

Objetivos Organizacionais

Efeitos Organizacionais

Objetivos de Valor Final

Efeitos de Valor Final

Figura 3 O ciclo de avaliao de Hamblin Fonte: Hamblin (1974)

2.2.4

A METODOLOGIA DE PARRY

Parry (1997) tambm sugere que a avaliao dos resultados do treinamento seja feita em quatro nveis. Os nveis apresentados pelo autor so exatamente iguais aos apresentados por Kirkpatrick (1998). Os mtodos de coleta de dados propostos por Parry (1997) tambm so semelhantes aos demais autores j citados anteriormente, porm com uma ateno mais focada na comparao entre antes e depois do treinamento.

44

Para Parry (1997), a avaliao deve ser feita antes e depois do treinamento com foco tanto na melhoria de desempenho individual quanto no alcance de objetivos e padres organizacionais. A tabela 6 apresenta os objetivos das avaliaes antes e aps o treinamento para ambos os focos descritos.

ANTES DO TREINAMENTO - Assegurar que os participantes esto inscritos em treinamentos adequados - Aguar o participante ao lhe mostrar suas foras e necessidades - Determinar nveis de desempenho para mensurar ganhos aps o treinamento

AVALIAO INDIVIDUAL

APS O TREINAMENTO - Certificar, qualificar ou licenciar os participantes - Identificar necessidades para futuros treinamentos e aes de desenvolvimento - Mensurar melhorias provenientes do treinamento e fornecer feedback aos participantes - Ajustar os programas de acordo com seus impactos na organizao - Adequar o oramento destinado a treinamento e desenvolvimento - Adequar a organizao em relao a padres internacionais (ex.: ISO 9000)

AVALIAO ORGANIZACIONAL

- Oferecer cursos relevantes s necessidades organizacionais - Analisar as necessidades do treinamento - Identificar benchmarking para futuras medidas de desempenho

Tabela 6 Benficos da avaliao de antes e aps o treinamento Fonte: Parry (1997)

Uma proposio de Parry (1997) que no est presente nas proposies dos autores anteriormente apresentados a presena de um plano de ao, em que o participante deve elaborar um planejamento de aplicao dos conhecimentos e habilidades aprendidas e, tempos depois (meses), em reunio com seu gestor, reportar as mudanas e metas conquistadas.

importante notar que as proposies dos autores mais conceituados aqui apresentadas apresentam diferenas muito sutis, seja no desenho dos diversos nveis de avaliao propostos, seja na metodologia e ferramentas de coleta de dados.

45

2.3

CONTESTAES A RESPEITO DA HIERARQUIA DOS NVEIS DE AVALIAO DO TREINAMENTO

Clement (1982) conduziu um estudo onde procurou testar a teoria da hierarquia dos nveis de avaliao propostos por Hamblin, especificamente. O estudo, motivado pela ausncia de evidencias empricas que confirmassem a existncia da hierarquia proposta de Hamblin, foi conduzido por meio de testes anteriores e posteriores, realizados em um programa de treinamento e aplicados a um grupo experimental e a um grupo de controle.

Os resultados das avaliaes aplicadas a ambos os grupos foram analisados por meio de regresses lineares e a anlise dos coeficientes suportou apenas parcialmente a hierarquia dos resultados de treinamento sugerida por Hamblin. Como esperado por Clement (1982), foi diagnosticada uma correlao positiva entre os nveis de reao, aprendizagem e mudana de comportamento no trabalho. Quanto aos outros nveis de avaliao, nvel 4 (mudanas organizacionais) e nvel 5 (valor final), no foram encontrados dados que provassem a existncia de correlao significativa.

Em suas concluses sobre o estudo, Clement (1982) sugere que a hierarquia proposta por Hamblin valida, desde que os responsveis pela anlise dos resultados das avaliaes considerem variveis externas aos programas de treinamento que possam interferir nos resultados das avaliaes. O autor ento prope que o modelo hierrquico seja redesenhado de forma a considerar outras variveis que possam impactar os resultados, de acordo com a figura 4.

46

VARIVEIS ORGANIZACIONAIS

Ambiente interno gerentes, pares e polticas organizacionais Ambiente externo flutuaes na economia, regulao governamental

MUDANA DE COMPORTAMENTO
Ausncia de oportunidade para aplicao do treinamento no trabalho. Inexistncia de similaridade entre o ambiente do treinamento com o ambiente de trabalho

APRENDIZAGEM

REAO

Compreenso do treinamento pelos participantes Motivao dos participantes Oportunidades de pratica e feedback fornecidas durante o treinamento

Figura 4 Reviso da hierarquia de avaliao do treinamento Fonte: Clement (1982)

Em suma, Clement (1982), aps analisar a correlao existente entre a hierarquia de avaliao proposta pro Hamblin, sugere um modelo estendido, capaz induzir os profissionais a analisar de uma maneira mais abrangente tanto contexto inicial em que os participantes dos programas esto inseridos e o ambiente a que esses participantes iro retornar aps participarem dos programas.

Estudos conduzidos por Alliger & Janak (1989) e Alliger et al (1997) procuraram analisar algumas informaes implcitas ao modelo de Kirkpatrick como a atribuio de importncia crescente s informaes geradas por cada nvel hierrquico de avaliao e a relao de causalidade entre os nveis propostos.

47

Alliger & Janak (1989) analisaram 203 artigos publicados em peridicos selecionados entre 1959 e 1988 onde procuraram investigar afirmaes dos autores sobre a verificao de existncia de correlao entre os nveis de avaliao de Kirkpatrick. Os resultados encontrados pelos autores por meio de regresso linear apontam para o fato de que o nvel 1 (reao) possui correlao muito baixa com os demais nveis de avaliao. Por outro lado, os nveis 2 (aprendizagem), 3 (mudana de comportamento) e 4 (resultados) apresentam correlao positiva significativa.

Alliger & Janak (1989) sugerem uma adaptao ao modelo de Kirkpatrick, onde no seja assumida a relao do nvel 1 (reao) com os demais nveis e em que se considere a influncia do nvel 4 (resultados) em relao ao nvel 3 (mudana de comportamento), na medida em que resultados favorveis estimulam a mudana de comportamento e vice versa.

Em outro estudo realizado com o objetivo de se testar a existncia de correlao entre os nveis de avaliao propostos por Kirkpatrick, Alliger et al (1997), dividiu os nveis de avaliao em diferentes categorias, criando uma nova taxonomia para o modelo. Em funo dessa nova taxonomia, foram examinadas as relaes de causalidade entre os nveis a partir de uma atualizao de artigos selecionados no estudo anterior. A taxonomia proposta para os critrios e suas diferenas em relao proposta de Kirkpatrick est demonstrada relacionada na figura 5.

48

TAXONOMIA DE KIRKPATRICK REAO

ESTRUTURA AMPLIADA REAO 1. Reao emocional (atitudes) 2. Julgamento de utilidade APRENDIZAGEM 1. Entendimento imediato 2. Reteno de conhecimento 3. Demonstrao de habilidades TRANSFERNCIA RESULTADOS

APRENDIZAGEM

MUDANA DE COMPORTAMENTO RESULTADOS

Figura 5 Taxonomia dos nveis de avaliao de Alliger et al Fonte: Alliger et al (1997)

O estudo revelou a existncia de uma maior correlao entre o julgamento de utilidade (no nvel de reao) e as mudanas de comportamento no trabalho, o que pode sustentar a afirmao de que o julgamento de utilidade pode ser mais proveitoso que a reao emocional ao se tentar predizer as mudanas de comportamento no trabalho.

Surpreendentemente, segundo os autores, o julgamento de utilidade apresentou maior correlao com as mudanas de comportamento no trabalho do que as medidas de entendimento imediato e de reteno de conhecimento, possivelmente porque medidas objetivas de aprendizagem indicam se os participantes aprenderam efetivamente, mas no capturam se esses participantes estaro aptos a utilizar o contedo aprendido no trabalho.

Em particular, a reao emocional no apresenta correlao significativa com qualquer outro critrio de avaliao apresentado. Alliger et al (1997) recomenda que, caso as organizaes desejem utilizar os resultados encontrados no nvel de reao para prever mudanas de comportamento no trabalho, melhor que os componentes deste (reao emocional e julgamento de utilidade) sejam analisados separadamente.

49

A concluso dos autores que os critrios contidos nos nveis de avaliao, amplamente divulgados e utilizados atualmente, tanto pela academia tanto pelas organizaes, so confiveis.

2.4

CONSIDERAES SOBRE AS METODOLOGIAS

Pode-se notar, aps a apresentao dos estudos que buscaram questionar a metodologia dos nveis de avaliao propostas primeiramente por Kirkpatrick e logo aps por Hamblin, Parry e Phillips, que tais metodologias podem ser consideradas vlidas e confiveis, uma vez que as contestaes aqui apresentadas no comprovam a ineficcia ou invalidam sua utilizao.

Dessa forma, na inteno de simplificar o instrumento da pesquisa e ao mesmo tempo utilizar os conceitos das metodologias de avaliao mais relevantes no contexto atual, sero adotadas, como referncia deste estudo, as idias propostas por Kirkpatrick (1998) e Phillips (1991). Entende-se que as consideraes dos demais autores apresentados, apesar de teis e relevantes, no se distanciam significativamente dos conceitos propostos pelos autores selecionados.

Cabe retomar o objetivo geral deste trabalho, que examinar as metodologias de mensurao de resultados de T&D constantes na literatura e sua aplicao nas empresas brasileiras, e esclarecer que a verificao das praticas empresariais brasileiras ser feita luz das metodologias de Kirkpatrick (1998) e Phillips (1991).

50

3 METODOLOGIA

Este captulo busca apresentar o modo como ser conduzido o processo de pesquisa do presente estudo. So analisados os principais conceitos acerca dos fins e meios de pesquisa constantes na literatura e justificada a escolha da metodologia a ser utilizada para a consecuo dos objetivos do trabalho.

3.1

TIPO DE PESQUISA

Com base no referencial consultado o presente trabalho pode ser caracterizado, de acordo com seu objetivo, com uma pesquisa descritiva. Sua inteno buscar descrever o comportamento dos fenmenos e obter informaes sobre caractersticas de um determinado problema ou questo. Segundo Collis e Husseey (2005), o tipo de pesquisa que avalia e descreve as caractersticas das questes pertinentes de um problema.

De acordo com o processo, a pesquisa pode ser classificada como quantitativa, pois focada na mensurao de fenmenos por meio de coleta e anlise de dados numricos e aplicao de testes estatsticos. (Collis & Hussey, 2005).

51

Quanto aos resultados pode ser caracterizada como bsica, pois conduzida para aumentar o entendimento de uma questo, sem nfase em sua aplicao imediata. Seu objetivo contribuir para o conhecimento, ao invs de resolver um problema especfico para uma organizao, por exemplo. (Collis & Hussey, 2005).

Sua lgica dedutiva, pois apresenta estrutura conceitual e terica e desenvolvida e testada pela observao emprica. O mtodo dedutivo, assim como a inteno da presente pesquisa, caminha do geral para o particular. (Collis & Hussey, 2005).

3.2

ESCOLHA DA BASE DE DADOS

Foi determinada como populao de interesse deste estudo, as 500 primeiras empresas classificadas de acordo com o indicador Riqueza criada por empregado pela publicao Maiores e Melhores: as 500 maiores empresas do pas do ano de 2007 da Revista Exame. Para anlise de tais informaes, a publicao levou em conta a avaliao de dados de mais de 3.500 empresas, dentre elas: - Empresas que publicaram demonstraes contbeis no Dirio Oficial dos Estados at o dia 15 de maio de 2007. - Empresas de porte significativo e bem conhecidas no mercado que no divulgaram resultados, mas tiveram faturamento estimado por analistas da revista; - Companhias limitadas que enviaram resultados para a revista

52

O indicador Riqueza criada por empregado calculado dividindo-se a contribuio da empresa na formao do produto interno bruto do pas, j deduzida a depreciao, pela media aritmtica do nmero de empregados, sem levar em conta eventuais servios terceirizados. De acordo com a revista Exame (2007), esse indicador serve para mostrar a produtividade dos trabalhadores.

Como a produtividade dos trabalhadores um fator que pode ser diretamente relacionado sua capacitao, entende-se que as empresas analisadas como sendo as 500 mais produtivas do pas constituam uma base de dados qualificada para o objetivo deste estudo.

3.3

INSTRUMENTO DE COLETA DE DADOS

Kirkpatrick & Catalanello (1968) realizaram um estudo onde procurou analisar as tcnicas correntes de avaliao do treinamento utilizadas pelas organizaes americanas. Os autores adotaram como guia para a anlise proposta, a metodologia dos quatro nveis de avaliao de Kirkpatrick.

Em funo da similaridade de natureza e objetivos com a pesquisa realizada por Kirkpatrick & Catalanello (1968), o presente estudo adotar, como instrumento de coleta de dados, uma adaptao do questionrio utilizado pelos autores em seu trabalho. Tal adaptao se deve principalmente ao fato de que, na ocasio do estudo, no foram analisadas questes sobre o quinto nvel de avaliao (ROI de treinamento), proposto posteriormente por Phillips (1991).

53

O propsito da pesquisa de Kirkpatrick & Catalanello (1968) foi determinar em que extenso os quatro nveis de avaliao estavam sendo utilizados pelas organizaes. O propsito deste trabalho verificar, alm da utilizao dos quatro nveis pesquisados pelos autores supracitados, em que extenso o quinto o quinto nvel de avaliao est sendo utilizado pelas empresas pesquisadas.

De acordo com Coopler & Schindler (2003), para a elaborao de um questionrio, importante ter em conta as habilitaes do pblico alvo a quem ele ir ser administrado. Destaca-se que o conjunto de questes deve ser muito bem organizado e conter uma forma lgica para quem a ele responde. Dessa forma, a fim de garantir a adequao do questionrio a ser enviado aos objetivos do estudo e ao entendimento do pblico de destino (profissionais de Recursos Humanos) foi realizada uma aplicao piloto, ou seja, um teste de questionrio.

O teste de questionrio buscou verificar a adequao dos enunciados das perguntas realidade de profissionais de Recursos Humanos das empresas. Para tal, o questionrio foi enviado a 35 profissionais de Recursos Humanos da Petrleo Brasileiro S.A Petrobras, empresa petrolfera brasileira. O pblico alvo do teste foi escolhido em funo da facilidade de acesso da autora.

Para o teste, questionrio foi enviado na ntegra, com as perguntas que posteriormente foram feitas s empresas, e foram adicionadas, ao final, perguntas sobre a clareza dos enunciados, sobre o tempo aproximado de resposta do questionrio e um campo para sugestes de melhoria. O questionrio utilizado no teste est apresentado no apndice A. Em 2 dias em que o questionrio ficou disponvel, 18 profissionais responderam s questes.

54

Quanto aos resultados da aplicao do teste de questionrio, em relao adequao da ferramenta, linguagem e tempo de resposta, foram obtidos os seguintes dados: 93% dos respondentes afirmaram considerar os enunciados das perguntas suficientemente claros. Em mdia, os profissionais levaram aproximadamente 6 minutos para responder, com desvio padro de aproximadamente 3 minutos. Os respondentes tambm relataram algumas sugestes de melhoria, que, em sua maioria, foram incorporadas ao questionrio definitivo.

O teste de questionrio se revelou muito til, pois com base na observao do padro de resposta dos profissionais foi possvel incluir algumas modificaes necessrias ao bom entendimento dos enunciados. O questionrio definitivo, modificado em funo do teste e que dever ser utilizado na coleta de dados deste estudo, est apresentado no apndice B.

3.4

LEVANTAMENTO DOS DADOS

O levantamento dos dados consistiu no envio do questionrio em meio eletrnico aos profissionais de Recursos Humanos das 500 empresas supracitadas. O questionrio foi elaborado e hospedado em um website especializado na realizao de pesquisas1. Foram enviadas mensagens de correio eletrnico aos participantes contendo um link para acesso e resposta ao questionrio on-line. Optou-se por essa forma de envio devido grande quantidade de empresas pesquisadas e facilidade de acesso, assim como a possibilidade de visualizao das respostas em tempo real.

www.surveymonkey.com

55

O questionrio ficou disponvel durante 15 dias, entre os dias 21 de julho a 01 de agosto de 2008, perodo em que foram obtidas respostas completas de 66 empresas. As empresas que responderam parcialmente ao questionrio foram desconsideradas para fins de anlise dos resultados. A apresentao e anlise dos dados encontrados esto demonstradas no Captulo 4.

importante observar que os dados coletados para o processo de anlise so fruto de respostas de uma parte da populao estudada, ou seja, de uma amostra. Dessa forma, para apresentar qualquer estimativa acerca dos parmetros dessa populao, faz-se necessria a utilizao dos conceitos da inferncia estatstica. A inferncia estatstica representa o processo de utilizao de resultados de amostras, visando tirar as concluses sobre as caractersticas de uma populao (Levine et al, 2005).

Para determinar o tamanho da amostra necessrio realizao de estimativas confiveis acerca dos valores das mdias da populao, foi utilizada a equao para determinao do tamanho da amostra para populaes finitas, apresentada na figura 6, que, de acordo com Levine et al (2005), deve ser utilizada em situaes onde o pesquisador no tem informaes prvias sobre a distribuio e do desvio padro da populacionais em estudo.

n=

N . s2 . (Za/2)2 (N-1) . E2 + s2 . (Za/2)2

n = tamanho da amostra N = tamanho da populao s = desvio padro da amostra Za/2 = valor crtico que corresponde ao grau de confiana E = Margem de Erro. Identifica a diferena mxima entre a mdia amostral e a verdadeira mdia populacional

Figura 6 Equao para clculo do tamanho da amostra para populaes finitas Fonte: Levine et al (2005)

56

Optou-se trabalhar com um grau de confiana de 95%, por se tratar do valor mais comumente utilizado em diversos estudos. Como margem de erro para estimativa, considerou-se aceitvel o valor de 10%, para mais ou para menos.

Considerando que o desvio padro da populao desconhecido, foram utilizados, para clculo do tamanho da amostra, os valores de desvio padro encontrados na aplicao do questionrio. importante observar que, como o clculo do tamanho da amostra leva em considerao valores de mdias amostrais, no possvel determinar um tamanho ideal nico de amostra para todos os parmetros observados no estudo. A tabela 7 demonstra os tamanhos de amostra necessrios para estimar a mdia populacional de cada um dos parmetros, assim como os valores utilizados para calcul-los.

PARMETRO

REAO

APRENDIZAGEM

MUDANA DE COMPORTAMENTO

RESULTADOS

ROI

N s Z/2 E

500 32% 1,96 10%

500 36% 1,96 10%

500 37% 1,96 10%

500 42% 1,96 10%

500 26% 1,96 10%

36 46 48 59 25 n Tabela 7 Determinao dos tamanhos de amostras para estimao da mdia populacional Fonte: Autora (2008)

Dessa forma, nota-se que o nmero de respondentes, 66 empresas, superior ao tamanho de amostra necessrio estimao de qualquer um dos parmetros analisados, e que, portanto, podem ser feitas inferncias confiveis acerca da populao estudada.

A fim de aumentar as chances de estimar corretamente os parmetros populacionais, preciso calcular os intervalos que tenham confiana ou probabilidade especificada de estar estimando corretamente tais valores. Para o clculo dos intervalos de confiana considerados para cada

57

parmetro, foi utilizada a equao demonstrada na figura 7. Segundo Levine et al (2005), essa equao dever ser utilizada em situaes onde no existam informaes sobre o desvio padro populacional e onde o tamanho da amostra seja maior que 30.

( x - t . s x) < < ( x + t . s x)
x = mdia amostral t = valor que corresponde ao grau de confiana na distribuio de Student sx = erro padro = mdia populacional

Figura 7 Equao para clculo do intervalo de confiana Fonte: Levine et al (2005)

Os intervalos de confiana calculados para estimativa da mdia de aplicao de cada nvel de avaliao sero apresentados no captulo 4, juntamente com uma anlise detalhada dos resultados encontrados na pesquisa.

3.5

LIMITAES DA PESQUISA

A respeito da base de dados, no possvel afirmar se a produtividade observada nas empresas a serem pesquisadas fruto somente da capacitao, ou seja, do investimento em T&D dessas organizaes. Uma medida que poderia minimizar a dvida em relao importncia dos investimentos em T&D de uma organizao seria utilizar um indicador diretamente relacionado a seus investimentos em T&D. Poderiam fazer parte da base de dados, por exemplo, as empresas brasileiras que apresentam os maiores valores mdios anuais de investimento em treinamento por empregado.

58

Ocorre que as empresas no costumam publicar tal informao em suas demonstraes contbeis tradicionais, tampouco informaes sobre o montante gasto em T&D durante o exerccio. Dessa forma, na ausncia de indicadores mais precisos sobre o tema, considera-se que a informao disponvel e classificada das empresas mais produtivas do pas seja uma boa base de dados para a aplicao do questionrio.

Outra limitao o fato de no ser possvel generalizar os dados obtidos para o universo das empresas brasileiras, uma vez que a base de dados escolhida para a pesquisa pode apresentar algum vis em funo da seleo das empresas consideradas as mais produtivas do pas.

Apesar da realizao do teste de questionrio com profissionais de Recursos Humanos ter indicado que 93% desses profissionais consideraram os enunciados das perguntas suficientemente claros e adequados sua realidade, pode ter havido algum erro de interpretao das questes durante a fase de coleta de dados.

No obstante ao fato de que todos os respondentes da pesquisa se declararam profissionais de Recursos Humanos e apesar dos enunciados do questionrio descreverem os contedos de cada tipo de avaliao sobre a qual os respondentes estavam sendo indagados, a ausncia de entendimentos uniformes sobre as proposies dos autores pode ter prejudicado as respostas coletadas por meio do questionrio.

59

4 APRESENTAO E ANLISE DOS DADOS

Pretende-se traar um paralelo entre os resultados encontrados pela pesquisa e a relao de aplicao dos cinco nveis de avaliao considerada ideal por Phillips & Phillips (2005) a partir de uma pesquisa realizada pelos autores em conjunto com o Government Accountability Office (GAO) dos Estados Unidos e o Wachovia Bank. A tabela 5, previamente apresentada no captulo 2, demonstra a porcentagem ideal de cada nvel de avaliao: nvel 1 Reao: 100%; nvel 2 Aprendizagem: 60%; nvel 3 Mudana de Comportamento: 30%; nvel 4 Resultados: entre 10 e 20%; nvel 5 ROI: entre 5 e 10%.

Ao final da aplicao do teste de questionrio, foram recebidas respostas de 66 empresas. A distribuio da amostra por setor da economia est demonstrada no grfico 1. De acordo com o grfico, pode-se notar uma preponderncia de respostas de empresas do setor de servios pblicos e do setor de alimentos, bebidas e fumo.

60

sede no estado de So Paulo.

notar, atravs da observao do grfico, que a amostra predominantemente de empresas com

O grfico 2 demonstra a distribuio da amostra por unidade federativa brasileira. Pode-se

23%

SERVIOS PBLICOS ALIMENTOS, BEBIDAS E FUMO SERVIOS DIVERSOS

At R$10 mil

2%

15%

9%

Entre R$10 e R$50 mil

Grfico 1 Distribuio da amostra por setor da economia Fonte: Dados da pesquisa (2008) respondentes por Setor da Economia

9%

ATACADO E COMRCIO EXTERIOR CONSTRUO ELETROELETRNICO SIDERURGIA E METALURGIA PAPEL E CELULOSE QUMICA E PETROQUMICA COMRCIO VAREJISTA DIVERSOS FARMACUTICO, HIGIEN E E COSMTICOS MECNICA SERVIOS DE TRANSPORTE MATERIAL DE CONSTRUO MINERAO TECNOLOGIA E COMPUTAO

6%

Grfico 2 Distribuio da amostra por investimento em T&D Fonte: Dados da pesquisa (2008)

Entre R$50 e R$100 mil Entre R$100 e R$200 mil Entre R$200 e R$400 mil Entre R$400 mil e R$1 milho Entre R$1 a R$5 milhes Entre R$5 e R$20 milhes Acima de R$20 milhes

6%

8% 11% 11% 14% 26% 14% 5%

6% 6% 5% 5% 3% 3% 3% 3% 3% 2% 2%

Sem resposta

2%

2%

61

O grfico 2 demonstra o montante de investimento em T&D das empresas respondentes da pesquisa. Analisando o grfico possvel notar que a 26% dessas empresas investem entre R$ 1 milho a R$ 5 milhes em seus programas de treinamento, enquanto 14% investem entre R$ 5 milhes e R$ 20 milhes e outros 14% investem entre R$ 400 mil a R$ 1 milho. Tais dados podem demonstrar significativa participao do T&D em seus oramentos.

Quanto natureza do controle acionrio das empresas respondentes, a grande maioria, 70%, tem controle acionrio brasileiro e estatal. importante destacar, no entanto, que, aps a anlise das respostas coletadas, no foi possvel estabelecer qualquer tipo de correlao significativa entre os padres de respostas e as caractersticas das empresas respondentes, como setor da economia, montante de investimento em T&D ou composio acionria.

4.1

NVEL 1 REAO

Dentre os respondentes do questionrio, 51% dos profissionais afirmaram que sua organizao avalia a reao dos participantes em todos os treinamentos oferecidos, 13% responderam que a de reao dos participantes aplicada em apenas alguns tipos especficos de treinamentos e 1% respondeu no avaliar a reao dos participantes em qualquer um dos treinamentos oferecidos. O grfico 3 demonstra os dados encontrados.

62

SUA ORGANIZAO AVALIA A REAO DOS PARTICIPANTES AOS PROGRAMAS DE TREINAMENTO? 2% 20% Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No

78%

Grfico 3 Quadro geral de utilizao da avaliao de reao Fonte: Dados da pesquisa (2008)

A fim de determinar o intervalo de confiana para estimar a mdia de treinamentos avaliados no nvel 1 Reao, foram atribudos valores s respostas apresentadas acima. Para as respostas Sim, para todos os tipos de treinamento, foi considerado que 100% dos treinamentos so avaliados neste nvel. Para as respostas Sim, para alguns treinamentos especficos, foi solicitado ao respondente indicar a porcentagem representada pelos treinamentos avaliados. Para as respostas No, foi considerado que 0% dos treinamentos so avaliados neste nvel.

Dessa forma, conclui-se com a observao da amostra que, em mdia, 84% dos treinamentos so avaliados no nvel 1 Reao. O desvio padro observado nas respostas foi de 32%. Utilizando o clculo para determinao do intervalo de confiana demonstrado anteriormente, pode-se afirmar, com 95% de certeza, que, em mdia, entre 76% e 92% dos treinamentos da populao avaliada so avaliados no nvel 1 Reao.

Para os respondentes que afirmaram que a avaliao de reao aplicada em penas alguns tipos de treinamento especficos, foi solicitada a informao sobre tipo de treinamento em que

63

a avaliao aplicada. Tais respostas, sobre os tipos de treinamento avaliados, esto demonstradas a seguir: Programas piloto

Treinamentos com alto investimento Treinamentos de Longa Durao Treinamentos de Segurana Industrial Treinamentos estratgicos Treinamentos gerenciais Treinamentos In Company Treinamentos operacionais

As respostas acima sobre os tipos de treinamento avaliados no permitem qualquer concluso, j que existem diversos tipos de treinamento relatados, sem preponderncia de um tipo sobre os demais.

Conclui-se, atravs da anlise dos dados coletados, que a populao estudada aplica a avaliao de nvel 1 Reao, em uma faixa entre 76% e 92% dos treinamentos realizados. Tal intervalo apresenta um padro de avaliao de reao abaixo de 100%, nvel considerado ideal por Phillips & Phillips (2005).

4.2

NVEL 2 APRENDIZAGEM

Dentre os respondentes do questionrio, 10% dos profissionais afirmaram que sua organizao avalia a aprendizagem dos participantes em todos os treinamentos oferecidos, 43% responderam que a de aprendizagem dos participantes aplicada em apenas alguns 64

tipos especficos de treinamentos e 13% responderam no avaliar a aprendizagem dos participantes em qualquer um dos treinamentos oferecidos. O grfico 4 demonstra os dados encontrados.

Grfico 4 Quadro geral de utilizao da avaliao de reao Fonte: Dados da pesquisa (2008)

A fim de determinar o intervalo de confiana para estimar a mdia de treinamentos avaliados no nvel 2 Aprendizagem, foram atribudos valores s respostas apresentadas acima. Para as respostas Sim, para todos os tipos de treinamento, foi considerado que 100% dos treinamentos so avaliados neste nvel. Para as respostas Sim, para alguns treinamentos especficos, foi solicitado ao respondente indicar a porcentagem representada pelos treinamentos avaliados. Para as respostas No, foi considerado que 0% dos treinamentos so avaliados neste nvel.

Dessa forma, conclui-se com a observao da amostra que, em mdia, 36% dos treinamentos so avaliados no nvel 2 Aprendizagem. O desvio padro observado nas respostas foi de 36%. Utilizando o clculo para determinao do intervalo de confiana demonstrado anteriormente, pode-se afirmar, com 95% de certeza, que, em mdia, entre 26% e 45% dos treinamentos da populao avaliada so avaliados no nvel 2 Aprendizagem.

65

Para os respondentes que afirmaram que a avaliao de aprendizagem aplicada em penas alguns tipos de treinamento especficos, foi solicitada a informao sobre tipo de treinamento em que a avaliao aplicada. Tais respostas, sobre os tipos de treinamento avaliados, esto demonstradas a seguir: Cursos de idiomas Programas de formao profissional Programas Piloto Treinamentos com alto investimento Treinamentos de exigncias legais e de auditoria Treinamentos de Longa Durao Treinamentos de Segurana Treinamentos e-learning Treinamentos estratgicos Treinamentos gerenciais Treinamentos In Company Treinamentos operacionais Treinamentos que exijam certificao Treinamentos tcnicos

Assim como para a avaliao de reao, as respostas acima sobre os tipos de treinamento avaliados no permitem qualquer concluso, j que existem diversos tipos de treinamento relatados, sem preponderncia de um tipo sobre os demais.

Nos casos onde a avaliao de aprendizagem dos participantes realizada, as respostas sobre as formas dessa avaliao esto apresentadas a seguir, na figura 8.

66

Que tipo de teste utilizado para avaliar os conhecimentos adquiridos? Escritos Verbais Outro Os testes so aplicados imediatamente aps a concluso do programa? Sim No So aplicados testes para avaliar o conhecimento prvio dos participantes? Sim No 42% 58% 81% 19% 98% 2% 0%

So utilizados grupos de controle, ou seja, so feitas comparaes entre grupos semelhantes que receberam o treinamento e que no receberam? Sim 8% No Os dados encontrados so analisados estatisticamente? Sim No 74% 26% 92%

Figura 8 Avaliao de aprendizagem: formas de coleta e anlise de dados Fonte: Dados da pesquisa (2008)

A anlise da figura 8 demonstra alguns pontos de ateno em relao forma de avaliao de aprendizagem proposta pro Kirkpatrick (1998). O autor prope que a avaliao de aprendizagem seja aplicada logo aps a realizao do treinamento, e, de acordo com os dados da amostra, 81% das empresas pesquisadas procedem dessa maneira. Outra proposio do autor a aplicao de testes para avaliao de conhecimentos prvios dos participantes. De acordo com os dados da amostra, 42% das empresas pesquisadas realizam tal tipo de teste.

Quanto proposio de Kirkpatrick (1998) de utilizar grupos de controle como forma de assegurar que a aprendizagem se deu realmente em funo do treinamento, apenas 8% das empresas pesquisadas utilizam tal recurso. Outra proposio importante diz respeito anlise

67

estatstica dos dados e, de acordo com os dados observados, 74% das empresas pesquisadas realizam tal anlise.

Conclui-se, atravs da anlise dos dados coletados, que a populao estudada aplica a avaliao de nvel 2 Aprendizagem, em uma faixa entre 26% e 45% dos treinamentos realizados. Tal intervalo apresenta um padro de avaliao de aprendizagem abaixo de 60%, considerado ideal por Phillips & Phillips (2005).

importante observar que, alm do padro de avaliao encontrado se situar abaixo do nvel considerado ideal por Phillips & Phillips (2005), os instrumentos utilizados para a realizao da avaliao e as formas dessa avaliao no so totalmente aderentes s proposies de Kirkpatrick (1998).

4.3

NVEL 3 MUDANA DE COMPORTAMENTO

Dentre os respondentes do questionrio, 9% dos profissionais afirmaram que sua organizao avalia a mudana de comportamento dos participantes em todos os treinamentos oferecidos, 31% responderam que a avaliao da mudana de comportamento dos participantes aplicada em apenas alguns tipos especficos de treinamentos e 26% responderam no avaliar a mudana de comportamento dos participantes em qualquer um dos treinamentos oferecidos. O grfico 5 demonstra os dados encontrados.

68

SUA ORGANIZAO PROCURA AVALIAR AS MUDANAS DE COMPORTAMENTO NO TRABALHO APRESENTADAS PELOS PARTICIPANTES DE PROGRAMAS DE TREINAMENTO? 20% 15%

Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No

65%

Grfico 5 Quadro geral de utilizao da avaliao de mudana de comportamento Fonte: Dados da pesquisa (2008)

A fim de determinar o intervalo de confiana para estimar a mdia de treinamentos avaliados no nvel 3 Mudana de Comportamento, foram atribudos valores s respostas apresentadas acima. Para as respostas Sim, para todos os tipos de treinamento, foi considerado que 100% dos treinamentos so avaliados neste nvel. Para as respostas Sim, para alguns treinamentos especficos, foi solicitado ao respondente indicar a porcentagem representada pelos treinamentos avaliados. Para as respostas No, foi considerado que 0% dos treinamentos so avaliados neste nvel.

Dessa forma, conclui-se com a observao da amostra que, em mdia, 29% dos treinamentos so avaliados no nvel 3 Mudana de Comportamento. O desvio padro observado nas respostas foi de 37%. Utilizando o clculo para determinao do intervalo de confiana demonstrado anteriormente, pode-se afirmar, com 95% de certeza, que, em mdia, entre 19% e 39% dos treinamentos da populao avaliada so avaliados no nvel 3 Mudana de Comportamento.

Para os respondentes que afirmaram que a avaliao de mudana de comportamento aplicada em penas alguns tipos de treinamento especficos, foi solicitada a informao

69

sobre tipo de treinamento em que a avaliao aplicada. Tais respostas, sobre os tipos de treinamento avaliados, esto demonstradas a seguir: Programas Piloto

Treinamentos com alto investimento Treinamentos comportamentais Treinamentos estratgicos Treinamentos gerenciais Treinamentos operacionais Treinamentos tcnicos

Assim como para os nveis anteriores, as respostas acima sobre os tipos de treinamento avaliados no permitem qualquer concluso, j que existem diversos tipos de treinamento relatados, sem preponderncia de um tipo sobre os demais.

Nos casos onde a avaliao de mudana de comportamento dos participantes realizada, as respostas sobre as formas dessa avaliao esto apresentadas a seguir, na figura 9.

70

So utilizadas entrevistas de participantes? Sim No So utilizadas entrevistas com os subordinados dos participantes? Sim No So utilizadas entrevistas com os superiores dos participantes? Sim No So utilizados outros tipos de avaliao? No Sim

38% 63%

26% 74%

60% 40%

78% 23%

Em quanto tempo aps a concluso do programa de treinamento as mudanas de comportamento no trabalho dos participantes so medidas? 1 ms ou menos Entre 1 e 3 meses Entre 3 e 6 meses Entre 6 meses e 1 ano Varia 10% 36% 18% 3% 33%

So utilizados grupos de controle, ou seja, so feitas comparaes entre grupos semelhantes que receberam o treinamento e que no receberam? Sim No Os dados encontrados so analisados estatisticamente? Sim No 68% 32% 10% 90%

Figura 9 Avaliao de mudana de comportamento: formas de coleta e anlise de dados Fonte: Dados da pesquisa (2008)

A anlise da figura 9 demonstra alguns pontos de ateno em relao forma de avaliao de aprendizagem proposta pro Kirkpatrick (1998). O autor prope que a avaliao de mudana de comportamento seja realizada por meio de entrevistas com os prprios participantes, seus superiores hierrquicos e seus subordinados. De acordo com os dados da amostra, 38%

71

realizam entrevistas com os participantes, 60% realizam entrevistas com os superiores hierrquicos dos participantes e 26% realizam entrevistas com os subordinados dos participantes.

Kirkpatrick (1998) afirma que preciso esperar algum tempo para aplicao da avaliao de mudana de comportamento. Para o autor, preciso que o participante tenha tido oportunidade para colocar em pratica o que aprendeu no treinamento, e, portanto, modificar seu comportamento. Dessa forma, no se pode fazer uma anlise comparativa deste fator, uma vez que, na opinio do autor, os avaliadores devem avaliar, em cada situao, o tempo necessrio para que a mudana de comportamento do participante possa ser observada.

Quanto proposio de Kirkpatrick (1998) de utilizar grupos de controle como forma de assegurar que a aprendizagem se deu realmente em funo do treinamento, apenas 10% das empresas pesquisadas utilizam tal recurso. Outra proposio importante diz respeito anlise estatstica dos dados e, de acordo com os dados observados, 68% das empresas afirmam realizar tal anlise.

Conclui-se, atravs da anlise dos dados coletados, que a populao estudada aplica a avaliao de nvel 3 Mudana de Comportamento, em uma faixa entre 19% e 39% dos treinamentos realizados. Tal intervalo contm o padro de avaliao proposto por Phillips & Phillips (2005) que de 30%.

importante observar que, apesar da mdia de utilizao da avaliao de aprendizagem ser satisfatria de acordo com os nveis considerados ideais por Phillips & Phillips (2005), os

72

instrumentos utilizados para a realizao da avaliao no so totalmente aderentes s proposies de Kirkpatrick (1998).

4.4

NVEL 4 RESULTADOS

Dentre os respondentes do questionrio, 16% dos profissionais afirmaram que sua organizao avalia os resultados alcanados em todos os treinamentos oferecidos, 33% responderam que a avaliao de resultados aplicada em apenas alguns tipos especficos de treinamentos e 17% responderam no avaliar os resultados dos participantes em qualquer um dos treinamentos oferecidos. O grfico 6 demonstra os dados encontrados.

SUA ORGANIZAO PROCURA AVALIAR SE OS PROGRAMAS DE TREINAMENTO ESTO TRAZENDO OS RESULTADOS ESPERADOS? 15% Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No

20%

65%

Grfico 6 Quadro geral de utilizao da avaliao de resultados Fonte: Dados da pesquisa (2008)

A fim de determinar o intervalo de confiana para estimar a mdia de treinamentos avaliados no nvel 4 Resultados, foram atribudos valores s respostas apresentadas acima. Para as respostas Sim, para todos os tipos de treinamento, foi considerado que 100% dos treinamentos so avaliados neste nvel. Para as respostas Sim, para alguns treinamentos

73

especficos, foi solicitado ao respondente indicar a porcentagem representada pelos treinamentos avaliados. Para as respostas No, foi considerado que 0% dos treinamentos so avaliados neste nvel.

Dessa forma, conclui-se com a observao da amostra que, em mdia, 45% dos treinamentos so avaliados no nvel 4 Resultados. O desvio padro observado nas respostas foi de 42%. Utilizando o clculo para determinao do intervalo de confiana demonstrado anteriormente, pode-se afirmar, com 95% de certeza, que, em mdia, entre 34% e 56% dos treinamentos da populao avaliada so avaliados no nvel 4 Resultados.

Para os respondentes que afirmaram que a avaliao de resultados aplicada em penas alguns tipos de treinamento especficos, foi solicitada a informao sobre tipo de treinamento em que a avaliao aplicada. Tais respostas, sobre os tipos de treinamento avaliados, esto demonstradas a seguir: Programas Piloto

Treinamentos de segurana Treinamentos com alto investimento Treinamentos com escopo da ISO 9000 Treinamentos de vendas Treinamentos gerenciais Treinamentos operacionais Treinamentos tcnicos

Assim como para os nveis anteriores, as respostas acima sobre os tipos de treinamento avaliados no permitem qualquer concluso, j que existem diversos tipos de treinamento relatados, sem preponderncia de um tipo sobre os demais.

74

Nos casos onde a avaliao de resultados dos participantes realizada, as respostas sobre as formas dessa avaliao esto apresentadas a seguir, na figura 10.

De que forma os resultados so mensurados? SUBJETIVAMENTE (observaes, entrevistas, questionrios) OBJETIVAMENTE (anlises de relatrios de produo, rotatividade de pessoal, custos de produo) Que tipo de resultados so mensurados? OUTPUT (unidades produzidas, relatrios processados, estudantes graduados, Numeros de (perdas, defeitos, acidentes, faltas) QUALIDADEembarques) CUSTOS (variaes no oramento, custos unitrios, custos operacionais, despesas de vendas) TEMPO (tempo de resposta, de processamento, de superviso, de reunies) HBITOS DE TRABALHO (abstentesmo, atrasos, primeiros socorros, comunicao) CLIMA (nmero de greves, reclamao de empregados, turnover, comprometimento) SATISFAO (satisfao no trabalho, dos clientes, lealdade dos empregados, confiabilidade) NOVAS HABILIDADES (decisoes tomadas, problemas resolvidos, conflitos evitados, queixas resolvidas) DESENVOLVIMENTO (nmero de promoes, de aumentos, requisies de transferncia, avaliaes de desempenho) formas de coleta e dados analisados Figura 10 Avaliao de resultado: Fonte: Dados da pesquisa (2008) 72%

28%

Quanto forma de avaliao de resultados e sobre que tipos de resultados so analisados, no h um modelo sugeridos pelos autores, uma vez que tal avaliao deve refletir principalmente uma preocupao com o alcance do objetivo de cada treinamento e suas caractersticas especficas.

Conclui-se, atravs da anlise dos dados coletados, que a populao estudada aplica a avaliao de nvel 4 Resultados, em uma faixa entre 34% e 56% dos treinamentos realizados. Tal intervalo apresenta um padro de avaliao de resultados bastante superior faixa considerada ideal por Phillips & Phillips (2005), que varia de 10% a 20% dos treinamentos.

75

4.5

NVEL 5 ROI

Dentre os respondentes do questionrio, 4% dos profissionais afirmaram que sua organizao avalia o retorno sobre investimento de todos os treinamentos oferecidos, 9% responderam que o retorno sobre investimento avaliado em apenas alguns tipos especficos de treinamentos e 53% responderam no avaliar o retorno sobre investimento de qualquer um dos treinamentos oferecidos. O grfico 7 demonstra os dados encontrados.

SUA ORGANIZAO CALCULA O RETORNO SOBRE INVESTIMENTO DOS TREINAMENTOS REALIZADOS? 15% Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No

20%

65%

Grfico 7 Quadro geral de utilizao do clculo da ROI Fonte: Dados da pesquisa (2008)

A fim de determinar o intervalo de confiana para estimar a mdia de treinamentos avaliados no nvel 5 ROI, foram atribudos valores s respostas apresentadas acima. Para as respostas Sim, para todos os tipos de treinamento, foi considerado que 100% dos treinamentos so avaliados neste nvel. Para as respostas Sim, para alguns treinamentos especficos, foi solicitado ao respondente indicar a porcentagem representada pelos treinamentos avaliados. Para as respostas No, foi considerado que 0% dos treinamentos so avaliados neste nvel.

Dessa forma, conclui-se com a observao da amostra que, em mdia, 9% dos treinamentos so avaliados no nvel 5 ROI. O desvio padro observado nas respostas foi de 26%.

76

Utilizando o clculo para determinao do intervalo de confiana demonstrado anteriormente, pode-se afirmar, com 95% de certeza, que, em mdia, entre 2% e 16% dos treinamentos da populao avaliada so avaliados no nvel 5 ROI.

Para os respondentes que afirmaram que a avaliao de resultados aplicada em penas alguns tipos de treinamento especficos, foi solicitada a informao sobre tipo de treinamento em que a avaliao aplicada. Tais respostas, sobre os tipos de treinamento avaliados, esto demonstradas a seguir: Treinamentos com alto investimento

Treinamentos de vendas Treinamentos gerenciais Treinamentos operacionais Treinamentos tcnicos

Quanto forma de avaliao de resultados e sobre que tipos de resultados so analisados, no h um modelo sugeridos pelos autores, uma vez que tal avaliao deve refletir principalmente uma preocupao com o alcance do objetivo de cada treinamento e suas caractersticas especficas.

A fim de verificar se as organizaes utilizam algum outro tipo de clculo para determinar o retorno sobre investimento em treinamento e desenvolvimento que no a ROI, foi adicionada uma pergunta ao questionrio com o seguinte enunciado: Sua empresa utiliza algum outro mtodo (que no a ROI) para calcular o retorno sobre investimento em T&D?. Apenas 3% das empresas responderam positivamente. No entanto, ao ser solicitada uma especificao do mtodo utilizado, as explicaes foram confusas e no se pode concluir quais eram tais mtodos.

77

Conclui-se, atravs da anlise dos dados coletados, que a populao estudada aplica a avaliao de nvel 5 ROI, em uma faixa entre 2% e 16% dos treinamentos realizados. Tal intervalo contm o padro de avaliao proposto por Phillips & Phillips (2005) que de entre 5% e 10%.

4.6

ANLISE GERAL

Ao final do processo de anlise das questes sobre a aplicao dos nveis de avaliao propostos pelos autores estudados, pode-se traar um panorama da utilizao desses diversos nveis e provocar uma reflexo sobre a forma como eles so empregados nas organizaes pesquisadas, e, como conseqncia, na populao em estudo. O grfico 8 demonstra os principais dados obtidos com a pesquisa, as inferncias que puderam ser feitas acerca da populao e a comparao desses dados com os nveis de utilizao considerados ideais por Phillips & Phillips (2005).

100% 92% 76% 60% 56% 45% 39% 26% 19% 30% 34% 20% 10% 1 2 3 4

Nveis propostos Nveis observados

16% 10% 5% 2% 5

Grfico 8 Panorama de utilizao dos cinco nveis de avaliao Fonte: Dados da pesquisa (2008)

78

O grfico 8 demonstra a aderncia das mdias da porcentagem de treinamentos avaliados em cada nvel proposto em relao s mesmas porcentagens de avaliao sugeridas por Phillips & Phillips (2005). Pode-se concluir, com a observao do grfico, que a aplicao dos nveis 1 (reao) e 2 (aprendizagem) pela populao em estudo, se encontram aqum dos nveis recomendados pelo autor. No entanto, a aplicao do nvel 4 (resultados), se encontra alm do nvel recomendados pelo autor e a aplicao dos nveis 3 (mudana de comportamento) e 5 (ROI), segundo os parmetros citados, pode ser considerada adequada.

Alm da porcentagem mdia de treinamentos avaliados em cada nvel, convm observar a aderncia das empresas pesquisadas em relao a outro conceito amplamente exposto pelos autores: a obrigatoriedade de utilizao dos nveis de avaliao em cadeia. De acordo com os dados observados, 64% das empresas respondentes aplicam um nvel de avaliao sem que pelo menos um dos nveis anteriores j tenha sido aplicado.

Tal nmero chama a ateno, pois, segundo Kirkpatrick (1998), no se deve aplicar um nvel de avaliao sem que todos os nveis anteriores j tenham sido aplicados, pois os responsveis pela avaliao podero tirar concluses precipitadas ou at mesmo no chegar a concluso alguma.

interessante observar, apesar de tal dado no permitir concluses acerca da aplicao dos nveis de avaliao, que os programas onde mais freqentemente a avaliao de treinamento aplicada so os treinamentos que exigem um alto investimento, treinamentos gerenciais e treinamentos operacionais.

79

Outra preocupao da pesquisa foi verificar como os resultados das avaliaes aplicadas so utilizados pelas organizaes. Para verificar tal informao, foi proposta uma questo aberta, com o seguinte enunciado: Como os resultados encontrados nas etapas de avaliao dos programas de treinamento so utilizados pela empresa?. As respostas foram analisadas e encontrou-se dois tipos distintos de utilizao.

O primeiro tipo de resposta diz respeito utilizao dos resultados da avaliao como insumo para a realizao de adequaes, melhorias e inovaes nos programas em andamento. O segundo tipo de resposta diz respeito utilizao dos resultados da avaliao para clculo do retorno sobre investimentos e para a avaliao de realizao de novos investimentos. O grfico 9 demonstra a proporo encontrada para cada tipo de resposta.

21%

79%

Adequao, melhorias e inovao

Retorno sobre investimento

Grfico 9 Utilizao dos resultados das avaliaes Fonte: Dados da pesquisa (2008)

Como possvel notar, a grande maioria das empresas, 79% responderam utilizar os resultados das avaliaes dos programas de treinamento para decidir sobre adequao, melhorias e inovao nos programas em andamento. Somente 21% dessas empresas

80

responderam utilizar tais resultados para calcular o retorno sobre os investimentos ou para decidir sobre realizao de novos investimentos em treinamento.

No entanto, uma observao mais minuciosa sobre os respondentes da pesquisa revela um dado importante: dentre as empresas que responderam utilizar os resultados das avaliaes para analisar os investimentos atuais e futuros, nenhuma aplica o nvel 5 de avaliao, ou seja, no calculam a taxa de retorno sobre o investimento, e, dentre todas as empresas que afirmaram aplicar o nvel 5 de avaliao, nenhuma afirma utilizar tais resultados para analisar os investimentos atuais e futuros em programas de treinamento.

Com base nas anlises demonstradas acima, pode-se destacar alguns pontos de ateno:

1) possvel notar um desalinhamento entre os nveis de avaliao praticados pelas empresas pesquisadas e os nveis ideais propostos por Phillips & Phillips (2005). Os dados encontrados sugerem que as empresas pesquisadas podem estar utilizando recursos e esforos de maneira inadequada, uma vez que apresentam nveis de avaliao de reao e aprendizagem abaixo dos considerados ideais e nvel de avaliao de resultados acima do considerado ideal.

2) A maioria das empresas pesquisadas, 64%, no atenta para a relao de causalidade ou para o aumento de complexidade entre um nvel de avaliao e outro, propostos por Kirkpatrick (1998). Dessa forma, provvel que, ao ignorar tal obrigatoriedade, o avaliador possa estar tirando concluses erradas acerca dos programas de treinamento oferecidos pelas empresas.

81

3) Frente observao dos dados coletados, uma vez que possvel notar que as empresas que calculam a ROI de treinamento no a utilizam para tomar decises sobre investimento e que as empresas que dizem tomar tais decises no calculam a ROI, pode-se dizer que provvel que algumas das informaes produzidas pela aplicao dos nveis de avaliao no estejam sendo utilizadas corretamente.

82

5 CONSIDERAES FINAIS

Neste captulo so retomados os objetivos do estudo e apresentadas as concluses da pesquisa, alm de apresentadas as limitaes do estudo e recomendaes para pesquisas futuras.

5.1

CONCLUSES

Este estudo procurou examinar as metodologias de mensurao de resultados de T&D constantes na literatura e sua aplicao nas empresas brasileiras. Ao final da reviso bibliogrfica sobre o assunto, constatou-se que as proposies mais comumente aceitas pelo ambiente acadmico so a utilizao dos quatro nveis de avaliao propostos por Donald Kirkpatrick e do quinto nvel, proposto posteriormente por Jack Phillips.

A fim de investigar o problema deste estudo: as organizaes brasileiras esto aplicando adequadamente as metodologias disponveis na literatura para realizar a avaliao dos resultados de T&D?, foi conduzida uma pesquisa com as 500 empresas mais produtivas do Brasil, segundo os critrios de avaliao da Revista Exame: maiores e melhores de 2006 com

83

o intuito de verificar a aderncia dos processos de avaliao conduzidos pelas empresas s proposies dos autores considerados.

Ao final do processo de pesquisa, verificou-se que as empresas pesquisadas utilizam as avaliaes de nvel 1 (reao) e de nvel 2 (aprendizagem) com uma freqncia inferior proposta como ideal pelos autores. A freqncia de utilizao das avaliaes de nvel 3 (mudana de comportamento) e de nvel 5 (ROI) pode ser considerada adequada em relao mesma proposta dos autores e a avaliao de nvel 4 (resultados) utilizada com uma freqncia superior proposta como ideal.

Alm das diferenas encontradas entre a prtica das empresas e as freqncias de aplicao dos nveis de avaliao consideradas ideais pelos autores, outra anlise sugere que as empresas estudadas aplicam com mais freqncia a avaliao de nvel o 4 (resultado) do que a avaliao dos dois nveis anteriores: 2 (aprendizagem) e 3 (mudana de comportamento). Segundo os autores, em funo da existncia de uma relao de causalidade e de aumento de complexidade entre um nvel de avaliao e outro, no se deve realizar um nvel de avaliao sem que todos os nveis anteriores j tenham sido realizados, pois os responsveis pela avaliao podero tirar concluses precipitadas ou at mesmo no chegar concluso alguma.

Dessa forma, pode-se supor com base nas metodologias de Kirkpatrick e Phillips, que os recursos direcionados realizao das avaliaes esto sendo mal empregados. Uma vez que os nveis de avaliao menos dispendiosos no esto sendo suficientemente aplicados, possvel que a aplicao dos nveis de avaliao mais complexos, que exigem mais recursos, produza informaes que podem no ser confiveis ou conclusivas. Em outras palavras, as empresas aparentemente no esto dispensando ateno suficiente aos nveis 1 e 2 de 84

avaliao, que exigem menos esforo e recursos, mas esto investindo na aplicao dos nveis seguintes. Como as informaes dos nveis seguintes, por si s, podem no ser conclusivas, existe a possibilidade de que os recursos e esforos a eles direcionados estejam sendo comprometidos.

Quanto adequao das informaes atualmente utilizadas pelos executivos brasileiros no processo de tomada de deciso sobre investimento em T&D, foi observado que apenas 26% das empresas estudadas utilizam as informaes provenientes da aplicao dos nveis de avaliao para tomar decises sobre investimentos nos programas de treinamento. Curiosamente, dentre as empresas que afirmam utilizar tais informaes para tomar decises sobre investimentos, nenhuma respondeu aplicar o nvel 5 de avaliao, ou seja, nenhuma dessas empresas calcula a taxa de retorno sobre os investimentos em T&D. Logo, dentre todas as empresas que aplicam o nvel 5 de avaliao (ROI), nenhuma utiliza os resultados obtidos com esse nvel para tomar decises sobre investimentos nos programas.

Em funo disso, fica evidente que os recursos destinados aplicao dos nveis de avaliao no esto sendo bem utilizados. No entanto, mais importante que a subutilizao dos recursos consumidos pelo processo de avaliao, a concluso de que as decises sobre investimento em T&D nas empresas pesquisadas podem estar sendo baseadas em informaes incompletas e pouco confiveis.

Tais observaes se tornam mais graves quando inseridas em um contexto onde as aes de T&D tm recebido cada vez mais ateno da alta administrao, e principalmente, cada vez mais investimentos por parte das empresas brasileiras. Conseqentemente, esse cenrio sugere que os mecanismos de avaliao dos resultados sobre esses investimentos sejam efetivos e 85

subsidiem decises sobre os investimentos em T&D, da mesma forma como se espera dos demais projetos de uma organizao.

Dessa forma, com base na pesquisa realizada, pode-se afirmar que, entre as 500 empresas mais produtivas do pas, as metodologias disponveis na literatura para avaliao dos resultados dos programas de treinamento no esto sendo aplicadas adequadamente, de acordo com as proposies dos autores estudados.

5.2

RECOMENDAES PARA PESQUISAS FUTURAS

Conforme demonstrado ao se discutir a relevncia deste estudo, a preocupao dos profissionais brasileiros a respeito da mensurao do retorno sobre o investimento em seus programas de T&D e os indcios de aumentos crescentes de tais investimentos no pas justificam investigaes mais profundas sobre o tema.

Uma sugesto para pesquisas futuras a expanso do universo de aplicao do questionrio utilizado, uma vez que este estudo s permite concluses sobre a base de dados observada, e no sobre o universo das empresas brasileiras.

Uma vez que as concluses desta pesquisa demonstram a utilizao inadequada dos instrumentos de avaliao, outra possibilidade de estudo, que poderia explicar tais resultados, seria a verificao sobre o nvel de conhecimento das metodologias propostas pelos autores

86

estudados por parte dos profissionais de Recursos Humanos, responsveis pela conduo dos programas de T&D nas empresas.

Por fim, poderiam ser investigadas quais as dificuldades encontradas pelas empresas ao planejar, executar os nveis de avaliao propostos, e ao utilizar os dados produzidos pela aplicao da avaliao como um instrumento efetivo para a tomada de deciso sobre investimentos em programas de treinamento pela alta administrao.

87

REFERNCIAS BIBLIOGRFICAS
ABREU, R. C. L. T&D, Treinamento e desenvolvimento de recursos humanos: uma abordagem organizacional, por gerenciamento de projetos. Rio de Janeiro: Qualitymark, 2006. ALLIGER, G. M.; JANAK, E. A. kirkpatrick's levels of training criteria: thirty years later. Personnel Psychology, Summer89, Vol. 42 Issue 2, p331-342, 12P. __________.; TANNENBAUM, S. I.; BENNETT JR., W.; TRAVER, H.; SHOTLAND, A. A meta-analysis of the relations among training criteria. Personnel Psychology, Summer97, Vol. 50 Issue 2, p341-358, 18p, 2 charts. AMERICAN SOCIETY OF TRAINING AND DEVELOPMENT (2000). Profiting from learning: do firms investments ineducation and training pay off?. Disponvel em: <http://www.astd.org/NR/rdonlyres/91956A5E-6E57-44DD-AE5DFCFFCDC11C3F/0/ASTD_Profiting_From_Learning.pdf>. Acesso em: 3 setembro 2007. __________. (2002a). International Comparisons: ASTDs annual accounting of worldwide patterns in employer-provided training. Disponvel em: <http://www.astd.org/NR/rdonlyres/40344E1C-9051-4C61-A371355C5805AA3A/0/ASTD_ICR_2002.pdf>. Acesso em: 3 setembro 2007. __________. (2002b). Learning Outcomes:ASTDs fourth annual reporto n Standards for evaluating organizations investments in education and training. Disponvel em: < http://www.astd.org/NR/rdonlyres/67F5C05C-9A40-41C4-ADFE39B40D2392C2/0/ASTD_LOR_2002.pdf>. Acesso em: 3 setembro 2007. __________. (2006). 2006 ASTD State of the Industry Report. Disponvel em: < http://www.astd.org/NR/rdonlyres/0A1BE935-3905-4B09-B5176CC5B41E2AC5/12315/stateofindustry_memberonly.pdf>. Acesso em: 3 setembro 2007.jkkjillo

88

__________. (2007). 2007 ASTD State of the Industry Report. Disponvel em: < http://www.astd.org/NR/rdonlyres/7EA9365D-709D-4C25-BDC842F55C2EC360/16911/2007_ASTD_State_Of_The_Industry_Report.pdf>. Acesso em: 25 maio 2008. ASSOCIAO BRASILEIRA DE TREINAMENTO E DESENVOLVIMENTO (ABTD). Pesquisa: o retrato do treinamento no Brasil 2005/2006. Disponvel em <http://www.abtd.com.br/material.asp>. Acesso em: 29 agosto 2007. __________. Pesquisa: o retrato do treinamento no Brasil 2006/2007. Disponvel em <http://www.abtd.com.br/material.asp>. Acesso em: 29 agosto 2007. __________. Pesquisa: o retrato do treinamento no Brasil 2007/2008. Disponvel em <http://www.abtd.com.br/material.asp>. Acesso em: 10 janeiro 2008. BLANCHARD, P. N.; THACKER, J. W.; WAY, S. A. Training evaluation: perspectives and evidence form Canada. International Journal of Training & Development, Dec2000, Vol. 4 Issue 4, p295, 10p. 2000. BORGES-ANDRADE, J. E. Desenvolvimento de medidas em avaliao de treinamento. Estudos de psicologia, 7 (nmero especial), 31-43. 2002. CARVALHO, A. V.; NASCIMENTO, L. P. Administrador de recursos humanos. So Paulo: Pioneira, 1999. CAVALCANTI, B. S. Avaliao de treinamento e desenvolvimento (T&D): uma funo em busca de respostas. RAE Revista de Administrao de Empresas. So Paulo, Vol 30, n. 1, p 17-25. 1990. CLEMENT, R. W. Testing the Hierarchy Theory of Training Evaluation: An Expanded Role for Trainee Reactions. Public Personnel Management, Summer82, Vol. 11 Issue 2, p176, 9p COLLIS, J.; HUSSEY, R. Pesquisa em Administrao: um guia prtico para alunos de graduao e ps graduao. Porto Alegre: Bookman, 2005. COOPER, D. R.; SCHINDLER, P. S. Mtodos de pesquisa em administrao. Porto Alegre: Bookman, 2003. 7 ed. EXAME MAIORES E MELHORES: As 500 maiores empresas do pas. So Paulo: Abril, 07 agosto 2007. Edio 0899A. 89

FREITAS, I. A.; BORGES-ANDRADE, J. E. Efeitos de treinamento nos desempenhos individual e organizacional. RAE Revista de Administrao de Empresas. Vol 44, n. 3. 2004. GOLDSTEIN, I. L. Training in work organizations. In: DUNNET; HOUGH (Org.) Handbook of industrial and organizational psychology. 2. ed. California: Consulting Psychology.1991. HAMBLIM, A. C. Evaluation and control of training. Bukshire: McGraw-Hill, 1974. HUERTA, M. E.; AUDET, X. L.; PEREGORT, O. P. In-company training in Catalonia: organizational structure, funding, evaluation and economic impact. International Journal of Training & Development. Jun2006, Vol. 10 Issue 2, p140-163, 24p. 2006. KIRKPATRICK, D. L.; CATALANELLO, R. F. Evaluating training programs: the state of the art. Training and Development Jounal. May68, Vol. 22 Issue 5, p2, 8p.1968. __________. Evaluating training programs: the four levels. San Francisco: Berrett-Koehler, 1998. LEVINE, D. M.; STEPHAN, D.; KREHBIEL, T. C.; BERENSON, M. L. Estatstica: teoria e aplicaes usando o Microsoft Excel em portugus. Rio de Janeiro: LTC, 2005. 3 ed. MILLIONI, B. O processo de treinamento e desenvolvimento. In: BOOG, G.; BOOG, M. (Org.). Manual de treinamento e desenvolvimento: gesto e estratgias. So Paulo: Prentice Hall, 2006. NADLER, L. The handbook of human resources development. New York: Wiley, 1984. OLIVEIRA, M. A. Evoluo do T&D nas organizaes do Brasil: lies do passado e tendncias para o futuro. In: BOOG, G.; BOOG, M. (Org.). Manual de treinamento e desenvolvimento: gesto e estratgias. So Paulo: Prentice Hall, 2006. PALMEIRA, C. G. ROI de treinamento: dicas de como mensurar o resultado financeiro das suas aes de treinamento. Rio de Janeiro: Qualitymark, 2004. __________. Avaliao de resultados. In: BOOG, G.; BOOG, M. (Org.). Manual de treinamento e desenvolvimento: gesto e estratgias. So Paulo: Prentice Hall, 2006.

90

PARRY, S. B. Evaluating the impact of training: a collection of tools and techniques. American Society of Training and Development (ASTD): Alexandria, 1997. PHILLIPS, J. J. Handbook of training evaluation and measurement methods. Gulf Publishing Company: Houston, 1991, 2ed. __________.; PHILLIPS, P. P. Return on investment: (ROI) basics. American Society for Training and Development: Baltimore, 2005. __________.; PHILLIPS, P. P. Symposium on the evaluation of training: editorial. International Journal of Training & Development. Dec2001, Vol. 5 Issue 4, p240, 8p. 2001. PILATI, R.; ABBAD, G. Anlise fatorial confirmatria da escala de impacto de treinamento no trabalho. Psicologia: teoria e trabalho. Jan-Abr 2005, Vol. 21 n. 1, pp. 043-051. 2005. SALAS, E.; CANNON-BOWERS, J. A. The science of training: A Decade of Progress. Annual Review of Psychology, Vol. 52 Issue 1, p471, 29p. 2001 SKAF, P. Paradigma do desenvolvimento. In: In: BOOG, G.; BOOG, M. (Org.). Manual de treinamento e desenvolvimento: gesto e estratgias. So Paulo: Prentice Hall, 2006. WEXLEY, K. N. Personnel training. Annual review of psychology, v. 35, p. 519-51. 1984. WICKRAMASINGHE, V. M. Training objectives, transfer, validation and evaluation: a Sri Lankan study. International Journal of Training & Development, Sep2006, Vol. 10 Issue 3, p227-247, 21p. 2006. YA HUI LIEN, B.; YU YUAN HUNG, R.; MCLEAN, G. N. Training evaluation based on cases of Taiwanese benchmarked high-tech companies. International Journal of Training & Development, Mar2007, Vol. 11 Issue 1, p35-48, 14p. 2007 YADAPADITHAYA, P. S. Evaluating corporate training and development: an Indian experience. International Journal of Training & Development, Mar2000, Vol. 4 Issue 1, p79, 11p. 2000.

91

APNDICE A Questionrio teste

NVEL 1 REAO SUA ORGANIZAO AVALIA A REAO DOS PARTICIPANTES AOS PROGRAMAS DE TREINAMENTO? (Entende-se como reao: impresses dos participantes sobre o contedo apresentado, desempenho de instrutores, adequao das instalaes e equipamentos, organizao, carga horria, oportunidade para discusso de assuntos relevantes, possibilidades de melhoria, etc.) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No

Questo requerida caso a resposta da pergunta anterior for Sim, para alguns treinamentos especficos EM QUE TIPO DE TREINAMENTO ESSA AVALIAO APLICADA? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos avaliados? .....................................

NVEL 2 APRENDIZAGEM SUA ORGANIZAO UTILIZA ALGUM TIPO DE TESTES PARA AVALIAR A APRENDIZAGEM DOS PARTICIPANTES? (Entende-se como avaliao de conhecimentos adquiridos perguntas que reflitam o contedo que os participantes deveriam ter absorvido durante o programa e que verifiquem, dessa forma, se os objetivos estabelecidos para o treinamento foram ou no alcanados.) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No

Questo requerida caso a resposta da pergunta anterior for (Sim, para alguns treinamentos especficos) EM QUE TIPO DE TREINAMENTO ESSA AVALIAO APLICADA? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos avaliados? .....................................

92

Que tipo de teste voc utiliza para avaliar os conhecimentos adquiridos? Escritos Verbais Outro tipo (por favor, especifique) ........................................................................................................................................................................... Os testes so aplicados imediatamente aps a concluso do programa? Sim No So aplicados testes para avaliar o conhecimento prvio dos participantes? Sim No So utilizados grupos de controle, ou seja, so feitas comparaes entre grupos semelhantes que receberam o treinamento e que no receberam? Sim No Os dados encontrados so analisados estatisticamente? Sim No

NVEL 3 MUDANA DE COMPORTAMENTO SUA ORGANIZAO PROCURA AVALIAR AS MUDANAS DE COMPORTAMENTO NO TRABALHO APRESENTADAS PELOS PARTICIPANTES DE PROGRAMAS DE TREINAMENTO? (Entende-se como avaliao de mudana de comportamento perguntas ou pesquisas que busquem identificar como funcionou a transferncia de conhecimentos, habilidades e atitudes para suas atividades e que mudanas em seus comportamentos aconteceram em decorrncia do programa de treinamento.) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No Questo requerida caso a resposta da pergunta anterior for (Sim, para alguns treinamentos especficos) EM QUE TIPO DE TREINAMENTO ESSA AVALIAO APLICADA? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos avaliados? ..................................... So utilizadas entrevistas de participantes? Sim No So utilizadas entrevistas com os subordinados dos participantes? Sim No

93

So utilizadas entrevistas com os superiores dos participantes? Sim No So utilizados outros tipos de avaliao? No Sim. Por favor, especifique ........................................................................................................................................................................... Em quanto tempo aps a concluso do programa de treinamento as mudanas de comportamento no trabalho dos participantes so medidas? 1 ms ou menos Entre 1 e 3 meses Entre 3 e 6 meses Entre 6 meses e 1 ano Varia So utilizados grupos de controle, ou seja, so feitas comparaes entre grupos semelhantes que receberam o treinamento e que no receberam? Sim No Os dados encontrados so analisados estatisticamente? Sim No

NVEL 4 RESULTADOS SUA ORGANIZAO PROCURA AVALIAR SE OS PROGRAMAS DE TREINAMENTO ESTO TRAZENDO OS RESULTADOS ESPERADOS? (Entende-se como avaliao de resultados perguntas ou pesquisas que busquem apurar que mudanas ocorreram na organizao em funo da participao dos funcionrios nos programas de treinamento) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No Questo requerida caso a resposta da pergunta anterior for (Sim, para alguns treinamentos especficos) EM QUE TIPO DE TREINAMENTO ESSA AVALIAO APLICADA? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos avaliados? ..................................... De que forma os resultados so mensurados? SUBJETIVAMENTE (observaes, entrevistas, questionrios) OBJETIVAMENTE (anlises de relatrios de produo, rotatividade de pessoal, custos de produo)

94

Que tipo de resultados so mensurados?

Exemplos de respostas: 1. OUTPUT (unidades produzidas, relatrios processados, estudantes graduados, Nmeros de embarques) 2. QUALIDADE (perdas, defeitos, acidentes, faltas) 3. CUSTOS (variaes no oramento, custos unitrios, custos operacionais, despesas de vendas) 4. TEMPO (tempo de resposta, de processamento, de superviso, de reunies) 5. HBITOS DE TRABALHO (absentesmo, atrasos, primeiros socorros, comunicao) 6. CLIMA (nmero de greves, reclamao de empregados, turnover, comprometimento) 7. SATISFAO (satisfao no trabalho, dos clientes, lealdade dos empregados, confiabilidade) 8. NOVAS HABILIDADES (decises tomadas, problemas resolvidos, conflitos evitados, queixas resolvidas) 9. DESENVOLVIMENTO (nmero de promoes, de aumentos, requisies de transferncia, avaliaes de desempenho)

...........................................................................................................................................................................

NVEL 5 RETORNO SOBRE INVESTIMENTO SUA ORGANIZAO CALCULA O RETORNO SOBRE INVESTIMENTO DOS TREINAMENTOS REALIZADOS? Um exemplo de retorno sobre investimento pode ser a taxa resultante da expresso: (benefcios lquidos do treinamento custos do treinamento) x 100 Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No Questo requerida caso a resposta da pergunta anterior for (Sim, para alguns treinamentos especficos) EM QUE TIPO DE TREINAMENTO ESSA AVALIAO APLICADA? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos avaliados? ..................................... Qual o aproximado de investimento anual em Treinamento e Desenvolvimento feito pela sua organizao? At R$100 mil Entre R$100 mil e R$200 mil Entre R$200 mil e R$400 mil Entre R$400 mil e R$1 milho Entre R$1 milho a R$5 milhes Entre R$5 milhes e R$20 milhes Acima de R$20 milhes Quanto a este questionrio, voc considera que as perguntas feitas foram suficientemente claras? Sim No Quanto tempo, aproximadamente, voc levou para responder as questes? ..................................... Voc tem alguma sugesto que me ajude a melhorar o questionrio? ..........................................................................................................................................................................

95

APNDICE B Questionrio

NVEL 1 REAO SUA ORGANIZAO AVALIA A REAO DOS PARTICIPANTES AOS PROGRAMAS DE TREINAMENTO? (Entende-se como reao: impresses dos participantes sobre o contedo apresentado, desempenho de instrutores, adequao das instalaes e equipamentos, organizao, carga horria, oportunidade para discusso de assuntos relevantes, possibilidades de melhoria, etc.) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No Questo requerida caso a resposta da pergunta anterior for Sim, para alguns treinamentos especficos EM QUE TIPO DE TREINAMENTO SO APLICADAS AVALIAES DE REAO? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos onde avaliaes de reao so aplicadas? ..................................... NVEL 2 APRENDIZAGEM SUA ORGANIZAO UTILIZA ALGUM TIPO DE TESTES PARA AVALIAR A APRENDIZAGEM DOS PARTICIPANTES? (Entende-se como avaliao de conhecimentos adquiridos perguntas que reflitam o contedo que os participantes deveriam ter absorvido durante o programa e que verifiquem, dessa forma, se os objetivos estabelecidos para o treinamento foram ou no alcanados.) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No EM QUE TIPO DE TREINAMENTO SO APLICADAS AVALIAES DE APRENDIZAGEM? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos onde avaliaes de aprendizagem so aplicadas? ..................................... Que tipo de teste voc utiliza para avaliar os conhecimentos adquiridos? Escritos Verbais Outro tipo (por favor, especifique)...............................................................................................................

96

Os testes so aplicados imediatamente aps a concluso do programa? Sim No So aplicados testes para avaliar o conhecimento prvio dos participantes? Sim No So utilizados grupos de controle, ou seja, so feitas comparaes entre grupos semelhantes que receberam o treinamento e que no receberam? Sim No Os dados encontrados so analisados estatisticamente? Sim No NVEL 3 MUDANA DE COMPORTAMENTO SUA ORGANIZAO PROCURA AVALIAR AS MUDANAS DE COMPORTAMENTO NO TRABALHO APRESENTADAS PELOS PARTICIPANTES DE PROGRAMAS DE TREINAMENTO? (Entende-se como avaliao de mudana de comportamento perguntas ou pesquisas que busquem identificar como funcionou a transferncia de conhecimentos, habilidades e atitudes para suas atividades e que mudanas em seus comportamentos aconteceram em decorrncia do programa de treinamento.) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No EM QUE TIPO DE TREINAMENTO SO APLICADAS AVALIAES DE MUDANA DE COMPORTAMENTO? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos onde avaliaes de mudana de comportamento so aplicadas? ..................................... So utilizadas entrevistas de participantes? Sim No So utilizadas entrevistas com os subordinados dos participantes? Sim No So utilizadas entrevistas com os superiores dos participantes? Sim No So utilizados outros tipos de avaliao? No Sim. Por favor, especifique..........................................................................................................................

97

Em quanto tempo aps a concluso do programa de treinamento as mudanas de comportamento no trabalho dos participantes so medidas? 1 ms ou menos Entre 1 e 3 meses Entre 3 e 6 meses Entre 6 meses e 1 ano Varia So utilizados grupos de controle, ou seja, so feitas comparaes entre grupos semelhantes que receberam o treinamento e que no receberam? Sim No Os dados encontrados so analisados estatisticamente? Sim No NVEL 4 RESULTADOS SUA ORGANIZAO PROCURA AVALIAR SE OS PROGRAMAS DE TREINAMENTO ESTO TRAZENDO OS RESULTADOS ESPERADOS? (Entende-se como avaliao de resultados perguntas ou pesquisas que busquem apurar que mudanas ocorreram na organizao em funo da participao dos funcionrios nos programas de treinamento) Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No EM QUE TIPO DE TREINAMENTO SO APLICADAS AVALIAES DE RESULTADOS? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos onde avaliaes de resultados so aplicadas? ..................................... De que forma os resultados so mensurados? SUBJETIVAMENTE (observaes, entrevistas, questionrios) OBJETIVAMENTE (anlises de relatrios de produo, rotatividade de pessoal, custos de produo) Que tipo de resultados so mensurados?
Exemplos de respostas: 1. OUTPUT (unidades produzidas, relatrios processados, estudantes graduados, Nmeros de embarques) 2. QUALIDADE (perdas, defeitos, acidentes, faltas) 3. CUSTOS (variaes no oramento, custos unitrios, custos operacionais, despesas de vendas) 4. TEMPO (tempo de resposta, de processamento, de superviso, de reunies) 5. HBITOS DE TRABALHO (absentesmo, atrasos, primeiros socorros, comunicao) 6. CLIMA (nmero de greves, reclamao de empregados, turnover, comprometimento) 7. SATISFAO (satisfao no trabalho, dos clientes, lealdade dos empregados, confiabilidade) 8. NOVAS HABILIDADES (decises tomadas, problemas resolvidos, conflitos evitados, queixas resolvidas) 9. DESENVOLVIMENTO (nmero de promoes, de aumentos, requisies de transferncia, avaliaes de desempenho)

...........................................................................................................................................................................

98

NVEL 5 RETORNO SOBRE INVESTIMENTO SUA ORGANIZAO CALCULA O RETORNO SOBRE INVESTIMENTO DOS TREINAMENTOS REALIZADOS? Um exemplo de retorno sobre investimento pode ser a taxa resultante da expresso: (benefcios lquidos do treinamento custos do treinamento) x 100. Entende-se como benefcios lquidos do treinamento os benefcios monetrios, subtrados os custos. Um exemplo de aplicao da equao o seguinte: (incremento nas vendas aps a realizao de um treinamento custos do treinamento) custos do treinamento x 100. Sim, para todos os tipos de treinamento Sim, para alguns treinamentos especficos No Questo requerida caso a resposta da pergunta anterior for (Sim, para alguns treinamentos especficos) EM QUE TIPO DE TREINAMENTO A ROI CALCULADA? (Exemplos de resposta: treinamentos gerenciais, operacionais, oferecidos continuamente, oferecidos esporadicamente, programas especiais, programas piloto, treinamentos com alto investimento, treinamentos estratgicos, etc.) ................................................................................................................................................................... ................................................................................................................................................................... Qual a porcentagem aproximada dos treinamentos onde o clculo da ROI aplicado? ..................................... DEMAIS QUESTES Sua organizao utiliza algum outro mtodo (que no a ROI) para calcular o retorno sobre investimento em T&D? No Sim. Por favor, especifique.......................................................................................................................... Como os resultados encontrados nas etapas de avaliao dos programas de treinamento so utilizados por sua organizao? ........................................................................................................................................................................... Qual o aproximado de investimento anual em Treinamento e Desenvolvimento feito pela sua organizao? At R$10 mil Entre R$ 10 e 50 mil Entre R$ 50 mil e R$100 mil Entre R$100 mil e R$200 mil Entre R$200 mil e R$400 mil Entre R$400 mil e R$1 milho Entre R$1 milho e R$5 milhes Entre R$5 milhes e R$20 milhes Acima de R$20 milhes Voc atua na rea de Recursos Humanos de sua empresa? Sim No Qual sua funo na organizao? ...........................................................................................................................................................................

99

ANEXO A Exemplos de avaliao de reao

EXEMPLO 1
Buscando melhorar cada vez mais a qualidade dos nossos programas, convidamos voc a colaborar, respondendo s questes que se seguem. Sempre que possvel, enriquea sua opinio com comentrios e sugestes. 1. Como voc avalia o contedo apresentado em termos de interesse, benefcios, etc? ___ Excelente ___ Muito Bom ___ Bom ___ Regular ___ Ruim

Comentrios e sugestes:

........................................................................................

2. Como voc avalia o instrutor? Muito Bom

Item No cumprimento dos objetivos propostos Em manter a aula viva e interessante Em se comunicar com a turma Em utilizar recursos audiovisuais Em se relacionar com a turma

Excelente

Bom

Regular

Ruim

Comentrios e Sugestes: .............................................................................................................................................................................................. .............................................................................................................................................................................................. 3. Como voc avalia os itens abaixo: Nem concordo Nem discordo 3

Item

Discordo totalmente 1

Discordo 2

Concordo 4

Concordo totalmente 5

Os objetivos do curso foram bem comunicados O curso foi bem organizado As instalaes e recursos audiovisuais estavam adequados execuo do programa Durante o curso houve oportunidade para discusso de assuntos relevantes De uma maneira geral, foi muito importante para meu trabalho ter participado do curso Comentrios e Sugestes: .............................................................................................................................................................................................. .............................................................................................................................................................................................. 4. Quais so suas sugestes para melhoria do curso para que ele se torne mais efetivo? .............................................................................................................................................................................................. .............................................................................................................................................................................................. .............................................................................................................................................................................................

Fonte: Kirkpatrick (1998)

100

EXEMPLO 2
Agradecemos sua participao no curso Liderando mudanas organizacionais. Conforme prometido, voc ter a oportunidade de prover feedback de como poderemos melhorar esse curso. Por favor, responda as seguintes questes de acordo com suas percepes sobre o programa e expectativas de como utilizar os conhecimentos adquiridos no curso. Ns tambm gostaramos de saber como voc acha que as habilidades contempladas pelo curso sero importantes no desempenho de sua funo.

I. Percepo quanto ao facilitador do curso Discordo Totalmente 1 2 1. O instrutor demonstrou domnio do assunto 2. O instrutor demonstrou preparo para a aula 3. Os participantes foram encorajados a participar de discusses 4. O instrutor esclareceu as dvidas dos participantes 5. O instrutor manteve os participantes ativamente engajados 6. O instrutor discutiu aplicaes praticas do contedo II. Contedo do curso Discordo Totalmente 1 2 7. O contedo do curso relevante para meu trabalho 8. O contedo do curso importante para meu trabalho 9. O material foi organizado com lgica 10. Os exerccios e exemplos me ajudaram a compreender o material 11. O contedo apresentou novas informaes 12. Pretendo utilizar os conhecimentos adquiridos no curso Concordo Totalmente 4 5 Concordo Totalmente 4 5

III. Novos conhecimentos e habilidades adquiridos no curso Discordo Totalmente 1 2 13. Aprendi novos conhecimentos e habilidades no curso 14. Estou confiante que posso aplicar o que me foi apresentado IV. Expectativa de aplicao de conhecimentos e habilidades Discordo Totalmente 1 2 15. Aplicarei efetivamente o que aprendi no curso 16. Que porcentagem de seu tempo de trabalho requer os conhecimentos e habilidades apresentadas? 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 17. Em uma escala de 0% (nada) e 100% (extremamente crtico), quo critico voc considera a aplicao dos conhecimentos e habilidades para o sucesso de seu trabalho? 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Concordo Totalmente 4 5 Concordo Totalmente 4 5

101

18. Que porcentagem dos conhecimentos e habilidades aprendidos voc espera utilizar em seu trabalho? 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

19. Que potenciais barreiras poderia lhe impedir de aplicar os conhecimentos e habilidades adquiridos no curso em seu trabalho? ____________________________________________________________________ _______________________________________________________________________________________ 20. Que potencias facilitadores podero lhe dar suporte para a aplicao dos conhecimentos e habilidades adquiridos nesse curso? _______________________________________________________________________________________ _______________________________________________________________________________________

V. Como o que voc aprendeu vai impactar os negcios 21. Como as seguintes medidas sero melhoradas em funo da aplicao dos conhecimentos e habilidades aprendidos no curso

Nem pouco 1 Produtividade Vendas Qualidade Custos Tempo Satisfao dos clientes Satisfao no trabalho

um 2 3

Completamente 4 5

Fonte: Phillips & Phillips (2005)

102

ANEXO B Exemplo de Avaliao de Aprendizagem

Com base em seus conhecimentos complete as lacunas a seguir: 1. Quais so as trs habilidades que os lideres situacionais devem utilizar quando preparam as pessoas para eventualmente se auto-gerenciar? 1. _________________________________ 2. _________________________________ 3. _________________________________

2. Para criar uma interao positiva como um empregado, o supervisor deve estar focado em ____________________ e _____________________.

3. Ao invs de somente ouvir, um supervisor deve se concentrar. Cite dois exemplos de tcnicas de concentrao: 1. _________________________________ 2. _________________________________

4. Suponha que voc tenha um parceiro de vendas que precisa melhorar sua habilidade de escutar. Desenhe um objetivo para melhorar esta habilidade de seu parceiro utilizando a formula para a construo de objetivos claros (apresentada no treinamento pelo instrutor).

Comparao com Grupos de Controle Questo 1 Se uma mudana que deve ser implementada ir desagradar seus subordinados, voc deveria comunic-los aos poucos ao invs de tentar convenc-los imediatamente. (A resposta certa concordo) Grupo Experimental Concor Discord do o Teste anterior ao treinamento 7 18 Teste posterior ao treinamento 20 5 Ganho +13 Ganho real devido ao treinamento: 13 1 = 12 Grupo de controle Concor Discord do o 6 19 7 18 +1

Questo 2 Caso voc seja promovido a gerente, voc deveria fazer um trabalho diferente do que fazia seu antecessor (A resposta certa concordo) Grupo Experimental Concor Discord do o Teste anterior ao treinamento 5 20 Teste posterior ao treinamento 6 19 Ganho +1 Ganho real devido ao treinamento: 1 1 = 0 Grupo de controle Concor Discord do o 5 20 6 19 +1

Fonte: Kirkpatrick (1998)

103

ANEXO C Exemplos de Avaliao de Mudana de Comportamento

EXEMPLO 1: Auto-avaliao, aplicada ao participante do treinamento A.
Item Como voc descreveria sua habilidade de olhar para uma situao e analisar o nvel de desenvolvimento de seus empregados? Quo efetivas so suas escolhas dos estilos de liderana mais apropriados para desenvolver seus empregados? Como voc enxerga sua capacidade de adotar estilos de liderana variados, de acordo com cada situao? Como voc avalia sua habilidade de estabelecer objetivos claros para seus empregados?
Muito melhor (6) Melhor (5) Sem mudanas (4) Pior (3) Muito pior (2) No Sei (1)

EXEMPLO 2: Avaliao aplicada a subordinados do participante do treinamento A.

Item Como voc descreveria a habilidade de seu gerente em olhar para uma situao e analisar o nvel de desenvolvimento de seus empregados? Quo efetivo seu gerente se mostra ao lhe ajudar com questes de seu desenvolvimento e lhe motivar? Como voc descreveria a habilidade de seu gerente em usar diferentes tipos de abordagens ao lhe ajudar com uma tarefa? Como voc avalia sua habilidade de lhe mostrar uma direo quando preciso?
Muito melhor (6) Melhor (5) Sem mudanas (4) Pior (3) Muito pior (2) No Sei (1)

EXEMPLO 3: Avaliao aplicada a subordinados do participante do treinamento B.

Raramente (2) Freqente mente (4) Quase sempre (5) s vezes (3) Sempre (6) Nunca (1)

Item

Quando eu estou preparado e confiante para desempenhar uma tarefa, meu gerente age com flexibilidade e permite que eu determine a melhor maneira de realiz-la. Quando eu sinto dificuldade ao aprender uma nova tarefa, meu gerente escuta minhas preocupaes e me ajuda. Aps aprender completamente uma tarefa execut-la muito bem sem superviso, meu gerente me encoraja a utiliza minhas prprias idias. Quando uma tarefa nova para mim, meu gerente me explica exatamente como execut-la

Fonte: Kirkpatrick (1998)

104

ANEXO D Questionrio utilizado por Kirkpatrick & Catalanello (1968)

Questionrio Preliminar
SIM 1. Seus gestores participaram de programas de treinamento nos ltimos dois anos? 2. Voc avalia a reao dos participantes dos programas de treinamento? 3. Voc procura avaliar o aprendizado adquirido pelos participantes de programas de treinamento? 4. Voc procura avaliar as mudanas de comportamento no trabalho apresentadas pelos participantes de programas de treinamento? 5. Voc procura avaliar se os programas de treinamento esto trazendo os resultados esperados? NO

Aprendizagem
SIM 1. Voc avalia a reao dos participantes dos programas de treinamento? 2. Voc utiliza testes escritos para avaliar conhecimentos e entendimentos? a) Voc utiliza o Inventrio de superviso em relaes humanas? b) Voc utiliza outro teste padro do tipo Como supervisionar? c) Voc utiliza um teste construdo especificamente para seus programas? 3. Voc testa os participantes imediatamente aps a concluso do programa? 4. Em sua avaliao voc utiliza grupos de controle? 5. Voc analisa estatisticamente os dados encontrados? 6. Voc utiliza outros mtodos que no testes de papel e lpis para avaliar o aprendizado dos participantes? NO

Mudana de Comportamento
SIM 1. Voc procura avaliar as mudanas de comportamento no trabalho apresentadas pelos participantes de programas de treinamento? 2. Voc avalia mudanas de comportamento no trabalho em funo dos programas de treinamento? a) Voc utiliza entrevista de participantes? b) Voc utiliza entrevistas com os subordinados dos participantes? c) Voc utiliza entrevistas com os superiores dos participantes? d) Voc utiliza outro tipo de avaliao? 3. Em quanto tempo aps a concluso do programa de treinamento voc mede as mudanas de comportamento no trabalho dos participantes? Varia 1 ms ou menos 3 meses 6 meses 1 ano 4. Voc utiliza grupos de controle em sua avaliao? 5. Voc analisa estatisticamente os dados encontrados? NO

Resultados
SIM NO

1. Voc procura avaliar se os programas de treinamento esto trazendo os resultados esperados? 2. Que resultados voc procura medir? Exemplos de respostas: reduo de custos, turnover, nmero de queixas, melhorias de qualidade, etc. 3. Como voc procede na medio de resultados? Exemplos de resposta: Subjetivamente: observaes, entrevistas, etc. Objetivamente: analise de relatrios de produo, analise dados de turnover, etc. Fonte: Kirkpatrick & Catalanello (1968)

105