Professional Documents
Culture Documents
COMPETÊNCIAS
FASE 4
Brasília
2002
METODOLOGIA DE AVALIAÇÃO E CERTIFICAÇÃO DE
COMPETÊNCIAS
Confederação Nacional da Indústria – CNI e Conselho Nacional do SENAI
Max Schrappe
Vice-Presidente da Federação das Indústrias do Estado de São Paulo
Brasília
2002
2002. SENAI – Departamento Nacional
Qualquer parte desta obra poderá ser reproduzida, desde que citada a fonte.
SENAI/DN
COTED – UNIDADE DE CONHECIMENTO TECNOLOGIA DA EDUCAÇÃO
FICHA CATALOGRÁFICA
TÍTULO
CDU 377
SENAI Sede
Serviço Nacional de Setor Bancário Norte
Aprendizagem Industrial Quadra 1 – Bloco C
Departamento Nacional Edifício Roberto Simonsen
70040-903 – Brasília – DF
Tel.: (61) 317-9001
Fax: (61) 317-9190
http://www.dn.senai.br
SUMÁRIO
APRESENTAÇÃO
1 INTRODUÇÃO 9
2 OBJETIVO 13
3 PRESSUPOSTOS PARA AVALIAÇÃO, RECONHECIMENTO E CERTIFICAÇÃO
DE COMPETÊNCIAS 15
9 REFERÊNCIAS BIBLIOGRÁFICAS 65
ANEXOS
ANEXO I – Candidatos sem experiência profissional ou sem formação
prévia relacionada com a qualificação 71
ANEXO II – Candidatos com experiência profissional ou formação prévia
relacionada com a qualificação 72
ANEXO III – Modelo de Portfólio 73
ANEXO IV – Fluxograma da avaliação de competências no processo formativo 74
ANEXO V – Fluxograma da certificação de competências 84
ANEXO VI – Sugestão de Matriz de Especificação 86
GLOSSÁRIO 87
APRESENTAÇÃO
Embora essa matéria ainda deva ser regulamentada pela União, inclusive para
estabelecer normas de credenciamento de instituições voltadas a esse fim, o SENAI,
tendo em vista os perfis profissionais que estão sendo estabelecidos pelos Comitês
Técnicos Setoriais, antecipa-se ao processo e apresenta sua proposta metodológica de
avaliação e certificação de competências.
Nesta fase, tão importante quanto as demais, insere-se a relevante tarefa de avaliar e,
em especial, a de avaliar competências. Essa afirmativa, já apontada por muitos
especialistas, pode ser exemplificada pelo que diz Perrenoud: É mais fácil avaliar os
conhecimentos de um aluno do que suas competências, pois, para apreendê-las, deve-se
observá-lo, lidando com tarefas complexas, o que exige tempo e abre o caminho à
contestação.1
Embora a educação profissional, pela sua própria natureza, tenha sempre requerido uma
avaliação que vai além da avaliação só do conhecimento, trata-se agora de concebê-la
de forma adequada à abordagem de competências. Isso significa mudar a avaliação que
vem sendo realizada em nossa prática pedagógica.
1 1
PERRENOUD, Philippe. Construir as competências desde a escola. Porto Alegre, Artes
Médicas Sul, 1999. trad. Bruno Charles Magne.
9
a avaliação por conteúdos é focada propriamente nos conteúdos desenvolvidos
nos programas, centrada em tarefas prescritas e possui como parâmetros
estabelecidos os objetivos de ensino;
2
Op. Cit. nota 1.
10
Além disso, deve ser citado outro importante aspecto da avaliação – a negociação.
De acordo com os autores Guba & Lincoln3, já estamos na 4.ª geração da avaliação:
uma avaliação essencialmente qualitativa, amplamente negociada entre as partes
envolvidas, em que as pessoas que vão ser avaliadas participam do processo de
negociação como colaboradores e não apenas como “objetos” de estudo e em que o
avaliador participa tanto como facilitador quanto como mediador.
3
Fourth Generation Evaluation – by Egon G. Guba and Yvonne S. Lincoln. Newbury Park, CA: Sage Publications,
1989.
4
Stakeholders são “as pessoas envolvidas na avaliação ou por ela afetadas – avaliadores, avaliados, escolas e
sociedade de um modo geral”.
5
Empowerment significa “dar poder a”.
11
diversidade, a avaliação de 4.ª geração apresenta múltiplas “caras” e diferentes
“formatos”.
Após essas considerações, são tratados a seguir os componentes deste documento,
na seguinte ordem:
Objetivo
Diretrizes para a Avaliação, Reconhecimento e Certificação de Competências
Aspectos Relevantes da Avaliação e Certificação de Competências
Critérios para a Avaliação e Certificação de Competências
Produto de Entrada para a Elaboração dos Instrumentos de Avaliação
Método para a Elaboração de Instrumentos de Avaliação
Controle de Qualidade
Meta-avaliação
12
2 OBJETIVO
13
3 PRESSUPOSTOS PARA AVALIAÇÃO, RECONHECIMENTO E CERTIFICAÇÃO
DE COMPETÊNCIAS
São elas:
A avaliação de competências, no SENAI, será desenvolvida tanto no decorrer do
processo formativo, em cursos ou programas desenhados com base em
competências profissionais requeridas pelo mercado – Anexo I: “Candidatos sem
experiência profissional ou sem formação prévia relacionada com a qualificação” –
quanto independentemente deste, para avaliar e reconhecer competências
profissionais adquiridas no trabalho – Anexo II: “Candidatos com experiência
profissional ou formação prévia relacionada com a qualificação”. Estas últimas Esses
reconhecimentos darão oportunidade de prosseguimento de estudos ou de
certificação profissional;
6
Lei Federal n.º 9.394/96, que estabelece as diretrizes e bases da educação nacional – Art. 41; Decreto
Federal n.º 2.208/97, regulamentador da LDB – Art. 11; Parecer CNE/CEB n.º 17/97, que estabelece as
diretrizes operacionais para a educação profissional em nível nacional; Resolução CNE/CEB n.º 04/99,
que institui as diretrizes curriculares nacionais para a educação profissional de nível técnico; e Parecer
CNE/CEB n.º 16/99, que estabelece as diretrizes curriculares nacionais para a educação profissional de
nível técnico.
15
A avaliação de competências deverá compreender o aproveitamento de
conhecimentos e de experiências anteriores, desde que diretamente relacionados
com o perfil profissional estabelecido para a qualificação;
16
Os indicadores e as evidências podem ser de conhecimento, de execução e de
atitudes e se referem aos saberes aprender a ser, aprender a fazer, aprender a
conviver, aprender a aprender7. Deverão ser observáveis de forma integrada e
contextualizada em uma situação de avaliação, envolvendo conjuntamente
competências básicas, específicas e de gestão; e
7
DELORS, J. Educação; um tesouro a descobrir. São Paulo, Cortez, 1998.
17
4 ASPECTOS RELEVANTES DA AVALIAÇÃO E CERTIFICAÇÃO DE
COMPETÊNCIAS
para que avaliar – indaga-se sobre a finalidade geral da avaliação. Nesse sentido, a
avaliação realizada antes, durante ou ao final do processo de formação do
profissional, bem como independentemente deste, adquire características e
finalidades diferenciadas;
que dados serão usados – indaga-se se serão dados do tipo qualitativo e/ou
quantitativo;
o quê será avaliado - indaga-se sobre o objeto da avaliação, que poderá ser relativo
ao processo e/ou ao produto.
19
Afinal, o que são indicadores, critérios de avaliação e evidências?
Indicadores são elementos de ligação entre a indagação que se faz e o campo de coleta
de dados, ou seja, os pontos de referência que sinalizam por onde a informação deve ser
buscada. Assim, nesta proposta de avaliação de competências, considera-se que os
indicadores de uma unidade de competência são obtidos a partir dos próprios elementos
de competência definidos no perfil profissional.
Evidências de execução são aferidas pelo produto, pelo processo ou por ambos. A
primeira é decorrente do próprio produto do trabalho do aluno ou do candidato à
certificação profissional. Tais evidências indicam o que o aluno ou candidato produziu,
em que trabalhou, quais os documentos produzidos como parte do trabalho e quais os
resultados alcançados. A evidência em si pode estar na forma do próprio produto ou pode
ser expressa pelo registro ou fotografia do produto.
20
A segunda é decorrente dos processos envolvidos na demonstração da competência e se
refere à forma como o candidato realizou suas atividades. Essas evidências podem ser
coletadas por observações do avaliador, depoimentos de testemunhas, registros
comprovados da atividade do candidato ou registros em áudio/vídeo.
21
Evidências de atitudes são os comportamentos e valores demonstrados pelo avaliado,
no contexto de trabalho, para alcançar o desempenho descrito. Assim, as atitudes devem
ser promovidas, desenvolvidas e avaliadas nos processos formativos e avaliadas em
situações de exames, especialmente em provas de execução, considerando sua
relevância no mundo do trabalho.
22
1. Planejamento da avaliação: estabelecimento dos objetivos da avaliação, definição das
evidências que serão coletadas (como, quando, onde e por quem) e determinação
dos momentos de avaliação e preparação da execução;
23
5 CRITÉRIOS PARA A AVALIAÇÃO E CERTIFICAÇÃO DE COMPETÊNCIAS
No nível técnico, esse processo deverá ser implementado nos termos propostos pela
legislação. Para tanto, a escola deverá instituir uma comissão de docentes para análise e
decisão de casos dessa natureza, tendo como parâmetro o artigo 11, da Resolução
CNE/CEB n.º 4/99, que dispõe:
I- no ensino médio;
II - em qualificações profissionais e etapas/módulos de nível técnico
concluídos em outros cursos;
III - em cursos de educação profissional de nível básico, mediante
avaliação do aluno;
IV - no trabalho ou por outros meios informais, mediante avaliação do
aluno;
V - e reconhecidos em processos formais de certificação profissional.
(grifo nosso)
25
No caso III, procede-se tal qual indicado acima (análise documental), avaliando-se ainda o
candidato por meio de instrumentos de avaliação de competências básicas, específicas
e/ou de gestão baseadas no perfil da qualificação profissional. Com base no resultado,
indica-se qual itinerário formativo o candidato poderá seguir.
26
Essa análise documental deve ser feita, de preferência, por uma comissão específica
para esse fim, composta por docentes que desenvolvam o processo de formação e que
tenham condições de analisar o currículo e verificar as semelhanças e diferenças entre
as competências apresentadas pelo candidato e as definidas no perfil profissional.
27
para a coleta de evidências. Nesse caso, é indispensável que o avaliador reconheça as
competências do avaliado, tendo capacidade de analisar o desempenho demonstrado.
Para esse fim, são aplicados instrumentos de avaliação definidos pela instituição, os
quais permitam comprovar se o aluno possui as competências exigidas. Os alunos que
obtiverem sucesso no processo de avaliação receberão a documentação comprobatória
do desempenho no módulo, que equivalerá a um crédito, a fim de que possa obter o
certificado ou diploma do curso correspondente ao perfil completo da qualificação.
29
Nos casos de insucessos, cada Departamento Regional deve ter mecanismos
estabelecidos para oferecer novas oportunidades de desenvolvimento das competências
ainda não adquiridas.
30
5.3.2 Constituição da Comissão de elaboração de instrumentos de avaliação
A comissão é constituída por dois docentes do SENAI que não tenham participado do
processo formativo e que sejam especialistas na área definida para certificação e por
um representante externo de empresa ou instituição correlata à área objeto de
certificação. Deve-se ressaltar que os profissionais participantes da Comissão de
Avaliação deverão ser previamente capacitados para o exercício dessa função.
Os candidatos serão avaliados por meio de provas, informes ou relatos escritos e por
demonstrações práticas para comprovação de suas competências profissionais.
Essas provas podem ser realizadas no SENAI, em empresas ou em instituições,
31
desde que garantidas as condições necessárias para sua aplicação. Algumas
técnicas, como, por exemplo, a observação realizada pelo avaliador, podem ser uma
útil fonte de evidências, principalmente quando esse avaliador se encontra em
atividades diárias com o candidato, podendo realizar, ao mesmo tempo, uma
observação contínua e formal. Essas duas características darão mais naturalidade e
confiabilidade à avaliação. A observação deve ser realizada e registrada em
instrumentos tais como a lista de verificação (cheklist) e/ou a ficha própria de
observação.
32
6 PRODUTO DE ENTRADA PARA A ELABORAÇÃO DE INSTRUMENTOS DE
AVALIAÇÃO
Vale ressaltar que o perfil profissional estabelecido com base em competências, por si só,
é suficiente para a elaboração de instrumentos de avaliação, uma vez que a avaliação de
competências pode se dar independentemente do desenvolvimento do curso.
Em relação aos padrões de desempenho, duas questões devem ser consideradas para
subsidiar, ainda, o passo seguinte, qual seja o de estabelecer os instrumentos de
avaliação propriamente ditos:
34
7 MÉTODO PARA A ELABORAÇÃO DE INSTRUMENTOS DE AVALIAÇÃO
Nessa fase, são tomadas decisões acerca dos instrumentos de avaliação a serem
elaborados, as quais serão sintetizadas na matriz de especificação, a partir da análise do
perfil, considerando a Ficha 6 – Análise do Perfil da Qualificação Profissional, do
documento Metodologia para a Elaboração de Desenho Curricular Baseado em
Competências.
35
Todas as unidades de competência poderão ser avaliadas nas formas escrita, oral e de
execução – por simulação ou em situação de trabalho, ou em combinação, em função de
sua natureza e complexidade. Em qualquer situação, adota-se como estratégia o uso de
situações-problema.
No caso da composição de um banco de itens, este deve conter, no mínimo, três vezes a
quantidade de itens definidos para cada unidade de competência, oferecendo-se maior
possibilidade de que, na combinação entre eles, cubra-se o conjunto de seus elementos
de competência.
a. Provas de Execução
36
materiais etc. Elas podem ser executadas em condições reais (ou seja, tal qual em uma
situação de trabalho) ou em condições simuladas (isto é, “como se fossem reais”).
Por meio desse tipo de prova pode-se avaliar o desempenho sob dois aspectos:
As provas de execução podem ser desenvolvidas por meio de várias estratégias, tais
como a simulação de situações reais de trabalho (também chamadas de situações
realísticas), que oferecem condições favoráveis tanto à aprendizagem quanto à
avaliação. Para a simulação ser utilizada com fins avaliativos, é preciso ter considerado,
37
antes, se ela pode ou não ser aceitável como fonte de evidência de desempenho (de
execução, de conhecimento e de atitudes). Em geral, as simulações não são
consideradas uma alternativa econômica, porque são montadas com o fim exclusivo de
avaliação8. No entanto, é viável que escolas como as da rede SENAI adotem alguns
SIMULAÇÃO
Tipos Exemplos
Modelo simulador de vôo
painel de controle de máquina
Equipamento de teste seleção de equipamentos
uso de extintor de incêndio
Ensaios canteiro de obras para grupos construírem
partes de um edifício
restaurante-escola
Desempenho de papéis resposta à queixa de um cliente sobre
um produto
Projetos individuais ou em grupo estabelecer um plano de negócios ou
uma estratégia de marketing ou um
relatório de verificação
Exercícios escritos produzir um desenho industrial à mão
ou com o auxílio de CAD
Quadro montado com base em exemplos contidos no documento Assessing NVQs, publicado pela Qualifications and
Curriculum Authority (QCA).
8
Como exemplo, pode-se citar o Centro de Exames de Qualificação – CEQUAL, que tem o SENAI como
uma das instituições parceiras.
38
As provas devem ser elaboradas de forma a serem representativas, exigindo da
pessoa o desenvolvimento de atividades e a obtenção de produtos que mobilizem
efetivamente as competências profissionais correspondentes à(s) unidade(s) de
competência analisada(s); e
Uma vez selecionada, é necessário definir em que consiste a prova, expressando com
clareza a situação-problema proposta, as atividades e produtos esperados e as
instruções para o seu desenvolvimento. Em algumas ocasiões, poderá ser útil ilustrar a
descrição com gráficos, planos, esquemas, imagens ou outros documentos.
Tendo-se em conta que cada prova pode ser aplicada por distintos avaliadores, é
necessário incluir em sua definição todos os elementos e observações relativos às
condições de realização, equipamento, instruções de procedimento etc., a fim de que a
avaliação seja homogênea em todos os casos.
9
Pode ocorrer que, para cada unidade de competência corresponda uma prova de execução. Não
obstante, pode haver casos em que seja mais conveniente avaliar mais de uma unidade de competência
por meio da mesma prova. Em tais casos, ainda que se utilize apenas uma prova, será preciso
diferenciar a parte da prova referida a cada uma das unidades de competência envolvidas (de modo a
ser possível identificar em qual unidade a pessoa é ou não apta).
39
Equipamento e Material Disponível: informação a respeito dos elementos
disponibilizados ao candidato/aluno para a realização da prova10; e
Essa definição incluirá toda informação necessária para que o avaliador, no momento
de aplicar a prova, não seja obrigado a improvisar qualquer aspecto por falta de
definições prévias, e para que as sucessivas aplicações da prova, ainda que realizadas
por distintos avaliadores, possam ser reproduzidas nas mesmas condições
(homogeneidade). Deverão constar os seguintes dados:
10
Não é necessário incluir neste ponto uma listagem exaustiva de todo o equipamento implicado na
realização da prova, com suas características técnicas, pois essas especificações são fornecidas quando
da definição da prova para o avaliador. Neste momento, basta incluir as informações imprescindíveis.
11
Confira item Manual do Avaliador.
40
Condições de Realização: inclusão de dados sobre a situação e o contexto de
aplicação da prova (instalações, fatores ambientais, mínimo e máximo de pessoas
para avaliar simultaneamente, disposição do equipamento e material etc.); e
Lista de verificação
41
Estruturar uma lista de verificação não é uma tarefa fácil, já que supõe (1) a análise
detida da prova proposta, (2) a seleção de todos os fatores relevantes que o avaliador
deve observar para pontuar a pessoa e (3) a elaboração de suas correspondentes
escalas de medição (serão apontadas algumas indicações suplementares no subitem
Como construir uma lista de verificação).
42
unidade de competência corresponda uma prova, mas pode acontecer que uma
prova avalie mais de uma unidade de competência, não se descartando, ainda, a
possibilidade de uma prova poder avaliar todas as unidades de competência do
perfil profissional; e
Cada atividade/produto pode ser avaliado com um único fator ou vários fatores,
dependendo das competências implicadas;
43
Nas distintas atividades/produtos, os fatores não serão, necessariamente, os
mesmos. De fato, é equivocado utilizar-se sistematicamente os mesmos fatores
para qualificar qualquer tipo de aspecto;
Pode haver provas para as quais seja interessante estabelecer fatores referidos ao
processo de execução em seu conjunto, mesmo que isso implique desenvolver
distintas atividades. Em algumas ocasiões, por exemplo, pode ser irrelevante avaliar
o tempo parcial empregado pelo candidato/aluno para realizar cada atividade de
uma mesma prova, mas ser essencial considerar o tempo total. O mesmo pode
ocorrer a respeito de outros fatores (planejamento, organização etc.), que seria de
interesse avaliar globalmente;
A cada fator deve estar relacionada pelo menos uma rubrica, que é a explicação do
significado do fator.
FATORES RUBRICA
Seqüencialidade Realização de cada atividade na seqüência
44
estabelecida, seguindo as etapas corretas
Adequação de instrumentos, materiais Seleção dos instrumentos e materiais
etc. apropriados para cada atividade
Muitos outros fatores podem ser incluídos, tais como autonomia ou responsabilidade.
De todo modo, o essencial é que cada fator seja definido claramente e seja adequado
à atividade ou produto que se pretende avaliar.
Convém considerar que a rubrica pode ter gradações, desde um desempenho mais
simples, até um desempenho mais completo e desejável. Em outras palavras, a rubrica
pode conter uma escala de possíveis pontos, num continuum de qualidade, que podem
ser numerados. Números mais altos correspondem aos melhores desempenhos.
Rubricas são construídas por profissionais que dominem a área à qual a rubrica se
refere.
45
1. Informe do aluno 2. Informe 3. Informe 4. Informe
proferido somente proferido preparado com a apresentando
depois de orientado somente depois ajuda do professor, claramente um ponto
por um professor. de orientado por utilizando conceitos de vista, com
um professor e lógicos na fala e justificativa, e
com alguns apresentando considerando o
cuidados quanto cuidados com interesse do público,
a gestos, voz e gestos, voz e além da expressão
contato visual. contato visual. corporal completa.
A cada fator estabelecido deve ser relacionada uma escala de medida. No âmbito do
Projeto Certificação Profissional Baseada em Competências, serão adotadas as
escalas de cotejo.
As escalas de cotejo são aquelas em que o avaliador unicamente indica “sim” ou “não”,
“1” ou “0”, dependendo da presença ou ausência da característica que se pretende
observar.
Exemplo:
Fator Escala de Cotejo
46
b. Provas Escritas
Os itens desse tipo exigem respostas mais elaboradas, com raciocínios mais
complexos, estabelecendo relações, fatos ou idéias, interpretando dados e princípios,
realizando inferências, analisando criticamente uma idéia e emitindo juízos de valor,
expressando as idéias e opiniões por escrito, com clareza e exatidão, analisando
vantagens e desvantagens e justificando as respostas dadas. Portanto, os itens de
resposta aberta do tipo argumentativo são adequados para situações em que se exija
raciocínios mais reflexivos ou criativos, que organizem conhecimentos na solução de
problemas e os expressem por escrito.
Usar linguagem clara e simples, para que todos interpretem igualmente a situação-
problema e enfrentem a mesma tarefa. Deve-se evitar o uso de expressões vagas
como: "O que você pensa", "Escreva tudo o que sabe" e "Qual sua opinião".
Dispensam menor tempo para elaboração, embora sejam mais difíceis de serem
bem feitas;
Permitem avaliar raciocínios mais complexos e abrangentes;
Abrem possibilidades para a demonstração de organização, integração e expressão
das próprias idéias;
Possibilitam exemplificações e análises, sínteses e julgamentos de valor, bem como
a avaliação de atitudes; e
Permitem o desenvolvimento das idéias de modo livre e criativo.
Limitações das questões de resposta aberta
48
Exigem maior tempo para correção;
Propiciam maiores possibilidades de subjetividade na correção; e
Exigem maior tempo para as respostas.
49
corrigir as provas, exigindo maior tempo de leitura e análise, o que acarreta maior
custo na avaliação;
É importante corrigir os itens sem identificar o seu autor, para não se deixar
influenciar por predisposições; e
As questões do tipo resposta simples podem ser respondidas com uma palavra, frase
ou símbolo, sendo passíveis de formulação com pergunta direta ou indireta.
50
Possibilitam a elaboração de maior número de questões, abrangendo um campo
maior de conteúdos trabalhados, por requererem respostas mais precisas;
São mais simples de construir e responder;
Reduzem ao mínimo a possibilidade de adivinhação;
Tornam possível maior controle sobre a interferência de fatores subjetivos, tanto do
aluno quanto do professor;
Permitem a solução de grande quantidade de questões em pouco tempo, o que
faculta ao professor avaliar uma amostragem relativamente grande de conteúdos;
São aplicáveis a qualquer área do conhecimento;
Favorecem o raciocínio lógico, direto e imediato; e
Oportunizam a clareza e a objetividade nos conteúdos respondidos.
51
Orientações para elaboração de questões com respostas breves
Escrever um bom item de múltipla escolha é um processo criativo que requer um alto
grau de engenhosidade, atenção aos detalhes e profundo conhecimento do assunto a
ser examinado. O item de múltipla escolha consiste, basicamente, em (1) um suporte,
raiz ou premissa que apresenta uma situação-problema e (2) várias alternativas que
52
oferecem possíveis soluções ao problema, sendo uma delas correta ou a melhor do
conjunto. As questões de múltipla escolha deverão conter, preferencialmente, cinco
opções, no sentido de diminuir a probalidade de acerto por sorte.
53
Diferentemente de outras modalidades de prova (dissertação, exame oral, prova
escrita aberta etc.), que deixam ao candidato a possibilidade de dissimular seu
desconhecimento (pois a pessoa aborda o que conhece e evita o que não domina),
as questões de múltipla escolha não permitem “fugas”.
54
- economiza espaço no suporte e na alternativa; e
- se bem construída, possibilita uma passagem mais adequada da leitura do
problema para a procura da alternativa correta.
Todos os elementos comuns nas alternativas devem ser transferidos para o suporte. Às
vezes, não é possível seguir a presente sugestão sem complicar a compreensão do
item; entretanto, na maioria dos casos, essa transferência é realizável. Economizam-se
esforços e espaço na organização do teste e o examinando disporá de mais tempo
para considerar o problema apresentado no suporte, em vez de gastá-lo na leitura das
alternativas.
- Elaborar alternativas breves, eliminando tudo aquilo que não for essencial.
As alternativas não devem consistir em sentenças longas, o que, na maior parte das
vezes, é uma fonte pouco significativa de dificuldade. Os melhores itens são os que
apresentam opções curtas, centralizadas em pontos importantes; entretanto, a redução
das alternativas a uma única palavra tende a enfatizar o domínio factual, em prejuízo
55
de capacidades mais complexas. Uma frase curta, desde que não haja prejuízo do
significado do problema e da resposta, é mais aconselhável.
Alguns itens, por defeito de estruturação, não apresentam nenhuma das alternativas
realmente correta. Por outro lado, muitos construtores não consideram o problema da
plausibilidade das alternativas e apresentam opções tão díspares que apenas por bom
senso o examinando escolhe a resposta correta. A fim de aumentar a plausibilidade
das alternativas, sugere-se:
empregar uma linguagem precisa em todas as alternativas, inclusive na incorreta;
56
apresentar todas as alternativas com a mesma extensão e complexidade verbal;
organizar as alternativas de maneira homogênea, mas sem prejudicar
discriminações importantes.
O uso de “Nenhuma das alternativas acima” ou “Todas as alternativas acima” deve ser
limitado e, sempre que possível, evitado. Construtores de itens, quando sentem
dificuldade na elaboração de alternativas suficientemente plausíveis ou desejam evitar
opções evidentemente erradas, apelam para esses tipos de alternativas, que raramente
funcionam no item. A opção “Nenhuma das alternativas acima” quase sempre contradiz
o suporte ou não o complementa gramaticalmente, o que leva o examinando a eliminá-
la como resposta certa. Além disso, nesses casos, só se pode constatar que o
examinando não identifica, entre as alternativas apresentadas, uma correta, o que não
garante que a avaliação esteja enfocando o proposto pelo item. Por outro lado, no item
de múltipla escolha, o examinando procura sempre a alternativa mais correta e não a
absolutamente correta. Se uma das opções é “Nenhuma das alternativas acima” e não
há uma opção perfeitamente correta, o examinando desprezará a melhor alternativa
para assinalar a opção “Nenhuma das alternativas acima”, o que implicará erro. Esta
opção costuma igualmente induzir ao erro quando, após análise do problema em toda
a sua amplitude, verifica-se que certos aspectos não foram destacados e assinala-se
erroneamente a opção “Nenhuma das alternativas acima”.
Há quem proponha a apresentação das alternativas mais óbvias nas últimas posições,
para que o examinando considere todas as possíveis respostas apresentadas. Não
existe nenhuma evidência empírica que demonstre a superioridade desse
procedimento sobre uma distribuição aleatória das opções. Se a resposta for evidente,
não será a sua posição que melhorará a qualidade do item.
A revisão dos itens, antes da montagem do teste, deve ser realizada em vários níveis.
Inicialmente, um especialista em tecnologia de testes verifica se os princípios gerais e
específicos de construção de itens foram seguidos; posteriormente, um especialista na
matéria analisa o conteúdo dos itens, a sua adequação à matriz de especificações. Ao
revisor deve-se solicitar que estabeleça uma chave de correção para o teste planejado.
O objetivo dessa solicitação é fazer com que o revisor identifique duplicidade de
respostas para um mesmo item.
Além disso, o revisor precisa verificar se o autor dos itens procurou evitar os seguintes
aspectos, que debilitam sua potência discriminativa:
Citação de autores, salvo quando o assunto é controverso;
Apresentação de opiniões pessoais, limitando, assim, o emprego do item ao seu
próprio grupo;
Apresentação de várias alternativas igualmente possíveis;
Elaboração de respostas estereotipadas (clichês);
Inversões artificiais e capciosas das alternativas;
Solicitação de opinião pessoal do examinando;
Redação do suporte sem problema específico;
Elaboração de alternativas inteiramente absurdas;
Emprego das opções “Nenhuma das alternativas acima” ou “Todas as alternativas
acima”;
Apresentação de alternativas obscuras e com armadilhas verbais;
Repetição de elementos comuns nas alternativas;
Redação de alternativas muito semelhantes e de discriminação sutil; e
Interligação de itens, promovendo a propagação do erro inicial.
Questões de correspondência
59
Sua formulação é rápida e relativamente fácil, pois o enunciado se resume à
instrução comum para toda uma série de questões;
Ocupam menos espaço na prova do que um número correspondente de questões
de escolha múltipla e também demoram menos a ser resolvidas, economizando
tempo e papel;
Seu julgamento é objetivo e rápido; e
Reduzem a probabilidade de acerto por sorte, uma vez que, para cada elemento, há
várias opções de emparelhamento (em especial quando em uma coluna há mais
elementos do que na outra, jamais sendo possível acertar apenas por exclusão).
60
Em cada questão, a correspondência deve estar baseada num único tipo de relação
(por exemplo causal, temporal, espacial, de semelhança, de posição, de categoria
etc.);
Para facilitar a inspeção feita pelo examinando, deve-se dispor os elementos de
cada coluna em alguma ordem lógica (por exemplo alfabética, cronológica, de
grandeza etc.). Tal medida também concorrerá para evitar indícios indesejados
sobre a resposta certa;
Para reduzir a influência do fator sorte ou do acerto por simples eliminação, deve-se
colocar numa coluna mais elementos que na outra. Essa prática tem a vantagem de
reduzir a extensão das listas, o que representa economia de tempo na sua leitura;
Devem ser relacionados, no máximo, 10 elementos em cada coluna. Essa norma
facilita a obtenção de listas homogêneas e restringe a inclusão de elementos de
importância secundária, além de economizar tempo de prova;
Se uma questão ficar muito extensa, convém dividi-la em outras, que poderão ficar
mais homogêneas e funcionar melhor. Por outro lado, é importante ter em mente
que listas muito pequenas podem facilitar o acerto por sorte, a menos que cada
elemento possa ser escolhido várias vezes;
Quando uma das colunas for de frases ou de expressões mais longas e a outra de
palavras, esta deve ser apresentada como lista de opções, para facilitar a sua
leitura repetida na hora de responder; e
Todas as opções devem parecer possíveis para cada elemento da lista a relacionar.
Todavia, depois de pronta a questão, é preciso examinar cuidadosamente todas as
opções, a fim de afastar a possibilidade de duas respostas certas para algum dos
elementos a relacionar.
O Manual de Aplicação é um guia para o avaliador e nele são incluídos todos os aspectos
relativos ao procedimento de avaliação dos candidatos, observando-se a ordem de
aplicação das provas e os procedimentos nos diferentes momentos da avaliação.
61
Ao Manual, no momento da operacionalização da avaliação para certificação, devem ser
anexados os suportes necessários para a aplicação das provas (instruções específicas,
provas, suportes de correção e pontuação etc.).
62
8 CONTROLE DA QUALIDADE
63
Servir não apenas para os avaliadores, mas também para todas as pessoas
interessadas na avaliação, os chamados stakeholders; e
Ser tecnicamente bem elaborada, adequada, útil e ter uma relação custo-benefício
viável e compensatória.
64
9 REFERÊNCIAS BIBLIOGRÁFICAS
65
______. Qualidade da educação; tentativa de definir conceitos e critérios de avaliação.
In: Estudos em avaliação educacional. São Paulo, Fundação Carlos Chagas,
1990.
PENNA FIRME T. & LETICHEWSKY, A.C. Evaluation capacity Building in the XXI st
Century: Meeting the Challenge through Metaevaluation – International
association Educational Assessment – 27th Annual IAEA Conference – Rio de
Janeiro, 2001.
66
SANT’ANNA, Ilze Martins. Avaliar? Por que, Avaliar? Como? critérios e
instrumentos. Petrópolis, Vozes, 1985.
67
ANEXOS
69
ANEXO I
Seleção
Não cumpre
Análise de pré-requisitos Orientação
Informação ao candidato
Cumpre
Formação Avaliação
Certificado
71
ANEXO II
Orientação
Balanço de competências
Entrevista com o candidato
e informação ao candidato
Avaliação/Certificação
Sistematização de evidências: Provas para avaliação de
Elaboração e análise de competências
portfólio
Não Apto
Diagnóstico de carências
Apto
Formação Complementar
Itinerário formativo Certificado
72
ANEXO III
Modelo de Portfólio
CONTEÚDO DO DOSSIÊ:
73
SOLICITAÇÃO DE RECONHECIMENTO/CERTIFICAÇÃO
DE COMPETÊNCIAS PROFISSIONAIS FICHA A
DADOS PESSOAIS
Nome
Endereço
• Idade • Sexo
Profissão
- Empregado Empresa
- Desempregado Tempo
CERTIFICADO
74
DADOS DE ESCOLARIDADE FICHA B
Nome
Profissão
Duração Certificados
Cursos Local
Início Final Diplomas
Educação
Básica
Educação
Profissional
75
EXPERIÊNCIA PROFISSIONAL FICHA C1
(Durante os dez últimos anos)
Nome
Profissão
N.º: Assinalar o n.º 1 para a atividade que o solicitante tem atualmente ou o último que tenha
desempenhado e assim sucessivamente.
Duração: No início e final, indique a data (dia, mês, ano); na duração total, indique anos e
meses.
Utilizar tantas fichas deste tipo quanto necessário.
76
FICHA C1
(continuação)
OUTRAS ATIVIDADES
77
EXPERIÊNCIA PROFISSIONAL FICHA C2
(Durante os dez últimos anos)
Nome
N.º Denominação da
Experiência Prof.
Organização do
Atividades realizadas Meios utilizados trabalho
Utilizar tantas fichas deste tipo quanto o número de postos de trabalho que tenham sido incluídos na
Ficha C1.
78
RELAÇÃO ENTRE A EXPERIÊNCIA PROFISSIONAL FICHA D
E O PERFIL PROFISSIONAL DA QUALIFICAÇÃO
Balanço
Nome
Certificação
Atividades realizadas
Atividades realizadas
79
Fichas da Síntese de Avaliação
da Experiência Profissional
80
FICHA E
Nome
Certificado
1.1
1.2
1.3
1.4
1.5
Observações:
81
FICHA F
Nome
82
AVALIAÇÃO DA EXPERIÊNCIA PROFISSIONAL FICHA G
Nome
Certificado
Prescrição
Unidades de
Competência Formação Formação
complementar complementar
UC 1
UC 2
UC 3
UC 4
83
ANEXO IV
Fluxograma da avaliação de competências no processo formativo
Fluxo Agentes
AVALIAÇÃO POR
NÃO APTO UNIDADE(S) DE APTO
QUALIFICAÇÃO
APTO
CERTIFICADO
(UNIDADE DE QUALIFICAÇÃO/PERFIL Centro de Formação
COMPLETO)
84
ANEXO V
Fluxograma da certificação de competências
Fluxo Agentes
FLUXO AGENTES
Especialista em avaliação
CONSTITUIÇÃO DA COMISSÃO PARA A
ELABORAÇÃO DOS INSTRUMENTOS Especialista em conteúdo
DE AVALIAÇÃO (SENAI ou externo)
ORIENTAÇÃO/
BALANÇO DE Comissão de Avaliação para
COMPETÊNCIAS Certificação
FORMAÇÃO
COMPLEMENTAR
85
ANEXO VI
Sugestão de Matriz de Especificação
Total de Itens
Total de Itens
86
GLOSSÁRIO
AVALIAÇÃO
Processo de julgamento de mérito ou valor de situações diversas para tomada de
decisão.
AUTO-AVALIAÇÃO
Realizada pelo próprio aluno que passa pela ação formativa. Para a realização da auto-
avaliação, os critérios que servirão como parâmetros de julgamento devem estar
claramente definidos, explicitados e justificados, tanto para o aluno como para o
professor.
AVALIAÇÃO DE COMPETÊNCIAS
AVALIAÇÃO DE PROCESSO
Tem como objetivo avaliar se o que foi planejado está ocorrendo como desejado. A
avaliação de processo se realiza durante o desenvolvimento de uma ação ou projeto,
buscando-se assegurar a obtenção daquilo que foi previsto, na medida em que são
feitos reajustes e consolidações necessárias ao longo do percurso.
AVALIAÇÃO DE PRODUTO
Tem como objetivo avaliar o produto concluído, realizando-se ao final de um projeto ou
ação educacional ou de uma de suas partes, visando julgar se o produto obtido está de
87
acordo com o planejado. A avaliação de produto fornece subsídios para tomada de
decisões relativas à continuação, modificação ou interrupção da ação ou projeto. A
avaliação do produto leva em conta, também, aqueles produtos ou resultados não
esperados pelos objetivos.
AVALIAÇÃO DIAGNÓSTICA
Tem como objetivo diagnosticar conhecimentos anteriormente adquiridos, pré-
requisitos ou pré-condições necessárias para ser realizada a instrução. Esse tipo de
avaliação se realiza, geralmente, antes do início da instrução, mas pode realizar-se
também durante o processo, para identificar, por exemplo, causas de repetidas
dificuldades de aprendizagem.
AVALIAÇÃO EXTERNA
Caracteriza-se por ser realizada por agentes externos à ação ou projeto que está
sendo desenvolvido. O julgamento de valor de uma ação educacional é feito por
pessoas que não participaram do planejamento e desenvolvimento da ação, mas que
têm as competências necessárias para emitir os julgamentos. O desejável para a
realização da avaliação externa é que os parâmetros de avaliação sejam estabelecidos
em conjunto com aqueles que participaram da ação.
AVALIAÇÃO INTERNA
Carateriza-se por ser realizada por agentes internos à ação ou projeto que está sendo
desenvolvido, ou seja, quem avalia é alguém que faz parte da equipe de planejamento
e desenvolvimento da ação. Esse fato, dependendo do ambiente de avaliação, pode
significar grandes possibilidades de crescimento profissional do grupo e de obtenção
de um produto final de qualidade.
88
AVALIAÇÃO QUALITATIVA
É aquela com base em dados qualitativos, ou seja, em dados descritivos que refletem a
ação ou projeto educacional. Portanto, todas as decisões são tomadas com base em
apreciações qualitativas.
AVALIAÇÃO QUANTITATIVA
É aquela em que os julgamentos têm como base dados quantitativos, ou seja, dados
cujas características são numéricas. Cabe ressaltar que a avaliação quantitativa e a
avaliação qualitativa não são excludentes, pois os parâmetros quantitativos
estabelecidos para o julgamento devem refletir a qualidade da instrução, da ação ou
do projeto educacional como um todo e, vice-versa, os parâmetros qualitativos podem
vir a ser quantificados.
BALANÇO DE COMPETÊNCIAS
Resultado de análise comparativa entre as competências adquiridas no trabalho ou em
estudos e as competências estabelecidas no perfil da qualificação profissional.
CRITÉRIOS DE AVALIAÇÃO
São parâmetros estabelecidos para julgamento, expressando a qualidade do
desempenho esperado. Na avaliação de competências, esses critérios são definidos a
partir dos padrões de desempenho definidos no perfil profissional.
89
ESCALA DE COTEJO
Caracteriza-se por ser dicotômica, qualitativa ou quantitativamente, indicando a
presença ou não da característica que se pretende observar. Assim, nela pode-se
indicar “sim” ou “não”, “1” ou “0”, "bom" ou "ruim".
EVIDÊNCIAS
São a demonstração ou a comprovação (manifestação, expressão, comportamento) de
que o critério estabelecido foi alcançado. No caso presente, aquele relativo às
competências estabelecidas no perfil profissional. Nesse sentido, evidência significa
informação sobre o desempenho que, coletada, reunida e interpretada, propicia um juízo
de valor sobre uma competência profissional.
EVIDÊNCIAS DE EXECUÇÃO
Podem ser aferidas pelo produto, pelo processo ou por ambos. A primeira é decorrente
do próprio produto do trabalho do aluno (processo formativo) ou do candidato à
certificação profissional, referente a itens que indicam o que o aluno ou candidato
produziu ou em que trabalhou, quais os documentos produzidos como parte do trabalho,
se for o caso, e quais os resultados alcançados. A segunda é decorrente dos processos
envolvidos na demonstração da competência, referente à forma como o candidato
realizou suas atividades. Essas evidências podem ser coletadas por observações do
avaliador, depoimentos de testemunhas, registros autenticados da atividade do candidato
ou registros em áudio/vídeo. A terceira decorre da combinação das duas anteriores –
produto do trabalho e processos envolvidos.
EVIDÊNCIAS DE CONHECIMENTO
Refere-se ao saber o que deve ser feito, como deve ser feito, por que deve ser feito e o
que fazer em diferentes circunstâncias. Dessa forma, faz-se necessário conhecer fatos e
procedimentos, compreender os princípios e as teorias que os embasam, além dos
modos de aplicar e usar o conhecimento como tal. As evidências de conhecimento são
dadas tanto pelos conhecimentos de base (princípios, regras, teorias e métodos) quanto
pelos conhecimentos aplicados (informação, tecnologia de equipamentos, materiais,
instrumentos) necessários para alcançar o desempenho descrito.
90
EVIDÊNCIAS DE ATITUDES
Relacionam-se diretamente aos comportamentos e valores demonstrados pelo avaliado,
no contexto de trabalho, para alcançar o desempenho descrito. Assim, é preciso
considerar que as atitudes devem ser promovidas e desenvolvidas nos processos
formativos.
FATORES
Conjunto de características que o processo de execução ou o produto resultante da
avaliação deve reunir.
INDICADORES
São elementos de ligação entre a indagação que se faz e o campo de coleta de dados,
ou seja, os pontos de referência que sinalizam por onde a informação deve ser buscada.
Assim, nesta proposta de avaliação de competências, considera-se que os indicadores
de uma unidade de competência são obtidos a partir dos próprios elementos de
competência definidos no perfil profissional.
MATRIZ DE ESPECIFICAÇÃO
Caracteriza-se por planificar a relação de provas e oferecer uma visão geral de como se
realiza a avaliação.
META-AVALIAÇÃO
É a avaliação da avaliação, à luz dos Standards de Avaliação (Joint Committee, 1994) no
sentido de verificar se uma avaliação é fiel a esses Standards. Se a meta-avaliação é
realizada enquanto uma avaliação está sendo desenvolvida, ela se caracteriza como
meta-avaliação formativa, na medida em que vai fazendo os necessários reajustes no
processo avaliativo. Se, porém, a meta-avaliação é conduzida ao final de uma avaliação,
ela é caracterizada como meta-avaliação somativa, na medida em que verifica se os
91
Standards de Avaliação foram plenamente respeitados, o que assegura credibilidade à
avaliação em questão. (Worthen, Sanders and Fitzpatrick, 1997).
PADRÕES DE DESEMPENHO
São os referenciais que especificam a qualidade do desempenho e permitem julgar como
adequado/não adequado ou satisfatório/não satisfatório o desempenho do profissional
com relação ao elemento de competência. Isto é, são especificações objetivas que
permitem verificar se o profissional alcança ou não o resultado descrito no elemento de
competência.
PORTFÓLIO
Instrumento que reúne, de forma sistematizada, todas as atividades desenvolvidas por
uma pessoa, tanto de estudo como de trabalho (histórico formativo e profissional),
possibilitando a valoração do mesmo em relação ao perfil profissional da qualificação.
RUBRICA
Caracteriza-se por apresentar as condições necessárias à identificação dos aspectos de
desempenho que devem ser considerados na avaliação. Pode compreender gradações
que vão desde um desempenho mais simples até um desempenho mais completo e
desejável.
SITUAÇÃO-PROBLEMA
Proposição hipotética ou não, de ordem teórica e prática, que envolve elementos
relevantes na caracterização de um desempenho profissional, levando a pessoa a
mobilizar conhecimentos, habilidades e atitudes na busca de alternativas de solução.
92
SENAI/DN
EQUIPE GESTORA
EQUIPE TÉCNICA
93
Nilson Arno de Souza Júnior SENAI/PR
Paulo Mendes SENAI/DF
Paulo Rech SENAI/SC
Regina Abudd de Souza SENAI/PR
Regina Helena Malta do Nascimento SENAI/RJ
Renato Bernardi SENAI/RS
Renato Nunes Vaz SENAI/MG
Romerito Carneiro de Lima SENAI/DF
Rosa Maria Crescêncio SENAI/SP
Rosângela Fonseca Escalda SENAI/MG
Rosângela Teixeira SENAI/DF
Sandra Maria dos Santos Solon SENAI/RJ
Tarcilene Jacinto Freitas SENAI/PE
Tereza Lucrécia Melo Santos SENAI/PE
Thereza Cristina Fontoura SENAI/RJ
Valquiria de Aleluia Nunes SENAI/BA
Vanderlei Baldessar SENAI/SC
Fernando Ouriques
Normalização Bibliográfica
Cely Curado
Revisão Gramatical
94