Mód_VIII_Avaliação do Impacto e estudo de caso

FORMAÇÃO AVANÇADA EM GESTÃO DA FORMAÇÃO Módulo VIII

Avaliação do Impacto da Formação

www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

ÍNDICE Objetivos Pedagógicos

3

Conteúdos Programáticos

3

Introdução

4

1 – Tipos de Avaliação

6

2 – A Importância de Avaliar

9

3 – Níveis de Avaliação da Formação

13

4 – Avaliação da Formação

20

5 – Indicadores a Medir

24

6 – Técnicas a Utilizar na Avaliação do Impacto da Formação

27

7 – O Contributo da Chefia na Avaliação do Impacto da

31

Formação 8 – Instrumentos a utilizar e procedimentos a adotar

32

9 – Erros a Evitar na Avaliação

36

10 – Análise de Dados e Relatório de Recomendações

39

11 – Utilização Incorreta da Formação

40

12 – Síntese Conclusiva

43

Bibliografia

45

Caso Prático

46

2 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

OBJETIVOS PEDAGÓGICOS No final deste módulo deverá ser capaz de:  Distinguir

os diferentes tipos de Avaliação da Formação;

 Reconhecer  Posicionar  Identificar  Aplicar

a importância de Avaliar os resultados;

na formação os diferentes níveis de Avaliação;

os indicadores a medir na Avaliação do Impacto;

técnicas e instrumentos da Avaliação do Impacto;

 Reconhecer

a importância do contributo da chefia na Avaliação do Impacto da

Formação;  Identificar

os erros a evitar na Avaliação da Formação.

CONTEÚDOS PROGRAMÁTICOS  Tipos A

de Avaliação;

importância de Avaliar;

 Níveis

de Avaliação da Formação;

 Avaliação

da Formação;

 Indicadores  Técnicas

de Avaliação do Impacto da Formação;

 Contributo  Erros

a medir;

da chefia na Avaliação do Impacto da Formação;

a evitar na Avaliação;

 Análise

de dados e relatório de recomendações;

 Utilização

incorreta da Formação.

3 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

INTRODUÇÃO

Cada vez mais a avaliação das práticas de Formação tem vindo a revestir-se de grande importância. Este grau de relevância deve-se essencialmente ao facto de: 

As organizações deixarem de encarar a Formação como algo de simplesmente obrigatório, e passarem a perspetivá-la como parte integrante da sua estratégia de desenvolvimento e de inovação;



Aos coordenadores e responsáveis pela Formação lhes ser exigido agora os resultados dos investimentos realizados na Formação.

Representando a Formação um investimento do próprio ou da organização, urge, desde início, prever quais os seus resultados e quais os benefícios que trará. Assim, a Avaliação da Formação para além de ser já parte integrante dos planos de Formação constitui, também, à medida que vão sendo colocados em prática esses planos, uma ótima ferramenta para a gestão dos colaboradores e das suas funções.

4 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Mas desengane-se se julga que medir o Impacto da Formação na organização é uma operação simples e de fácil aplicação. Contudo, a Avaliação da Formação deve ser colocada ao dispor quer do próprio colaborador como mecanismo de aperfeiçoamento do seu desempenho, quer das equipas de trabalho, e da própria evolução da organização. Foi este o princípio que norteou o caso prático que colocamos ao seu dispor enquanto complemento deste tema. O caso prático foi levado a cabo numa entidade, cujo objetivo visou medir o impacto dos conhecimentos adquiridos em formação e transferidos para o contexto real de trabalho, bem como os efeitos produzidos no desempenho das equipas e da organização.

Assim, ao longo deste ebook vamos abordar não só o conceito de Avaliação da Formação, mas também referenciar os benefícios desta, e indicar-lhe alguns indicadores e técnicas que poderá utilizar, fazendo a ponte com o caso prático apresentado.

5 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

1 – TIPOS DE AVALIAÇÃO

Iniciamos este módulo deixando-lhe algumas ideias de base associadas ao “Conceito” e “Tipos” de Avaliação.

“Avaliação” pode ser entendida como uma verificação da qualidade ou do grau de eficácia da Formação. Ou seja, a Avaliação é uma análise de todos os momentos e fatores que intervêm no processo da Formação a fim de averiguar quais os resultados que a mesma teve, tem, ou pode vir a ter.

AVALIAÇÃO

No entanto, esta definição não esgota o que se possa entender por Avaliação, que será muito mais amplo.

O que é avaliado na formação pode desde logo estar associado ao que é avaliado tendo em conta quer o momento, quer o processo de avaliação.

6 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

No âmbito do que se designa por “momento” na Formação, pode realizar-se os seguintes tipos de avaliação: 

Avaliação Diagnóstica Ocorre no início da Formação e permite orientar quer os participantes quer o formador, quanto ao nível de conhecimentos que os formandos possuem face ao tema a desenvolver e o seu posicionamento perante esse.



Avaliação Formativa Decorre

ao

longo

da

Formação e serve para aferir

os

conhecimentos

adquiridos e detetar as dificuldades

na

aprendizagem, verificandose assim se estão a ser atingidos

os

objetivos

propostos. Dito de outra forma, permite avaliar o grau de interesse e de empenho dos participantes na atividade formativa e o seu progresso na aprendizagem.



Avaliação Sumativa É feita no final da formação com o intuito de aferir o que foi aprendido pelo formando, bem como de apurar a qualidade da relação pedagógica.



Avaliação Prognóstica É realizada algum tempo após o final da formação, com o intuito de procurar saber em que medida a formação adquirida veio contribuir para alterar

e

melhorar

as

competências

conhecimentos, aptidões e atitudes.

7 www.nova-etapa.pt

profissionais

a

nível

de

Mód. VIII: Avaliação do Impacto da Formação



Avaliação do Impacto Tem como principal objetivo avaliar o impacto da aprendizagem na valorização pessoal e profissional dos participantes e na organização.

Esta avaliação visa responder a perguntas como: - O comportamento dos formandos mudou mesmo?

No âmbito do que se designa por “processo” de avaliação, podem realizar-se os seguintes tipos de avaliação: 

Avaliação Normativa Consiste em submeter todo o grupo de participantes ao mesmo teste. Os formandos são posicionados pelo valor obtido no teste, em comparação uns com os outros. Esta avaliação classifica as pessoas com base numa medida.



Avaliação Criterial Avalia os conhecimentos adquiridos pelos formandos, em função de um critério, que são os objetivos ou competências que têm que adquirir.

Este critério não depende dos outros formandos.

Sintetizando:

Tipos de Avaliação Avaliação quanto ao momento: - Avaliação diagnóstica - Avaliação formativa - Avaliação sumativa - Avaliação prognóstica - Avaliação do impacto Avaliação quanto ao processo: - Avaliação normativa - Avaliação criterial

8 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

2 – A IMPORTÂNCIA DE AVALIAR

Porquê avaliar? Esta é certamente uma das questões que mais se coloca.

Muitas

são

as

ações

de

formação realizadas com a finalidade de desenvolver e motivar os colaboradores. Por norma, no final dessas ações os participantes evidenciam a sua satisfação e entusiasmo com os novos conhecimentos aprendidos, dão um feedback muito positivo aos formadores, e estão cheios de boas intenções quanto à aplicação e implementação dessas novas aprendizagens no seu posto de trabalho… Só que, ao fim de algumas semanas, o stress e o excesso de tarefas começam a ser visíveis e levam novamente aos antigos hábitos de trabalho, e todas as aprendizagens inovadoras acabam por cair no esquecimento.

Então qual o balanço a fazer de tudo isto?

Há por parte das diversas entidades um grande investimento ao fazer cumprir os planos de formação e de desenvolvimento dos colaboradores. Contudo, acaba por não se medir o impacto que essas ações de formação têm a nível de negócio, e fica-se sem saber qual o resultado da sua implementação.

No entanto, cada vez mais esta perspetiva de atuação tem vindo a alterar-se.

Pois, cada vez mais, os dirigentes querem saber os ganhos e o valor acrescentado que obtêm com as formações que promovem.

Por outro lado, também os responsáveis de formação e equipa formadora pretendem saber qual o impacto que a formação que ministram tem nos

9 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

indivíduos empregadora.

e No

na

entidade

culminar

estão

ainda os próprios formandos e chefias que querem saber qual o proveito e mais-valia que podem adquirir com o tempo que despendem para a formação fora do seu local de trabalho.

Coloca-se novamente a questão: Por que é que as organizações deverão avaliar estrategicamente a formação que promovem aos seus colaboradores?

Essa avaliação é imprescindível porque permite: 

Verificar se as ações de formação previstas estão de acordo com as necessidades de negócio e de desenvolvimento dos colaboradores;



Identificar, de acordo com as necessidades de mudança, quais os comportamentos que devem ser alterados e como medir essa implementação;



Avaliar a relação entre os custos envolvidos com a formação e o impacto ocorrido a nível de negócio.

Mais propriamente ao nível da formação prestada, é ainda desejável procurar saber se o programa de formação desenvolvido foi ou não adequado e se teve ou não um impacto bem-sucedido. Assim, poderá proceder-se à avaliação mediante 4 fases distintas, tentando apurar em cada uma delas: 

Na fase da “Conceção”: - Se o plano de formação traçado estava adequado e em plena coerência e articulação com os cursos de formação desenvolvidos;

10 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

- Se houve conformidade entre os objetivos definidos e os conteúdos ministrados.



Na fase da “Operacionalização”: - Se os instrumentos utilizados para a operacionalização da formação foram adequados (se as metodologias de aprendizagem e de acompanhamento aos formandos foram ajustadas; se os recursos materiais utilizados foram adequados; se o numero de agentes formativos envolvidos foi suficiente) etc.



Na fase da “Realização”: -

O grau de satisfação dos formandos e dos formadores quanto à formação;

- As perceções dos formandos e da equipa de formadores sobre as aprendizagens efetuadas durante os cursos de formação.



Na fase do “Impacto” (Verificação) da Formação: -

Se

a

formação

trouxe

valor

acrescentado para os formandos no que

respeita

à

transferência

de

aprendizagens para o contexto de trabalho; - Se a formação contribuiu para uma maior eficácia dos resultados nos desempenhos das equipas de trabalho e no desempenho organizacional; - Se se evidenciam novas necessidades de formação que necessitam de ser colmatadas com novos cursos de formação.

Foram estas quatro fases de avaliação que balizaram o caso prático apresentado, onde se começou por fazer uma análise ao plano de formação levado a cabo e avaliar se o mesmo foi adequado, seguindo-se uma análise aos instrumentos utilizados na operacionalização da formação, procurando-se

11 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

saber se esses foram adaptados e adequados, passando-se depois a uma análise do grau de satisfação dos principais agentes (formandos e formadores), finalizando-se com a avaliação do impacto, ou seja, avaliação do valor acrescentado da formação quer no desempenho individual dos colaboradores no seu posto de trabalho, quer no da própria entidade em questão.

Sintetizando:

Fases da Avaliação do Impacto da Formação Poder-se-á proceder à avaliação do impacto seguindo 4 fases distintas:

- Conceção - Operacionalização - Realização - Impacto da Formação (Verificação)

12 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

3 – NÍVEIS DE AVALIAÇÃO DA FORMAÇÃO

Existem vários modelos de avaliação dos processos de formação, mas o mais conhecido é o de Donald Kirkpatrick. O modelo proposto por Donald Kirkpatrick, (abordagem multinível), foi desenvolvido na década de 1950 e é um dos modelos mais utilizados pelos profissionais da formação. Este visa medir a qualidade de uma intervenção formativa a partir da análise de quatro níveis de avaliação:  Nível 1 - Avaliação da reação dos participantes à formação Os formandos gostaram da formação? Qual foi a apreciação que os formandos fizeram ao programa?

O nível 1 de avaliação é o mais utilizado e é o mais usual e tradicional para avaliar a formação. A avaliação deverá ser efetuada no final de cada programa, e os resultados obtidos refletem a reação individual dos formandos e formadores.

Esta avaliação foi utilizada no caso prático e teve como objetivo avaliar a perceção e o grau de satisfação dos formandos e dos formadores face à formação.

É de custo reduzido e de fácil aplicação, utilizando-se por norma questionários aos formadores e formandos, que permitem obter informações quanto:  ao grau de satisfação e reação da adequação dos conteúdos aos objetivos;

13 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

 à adequação dos objetivos às necessidades e expetativas dos formandos;  à adequação da metodologia, recursos e documentação distribuída;  à contribuição para a melhoria do desempenho;  ao desempenho do(s) formador(es);  à utilidade e aplicação dos conhecimentos adquiridos.

Os resultados do nível 1 traduzem essencialmente o impacto emocional que a formação teve nos formandos e a utilidade que essa possa vir a ter no seu dia a dia. Caso necessário, com base nas informações recolhidas, poderão fazer-se alterações e ajustes ao programa: se o horário foi adequado, se a duração da formação foi a necessária, se os formandos cumpriam com os pré-requisitos de base da formação, se os recursos pedagógicos foram suficientes e do agrado dos formandos, se a formação correspondeu às necessidades e expetativas, etc.

 Nível 2 - Avaliação das aprendizagens efetuadas pelos participantes Os

formandos

adquiriram

os

conhecimentos e atingiram os objetivos previstos para o curso?

Este nível verifica se houve aprendizagem efetiva durante a formação. Permite medir se

o

formando

adquiriu

novos

conhecimentos/competências e se houve mudança de pensamento.

No caso prático, esta avaliação foi aplicada e visou a mensuração da aquisição de saberes (sabe-fazer técnico, saberes sociais e relacionais) por parte dos formandos/colaboradores.

14 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Este tipo de avaliação pode ser aplicado antes e depois da exploração dos conteúdos, para comparação de conhecimentos, ou só no final do curso. A recolha desta informação pode ser feita mediante vários instrumentos: questionários e/ou testes, observação, trabalhos de grupo etc., permitindo assim avaliar a aprendizagem feita ao longo da formação.

Esta avaliação permite obter várias informações sobre o grau de aprendizagem dos participantes, nomeadamente: 

Nível de aquisição e compreensão dos conhecimentos;



Nível de aplicação dos conhecimentos à resolução de situações e problemas específicos;



Predisposição e motivação para a aprendizagem;



Autonomia na aprendizagem;



Responsabilidade na execução de tarefas;



Facilidade de relação com o grupo.

Com base nas informações obtidas, poder-se-á: 

Alterar ou manter o mesmo programa formativo/conteúdo;



Determinar o ganho a nível de aprendizagem;



Identificar se é necessária mais formação.

15 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

 Nível 3 - Avaliação dos comportamentos dos participantes no contexto real de trabalho O comportamento do indivíduo no seu contexto de trabalho alterou-se?

Houve transferência dos comportamentos e competências adquiridas na formação para o seu posto de trabalho? O indivíduo aplica o que aprendeu na formação?

Na aplicação do caso prático, o nível 3 avaliou como é que os participantes estavam a implementar os novos conhecimentos adquiridos na formação no seu dia a dia de trabalho. Este nível teve como objetivo medir o impacto que a formação teve nos participantes/colaboradores, e os comportamentos dos participantes no contexto de trabalho (se houve transferência dos conhecimentos adquiridos para o seu posto de trabalho).

Enquanto os níveis anteriores se centram diretamente nas ações de formação, o nível 3 está dependente de outros fatores e só pode ser avaliado após os participantes terem concluído a formação e terem tido tempo de implementar esses conhecimentos ao seu contexto de trabalho.

A implementação deste 3º nível tem como vantagem permitir diagnosticar como é que essas mudanças comportamentais e essa aplicação de novos conhecimentos está a decorrer, e se se evidencia uma melhoria da qualidade vs quantidade do desempenho individual. Neste âmbito, é essencial que se definam previamente quais os objetivos pretendidos quanto aos conhecimentos e comportamentos a atingir/adquirir.

16 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

O método de avaliação do nível 3 deve ser escolhido e adaptado de acordo com as características e necessidades da entidade, podendo recorrer-se à avaliação de desempenho, à observação direta ao colaborador, inquéritos/questionários e entrevistas ao próprio e à sua chefia, etc.

 Nível 4 - Avaliação dos resultados da formação na Organização (impacto

dos

conhecimentos

adquiridos

no

desempenho

da

organização).

Qual foi ou está a ser o impacto da formação na organização?

Este nível de avaliação é muito almejado por várias entidades, pois consiste em avaliar o impacto da formação no incremento dos resultados da atividade. Por outras palavras, avalia os resultados da formação no seio da organização.

A avaliação a este nível implica analisar todo o processo de avaliação estratégico. No nosso caso prático, este nível foi levado a cabo com o intuito de obter informações sobre qual o impacto da formação na atividade da organização. Ou seja, pretendeu-se saber se ocorreram mudanças de comportamentos advindos da formação, se se traduziram numa melhoria da qualidade vs quantidade de desempenho ao nível pessoal e das equipas de trabalho, e se afetaram positivamente a organização.

17 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

O nível 4 só deverá ser levado à prática, caso se evidencie mudança de comportamentos (nível 3).

No geral, inicia-se o processo de avaliação estratégica com a identificação de uma necessidade a nível de negócio, e finaliza-se o mesmo quantificando o impacto da solução (formação) aplicada. No entanto, a aplicação do processo de avaliação de nível 4 não é fácil, uma vez que nem sempre se consegue estabelecer relações causais diretas entre uma determinada formação e os resultados alcançados, pois pode-se estar a anular vários outros fatores externos à formação que possam ter contribuído para o alcance desses resultados.

Há já quem defenda a aplicação de um 5º nível. Jack Philips (Hanbook of Training Evaluation and Measurement Methods, 1997) acrescentou um nível ao modelo de avaliação de Kirkpatrick. O 5º nível mede o Retorno do Investimento.



Nível 5 – Retorno do Investimento – (ROI – Return on Investment) Este nível avalia o custo da formação vs o retorno do investimento. Por outras

palavras,

o

retorno

do

investimento é a comparação, em valores monetários, dos resultados líquidos obtidos face ao custo da formação (expresso em percentagens).

Este tipo de avaliação é apreciado por muitos dirigentes, que não estão dispostos a investir num projeto de formação onde não lhes seja garantida uma recuperação do investimento.

ROI =

Benefícios líquidos da formação Custo da formação

18 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Por exemplo: O custo da formação é de 40.000 euros e os benefícios são de 100.000 euros.

Assim: ROI =

60.000

X 100 = 150%

40.000

O ROI parte assim dos benefícios líquidos, descontados os custos com a formação, e é expresso em percentagem.

Outra forma de se analisar o nível 5 é simplesmente analisar se os benefícios ganhos com a formação excederam o investimento financeiro realizado.

O nível 5 deverá ser implementado apenas quando há evidências de que, em consequência da formação, houve aprendizagem (nível 2), houve mudança de comportamentos no contexto de trabalho (nível 3), e houve um impacto positivo a nível de negócio (nível 4).

Quando é decidido avaliar o impacto da formação ao nível dos resultados no negócio, não implica necessariamente que se implementem os 5 níveis.

Os níveis a implementar vão depender das mudanças organizacionais pretendidas, dos resultados a nível de negócio a alcançar, e do tempo e orçamento disponível.

19 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Sintetizando:

Níveis de Avaliação da Formação Segundo o modelo de Donald Kirkpatrick, a qualidade de uma intervenção formativa poderá ser avaliada mediante 4 níveis: - Nível 1 Avalia a reação dos participantes à formação (mede o grau de satisfação dos formandos face à formação)

- Nível 2 Avalia as aprendizagens efetuadas pelos participantes

- Nível 3 Avalia os comportamentos dos participantes no seu contexto real de trabalho (transferência de conhecimentos adquiridos)

- Nível 4 Avalia os resultados da formação na organização

Jack Philips defende um 5º nível - Nível 5 – ROI – Retorno do Investimento Avalia o custo da formação vs o retorno do investimento.

20 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

4 – AVALIAÇÃO DA FORMAÇÃO Avaliação dos Efeitos Produzidos Tendo por base os 4 níveis do modelo multinível de Kirkpatrick, podemos dividir a avaliação dos resultados na formação, diferenciando-os em dois tipos de avaliação:  Avaliação NA formação (nível 1 e 2)  Avaliação DA formação (nível 3 e 4) Ao falarmos de Avaliação do Impacto da Formação, situamo-nos aos níveis 3 e 4 da abordagem de Kirkpatrick, ou seja: 

Nível 3 – Avaliação dos comportamentos dos formandos no contexto real de trabalho;



Nível 4 - Avaliação dos resultados da formação na organização.

Ao proceder-se à avaliação dos efeitos produzidos temos, antes de mais, que ter plena consciência de que: 

A formação só tem utilidade se acrescentar valor àquilo que é produzido.

Nesta linha, tal como já frisámos, a avaliação dos efeitos da formação corresponde a uma tarefa bastante difícil, mas muito útil para o alcance da verdadeira qualidade da formação. Conhecer os efeitos que a formação tem nos indivíduos e nas organizações é uma necessidade e constitui um imperativo profissional de quem a realiza. 

A avaliação da formação permite fornecer informações sistemáticas sobre a execução, o impacto e a eficácia dessa formação.

Com a avaliação dos efeitos produzidos pretende-se responder a questões fundamentais como:

21 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação



Quais os resultados obtidos com a formação?



Foram atingidos os efeitos esperados pelo indivíduo/organização quando foi decidida a participação na formação?



Houve retorno do investimento na formação?

O esquema seguinte permite posicionar a avaliação do impacto no âmbito da formação:

Análise das Necessidades

Plano de Formação

AVALIAÇÃO Avaliação do Impacto e da Eficácia

Avaliação da Reação Avaliação da Aprendizagem

Ao procedermos à avaliação do impacto, há três principais eixos de análise que norteiam este tipo de avaliação:

1. Efeitos Pedagógicos 2. As Mudanças no Desempenho 3. As Mudanças na Organização

22 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

1. Efeitos Pedagógicos (imediatos) “Os formandos aprenderam alguma coisa na ação de formação? Têm consciência disso?”

- Para obter este tipo de informação deve considerar-se os conhecimentos adquiridos, partindo-se do resultado da avaliação de nível 2.

2. Mudanças no Desempenho (mudanças na prática real) “Os

formandos

conhecimentos

aplicaram

adquiridos

os

ao

seu

contexto real de trabalho?”

- Para obter este tipo de informação, pode analisar-se os efeitos produzidos pelas aprendizagens: 

Questionar os formandos



Questionar os seus pares/chefias



Questionar

todos

aqueles

que

desenvolvem atividades ligados ao formando.

3. Efeitos na Organização “Os

comportamentos

dos

formandos

mudaram

mesmo?

E

a

empresa/organização também mudou?”

Mas então quais são os critérios e os indicadores objetiváveis (ou objetivos) que poderão ser utilizados na avaliação dos efeitos da formação?

A seleção dos indicadores a medir vai depender dos resultados esperados ou das expetativas dos indivíduos/organizações face à formação.

23 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

No entanto, deixamos a seguir uma proposta de uma série de indicadores (e respetivas variáveis) que poderão servir de guia para avaliar a formação.

Para que possamos levar à prática esta avaliação, devemos utilizar e cruzar várias técnicas e instrumentos, de forma a obter resultados fidedignos.

Quanto ao momento de avaliação do impacto, e no que se refere ao desenvolvimento individual, é desejável que não se realize antes de três a seis meses após a conclusão da formação, permitindo assim aos ex-formandos aplicar e testar as novas técnicas e competências adquiridas em sala ao contexto de trabalho.

Quanto à avaliação do impacto na organização, será conveniente efetuá-la num período superior a um ano.

24 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

5 – INDICADORES A MEDIR

É importante ter em conta que se tratam de itens de caráter geral, os quais deverão ser adaptados/substituídos de acordo com os objetivos e áreas abrangidas pela formação.

Assim, fica a proposta dos indicadores de eficácia relativos aos dois principais eixos de análise: 

Comportamento

e

desempenho

dos

formandos no seu local e posto de trabalho; 

Efeitos

sobre

organizacional

o a

contexto

que

os

sócio-

formandos

pertencem.

1. Comportamento e desempenho dos formandos no seu local de trabalho A) Objetivos da Medição

Avaliar: 

Se o que foi transmitido foi transformado em mudanças de comportamentos e atitudes no trabalho;



Até que ponto já foram resolvidos os problemas e as necessidades que conduziram à frequência do programa;



Se existem indícios de melhoria: o

Da produtividade;

o

Da eficiência/adaptação face a novos métodos, técnicas ou tecnologias;

o

Da comunicação;

o

Da integração sócio-profissional;

o

Da satisfação no trabalho.

25 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

B) Indicadores a Medir

Elementos obtidos através da avaliação de desempenho e respeitantes a: 

Ritmos de trabalho;



Hipóteses

de

promoção

profissional; 

Organização no trabalho;



Capacidades de adaptação;



Interesse pelo trabalho;



Iniciativa;



Conhecimentos do trabalho;



Autoridade

e

sentido

de

responsabilidade; 

Relações de trabalho;



Função de supervisão/chefia (se o formando exerce essas funções).

Melhoria

do

desempenho

e

integração profissional, em termos de: 

Melhoria da produtividade: o

Tempos improdutivos;

o

Movimentos inúteis;

o

Produção real/estimada;

o

Níveis de rendimento;



Melhoria do nível de qualidade do desempenho;



Diminuição da rotação e do absentismo: o

Proporção de ausência/presença.

26 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

2. Efeitos sobre o Contexto Sócio-Organizacional a que os formandos pertencem A) Objetivos da Medição

Apurar se a formação contribuiu com uma parcela significativa para o êxito organizacional. Isto é, avaliar se foram alcançadas as expetativas do indivíduo/organização quando participou no projeto de formação, ao nível de: 

Melhoria da produtividade e qualidade;



Melhoria nas comunicações;



Melhoria no nível de motivação/satisfação dos indivíduos;



Melhoria do nível de qualificação e aumento do stock de conhecimentos necessários à evolução organizacional.

B) Indicadores a medir 

Índice de produtividade;



Índice de qualidade;



Índice de satisfação;



Índice de promoção.

27 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

6 – TÉCNICAS A UTILIZAR NA AVALIAÇÃO DO IMPACTO DA FORMAÇÃO

Anteriormente vimos alguns dos critérios e dos indicadores que poderão ser utilizados para proceder a uma avaliação dos efeitos da formação. Vamos agora debruçar-nos sobre as técnicas de recolha de informação a que se pode recorrer para aceder à panóplia de dados a analisar.

As técnicas de recolha que em seguida se apresentam deverão ser colocadas em prática, no mínimo, três a seis meses após o término da formação, pois só nessa altura começarão a ser ‘visíveis’ no desempenho do indivíduo e no funcionamento da organização os indicadores de impacto despoletado.

Técnicas que podem ser utilizadas na medição do impacto 1. Observação Direta e Medição do Desempenho no Trabalho; 2. Autoavaliação dos participantes e Avaliação pela chefia; 3. Inquérito por Entrevista ou Questionário; 4. Registo e Análise dos Incidentes Críticos; 5. Análise Documental.

Nos locais onde é pretendido fazer a avaliação de impacto a vários escalões profissionais e cujo número de colaboradores é elevado, é improvável que se consiga auscultar a opinião de todos os envolvidos. Assim, é essencial que se selecione previamente a população-alvo e os escalões a que se pretende submeter a avaliação.

Essa

população

vai constituir

o

universo/amostra representativo de colaboradores a analisar.

A seleção da amostra deve partir de um conjunto de critérios pré-definidos que permitirão estratificar e selecionar os indivíduos a inquirir.

28 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Observação Direta e Medição do Desempenho no Trabalho São duas as formas operacionais que funcionam como técnicas de recolha de informação, podendo ser utilizadas na deteção dos efeitos da formação nos participantes, no local de trabalho: 

Observação Direta Consiste em examinar “in loco” o desempenho profissional dos formandos, detetando-se as modificações nesse desempenho (pode mesmo utilizar-se a mesma grelha de observação que foi usada para o diagnóstico de necessidades de formação);



Medição do Desempenho Refere-se exatamente à medição do nível de qualidade/quantidade do desempenho de um trabalhador (nomeadamente através de estudo de tempos de trabalho, análise de incidentes críticos ou de falhas, etc.).

29 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Estas técnicas exigem bastante em termos de disponibilidade de tempo e necessitam, para uma aplicação correta, de profissionais experientes nessas áreas (nomeadamente no estudo de tempos e métodos ou na análise dos incidentes que têm lugar no desempenho do trabalho).

Autoavaliação dos Participantes e Avaliação pela Chefia São as técnicas de recolha de informação de mais fácil aplicação, consistindo na aplicação de um inquérito por questionário de autoavaliação aos participantes/colaboradores, e de um outro de avaliação de desempenho dos mesmos às suas chefias diretas.

Como poderá constatar, a técnica de aplicação de inquérito por questionário a uma amostra de colaboradores e às respetivas chefias departamentais foi uma das técnicas utilizadas para avaliar o impacto da formação na entidade que suporta o nosso caso prático.

Tentar-se-á detetar, através da utilização dos questionários: 

Alterações no nível de motivação/satisfação;



Melhoria do desempenho profissional;



Melhoria dos canais de comunicação;



Adequação da formação às funções;



Interesse na continuidade do programa;



Valor global do programa.

Inquérito por Entrevistas Esta é uma técnica possível de ser aplicada na recolha de informação para medição do impacto no contexto sócio-organizacional:

30 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação



Entrevista Através de uma entrevista com as chefias de vários níveis, incluindo dirigentes, tentar-se-á avaliar o impacto mais global da formação ao nível, nomeadamente, de aumentos de produtividade, níveis de vendas, qualidade e níveis de satisfação no trabalho, etc.

Registo e Análise dos Incidentes Críticos Consiste num conjunto de procedimentos que visam a recolha de informações sobre os desempenhos efetuados, e registo dos incidentes/problemas evidenciados. É solicitado ao indivíduo responsável pelo desempenho, a descrição e registo do “incidente crítico”, de modo a que se possa posteriormente analisar os erros cometidos e encontrar metodologias de resolução/correção.

Análise Documental Poderá

ser

efetuada

sobre

documentos

que

sistematizada sobre os indicadores selecionados.

31 www.nova-etapa.pt

apresentem

informação

Mód. VIII: Avaliação do Impacto da Formação

A título de exemplo, mencionamos-lhe alguns dos documentos que foram analisados no caso prático: 

Levantamento de necessidades de formação;



Planos de formação;



Balanços de atividades;



Relatório de avaliação da qualidade do desempenho;



Avaliação dos formandos e dos formadores



Materiais pedagógicos utilizados na formação, etc.

Sintetizando:

Técnicas de Avaliação de Impacto Técnicas que podem ser utilizadas para medir o impacto da formação: - Observação direta e medição do desempenho no trabalho - Autoavaliação dos participantes e avaliação pela chefia - Inquérito por entrevista ou questionário - Registo e análise dos incidentes críticos - Análise documental

32 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

7 – O CONTRIBUTO DA CHEFIA NA AVALIAÇÃO DO IMPACTO DA FORMAÇÃO

Tal como vimos, o processo de avaliação engloba um leque alargado de interlocutores. Esse envolvimento é tanto mais premente quanto esperamos que da formação saiam resultados positivos quer para os participantes, quer para as organizações.

Para além da equipa formadora e dos próprios formandos, há que incentivar a participação e envolvimento das chefias intermédias. A auscultação das chefias é de extrema importância na medição do impacto de resultados, pois só essas podem avaliar diretamente o desempenho dos seus colaboradores e da sua equipa de trabalho. Assim, a ação das chefias poderá ser útil: 

na identificação de necessidades de formação e dos colaboradores a formar;



na ajuda à definição dos objetivos a atingir com a formação;



no incentivo dos colaboradores na adesão à formação;



no incentivo dos colaboradores já formados à aplicação dos conhecimentos e competências adquiridas ao seu posto de trabalho;



no auxílio da avaliação do impacto real da formação na organização;



no contributo para a melhoria da eficácia e eficiência da formação.

Neste contexto, a chefia intermédia deve constituir uma peça essencial no processo de avaliação da formação, devendo ser ouvida e envolvida no processo.

33 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

8 – INSTRUMENTOS ADOTAR

A

UTILIZAR

E

PROCEDIMENTOS

A

Quando se leva a cabo um processo de avaliação, importa escolher os instrumentos de avaliação e as condições necessárias à aplicação dos mesmos.

Condições necessárias à aplicação dos instrumentos de avaliação Ao selecionar determinados instrumentos para proceder à avaliação, deve terse em conta em que condições e com que procedimentos é que os mesmos vão ser aplicados. Deve considerar-se, assim, se: 

estão claros quanto à finalidade da avaliação;



indicam com clareza os procedimentos a adotar com a informação recolhida (como vão ser utilizados os resultados e as questões da confidencialidade);



há compreensão por parte de todos os intervenientes de como deverão ser utilizados os instrumentos a aplicar;



haverá um retorno fácil e rápido da informação pretendida;



há compreensão por parte de todos os intervenientes das mudanças produzidas pela avaliação;



é de fácil utilização (quanto às instruções, ao conteúdos e à linguagem utilizada).

34 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Instrumentos de avaliação No processo de avaliação deve procurar

conciliar-se

instrumentos aplicação

de

de

um

vários

avaliação.

A

conjunto

de

instrumentos traz benefícios na medida em que: 

a aplicação isolada de um instrumento pode convergir na emissão de um juízo, e se houver a aplicação de vários, estes vão avaliar a tendência, as variações, os vários intervenientes etc;



cada momento da formação se presta a diferentes tipos de avaliação;



cada objetivo de avaliação requer um instrumento de avaliação apropriado.

De seguida deixamos-lhe uma lista de instrumentos que pode aplicar, bem como as vantagens e desvantagens da sua aplicação. 

Observação Deve ser feita no mínimo durante meio-dia

Vantagens: - Contacto direto com o contexto/terreno.

35 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Desvantagens: - Custo inerente em tempo dispendido (necessário ter uma pessoa a observar, e tempo dispendido na construção de grelhas de observação e na análise de resultados). 

Entrevista Individual (semiestruturada) Aproximadamente 1 hora por indivíduo

Vantagens: - Contacto direto e personalizado.

Desvantagens: - Custo inerente ao tempo dispendido (preparação do guião da entrevista, a própria entrevista em si, o tratamento das informações); - A informação fornecida acentua uma opinião individual, em detrimento das institucionais.

36 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação



Grelha de Registo e Análise de Incidentes Críticos Aproximadamente 1 hora (depende do incidente a registar e a analisar)

Vantagens: - Possibilita a identificação de incidentes/problemas e a reflexão sobre uma metodologia de resolução para esses problemas.

Desvantagens: - Tempo dispendido pelo responsável da ação e pela chefia para registo do ocorrido, análise da informação e identificação de resoluções a adotar. 

Questionários Cerca

de

15

a

30

minutos (dependendo do tipo de questionários) Vantagens: - Rapidez na obtenção de informação, economia de tempo; - Hipótese

de

utilizar

diferentes questionários consoante o que se pretende (curto/extenso, etc.), com diferentes tipos de perguntas (abertas/fechadas, perguntas de escolha múltipla, etc.).

Desvantagens: - Custo inerente ao tempo dispendido na conceção dos questionários; - Necessidade de conceber vários questionários consoante a informação a obter.

37 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação



Análise Documental Utilização de vários tipos de informação provenientes das atividades da organização

Vantagens: - Implicar a hierarquia; - Associar a formação aos objetivos e estratégia de gestão.

Desvantagens: - Custo do tempo dispendido; - Muita da informação recolhida não tem ligação direta com a formação, pelo que tem, por vezes, que ser adaptada.

38 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

9 – ERROS A EVITAR NA AVALIAÇÃO

Avaliar não é de todo um processo fácil. Para ser rigoroso, o processo de avaliação da formação deve facultar informação credível, isenta de erros e de decisões menos corretas.

Ao assumir o papel de avaliador, terá que ter alguns cuidados para se libertar da subjetividade inerente a quem avalia. Assim, há que ter cuidado para: 

Não efetuar juízos de valor diretamente

centrados

nas

pessoas; 

Não utilizar critérios implícitos.

Todos os critérios têm de estar explicitados;



Não

atribuir

como

sendo

resultado da formação todas as capacidades observáveis num determinado momento.

Alguns dos erros inerentes ao processo de avaliação derivam de: 

Ausência de critérios comuns Muitos dos erros ocorridos na avaliação provêm do facto dos diferentes avaliadores não terem de base critérios comuns que permitam homogeneizar os parâmetros da avaliação. Com objetivos bem definidos, explícitos, claros e partilhados, evita-se o facto de os avaliadores avaliarem de forma pessoal e subjetiva. Com critérios bem definidos, o processo de avaliação torna-se mais objetivo e comummente aceite por todos.

39 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação



Infidelidade do mesmo avaliador Resulta da discordância do mesmo avaliador, sobre o mesmo objeto de avaliação, mas em momentos diferentes. Esta discordância pode, tal como mencionámos, estar relacionada com a ausência de critérios rigorosos, ou mesmo com o estado físico ou mental de quem avalia no momento em que procede à avaliação.



Efeito de Halo É referente a uma impressão que se cria sobre uma determinada pessoa, que ao ser posteriormente avaliada, pode influenciar a avaliação, condicionando-a favoravelmente ou negativamente.

Reforçamos então a importância de que quem avalia tem de fazer um esforço para ser imparcial e apenas avaliar conforme os factos.

40 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Por

exemplo,

há

situações em que a própria chefia pode não

ter

impressão positiva um

uma muito

acerca

de

determinado

colaborador,

sendo

que essa impressão pode condicionar a sua avaliação negativamente. O inverso também poderá ocorrer. Ou mesmo, a chefia ao avaliar a sua própria equipa de trabalho pode avaliá-la de forma mais favorável do que efetivamente corresponderá à realidade.

Outra situação, é o próprio colaborador que ao não ter apreciado a forma como determinada formação foi ministrada, ou mesmo o desempenho do formador, poderá avaliá-la negativamente.

Como estes e outros erros poderão ocorrer em processos de avaliação, embora não nos seja possível anularmos todo o limiar da subjetividade, é importante que estejamos conscientes de que podemos evitá-los se definirmos claramente os critérios e procedimentos a adotar.

Sintetizando:

Erros a evitar na avaliação Alguns dos erros inerentes ao processo de avaliação derivam de: - Ausência de critérios comuns - Infidelidade do mesmo avaliador - Efeito de Halo

41 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

10 – ANÁLISE DE DADOS E RELATÓRIO DE RECOMENDAÇÕES

Após a obtenção de toda a informação e do tratamento de dados, é importante a elaboração de um relatório onde estejam patentes não só as conclusões, mas também possíveis recomendações e ações a implementar.

A linha de elaboração do relatório deve corresponder aos objetivos traçados para o projeto de avaliação da formação. Assim, no relatório, para além de constar a caracterização da população envolvida, os escalões profissionais e as ações de formação realizadas, é importante que a restante informação seja analisada em função dos quatro domínios que orientaram o projeto avaliação, ou seja, Conceção, Operacionalização, Realização e Impacto (Verificação).

Na parte referente ao Impacto da formação, é fundamental que a análise seja feita quer ao nível 3, quer ao nível 4, analisando:  quais os cursos considerados mais relevantes e de maior aplicação no contexto profissional;  se na perspetiva dos colaboradores, os cursos de formação lhes proporcionaram o desenvolvimento de novas competências e se houve transferência/aplicação dessas no posto de trabalho;  se a perspetiva das chefias confirma a perspetiva dos colaboradores, ou se há desacertos em alguns pontos;  se a formação realizada contribuiu para a melhoria do desempenho e aumento de produtividade (qualidade/quantidade).

A informação recolhida, para além de possibilitar a avaliação do impacto causado pela formação na organização, permitirá ainda ir mais além e diagnosticar se existem outras necessidades ao nível de competências a desenvolver, dando as diretrizes para a elaboração do novo plano de formação a implementar em prol da estratégia da organização.

42 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

11 – UTILIZAÇÃO INCORRETA DA FORMAÇÃO

Ao longo deste módulo, sensibilizámos para o facto de na formação e, em particular, na avaliação da formação, ser necessário perceber as reais intenções que estão na origem da sua realização. Na base da implementação de uma formação, deve existir sempre um conjunto de necessidades que a justifiquem.

Quando essas necessidades não existem ou não estão claras, e a frequência na formação não é acompanhada por uma vontade própria de aprender, os resultados da avaliação apontarão sempre para resultados deficientes.

A corroborar essa necessidade, deixamos-lhe, apenas em jeito de humor, algumas frases que ilustram modos menos corretos de utilizar a formação, referenciados por Paulo Trindade Ferreira, em parte citando Jean Dubois: A “Formação - Castigo” Do gerente de produção para o encarregado de manutenção: - “Se a avaria de ontem se repetir, vejo-me forçado a mandá-lo para um curso de formação.”

A “Formação – Férias” Do diretor comercial para o adjunto: - “Se o curso em que vai participar não interessar,

aproveite

o

tempo…e

descanse.”

A “Formação - Recompensa” Do gerente da empresa para o técnico administrativo: - “Dada a grande fidelidade que sempre tem demonstrado, a gerência decidiu mandá-lo tirar um curso de formação.”

43 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

A “Formação – Tapa-buracos” De um gestor de formação para um cliente: - “Quando a carteira de encomendas baixa, entretemos os trabalhadores com uns ‘cursinhos’ de formação. É uma forma de estarem ocupados.”

A “Formação – Analgésico” Do diretor de pessoal para o consultor externo: - “Para acalmar os refilões, nada melhor do que ‘despachá-los’ para um curso de formação. Vêm de lá mansos que nem uns cordeiros.”

A “Formação – Moda” De um gerente de empresa: - “Para que não digam que a nossa empresa está ultrapassada ou que já perdeu o comboio, vamos começar a organizar umas ações de formação.”

A “Formação – Enlatado” De um diretor geral para um administrador: - “Não podemos perder muito tempo com essas coisas da formação. Sempre que precisamos de um curso, encomendamo-lo a empresas de fora que já têm tudo confecionado.”

A “Formação – Saque” De um diretor financeiro para um diretor de pessoal: - “Para ver se também nos calha algum, contratamos um consultor para fazer um projeto de formação e tratar da papelada necessária.”

A “Formação – Seca” De formandos para…: - “De vez em quando fazem-se lá na empresa uns cursos que ninguém sabe bem para que servem. Chamam um ‘craque’ de fora que, durante horas seguidas, faz ao pessoal uma verdadeira ‘lavagem ao cérebro’…”

44 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Como vê, há algumas práticas menos corretas de utilizar a formação. No entanto, a par desses exemplos menos corretos, também já se encontram bons exemplos de práticas formativas inovadoras e de grande mais-valia, quer para os próprios quer para as organizações onde se inserem.

45 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

12 – SÍNTESE CONCLUSIVA

Embora não sendo de operação simples, a avaliação da formação tem vindo a adquirir cada vez mais importância junto das organizações, não só por constituir um mecanismo de aperfeiçoamento do desempenho do próprio indivíduo/colaborador, mas também ao nível das equipas de trabalho e da própria evolução da organização.

Conforme pudemos constatar, a avaliação da formação é um processo amplo, que pressupõe a necessidade de recolher informação em diferentes momentos e a diferentes níveis, com vista à melhoria da estratégia da formação e dos seus resultados.

De acordo com o modelo de avaliação de Kirkpatrick, os resultados da formação podem ser medidos mediante 4 níveis distintos, sendo os níveis 3 e 4 os que correspondem à parte de avaliação de impacto da formação. Estes dois níveis visam medir: 

Nível 3 – Avaliação dos comportamentos dos formandos no contexto real de trabalho;



Nível 4 - Avaliação dos resultados da formação na organização.

Ao proceder-se à avaliação desses níveis, ou seja, dos efeitos produzidos pela formação, é importante definir a priori o que se vai avaliar e o tipo de dados que é necessário recolher. Para a recolha dessa informação é essencial que seja definido o universo de elementos a inquirir (colaboradores, chefias, dirigentes, responsáveis de formação, etc.), bem como os indicadores de eficácia a avaliar, e as técnicas/instrumentos a aplicar.

Ao longo deste módulo, deixámos-lhe sugestão de alguns indicadores de caráter geral que poderá utilizar, bem como algumas das técnicas que poderá aplicar.

46 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

Para que a informação a obter seja o mais completa possível, é desejável que se avalie todo o processo nas suas 4 fases: Conceção, Operacionalização, Realização e Impacto.

A avaliação de todo o processo da formação permitirá identificar as suas fragilidades e as suas potencialidades, e redesenhar um novo modelo de formação que ponha cobro às lacunas encontradas.

Não obstante, é preciso ter noção de que o processo de avaliação nem sempre é fácil, e que está sujeito à perceção de quem avalia, o que poderá gerar alguns erros na avaliação. Para contornar a subjetividade inerente ao processo de avaliação, é desejável que sejam definidos os critérios de avaliação e que os mesmos sejam claros e transparentes a todos os avaliadores, tentando-se desta forma que o processo de avaliação seja o mais isento e credível possível.

Por fim, referimos que após o tratamento e análise de dados, seria importante colocar essas informações em relatório, onde se frisassem não só as conclusões a que se chegou, mas também as recomendações e as ações a implementar.

47 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

BIBLIOGRAFIA 

KIRKPATRICK, D.L. (1976) Evaluation of training. New York: MacGrawHill



LE BOTERF, Guy (1992). Avaliar o investimento em formação. In: Revista Formar (nº 6)



LENCASTRE, J. (s/d). A qualidade e eficácia na formação. S/l: s/ed



MARQUES, C. e tal. (s/d). Medir resultados da formação: para além da ilusão. In: Comportamento Organizacional. S/I: s/ed



RETO, L., NUNES, F. (1992). Avaliação da eficácia da formação. A pertinência da perspetiva experimental. Revista Portuguesa de Gestão



RIBEIRO, R. (1991). Impacto da formação sobre os resultados. In: Revista Formar (nº 4)



MÃO-DE-FERRO, A. (1999). Na rota da pedagogia. Lisboa: Ed. Colibri



PRONACI. (2002). Avaliação da formação na empresa. AEP



ROMÃO, A., Fernandes, A. e RAFAEL, J. (2004). Técnicas de avaliação na formação. Coleção Referenciais de Formação Pedagógica Contínua de Formadores. Lisboa: IEFP

48 www.nova-etapa.pt

Mód. VIII: Avaliação do Impacto da Formação

CASO PRÁTICO

Como complemento do tema desenvolvido, segue-se o Caso Prático referido no decurso deste Manual e que poderá ser um excelente auxiliar quando tiver que fazer um estudo sobre o impacto da formação numa instituição.

49 www.nova-etapa.pt

AVALIAÇÃO DO IMPACTO DA FORMAÇÃO

ENTIDADE:

Equipa de avaliação:

ÍNDICE

Pág.

A - METODOLOGIA

3

ESTRATÉGIA E METODOLOGIA DE AVALIAÇÃO

4

1. FINALIDADE DO ESTUDO

4

2. POPULAÇÕES ALVO E ÁREAS DE FORMAÇÃO

4

3. OBJETIVOS GERAIS E ESPECÍFICOS

5

4. PLANO DA AVALIAÇÃO

7

5. MÉTODOS E TÉCNICAS DE PESQUISA

13

5.1. Análise Documental

13

5.2. Populações Inquiridas e Amostras

14

B - TRATAMENTO DE DADOS

18

C - CONCLUSÕES

22

CONCLUSÕES E RECOMENDAÇÕES

23

1. CARACTERÍSTICAS DOS PÚBLICOS ALVO

23

2. CARACTERÍSTICAS DE FREQUÊNCIA POR CURSO

23

3. CONCEÇÃO DA FORMAÇÃO

24

4. OPERACIONALIZAÇÃO DA FORMAÇÃO

25

5. REALIZAÇÃO DA FORMAÇÃO

26

6. IMPACTO DA FORMAÇÃO

26

ANEXOS

30

2

METODOLOGIA

3

ESTRATÉGIA E METODOLOGIA DE AVALIAÇÃO 1. FINALIDADE DO ESTUDO O estudo tem como finalidade avaliar o impacto da formação contínua realizada no _______________ entre ______ e _____, em ______ áreas de formação, através da mensuração dos conhecimentos adquiridos em contexto de formação e dos conhecimentos transferidos para o contexto real de trabalho, bem como os efeitos produzidos no desempenho das equipas e da organização.

Complementarmente, efetua-se uma abordagem genérica à conceção e operacionalização da formação, bem como o levantamento de necessidades de formação na área XXX.

O plano de avaliação da formação organiza-se em quatro partes: conceção, operacionalização, realização e impacto.

A avaliação segue principalmente a metodologia de avaliação de Kirkpatrick a qual

contempla

quatro

níveis

de

avaliação:

Reação,

Aprendizagem,

Comportamentos e Resultados.

2. POPULAÇÕES ALVO E ÁREAS DE FORMAÇÃO A avaliação do impacto da formação envolve as seguintes populações alvo: ◊ aaa ◊ bbb ◊ ccc

As áreas de formação a considerar na avaliação do impacto da formação são as seguintes:

4

◊ AAA ◊ BBB ◊ CCC ◊ DDD ◊EEE ◊ FFF ◊GGG

A área de formação «XXX» considera-se exclusivamente para efeitos do diagnóstico de necessidades de formação.

3. OBJETIVOS GERAIS E ESPECÍFICOS

Os objetivos gerais a considerar na avaliação são: ◊ Avaliação da conceção dos planos de formação. ◊ Avaliação da operacionalização dos planos de formação. ◊ Avaliação da realização das ações de formação. ◊ Avaliação do impacto (verificação) das ações de formação.

Os objetivos específicos a alcançar, decorrentes dos objetivos gerais, são: ► Avaliação da conceção dos planos de formação ◊Avaliação da pertinência dos planos de formação. ◊Avaliação da conformidade dos objetivos e da estratégia de aprendizagem. ◊Avaliação do controlo dos pré-requisitos. ◊Avaliação da coerência da articulação do plano de formação e ou das ações de formação.

5

► Avaliação da operacionalização dos planos de formação ◊ Avaliação da oportunidade de lançamento e divulgação / candidaturas das ações de formação. ◊ Avaliação da adequação dos diversos agentes formativos envolvidos. ◊ Avaliação da adequação dos recursos materiais e financeiros envolvidos. ◊ Avaliação das potencialidades dos métodos e técnicas de aprendizagem e acompanhamento. ► Avaliação da realização das ações de formação ◊ Avaliação da proficuidade e da perceção dos formadores quanto aos resultados da aprendizagem e o seu grau de satisfação. ◊ Avaliação dos recursos didáticos utilizados e outros materiais de aprendizagem (análise de exercícios, estudo de casos, testes, etc.). ◊ Eficiência dos métodos e técnicas de aprendizagem e acompanhamento.

► Avaliação do impacto (verificação) das ações de formação ◊ Avaliação do valor acrescentado para os formandos. ◊ Avaliação

da

eficácia

organizacional

obtida

(adequação

dos

conhecimentos, novas competências e melhoria do processo de trabalho por efeito da formação). ◊ Avaliação de necessidades de formação não cobertas. ◊ Avaliação

de

novas

necessidades

de

formação

resultantes

de

transformações organizacionais e produtivas.

6

4. PLANO DA AVALIAÇÃO

O plano e a metodologia de avaliação adotados seguem, de modo geral, as recomendações da Comissão Europeia e do Fundo Social Europeu no que respeita à avaliação de programas operacionais de caráter nacional, bem como as recomendações do Instituto para a Qualidade na Formação sobre a matéria, especialmente no que respeita aos níveis de avaliação a considerar.

A avaliação do impacto da formação e de identificação de novas necessidades visando a elaboração de Planos de Formação futuros orienta-se por quatro fases distintas de avaliação da realidade estudada:

Quadro nº 01 – Plano da Avaliação PLANO DA AVALIAÇÃO CONCEÇÃO Objeto Análise dos referenciais de formação que originaram os planos de formação.

Critérios Pertinência dos planos; conformidade dos objetivos e da estratégia de aprendizagem; controlo dos pré-requisitos; coerência da articulação do plano e ou das ações de formação.

Dimensões de análise Levantamento de necessidades de formação; conteúdos, atividades e estratégia de aprendizagem; conformidade dos objetivos aos conteúdos, atividades e estratégia de aprendizagem; análise de pré-requisitos; coerência da articulação em termos de estratégia de formação.

Métodos e técnicas a utilizar Análise documental de materiais existentes; inquérito por entrevista com a responsável da formação.

7

OPERACIONALIZAÇÃO Objeto Análise dos principais instrumentos de operacionalização da formação.

Critérios Divulgação e oportunidade de lançamento; potencialidades das metodologias de aprendizagem e de acompanhamento; adequação dos recursos materiais e financeiros envolvidos; associação com parceiros internos e externos.

Dimensões de análise Oportunidade do lançamento das ações; meios de divulgação das ações; processo de candidatura / frequência da ação; metodologias de aprendizagem e acompanhamento; recursos materiais e financeiros envolvidos; tipo de agentes formativos envolvidos.

Métodos e técnicas a utilizar Análise documental de materiais existentes; inquérito por entrevista com a responsável da formação.

REALIZAÇÃO Objeto Análise da perceção e satisfação de formandos e formadores envolvidos nas ações de formação.

Critérios Perceção de formandos e formadores quanto às aprendizagens realizadas durante as ações de formação, aos recursos didáticos utilizados e aos métodos e técnicas de aprendizagem utilizados.

Dimensões de análise Questionários de avaliação da formação preenchidos pelos formandos; questionários de avaliação dos formandos preenchidos pelos formadores; recursos didáticos; métodos e técnicas de aprendizagem e acompanhamento que favoreceram a aquisição de conhecimento.

Métodos e técnicas a utilizar Análise documental de materiais existentes; inquérito por entrevista com a responsável da formação.

8

IMPACTO (VERIFICAÇÃO) DA FORMAÇÃO Objeto Análise do valor acrescentado para os formandos e para a organização, bem como de deteção de outras necessidades formativas.

Critérios Valor acrescentado para os formandos no que respeita à transferência de aprendizagens para os contextos de trabalho; eficácia dos resultados no que respeita ao impacto nos desempenhos das equipas e no desempenho organizacional; necessidades de formação não cobertas; novas necessidades de formação por transformações organizacionais e produtivas.

Dimensões de análise Satisfação dos ex-formandos; adequação ao contexto de trabalho dos conhecimentos produzidos na formação; novas competências desenvolvidas em contexto de trabalho; melhoria de processos organizacionais por efeito da formação; necessidades de formação não cobertas pelas ações; novas necessidades de formação.

Métodos e técnicas a utilizar Inquérito por questionário presencial a uma amostra de formandos; inquérito por questionário a responsáveis departamentais.

Visando a concretização do plano da avaliação no que respeita aos níveis a considerar na «realização» e no «impacto» utilizar-se-á a metodologia de avaliação de Kirkpatrick.

No que respeita à «realização» das ações de formação efetua-se a avaliação de nível 1 correspondente à perceção e à satisfação dos formandos e dos formadores e a avaliação de nível 2 correspondente à aquisição de saberes, saberes-fazer técnicos, sociais e relacionais.

No que respeita ao «impacto» das ações de formação efetua-se a avaliação de nível 3 correspondente à transferência de aprendizagens para os contextos reais de trabalho e a avaliação de nível 4 correspondente ao impacto no desempenho das equipas e no desempenho organizacional.

9

Quadro nº 02 – Níveis da Avaliação Nível 1 – Avaliação da Reação

Objetivo ► Avaliar a perceção e a satisfação dos formandos e dos formadores.

Principais aspetos a abordar ► Adequação dos objetivos às necessidades; ► Nível de consecução dos objetivos; ► Adequação dos conteúdos aos objetivos e destinatários; ► Adequação da estrutura da ação;

Técnicas de abordagem ► Questionários preenchidos pelos formandos e pelos formadores;

Quando decorre ► No final das ações.

► Inquérito por entrevista com responsável da formação.

► Adequação da metodologia utilizada; ► Adequação dos recursos educativos; ► Adequação da documentação distribuída; ► Adequação do processo de avaliação dos formandos; ► Desempenho dos formadores; ► Desempenho dos formandos.

10

Nível 2 – Avaliação da Aprendizagem Objetivo ► Avaliar a aquisição de saberes, saberesfazer técnicos, saberes-fazer sociais e relacionais no contexto de formação.

Principais aspetos a abordar ► Nível de aquisição / compreensão dos conhecimentos; ► Nível de aplicação dos conhecimentos; ► Nível de aplicação dos conhecimentos à resolução de problemas;

Técnicas de abordagem ► Questionários e/ou testes de avaliação da aprendizagem;

Quando decorre ► No final das ações.

► Inquérito por entrevista com responsável da formação.

► Capacidade de análise de situações; ► Facilidade de relação em grupo; ► Disponibilidade para aprender com os outros; ► Autonomia na aprendizagem; ► Responsabilidade na execução de tarefas; ► Atitudes face à aprendizagem; ► Motivação para a autoaprendizagem.

11

Nível 3 – Avaliação dos Comportamentos Objetivo ► Avaliar os efeitos produzidos ao nível da transferência de conhecimentos adquiridos no contexto de formação para o contexto real de trabalho.

Principais aspetos a abordar

Técnicas de abordagem

Quando decorre

► Enquadramento das funções face à natureza da ação;

► Inquérito por questionário a exformandos;

► Aplicação prática dos conhecimentos e competências adquiridos;

► Inquérito por questionário a chefias.

► Deve decorrer entre 6 a 10 meses após o final das ações *.

► Melhoria da qualidade e da quantidade do desempenho individual.

* Desejável

Nível 4 – Avaliação dos Resultados Objetivo ► Avaliar os efeitos produzidos ao nível do desempenho das equipas de trabalho e do desempenho organizacional; ► Detetar necessidades de formação não cobertas; ► Detetar novas necessidades de formação decorrentes da ação organizacional.

Principais aspetos a abordar ► Melhorias da qualidade e da quantidade do desempenho das equipas; ► Melhorias da qualidade e da quantidade do desempenho organizacional;

Técnicas de abordagem ► Inquérito por questionário a chefias.

Quando decorre ► Deve decorrer, pelo menos, 12 meses após final das ações *.

► Clima organizacional.

* Desejável

12

5. MÉTODOS E TÉCNICAS DE PESQUISA A avaliação utilizou o método qualitativo e o método quantitativo, permitindo desenvolver análises de natureza extensiva e intensiva.

Para o efeito foram mobilizadas as seguintes técnicas: ► Análise documental para as fases da conceção, operacionalização e realização. ► Inquérito por entrevista à responsável da formação para as fases da conceção, operacionalização e realização. ► Inquérito por questionário às chefias departamentais. ► Inquérito presencial por questionário a uma amostra representativa de ex-formandos para a fase do impacto.

5.1. Análise Documental

Os materiais documentais analisados foram os seguintes: ► Levantamentos de Necessidades de Formação de ____________; ► Candidaturas aos programas de formação cofinanciados; ► Planos de Formação de ____________; ► Balanços de Atividades de ____________; ► Relatório de Avaliação da Qualidade de ____________; ► Avaliações dos formandos e dos formadores; ► Materiais pedagógicos; ► Materiais respeitantes a métodos e técnicas de aprendizagem.

Estes

documentos

serviram

de

análise

para

as

fases

de

conceção,

operacionalização e realização dos planos de formação.

13

5.2. Populações Inquiridas e Amostras

A população ____________ é composta por ___ pessoas distribuídas pelos seguintes escalões de qualificação profissional: ► 111 ► 222 ► 333

Para efeitos de avaliação do impacto às áreas de formação os objetos de análise são os seguintes:

AAA BBB CCC DDD EEE FFF GGG

Atendendo às ações de formação ministradas para os públicos e as áreas de formação em referência, foram selecionadas, mediante informação documental, as ações de formação a considerar na avaliação do impacto da formação.

O quadro geral constitui-se do seguinte modo:

14

Quadro nº 03 – Áreas e Ações de Formação Avaliadas ESCALÕES DE QUALIFICAÇÃO

ÁREAS DE FORMAÇÃO

AÇÕES DE FORMAÇÃO

As populações inquiridas foram as seguintes: ◊ Responsável da formação (ver guião de entrevista no Anexo I). ◊ Responsáveis departamentais (ver inquéritos por questionário nos Anexos II e III). ◊ Ex-formandos das ações de formação (ver inquéritos por questionário no Anexo IV). ◊ Dirigentes e colaboradores para o levantamento de necessidades de formação XXX (ver Anexos V e VI).

15

No caso da responsável da formação optou-se pela técnica de inquérito por entrevista devido à necessidade de aprofundar a avaliação numa perspetiva qualitativa. No caso dos responsáveis departamentais considerou-se o universo.

No caso dos ex-formandos, atendendo ao elevado número de indivíduos envolvidos, definiu-se uma amostra representativa da população. As amostras representativas caracterizam-se por um total isomorfismo no seio das populações em estudo, cuja homogeneidade é assegurada por um processo específico de construção de amostras. Optou-se, então, pelo método de amostragem por quotas, visando-se a construção de uma amostra estruturalmente representativa da população formativa, a partir de um conjunto pré-determinado de critérios estratificadores da referida população (ver Amostra no Anexo VII).

De acordo com o referido método de amostragem, a construção da amostra processou-se por via da realização dos seguintes procedimentos: ► Definição dos critérios de estratificação Após uma deliberação ponderada, definiram-se variáveis de estratificação, com relevância adequada na população em estudo, tendo em conta os objetivos traçados para a avaliação do impacto da formação. Desta forma, e de acordo com a análise realizada, utilizam-se as seguintes variáveis: (i) escalões de qualificação profissional; (ii) ações de formação frequentadas.

► Determinação de quotas Tomou-se uma decisão no que se refere ao valor percentual da população a selecionar em cada estrato (os estratos são definidos a partir do cruzamento das variáveis de estratificação acima referidas) de modo a assegurar a existência na amostra de uma percentagem de indivíduos igual á proporção de frequências registadas na população.

16

► Fixação da dimensão da amostra Tomou-se uma decisão relativamente ao número total de indivíduos a integrar a amostra. ► Seleção dos elementos da amostra Procedeu-se à seleção intencional dos indivíduos, respeitando-se o sistema de quotas e a dimensão da amostra previamente definidos.

17

TRATAMENTO DE DADOS

18

FORMAÇÃO E RECURSOS HUMANOS ABRANGIDOS 1. CARACTERIZAÇÃO GERAL DE FREQUÊNCIA DA FORMAÇÃO

2. CARACTERIZAÇÃO POR CURSOS DE FORMAÇÃO 2.1.

Cursos AAA

2.2.

Cursos BBB

2.3.

Cursos CCC

2.4.

Cursos DDD

2.5.

Cursos EEE

2.6.

Cursos FFF

2.7.

Cursos GGG

2.8.

Cursos XXX

3. OBSERVAÇÕES FINAIS

19

APRESENTAÇÃO E ANÁLISE DE RESULTADOS 1. PLANO DA AVALIAÇÃO: CONCEÇÃO 1.1. Levantamentos de Necessidades de Formação 1.2. Planos de Formação 1.2.1. Objetivos, Conteúdos, Atividades e Estratégia de Aprendizagem 1.2.2. Conformidade dos objetivos aos conteúdos 1.2.3. Atividades e estratégia de aprendizagem 1.2.4. Análise de pré-requisitos 1.2.5. Coerência da articulação em termos de estratégia de formação.

2. PLANO DA AVALIAÇÃO: OPERACIONALIZAÇÃO 2.1. Oportunidade de lançamento das ações 2.2. Meios de divulgação das ações 2.3. Processo de candidatura / frequência da ação 2.4. Metodologias de aprendizagem e acompanhamento 2.5. Recursos materiais e financeiros envolvidos 2.6. Tipo de agentes formativos envolvidos 3. PLANO DA AVALIAÇÃO: REALIZAÇÃO 3.1. Avaliação efetuada pelos formandos 3.2. Avaliação efetuada pelos formadores 3.3. Recursos didáticos 3.4. Métodos e técnicas de aprendizagem e acompanhamento que favoreceram a aquisição de conhecimentos

20

4. PLANO DA AVALIAÇÃO: IMPACTOS 4.1. Avaliação dos Comportamentos em Contexto de Trabalho 4.1.1. Resultados Globais - Formandos 4.1.2. Resultados Globais – Chefias e Formandos 4.1.3. Resultados Específicos por Curso – Chefias e Formandos 4.1.3.1. AAA 4.1.3.2. BBB 4.1.3.3. CCC 4.1.3.4. DDD 4.1.3.5. EEE 4.1.3.6. FFF 4.1.3.7. GGG 4.2. Avaliação dos Resultados em Contexto de Trabalho 4.2.1. Avaliação Global dos Resultados 4.2.2. Avaliação dos Resultados por Curso 5. DIAGNÓSTICO DE NECESSIDADES DE FORMAÇÃO EM INFORMÁTICA

21

CONCLUSÕES

22

CONCLUSÕES E RECOMENDAÇÕES Este capítulo visa apresentar as principais conclusões e recomendações a partir da análise aos pontos fortes e fracos da formação desenvolvida, nos domínios da conceção, operacionalização, realização e impacto da formação.

1. CARACTERÍSTICAS DOS PÚBLICOS ALVO

No que respeita às características dos públicos-alvo evidenciam-se os seguintes aspetos principais: ► A formação foi frequentada por cerca … ► Os cursos preferidos …

2. CARACTERÍSTICAS DE FREQUÊNCIA POR CURSO

Relativamente às características de frequência por curso evidenciam-se os seguintes aspetos principais: ► AAA: ► BBB: ► CCC: ► DDD: ► EEE:

23

► FFF: ► GGG: ► XXX:

A comparação entre o efetivo dos recursos humanos e a frequência de formação por grupos alvo revela …

Os cursos em análise apresentam …

Recomenda-se…

3. CONCEÇÃO DA FORMAÇÃO No que respeita à conceção da formação pode-se afirmar que …

Os planos de formação foram …

Os objetivos, conteúdos, atividades e estratégia de aprendizagem

No que se relaciona com as atividades formativas…

A estratégia de formação…

Seria interessante que houvesse também contributos dos órgãos de gestão para a definição de competências a ministrar e como ministrá-las preferencialmente.

24

Sabe-se que a avaliação dos impactos da formação revela não apenas os pontos fortes e fracos da gestão da formação, mas também os pontos fortes e fracos da natureza da gestão global praticada. No caso específico, verifica-se que os resultados da formação foram...

Recomenda-se…

4. OPERACIONALIZAÇÃO DA FORMAÇÃO No que respeita à operacionalização da formação constatou-se… (suportes escritos, calendarização divulgação…)

Recomenda-se…

Em relação ao acompanhamento da formação …

Recomenda-se...

Finalmente no domínio da operacionalização… (recursos materiais e financeiros, seleção formadores, competência dos formadores…)

25

5. REALIZAÇÃO DA FORMAÇÃO

No que respeita à realização da formação, designadamente em relação aos aspetos pedagógicos, verificaram-se (pontos fortes e fracos).

Os itens de avaliação das ações pelos formandos…

Recomenda-se…

Os itens de avaliação das ações pelos formadores…

Recomenda-se…

Os recursos didáticos utilizados...

6. IMPACTO DA FORMAÇÃO

No que respeita ao impacto da formação nos comportamentos, o conjunto global…

Os cursos em que os formandos consideraram obter maior aplicação em contexto de trabalho são…

Tal resultado significa que, na ótica dos formandos, o impacto da formação obteve resultados…

Analisando

os

três

escalões

profissionais

separadamente,

verifica-se

o

seguinte:…

26

A fim de se aferir a validade destas avaliações, comparou-se os resultados obtidos na avaliação efetuada pelas respetivas chefias com os resultados obtidos na avaliação dos formandos.

Assim…

Em termos globais, o impacto da formação na população analisada …

Independentemente dos resultados, importa analisar cada um dos cursos em termos das competências transferidas, visando a melhoria de alguns aspetos que os avaliadores detetaram. ► AAA

Recomenda-se…

► BBB

Recomenda-se…

► CCC

Recomenda-se…

► DDD

Recomenda-se…

27

► EEE

Recomenda-se…

► FFF

Recomenda-se…

► GGG

Recomenda-se…

No que respeita ao impacto da formação…

Isto significa que as cotações apuradas são… (positivas, negativas, %...)

Os indicadores de produtividade e de qualidade….

Recomenda-se a elaboração de um painel de critérios que permita mensurar os níveis de produtividade e de qualidade registados, facilitando a medição do impacto da formação e contribuindo para melhorar a gestão.

Finalmente, no que respeita ao levantamento de necessidades de formação em XXX, identificaram-se os principais cursos a desenvolver no próximo ano e as necessidades diferenciadas de formação inicial predominantemente para os funcionários e formação avançada predominantemente para os dirigentes.

A aposta em formação inicial dos funcionários em_____ permite que, em _____, o plano de formação para os funcionários contemple mais formação avançada.

28

Recomenda-se a elaboração de um plano de formação, no domínio da XXX, que contemple sobretudo os cursos...

A avaliação global da formação é…

O impacto da formação afigura-se ter sido…, e pode ser melhorado… (planeamento

mais

pormenorizado

dos

referenciais

formativos

e

do

acompanhamento, maior envolvimento dos órgãos de gestão, reforço da definição estratégica da gestão de recursos humanos…).

29

ANEXOS

30

Anexo I – Guião de Entrevista ao Responsável da Formação Anexo II – Inquérito a Dirigentes (3º nível) Anexo III – Inquérito a Dirigentes (4º nível) Anexo IV – Inquérito a Formandos (3º nível) Anexo V – Inquérito a Dirigentes para o Diagnóstico de Necessidades de Formação em XXX Anexo VI – Inquérito a Formandos para o Diagnóstico de Necessidades de Formação em XXX Anexo VII – Amostra de Formandos a Selecionar Anexo VIII – Resultados Individuais por Curso (AAA) (Dirigentes/Formandos) Anexo IX – Resultados Globais por Curso (AAA) (Formandos) Anexo X – Resultados do Diagnóstico Necessidades de Formação Anexo XI – Inquérito Colegas Anexo XII – Amostra de Formandos que Frequentaram a Formação

31

ANEXO I INQUÉRITO AO RESPONSÁVEL DA FORMAÇÃO CONCEÇÃO

 Levantamento de necessidades de formação  Conteúdos, atividades e estratégia de aprendizagem  Conformidade dos objetivos aos conteúdos, atividades e estratégia de aprendizagem  Existência de pré-requisitos  Coerência da articulação em termos de estratégia de formação.

OPERACIONALIZAÇÃO

 Oportunidade do lançamento das ações  Meios de divulgação das ações  Processo de candidatura / frequência da ação  Metodologias de aprendizagem e acompanhamento  Recursos materiais e financeiros envolvidos  Tipo de agentes formativos envolvidos.

REALIZAÇÃO

 Recursos didáticos  Métodos e técnicas de aprendizagem  Métodos de acompanhamento que favoreceram a aquisição de conhecimentos.

32

IMPACTO

 Valor acrescentado para os formandos no que respeita à transferência de aprendizagens para os contextos de trabalho  Eficácia dos resultados no que respeita ao impacto nos desempenhos das equipas e no desempenho organizacional  Necessidades de formação não cobertas  Novas necessidades de formação por transformações organizacionais e produtivas.

33

ANEXO II INQUÉRITO AOS DIRIGENTES Este inquérito pretende obter a opinião dos dirigentes sobre o impacto que a formação teve no desempenho dos seus colaboradores em relação ao(s) seguinte(s) curso(s) frequentado(s).

Em cada uma das questões assinale com um “x” aquela que mais aproxima da sua avaliação.

1. Relativamente a (conteúdo do curso), em que medida considera que os conhecimentos adquiridos no contexto de formação foram efetivamente transferidos para o contexto real de trabalho.

AAA Competências Chave De modo geral, os seus colaboradores:

Comportamentos Observados Raramente ou nunca (0)

Algumas vezes (1)

Muitas vezes (2)

Quase sempre (3)

1.

2.

3.

4.

5.

Pontuação obtida

___________

34

ANEXO III

INQUÉRITO AOS DIRIGENTES

DEPARTAMENTO DO INQUIRIDO:___________________ PARTE I A Parte I deste inquérito pretende questionar os dirigentes acerca do impacto que a formação teve no seu departamento, em termos de produtividade e qualidade do trabalho.

 Curso AAA a) Especifique o impacto que a formação sobre ___________ teve na produtividade e na qualidade do trabalho desenvolvido no seu setor/departamento.

Produtividade Qualidade

Piorou

Manteve

Melhorou

Melhorou muito

 

 

 

 

 Curso de BBB a) Especifique o impacto que a formação sobre ____________ teve na produtividade e na qualidade do trabalho desenvolvido no seu setor/departamento.

Produtividade Qualidade

Piorou

Manteve

Melhorou

Melhorou muito

 

 

 

 

35

PARTE II A Parte II deste inquérito pretende questionar os dirigentes de diversos departamentos, acerca do impacto que formação teve na organização.

 No seu entender, qual foi o impacto da formação no funcionamento global?

Produtividade Qualidade

Piorou

Manteve

Melhorou

Melhorou muito

 

 

 

 

 Especifique o(s) curso(s) que, no seu entender, mais contribuíram para a melhoria da qualidade e da produtividade dos serviços prestados.  AAA  BBB  CCC  DDD  EEE  FFF  GGG

 Comentários/Sugestões/Opinião acerca do impacto da formação em termos de organização.

____________________________________________________________________________ ____________________________________________________________________________ ____________________________________________________________________________ ____________________________________________________________________________

36

ANEXO IV

INQUÉRITO AOS EX-FORMANDOS Este inquérito pretende obter a opinião dos colaboradores sobre o impacto que a formação teve no seu desempenho em relação ao seguinte curso frequentado.

Em cada uma das questões assinale com um “x” aquela que mais aproxima da sua avaliação.

1. Relativamente a (conteúdo do curso), em que medida considera que os conhecimentos adquiridos no contexto de formação foram efetivamente transferidos para o seu contexto real de trabalho.

AAA Competências Chave De modo geral, no seu dia a dia:

Comportamentos Observados Raramente Algumas ou nunca vezes (0) (1)

Muitas vezes (2)

Quase sempre (3)

1.

2.

3.

4.

5.

Pontuação obtida

___________

37

ANEXO V

NECESSIDADES DE FORMAÇÃO EM XXX

DIRIGENTES Nome do inquirido:_________________________________________________ Departamento:_______________________________________________ _____ Assinale com “X” na coluna de “iniciação” ou na coluna “avançado” as suas necessidades de formação em XXX: LISTA DE CURSOS DE FORMAÇÃO NOS DOMÍNIOS XXX

Curso de iniciação

Curso avançado

38

ANEXO VI

NECESSIDADES DE FORMAÇÃO EM XXX

COLABORADORES Departamento do inquirido:__________________________________________ Assinale com “X” na coluna de “iniciação” ou na coluna “avançado” as suas necessidades de formação em XXX: LISTA DE CURSOS DE FORMAÇÃO NOS DOMÍNIOS XXX

Curso de iniciação

Curso avançado

39

ANEXO VII

AMOSTRA DE FORMANDOS A SELECIONAR

Dimensão: Critérios de estratificação: categoria profissional e área de formação frequentada Seleção dos elementos da amostra: intencional de acordo com a combinatória de critérios de estratificação estabelecidos.

No caso de formandos que tenham frequentado mais do que uma área (freq. não exclusiva) adotou-se como critério suplementar de seleção a frequência do menor número de áreas de formação.

Área de Formação AAA

Categoria Profissional

freq exclu siva

freq não exclu siva

BBB freq exclu siva

freq não exclu siva

CCC freq exclu siva

freq não exclu siva

DDD freq exclu siva

freq não exclu siva

EEE freq exclu siva

freq não exclu siva

FFF freq exclu siva

GGG

freq não exclu siva

freq exclu siva

Dirigentes e Tecnicos Superiores Técnicos, Téc.Profissionais, Administrativos Pessoal Operário e Auxiliar Total

40

freq não exclu siva

ANEXO VIII

RESULTADOS NÍVEL 3- DESEMPENHO INDIVIDUAL AVALIAÇÃO DAS CHEFIAS

AAA

Avaliação (0 a 3)

Competências em AAA 1.

2.

3.

4.

5.

Média

41

RESULTADOS NÍVEL 3- DESEMPENHO INDIVIDUAL AVALIAÇÃO DOS EX-FORMANDOS

AAA

Avaliação (0 a 3)

Competências em AAA 1.

2.

3.

4.

5.

Média

42

ANEXO IX

RESULTADOS NÍVEL 3 AVALIAÇÃO DAS CHEFIAS – SOMATÓRIO/MÉDIAS

AAA

Dirigentes e Técnicos Superiores n= x

Competências AAA

Técnicos, Técnicos Profissionais e Administrativos n=y

Total n=x+y

1.

2.

3.

4.

5.

Média

43

RESULTADOS NÍVEL 3 AVALIAÇÃO EX-FORMANDOS – SOMATÓRIO/MÉDIAS

AAA

Dirigentes e Técnicos Superiores n=x

Competências AAA

Técnicos, Técnicos Profissionais e Administrativos n=y

Total n=x+y

1.

2.

3.

4.

5.

Média

44

ANEXO X

RESULTADOS DO DIAGNÓSTICO DE NECESSIDADES DE FORMAÇÃO

QUADRO DNF EM XXX Cursos

Setores

Sem Necessidades

Cursos de Inic.

Cursos Avan.

Sem Necessidades

Cursos de Inic..

Cursos Avan.

Total Total CI + CA

45

ANEXO XI

RESULTADOS NÍVEL 3- DESEMPENHO MÉDIO GLOBAL

AVALIAÇÃO DOS COLEGAS

AAA

Dirigentes e Técnicos Superiores n=x

Competências AAA

Técnicos, Técnicos Profissionais e Administrativos n=y

Média

1.

2.

3.

4.

5.

Média

46

ANEXO XII

AMOSTRA DE FORMANDOS QUE FREQUENTARAM A FORMAÇÃO

Amostra constituída pela totalidade de indivíduos que frequentaram ações de formação com exceção da área XXX

Dimensão: ____ formandos (____ % da população de referência)

Critérios de estratificação: categoria profissional e área de formação frequentada Seleção dos elementos da amostra: intencional de acordo com a combinatória de critérios de estratificação estabelecidos.

No caso de formandos que tenham frequentado mais do que uma área (freq não exclusiva) adotou-se como critério suplementar de seleção a frequência do menor número de áreas de formação Área de Formação Categoria Profissional

AAA

BBB

CCC

DDD

EEE

FFF

GGG

Total

47