Como Avaliar o Desempenho da minha Missão?
A missão é uma ferramenta muito útil para entregar conteúdos de forma direcionada. Esse tipo de experiência permite desenvolver novas habilidades e proficiência em determinados assuntos, porém não é tão simples identificar o real resultado da nossa trilha de conteúdos.
É muito comum calcular a média das notas de exame ou apenas contabilizar a quantidade de pessoas que finalizaram uma missão, tomando isso como o resultado final de todo esse processo. Se você está lendo esse conteúdo, provavelmente também acredita que somente essas informações não são suficientes para mensurar a efetividade de uma missão.
Nós da Learning.rocks separamos quatro métricas que podem te ajudar a entender o que realmente sua missão conseguiu alcançar.
Adoção
Adoção é a métrica que mostra o quanto seu público se interessa pelo assunto que sua missão aborda. Claro que se sua missão for obrigatória, o insight pode ser mais relacionado a sua capacidade de comunicação e processo de onboarding do que sobre o tema propriamente dito.
O cálculo dessa métrica é simples:
No caso de missões não obrigatórias, analise sua adoção geral de todas as missões e depois compare com a missão que você está analisando. Se a taxa de adoção for mais alta, significa que seu público tem um interesse maior sobre esse tema. Uma ótima prática para manter essa taxa de adoção alta é criar missões que resolvem problemas do dia a dia do seu colaborador, pense no que ele precisa aprender para performar melhor, para ter mais produtividade ou para se desenvolver na carreira.
Para missões obrigatórias, a taxa de adoção vai te indicar o quanto todo o seu processo de comunicação está sendo eficiente. É muito comum existir uma cobrança massiva para realização dessas missões o mais rápido possível, porém pensar em um processo mais fluido de onboarding pode facilitar a matrícula do usuário. Adultos precisam de um propósito claro e aplicável para ter engajamento em treinamentos, então faça com que os colaboradores entendam que esse é o momento para estudar e que tudo isso faz parte da jornada dentro de empresa.
Nos relatórios da Learning.rocks, você consegue esse dado no nosso Dashboard. Basta clicar em “Missões” na aba dos relatórios e verificar a taxa de adoção na tabela “Adoção atual por Missão”.
Caso queira ver os dados mais detalhados dessa missão, é só clicar no nome da missão desejada e depois em “Detalhes da Missão”.
Aderência
Agora já sabemos a capacidade de atração de nossa missão, porém ainda não sabemos a sua aderência. De forma simples, aderência é a tendência que um usuário tem de consumir aquele conteúdo ou missão até o fim. Quando o número de pessoas que se matricularam é muito distante do número de pessoas que finalizaram uma missão, significa que o conteúdo oferecido não correspondia com a expectativa do colaborador, ou seja, a missão possui uma baixa aderência.
A aderência é calculada da seguinte forma:
Novamente existe uma diferença quando falamos de obrigatoriedade. Quando se trata de uma missão não obrigatória, uma aderência maior que 70% já pode ser considerada boa. Em missões obrigatórias, claro que o objetivo é ter 100%, porém quando realizamos uma análise levando em consideração o período da matrícula, a taxa pode variar de acordo com os últimos 7 ou 15 dias. Isso vai te ajudar a entender mais ou menos o tempo necessário que os usuários levam para finalizar a missão.
Você pode conseguir esse dado nos relatórios do Learning.rocks, clicando em “Missões” no menu lateral. A porcentagem de usuários “Em progresso” já pode ser considerada sua taxa de aderência.
Para fazer uma análise temporal da taxa de adoção, clique na missão desejada e depois em “Detalhes da Missão”. Nesse relatório você pode utilizar o filtro “Data da Matrícula” e estipular o período de tempo que deseja, clicar em “Run” e visualizar o gráfico “Histórico de Matrículas ao longo do tempo”.
Observe a quantidade de matrículas e de conclusões, se as quantidades não estiverem balanceadas, provavelmente a taxa de aderência é baixa.
Variação Pré-Teste e Teste Final
A média de notas em um exame pode ser a métrica mais simples para medição de aprendizado dentro de uma missão, mas será que é a mais adequada?
Aprender significa adquirir conhecimento, sendo assim é preciso saber o quanto a missão ajudou o colaborador a ter mais domínio sobre aquele tema. Uma forma simples de mensurar isso é com um pré-teste. Um pré-teste é um exame de nivelamento sobre o tema, aplicado no início da missão. Na hora de analisar os resultados, basta verificar a variação nas notas do pré-teste e do teste final dos colaboradores , quanto maior e positiva a variação, mais a missão contribuiu para o desenvolvimento dos usuários.
O pré-teste não deve ser exatamente igual ao exame final da missão, mas deve medir o conhecimento sobre o mesmo assunto da mesma forma. A ideia também não é que o pré-teste seja maçante ou muito difícil, mas que tenham perguntas bem direcionadas que te indiquem o nível de proficiência do colaborador sobre o tema.
A eficiência dessa métrica será extremamente influenciada pela forma como você elabora seus exames. Um bom exame tem boas perguntas e para criar boas perguntas é necessário entender o que você quer medir com aquela questão. Sendo assim, você precisa balancear um exame com os seguintes tipos de questões:
- Recall Question: Esse tipo de questão serve para entender quanto um usuário absorveu de um determinado termo ou conceito. Podem ser usadas para medir se um colaborador memorizou regras, instruções ou nomenclaturas. A maioria dos exames foca nesse tipo de questão, porém ela só ajuda a identificar se o colaborador sabe o que significa alguns termos, mas não se ele pratica o que aprendeu. Exemplo: Qual a capital do Brasil? Quais os procedimentos de segurança?
- Application Question: Nesse tipo de questão, o colaborador precisa resolver um problema ou situação. Dessa forma é possível medir se ele conseguiu relacionar o conteúdo apresentado com o dia a dia. Aqui já começamos a medir o que ele realmente aprendeu. Exemplo: O potencial cliente disse que gostaria do produto x, porém estamos sem esse produto no estoque. O que você deve fazer nesse momento?
- Evaluation Question: É um tipo de questão mais elaborada e que exige que o colaborador, além de resolver um problema, também avalie a situação, comportamento ou conteúdo apresentado. Após a avaliação, ele precisa mostrar como agir de acordo com aquela situação. Esse tipo de questão mostra, de forma mais profunda, qual foi o nível de aprendizado do colaborador, pois se ele sabe avaliar se uma situação é boa ou ruim, ele conseguirá fazer o mesmo no seu dia a dia. Exemplo: Avalie a tabela de indicadores de um colaborador e indique se o mesmo atingirá a meta no final do mês. Caso a previsão seja negativa, quais ações, baseadas nos indicadores apresentados, ele pode realizar para melhorar seu desempenho?
Entenda o que realmente você precisa medir com um exame e elabore as questões tendo esses modelos em mente.
Um outro ponto importante são as alternativas apresentadas, pois a maioria dos processos de T&D envolvem muitas pessoas e exames múltipla-escolha ajudam a tornar o trabalho mais escalável. Porém apresentar alternativas muito óbvias ou distantes umas das outras, podem acabar induzindo o colaborador a resposta, atrapalhando toda a experiência.
Para escolher boas alternativas não tenha apenas respostas totalmente corretas ou totalmente erradas. Obviamente uma das questões será a correta, mas crie alternativas com respostas incompletas ou com enganos comuns dos colaboradores. Quando ele escolhe uma resposta que não está completa, mostra que absorveu parte do conteúdo, mas que precisa de mais orientação. A alternativa escolhida também é um feedback sobre o conteúdo e processo, use isso nas suas análises e planejamento.
Você pode ver os resultados dos exames em “Exames e Atividades” no menu lateral dos relatórios da Learning.rocks (existe um filtro pré aplicado de exames realizados nos últimos 30 dias, basta alterar o filtro para “is any time”, caso o exame seja mais antigo). Na tabela “Lista de Exames”, clique em “Ir para Relatório do Exame” no relatório desejado:
Nessa tela você consegue ver a nota de cada usuário e taxa de acerto por questão (aqui também existe o filtro pré aplicado de últimos 30 dias, altere se for necessário). As respostas individuais estão na tabela “Todas as respostas”, é possível fazer o download bem aqui:
Satisfação e percepção de valor do Colaborador
É muito comum aplicar uma pesquisa de satisfação depois de finalizar um curso, principalmente em cursos presenciais. Quando falamos em avaliar a satisfação dos colaboradores sobre algum conteúdo ou treinamento, nos limitamos a perguntar o nível de satisfação ou só pedimos uma nota. Fazendo isso, estamos apenas capturando dados que não conseguimos transpor em informações úteis.
Pesquisas de satisfação pós-treinamento são ferramentas interessantes, mas que tem sido mal utilizadas atualmente. Uma boa forma de ter sucesso real com essa ferramenta é fazer uma avaliação com foco em desempenho, o que significa pensar em perguntas que também adicionam informações qualitativas sobre o conteúdo, como esse exemplo: Quão bem você se sente para aplicar os métodos apresentados no seu trabalho?
Uma outra boa prática é usar afirmações nas alternativas das respostas e não só uma escala. Tenha opções como:
- Não me sinto hábil para aplicar os conhecimentos no meu dia a dia de trabalho
- Vejo aplicação direta no meu dia a dia de trabalho
- Não vejo associação do conteúdo oferecido com meu dia a dia de trabalho
Dê uma nota para cada alternativa e depois some todas as respostas para saber qual a nota esse colaborador deu para sua missão. Utilize a média das notas como sua métrica de satisfação.
Concluindo
Resumindo todas as métricas apresentadas:
- Nós conseguimos saber se o assunto é do interesse do colaborador pela taxa de adoção;
- Se o conteúdo é bom e atingiu as expectativas do colaborador com a taxa de aderência;
- Mensuramos o aprendizado pelo variação do pré-teste e teste final;
- Com o formulário de pesquisa de satisfação sabemos a aplicabilidade e percepção de valor do colaborador sobre a missão.
Depois de medir tudo isso, você precisa pensar em pontos de melhoria e fazer mudanças na sua missão. E é assim que deve funcionar todo seu ciclo de análise, primeiro mensura os resultados, aplica as recomendações e sugestões, e analisa novamente.
Claro que também consideramos a análise de dados externos para perceber como o treinamento pode ter influenciado na performance do colaborador. Porém aqui só focamos nas informações que você já poderia capturar nos nossos relatórios.
