Mini-testes com perguntas diferentes para cada aluno no Moodle

Sandra Gaspar Martins‡

‡ Instituto Superior de Engenharia de Lisboa sandra.gaspar.martins@isel.pt https://isel.pt/docentes/sandra-isabel-cardoso-gaspar-martins

Resumo

Em 2020/21, na unidade curricular de Álgebra Linear e Geometria Analítica do curso de Licenciatura em Engenharia Química e Biológica do ISEL, criámos mini-testes semanais online no Moodle com perguntas geradas automaticamente de modo que cada aluno tem uma pergunta diferente. O método de gerar estas perguntas é muito simples e prático e pode ser utilizado para todas as perguntas que tenham uma resposta numérica, pode, portanto, ser utilizado em muitas UCs. Os mini-testes eram disponibilizados por uma semana. Os alunos faziam uma tentativa e o Moodle dizia-lhes se estava correto, podiam tentar indefinidamente. O objetivo era que os alunos estudassem continuamente até aprenderem todas as matérias. À posteriori analisaram-se os dados relativamente às taxas de resposta, bem como às notas obtidas quer nos mini-testes quer na UC. Além disso, no final do semestre, criou-se um questionário anónimo online no Moodle e solicitou-se a todos os alunos que o respondessem. De tudo o que analisámos, incluindo que 97% dos alunos respondentes ao questionário considera os mini-testes úteis, podemos concluir que os mini-testes semanais são uma mais-valia para os alunos e, portanto, devem ser utilizados. A possibilidade de ter perguntas diferentes para cada aluno faz com que eles não gerem injustiça.

Palavras-Chave: Quizzes, Avaliação formativa, Moodle, Instâncias de perguntas.

1. Contextualização

As unidades curriculares (UCs) de matemática do ensino superior deparam-se usualmente com baixas taxas de aprovação (Almeida et al., 2012; Nunes & Sebastião, 2004), com vista a combatê-lo pensámos que a criação de mini-testes semanais online levaria os alunos a um estudo mais contínuo levando a um aumento das taxas de aprovação. Há evidência de que avaliação formativa online de matemática no ensino superior surte efeitos em termos de aumento da taxa de aprovação e diminuição da taxa de abandono (Ćukušić et al., 2014). No semestre de inverno de 2020/21, na unidade curricular de Álgebra Linear e Geometria Analítica (ALGA) do curso de Licenciatura em Engenharia Química e Biológica do Instituto Superior de Engenharia de Lisboa, Instituto Politécnico de Lisboa, criámos mini-testes semanais online no Moodle com perguntas geradas automaticamente de modo que cada aluno tem uma pergunta diferente. O método de gerar estas perguntas é muito simples e prático e pode ser utilizado para todas as perguntas que tenham uma resposta numérica ou escolha múltipla com números, pode, portanto, ser utilizado em muitas UCs.

Os mini-testes eram disponibilizados todas as quartas-feiras às 16h e ficavam disponíveis uma semana, data em que começava o novo mini-teste. Os alunos faziam uma tentativa e o Moodle dizia-lhes se estava correto, podiam tentar indefinidamente. O objetivo é que os alunos estudassem até aprenderem todas as matérias. Claro que assim quase todos os alunos tiram 20 valores, mas não importa, o objetivo é que estudem até aprender, os mini-testes só valem 10% da nota.

É de recordar que este foi um ano de pandemia em que todas as aulas práticas foram online e as teóricas presenciais. Nesta UC os exames foram online também com perguntas geradas aleatoriamente e outras em que o aluno escrevia no papel e enviava a resolução por foto.

2. Como criar uma pergunta com geração automática

Vamos descrever como criar perguntas em que há geração automática de uma instância da pergunta (gera uma pergunta diferente para cada aluno) no Moodle, para que a possa utilizar se lhe interessar dado que podem ser usadas em muitas UCs. Estas perguntas podem ser de escolha múltipla (com números) ou de resposta numérica.

Vamos criar uma pergunta de escolha múltipla. Como exemplo vamos criar a pergunta: “A reta y=6x+2 passa no ponto (1,k) em que k é: “ e que tem duas opções de resposta. No entanto, esta pergunta não é igual para todos os alunos, onde está o 6, cada aluno terá um valor diferente entre 1 e 10. Assim, o que o aluno verá é o apresentado na Figura 1.

Para inserir esta pergunta, cria-se um teste no Moodle e faz-se “adicionar uma nova pergunta”, e seleciona-se o tipo: “escolha múltipla com variáveis”. Então, no texto da pergunta escreve-se

“A reta y={a}x+2 passa no ponto (1,k) em que k é:” (ver Figura 2) o que faz com que para “{a}” o Moodle interprete como a variável “a” e lhe atribua vários valores a definir à frente. Numa pergunta podemos ter várias varáveis, poderia ter também “{b}”, “{c}”, “{d}”, etc.

O que se escreve no corpo do texto para criar a pergunta com a variável “{a}”

Nas várias respostas colocam-se valores fixos ou valores também calculados usando as variáveis da pergunta. Neste caso, colocou-se primeiro a resposta correta que é a+2, para que o Moodle converta para um número coloca-se entre parêntesis e com um igual no início, ou seja, para que ele calcule o valor de “a” mais duas unidades escrevemos: {={a}+2} ele calcula o número que é a resposta correta, como se pode ver na Figura 3. No caso de y=6x+2, a resposta é 6+2, ou seja, vai aparecer ao aluno a opção: “8”. Escolhe-se a avaliação de 100% pois é a única resposta correta e escolhe-se que seja apresentada a resposta com 0 casas decimais.

Configuração de uma resposta correta

Como segunda opção, colocou-se uma resposta incorreta, a-2 (para que o Moodle converta para um número coloca-se entre parêntesis e com um igual no início, ou seja, para que ele calcule o valor de “a” menos duas unidades escrevemos: {={a}-2} ele calcula o número que é essa opção de resposta, como se pode ver na Figura 4). No caso de y=6x+2, essa resposta é 6-2, ou seja, vai aparecer ao aluno a opção: “4”. Esta resposta está sempre incorreta, se a correta é a+2 então a-2 está sempre incorreta, se colocássemos um número, por exemplo 5, podia para alguns alunos estar correta. Escolhe-se a avaliação de 0% pois é uma resposta incorreta e escolhe-se que seja apresentada a resposta com 0 casas decimais.

Em seguida escolhem-se os valores que a variável “{a}” pode tomar, neste caso varia entre 1 e 10 e tem 0 casas decimais, como se ilustra na Figura 5.

Figura 5

Seleção de valores entre 1 e 10 com 0 casas decimais para a variável “{a}”

Quanto às perguntas de resposta numérica, são, em tudo semelhantes às de escolha múltipla. Escolhe-se o tipo “resposta numérica com variáveis”. Na resposta não é necessário colocar os parêntesis e o igual para o Moodle avaliar, basta colocar a fórmula, tipo 2*{a}+5 e o Moodle converte para o número pretendido, ver Figura 6.

Configuração da resposta no caso de uma pergunta com resposta numérica

3. Exemplos de exercícios

Com este tipo de exercícios conseguimos cobrir toda a matéria de Álgebra Linear e Geometria Analítica. Podemos ver em seguida alguns exercícios possíveis de implementar.

Exercício de resposta numérica sobre matrizes invertíveis

4. Metodologia

Quanto ao estudo sobre a implementação destes mini-testes, começou-se por implementar pela primeira vez este tipo de mini-testes. À posteriori analisaram-se os dados relativamente às taxas de resposta, bem como às notas obtidas quer nos mini-testes quer na UC. Além disso, no final do semestre, criou-se um questionário anónimo online no Moodle e solicitou-se a todos os alunos que o respondessem. Este questionário era quase todo com escala de Likert.

5. Dados

Na UC estavam inscritos 75 alunos, 58 responderam a pelo menos um mini-teste (ou seja 77%). Aos vários mini-testes responderam sempre entre 56 e 41 alunos. Dos 56 alunos aprovados só 6 não tinham respondido aos mini-testes. Dos 50 aprovados que responderam aos mini-testes 41 tiveram nota média nos mini-testes acima de 10 valores. A nota média dos mini-testes foi 15,3 valores. A nota média da UC dos aprovados foi 14,4 valores.

No final do semestre, foi disponibilizado no Moodle um questionário online anónimo em que se fizeram algumas perguntas referentes à caracterização dos alunos e aos mini-testes. Responderam a este questionário 47 alunos que perfazem 62% dos inscritos.

A primeira pergunta foi: “A sua nota a ALGA (até ao momento) é:” e a média desta nota é 14,6 valores (muito semelhante à nota média da UC, 14,4 valores). Pelo número de respondentes e pela coincidência de nota consideramos que a amostra é representativa.

Dos respondentes, 81% afirmaram que respondiam aos mini-testes sempre ou quase sempre.

Quanto a “Usualmente, como faz para responder aos mini-testes?”, 34% afirma resolver tudo sozinho, os restantes 66% afirmam que resolvem sozinhos e se têm dúvidas debatem com colegas.

Quanto a “Se os mini-testes não existissem teria estudado:”, 43% afirma que teria estudado menos para ALGA, 40% afirma que teria estudado o mesmo, 13% afirma que teria estudado mais para ALGA (o que não se compreende, devem ter interpretado mal a pergunta) e 4% não responderam.

Quando se pergunta se considera os mini-testes úteis, inúteis ou indiferentes: 97% considera-os úteis, 3% indiferentes e ninguém os considera inúteis.

Quanto a “Se não existissem mini-testes, pensa que a sua nota seria diferente?” 58% considera que seria pior, 36% que seria igual, 2% afirma que seria melhor e 4% não responderam.

A penúltima pergunta dizia: “Indique TODAS as afirmações com que concorda:”

• Os mini-testes lembram-me de ter a matéria em dia todas as semanas. (89%)

• Os mini-testes mostram-me que há coisas que eu pensava que sabia e afinal não sabia. (72%)

• Os mini-testes ajudam-me a ter uma melhor perceção do nível que estou a atingir. (75%)

• Para responder aos mini-testes aprendo coisas novas. (51%)

• Os mini-testes não têm interesse nenhum. (0%)

• Não ligo nenhuma aos mini-testes, apenas copio os resultados. (0%)

• Não ligo nenhuma aos mini-testes, nem sequer copio os resultados. (2 %)

• Os mini-testes fazem-me perder tempo inutilmente. (0%)

• Os mini-testes stressam-me demasiado. (2 %)

Numa caixa de texto onde os alunos podiam deixar a sua opinião livremente foram recebidas as seguintes afirmações:

• “Os mini testes de certeza são um método que outras disciplinas deveriam aderir!! Ajuda a revisar e desenvolver toda a a matéria durante o semestre.”

• “Considero os mini-testes muito úteis para a aprendizagem sobre ALGA.”

• “Ótimos para praticar exercícios antes dos testes e exames.”

• “Acho que devíamos receber uma notificação no moodle sempre que temos um quizz novo disponível.”

• “Acho que foi bastante positivo, “obriga-nos” a estudar e acabamos por ter perceção das nossas dúvidas.”

6. Conclusões

De tudo o que analisámos, incluindo que 97% dos alunos respondentes ao questionário considera os mini-testes úteis; que os mini-testes lembram os alunos de ter a matéria em dia todas as semanas (89%); que os mini-testes mostram aos alunos que há coisas que eles pensavam que sabiam e afinal não sabiam (72%); E que os mini-testes ajudam os alunos a ter uma melhor perceção do nível que estão a atingir (75%).

Podemos concluir que os mini-testes semanais são uma mais-valia para os alunos e, portanto, devem ser utilizados.

A possibilidade de ter perguntas diferentes para cada aluno faz com que eles não gerem injustiça. Mostrámos também que é simples criar perguntas com geração automática de instâncias da pergunta.

Este trabalho é suportado por fundos nacionais através da FCT - Fundação para a Ciência e Tecnologia, I.P., no contexto do projeto PTDC/CED-EDG/32422/2017.

7. Referências Bibliográficas

Almeida, M., Fidalgo, C., & Rasteiro, D. (2012). Tema: Currículo e didáticas compreender o insucesso da matemática nas licenciaturas de engenharia: Um estudo de caso. In A. Estrela, L. Marmoz, M. T. Estrela, M. Esteves, M. J. Mogarro, L. Tinoca, F. V. Gomes, J. Ferreira, M. G. Santos, P. Figueiredo & J. Marques (Orgs.), XIX Colóquio da Secção Portuguesa da AFIRSE. AFIRSE.

Blanco Abellán, M., Estela Carbonell, M. R., Ginovart Gisbert, M., & Saà Seoane, J. (2009). Computer assisted assessment through moodle quizzes for calculus in an engineering undergraduate course. Quaderni di Ricerca in Didattica, 19(2), 78–83. https://upcommons.upc.edu/handle/2117/3063

Ćukušić, M., Garača, Z., & Jadrić, M. (2014). Online self-assessment and students’ success in higher education institutions. Computers & Education, 72, 100-109. https://doi.org/10.1016/j. compedu.2013.10.018

Martins, S. G. (2018). A study of the application of Weekly Online Quizzes in two courses of mathematics for engineering students: Is it a fair and effective strategy to increase students’ learning? International Journal of Innovation in Science and Mathematics Education, 26(1), 4659. https://openjournals.library.sydney.edu.au/index.php/CAL/article/view/12188

Nunes, S. M., & Sebastião, J. R. (2004). Insucesso no ensino superior. Educação e Matemática, 78, 37-39. https://em.apm.pt/index.php/em/article/view/1306